CN111756973A - 图像传感器和电子设备 - Google Patents

Abstract

提供一种图像传感器和电子设备，能够提高图像传感器的性能。该图像传感器，包括：滤光单元阵列，包括多个滤光单元组，该多个滤光单元组中每个滤光单元组包括2个白色滤光单元和2个彩色滤光单元集合，其中，每个彩色滤光单元集合与每个白色滤光单元的面积相等，且每个彩色滤光单元集合中包括4个彩色滤光单元；像素单元阵列，包括多个像素单元，该像素单元阵列位于该滤光单元阵列下方，该像素单元阵列中多个像素单元与该滤光单元阵列中多个滤光单元一一对应。通过本申请实施例的方案，在保证图像色彩信息的同时，还能提升图像动态范围以及进光量，进而提升图像传感器的性能。

Description

图像传感器和电子设备

本申请要求2020年5月15日提交中国专利局、申请号为202010410639.2、发明名称为“图像传感器和电子设备”的中国发明申请的优先权，其全部内容通过应用结合在本申请中。

技术领域

本申请涉及传感器领域，并且更具体地，涉及一种图像传感器和电子设备。

背景技术

图像传感器是一种将光学图像转换为数字信号的电子装置，其通常包括由多个像素单元组成的像素单元阵列，像素单元阵列中的每个像素单元用于形成图像中的一个像素值。为了使得图像传感器能够采集彩色图像，可以在像素单元上方设置彩色滤光片(colorfilter，CF)，使得像素单元可以接收特定颜色的光信号，形成对应于该特定颜色光信号的像素值。

但在设置彩色滤光片的同时，每个像素单元接收的光量变少，造成图像信噪比(signal-to-noise ratio，SNR)变小，影响图像质量。且若图像传感器应用于移动设备中，该图像传感器尺寸受限，对应的像素单元阵列的感光面积也受限，所以在低光照环境下，图像质量将会进一步受限。

发明内容

本申请实施例提供了一种图像传感器和电子设备，旨在解决低光照环境下，图像质量下降的问题。

第一方面，提供一种图像传感器，包括：滤光单元阵列，包括多个滤光单元组，该多个滤光单元组中每个滤光单元组包括2个白色滤光单元和2个彩色滤光单元集合，其中，每个彩色滤光单元集合与每个白色滤光单元的面积相等，且每个彩色滤光单元集合中包括4个彩色滤光单元；像素单元阵列，包括多个像素单元，该像素单元阵列位于该滤光单元阵列下方，该像素单元阵列中多个像素单元与该滤光单元阵列中多个滤光单元一一对应。

通过本申请实施例的方案，由于每个滤光单元组中，同时包括白色滤光单元以及彩色滤光单元，其中，1个白色滤光单元的面积为4个彩色滤光单元面积之和，在保证图像色彩信息的同时，还能提升图像动态范围以及进光量，进而提升图像质量。另外，在后续图像处理过程中，能够减小像素数据量，能够提升图像处理速度以进一步提升图像传感器性能。

在一些可能的实施方式中，该滤光单元组包括不同颜色的第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元，该第一彩色滤光单元的数量与该第二彩色滤光单元与该第三彩色滤光单元的数量之和相等。

在一些可能的实施方式中，在该滤光单元组中，该第二彩色滤光单元的数量与该第三彩色滤光单元的数量相等。

在一些可能的实施方式中，在该滤光单元组中，该2个白色滤光单元共顶角相邻设置，且该2个彩色滤光单元集合共顶角相邻设置。

在一些可能的实施方式中，在该2个彩色滤光单元集合中，第一彩色滤光单元集合包括2个该第一彩色滤光单元和2个该第二彩色滤光单元，第二彩色滤光单元集合包括2个该第一彩色滤光单元和2个该第三彩色滤光单元。

在一些可能的实施方式中，在每个彩色滤光单元集合中，相同颜色的彩色滤光单元共顶角相邻设置。

在一些可能的实施方式中，在该2个彩色滤光单元集合中，相同颜色的彩色滤光单元的相对位置关系相同。

在一些可能的实施方式中，在该滤光单元组中，一条对角线上设置有4个该第一彩色滤光单元，另一条对角线上设置有2个该白色滤光单元。

在一些可能的实施方式中，在该滤光单元组中，一条对角线上设置有2个共顶角相邻的该第二彩色滤光单元以及2个共顶角相邻的该第三彩色滤光单元，另一条对角线上设置有2个白色滤光单元。

在一些可能的实施方式中，在每个彩色滤光单元集合中，相同颜色的彩色滤光单元共边相邻设置。

在一些可能的实施方式中，在该2个彩色滤光单元集合中，相同颜色的彩色滤光单元的相对位置关系不同。

在一些可能的实施方式中，在该滤光单元组中，一条对角线上依次设置有1个该第二彩色滤光单元，2个共顶角相邻的该第一彩色滤光单元以及1个该第三彩色滤光单元，另一条对角线上设置有2个该白色滤光单元。

在一些可能的实施方式中，在该2个彩色滤光单元集合中，第一彩色滤光单元集合包括4个该第一彩色滤光单元，第二彩色滤光单元集合包括2个该第二彩色滤光单元和2个该第三彩色滤光单元。

在一些可能的实施方式中，在该第二彩色滤光单元集合中，相同颜色的彩色滤光单元共边相邻设置。

在一些可能的实施方式中，在该滤光单元组中，一条对角线上依次设置有2个共顶角相邻的该第一彩色滤光单元，1个该第二彩色滤光单元以及1个该第三彩色滤光单元，另一条对角线上设置有2个该白色滤光单元。

在一些可能的实施方式中，该第一彩色滤光单元、该第二彩色滤光单元以及该第三彩色滤光单元用于分别通过三种颜色的光信号，该三种颜色的光信号波段覆盖可见光波段。

在一些可能的实施方式中，该第一彩色滤光单元、该第二彩色滤光单元以及该第三彩色滤光单元的颜色分别为红、绿、蓝、青、品红、黄中的三种颜色。

在一些可能的实施方式中，该第一彩色滤光单元为绿色滤光单元、该第二彩色滤光单元和该第三彩色滤光单元分别为红色滤光单元和蓝色滤光单元。

在一些可能的实施方式中，该图像传感器还包括：微透镜阵列，包括多个微透镜，该微透镜阵列位于该滤光单元阵列上方，用于将拍摄对象返回的光信号汇聚至该滤光单元阵列，其中，该微透镜阵列中的多个微透镜与该滤光单元阵列中的多个滤光单元一一对应。

在一些可能的实施方式中，该微透镜阵列中第一微透镜对应于该滤光单元阵列中的白色滤光单元，该微透镜阵列中第二微透镜对应于该滤光单元阵列中的彩色滤光单元；其中，该第一微透镜的半径为该第二微透镜的半径的2倍。

在一些可能的实施方式中，其特征在于，该像素单元阵列中白色像素单元对应于该滤光单元阵列中的白色滤光单元，该像素单元阵列中彩色像素单元对应于该滤光单元阵列中的彩色滤光单元；其中，该第一像素单元的面积为该第二像素单元的面积的4倍。

在一些可能的实施方式中，该像素单元阵列中的彩色像素单元的像素值用于生成该拍摄对象的第一图像数据，该像素单元阵列中的白色像素单元的像素值用于生成拍摄对象的第二图像数据，该第一图像数据和该第二图像数据用于合成该拍摄对象的目标图像；其中，该白色像素单元为对应于该白色滤光单元的像素单元，该彩色像素单元为对应于该彩色滤光单元的像素单元。

在一些可能的实施方式中，该像素单元阵列中的彩色像素单元的像素值用于通过数据处理生成拜耳Bayer格式的第一图像数据。

在一些可能的实施方式中，该第一图像数据的分辨率为该像素单元阵列的分辨率的一半。

在一些可能的实施方式中，该第二图像数据和该第一图像数据的分辨率相同；或者，该第二图像数据的分辨率为该第一图像数据的分辨率的一半。

在一些可能的实施方式中，该图像传感器为互补金属氧化物半导体CMOS图像传感器，或者为电荷耦合器件CCD图像传感器。

第二方面，提供一种电子设备，包括：上述第一方面或者第一方面中任一种可能的实施方式中的图像传感器。

附图说明

图1是本申请实施例提供的一种图像传感器的结构示意图。

图2是本申请实施例提供的另一图像传感器的俯视示意图。

图3是图2中的图像传感器沿A-A’方向的一种截面示意图。

图4是图2中的图像传感器沿A-A’方向的另一种截面示意图。

图5是本申请实施例提供的一种滤光单元阵列中滤光单元的示意性排列图。

图6至图17是本申请实施例提供的几种滤光单元组中滤光单元的示意性排列图。

图18是本申请实施例提供的一种图像处理方法的示意性流程图。

图19是图18中图像处理方法的图像示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。

还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。

本申请实施例的技术方案可以应用于各种图像传感器，例如互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)图像传感器(CMOS image sensor，CIS)，或者电荷耦合器件(charge coupled device,CCD)图像传感器，但本申请实施例对此并不限定。

作为一种常见的应用场景，本申请实施例提供的图像传感器可以应用在智能手机、相机、摄像头、平板电脑以及其他具有成像功能的移动终端或者其他终端设备。

图1示出了一种图像传感器的结构示意图。如图1所示，该图像传感器100包括：像素单元阵列(pixel array)110，行选择电路120，列选择电路130，控制电路140，以及模数转换(analog to digital converter,ADC)电路150、前端信号处理电路160和后端信号处理电路170。

具体地，如图1所示，像素单元阵列110中的多个方形的像素单元排列成M行×N列，其中，M、N为正整数。一般来讲，在像素单元阵列110所在的平面上，该M行的行方向与N列的列方向相互垂直。在一些情况下，为了方便描述，在一个平面中，可以将相互垂直的两个方向，例如本申请中的行方向和列方向，称之为水平方向和垂直方向。

在图1所示的像素单元阵列110中，每个方形的像素单元的任意一边平行或者垂直于行方向或者列方向。

可选地，该像素单元中可以包括光电二极管和场效应开关管等器件，用于接收光信号并将该光信号转换为对应的电信号。

可选地，若图像传感器需要采集彩色图像，则可以在像素单元阵列110上方可以设置彩色滤光片阵列(color filter array，CFA)，其中，每个像素单元上方可以对应设置一个彩色滤光单元，为了方面描述，下文中，将上方设置有彩色滤光单元的像素单元也称为颜色像素单元，例如，上方设置有红色滤光单元的像素单元称为红色像素单元(图1中用R表示)，上方设置有绿色滤光单元的像素单元称为绿色像素单元(图1中用G表示)，上方设置有蓝色滤光单元的像素单元称为蓝色像素单元(图1中用B表示)。

目前，大部分图像传感器的CFA采用基于RGB三原色的拜耳(Bayer)格式，例如，如图1所示，像素单元阵列110上方设置有Bayer格式的CFA，则像素单元阵列110以2×2个像素单元为基本单元，每个基本单元中，包括1个红色像素单元，1个蓝色像素单元，2个绿色像素单元，其中，2个绿色像素单元共顶角相邻设置。

行选择电路120通过M条行控制线连接至像素单元阵列110中的每一行像素单元，可以用于开启和关闭每一行像素单元中的每个像素单元。例如，行选择电路120通过一条行控制线连接至像素单元阵列110中第一行每个像素单元的场效应开关管的栅极，通过开启或关闭场效应开关管控制光电二极管的工作状态。其中，M条行控制线均平行于水平方向。

列选择电路130连接通过N条列控制线至像素单元阵列110中的每一列像素单元，可以用于选择每一列中每个像素单元的信号值输出。例如，列选择电路130通过一条列控制线连接至像素单元阵列110中的第一列每个像素单元的场效应开关管的源极，控制输出光电二极管转换得到的电信号。其中，N条列控制线均平行于垂直方向。

控制电路140连接于该行选择电路120和列选择电路130，用于给该行选择电路120和列选择电路130提供时序，控制该行选择电路120和列选择电路130选择像素单元阵列110中的像素单元，并输出该像素单元的像素值。

可选地，上述行选择电路120、列选择电路130以及控制电路140配合输出像素单元阵列110产生的像素值之后，将该像素单元阵列110的像素值传输给ADC电路150进行模数转换，将模拟像素值转换为数字像素值形成数字图像，方便后续的信号处理电路160进行图像处理，以输出优化后的彩色图像。

可选地，该信号处理电路160可以包括但不限于是图像信号处理器(image signalprocessor，ISP)，用于对数字图像进行线性化处理、去除坏点、去除噪声、色彩校正、去马赛克(demosaic)、自动曝光控制(automatic exposure control，AEC)、自动增益控制(automatic gain control，AGC)、自动白平衡(auto white balance，AWB)等处理。

对于上述采用Bayer格式CFA的图像传感器100，红色像素单元仅能接收红色光信号，绿色像素单元仅能接收绿色光信号，蓝色像素单元仅能接收蓝色光信号，每个像素单元接收的光信号强度较小，造成图像的SNR较大，从而影响了图像质量。

基于上述问题，本申请提出一种图像传感器，在CFA中增加白色滤光单元，像素单元阵列中部分像素单元接收彩色光信号，部分像素单元接收白色光信号，从而增加部分像素单元接收的光信号强度，在此基础上对像素单元阵列中多个像素单元的像素值进行处理，在保证图像色彩信息的基础上，提高图像的SNR、动态范围等图像质量参数，得到优化的彩色图像。

图2是本申请实施例提供的一种图像传感器200的俯视示意图，图3为该图像传感器200沿A-A’方向的截面示意图。

如图2和图3所示，该图像传感器200包括：

滤光单元阵列210，包括多个滤光单元组211，该多个滤光单元组211中每个滤光单元组包括2个白色滤光单元和2个彩色滤光单元集合，其中，每个彩色滤光单元集合与每个白色滤光单元的面积相等，且每个彩色滤光单元集合中包括4个彩色滤光单元，即白色滤光单元的面积与4个彩色滤光单元面积之和相等；

像素单元阵列220，位于滤光单元阵列210下方，包括多个像素单元，该像素单元阵列中的像素单元与上述滤光单元阵列中的滤光单元一一对应。

在一种可能的实施方式中，如图3所示，滤光单元阵列210中多个滤光单元可以设置于像素单元阵列220的多个像素单元的上表面；在另一种可能的实施方式中，滤光单元阵列210中多个滤光单元还可以悬空设置于像素单元阵列220的多个像素单元的上方。

此外，如图3所示，作为示例，滤光单元阵列210中每个滤光单元对应设置于像素单元阵列220中每个像素单元的正上方，换言之，每个滤光单元的中心与其对应的像素单元的中心在垂直方向上重合。除该方式之外，滤光单元阵列210中每个滤光单元对应设置于像素单元阵列220中每个像素单元的斜上方，此时，像素单元阵列220中的每个像素单元可以接收倾斜方向的光信号，本申请实施例对滤光单元阵列210的具体位置不做限定。

该像素单元阵列220中与彩色滤光单元对应的像素单元用于接收经过该彩色滤光单元的彩色光信号，对应输出彩色像素值；该像素单元阵列220中与白色滤光单元对应的像素单元用于接收经过该白色滤光单元的白光信号，对应输出白色像素值；该彩色光信号和白光信号共同用于生成拍摄对象的目标图像。例如，与红色滤光单元对应的红色像素单元接收红色光信号，对应输出的像素值可以称为红色像素值；与白色滤光单元对应的白色像素单元接收白光信号，对应输出的像素值可以称为白色像素值。可选地，白色像素单元的面积与4个彩色像素单元的面积之和相等。

进一步地，如图4所示，图4示出了另一种图像传感器200沿A-A’方向的截面示意图。

如图4所示，除了上述滤光单元阵列210和像素单元阵列220以外，该图像传感器200还包括：

微透镜阵列230，设置于滤光单元阵列210上方，用于将拍摄对象返回的光信号汇聚至滤光单元阵列210，并减少相邻像素单元之间光信号串扰，其中，该微透镜阵列230包括多个微透镜，该多个微透镜与上述滤光单元阵列210中的多个滤光单元和上述像素单元阵列220中的多个像素单元一一对应。

在一些实施方式中，该图像传感器中的像素结构可以称之为芯片上微透镜(onchip lens，OCL)像素结构。

如图4所示，在本申请实施例中，在微透镜阵列中，包括两种尺寸的微透镜，其中，白色滤光单元上方对应的第一微透镜的半径可以为彩色滤光单元上方对应的第二微透镜的半径的2倍。

可选地，如图4所示，在该图像传感器200中，在滤光单元阵列210和像素单元阵列220之间还可以包括电介质层240，用于连接该像素单元阵列220和该滤光单元阵列210。

此外，滤光单元阵列210还可以包括位于周围的电介质215和反射栅格216；该反射栅格用于反射大角度入射的光信号，防止光信号损失。

像素单元阵列220可以包括半导体基板221和光敏元件222，其中，光敏元件222位于半导体基板221中，光敏元件222包括但不限于是光电二极管(photodiode，PD)。可选地，像素单元阵列220还可以包括两个光敏元件222之间的隔离区223，防止相邻的两个光敏元件之间的电信号干扰。

进一步地，从图4可以看出，第一微透镜对应的白色像素单元中光敏元件的感光面积大于第二微透镜对应的彩色像素单元的光敏元件的感光面积。即白色像素单元中光敏元件的感光面积可以为彩色像素单元中光敏元件的感光面积的4倍。

可以理解的是，除了图4中所示的基本结构以外，该图像传感器200还可以包括其它叠层结构，例如至少一层金属互联层，以电连接像素单元阵列中的多个像素单元等等，本申请实施例对图像传感器的结构并不限于此。

可选地，如图2所示的俯视图，实际也是本申请实施例提供的一种滤光单元阵列210的排列示意图。

如图2所示，在本申请实施例中，一个滤光单元组中每个滤光单元均为方形滤光单元，其中，4个方形的彩色滤光单元形成一个方形的彩色滤光单元集合，2个彩色滤光单元集合以及2个白色滤光单元形成方形的滤光单元组。可选地，2个白色滤光单元在滤光单元组的一条对角线上共顶角设置，2个彩色滤光单元集合在滤光单元组的另一条对角线上共顶角设置。

需要说明的是，在本申请中，白色滤光单元是指用于透过白光的滤光片或者滤光材料，在一些实施方式中，该白色滤光单元也可以为透明材料或者为空气间隙，用于透过环境中包括白光的全部光信号。具体地，该白光可以是多种有色光混合光。例如，可以将光谱中三原色的光：蓝色、红色和绿色，按一定比例混合得到白光，或者，光谱中所有可见光的混合也是白光。

对应的，彩色滤光单元是指用于透过彩色光的滤光片或者滤光材料。具体地，该彩色光可以为可见光光谱中的任一波段范围的光信号，例如，红色滤光单元可以用于透过红光，该红光可以为可见光光谱中波长范围在620nm至750nm之间的光信号。类似地，其它颜色的彩色滤光单元同样用于透过对应颜色的光信号。

通过本申请实施例的方案，由于每个滤光单元组中，同时包括白色滤光单元以及彩色滤光单元，其中，白色滤光单元的面积为4个彩色滤光单元面积之和，在保证图像色彩信息的同时，还能提升图像动态范围以及进光量，进而提升图像传感器的性能。另外，在后续图像处理过程中，能够减小像素数据量，能够提升图像处理速度以进一步提升图像传感器性能。

可选地，在一些实施方式中，滤光单元组中可以包括三种颜色的彩色滤光单元(第一彩色滤光单元、第二彩色滤光单元以及第三彩色滤光单元)，例如，可以是三原色滤光单元，即红、绿、蓝(red green blue，RGB)三种颜色的滤光单元，或者，也可以是三补色滤光单元，即青、品红、黄(cyan magenta yellow，CMY)三种颜色的滤光单元，或者，还可以为一种原色两种补色，或者一种补色两种原色的滤光单元。

在滤光单元组中包括三种颜色的滤光单元的情况下，透过该三种颜色的滤光单元的三种颜色的光信号可以覆盖可见光波段，本申请实施例对滤光单元的具体颜色不做限定。

为了方便描述，下文中，以滤光单元组211中包括红、绿、蓝三种颜色的彩色滤光单元为例进行说明，在滤光单元组包括其它三种颜色的彩色滤光单元时，可以参见下文的技术方案。

图5示出了一种滤光单元组211中滤光单元的示意性排列图。

如图5所示，滤光单元组211中的包括白色滤光单元201，红色滤光单元202，绿色滤光单元203以及蓝色滤光单元204，可选地，白色滤光单元201的数量、绿色滤光单元203的数量、红色滤光单元202的数量以及蓝色滤光单元204的数量之比为1：2：1：1。

可选地，白色滤光单元201位于滤光单元组211中右上角以及左下角的位置，对应的彩色滤光单元集合位于滤光单元组211中左上角以及右下角的位置。

在一些实施方式中，在滤光单元组211中，每个彩色滤光单元集合中包括2种颜色的彩色滤光单元。

例如，位于滤光单元组左上角的第一彩色滤光单元中包括绿色滤光单元203以及红色滤光单元202；位于滤光单元组右下角的第二彩色滤光单元中包括绿色滤光单元203以及蓝色滤光单元204。

可选地，在每个彩色滤光单元集合中，相同颜色的彩色滤光单元共顶角设置。

例如，在图5中，第一彩色滤光单元集合中的2个绿色滤光单元以及2个红色滤光单元共顶角排列，且第二彩色滤光单元集合中的2个绿色滤光单元以及2个蓝色滤光单元也共顶角排列。

进一步地，在两个彩色滤光单元集合中，相同颜色的彩色滤光单元的相对位置关系相同。

例如，在图5中，第一彩色滤光单元集合中的2个绿色滤光单元呈45°共顶角排列，第二彩色滤光单元集合中的2个绿色滤光单元同样呈45°共顶角排列。在两个彩色滤光单元集合中，绿色滤光单元的相对位置关系相同。

可选地，基于图5中白色滤光单元201位置不变，可以对图5中不同颜色的彩色滤光单元的位置进行变换。

可选地，在图5的基础上，保持其中白色滤光单元与绿色滤光单元的位置不变，改变其中红色滤光单元和蓝色滤光单元的位置。

例如，图6示出了几种变换后的滤光单元组的示意性排列图。

在图6所示的几种滤光单元组中，除图6中的(a)图以外，在图6中的(b)和(c)图的几种滤光组中，每个彩色滤光单元集合包括2个绿色滤光单元、1个红色滤光单元和1个蓝色滤光单元，且两个彩色滤光单元集合中，红色滤光单元的相对位置关系不同，蓝色滤光单元的相对位置关系也不同。

可选地，在图5的基础上，保持其中白色滤光单元的位置不变，还可以进一步改变其中绿色滤光单元、红色滤光单元和蓝色滤光单元的位置，得到更多种滤光单元组的排列形式。

例如，图7示出了几种变换后的滤光单元组的示意性排列图。

如图7中的(a)至(b)，(d)至(e)，(g)至(h)中，其中一个彩色滤光单元集合包括2个共顶角的绿色滤光单元以及2个共顶角的红色滤光单元，另一个彩色滤光单元集合包括2个共顶角的绿色滤光单元以及2个共顶角的蓝色滤光单元。

在图7中的(d)至(f)中，滤光单元组的一条对角线上设置有4个绿色滤光单元，另一条对角线上设置有2个白色滤光单元。

在该实施方式中，绿色滤光单元和白色滤光单元排列于滤光单元组的对角线上，有利于图像处理中图像细节/图像纹路信息的还原，提高图像质量。

如图7中的(c)，(f)和(i)中，每个彩色滤光单元包括2个绿色滤光单元、1个红色滤光单元和1个蓝色滤光单元。

可以理解的是，对于本申请每一种滤光单元组，将经过几何变换，例如旋转后的滤光单元组同样在本申请的保护范围内。

例如，对于图5所示的滤光单元组，将其顺时针旋转90°或者逆时针旋转90°后，可以形成图8所示的两种滤光单元组。

如图8所示，白色滤光单元201位于滤光单元组211中左上角以及右下角的位置，对应的彩色滤光单元集合位于滤光单元组211中右上角以及左下角的位置。

还可以理解的是，除了图5以外，上述图6至图7中任意一种滤光单元组经过旋转后形成的滤光单元组同样属于本申请的保护范围，此处不再一一列举示出。

上文中各实施例的滤光单元组均是基于图5为基础进行变换得到的，除了上文列举出来的结构以外，本申请的滤光单元组还可以为图9中虚线框所示的滤光单元组211。

可以理解的是，图9中的滤光单元组211与图2中的滤光单元组211可以形成中心区域相同的滤光单元阵列，差别仅在于滤光单元阵列210最外围一圈或两圈的滤光单元的排列形式不同，因此，可以将图2和图9中的滤光单元组211形成的滤光单元阵列等价为相同的滤光单元阵列。

因此，在本申请中，可以将图2中的滤光单元阵列210中的任意相邻的2个白色滤光单元和2个彩色滤光单元集合划分为一个滤光单元组，任意一种划分情况下的滤光单元组均在本申请的保护范围之内。

类似地，本申请中任意一种滤光单元组形成的滤光单元阵列也同样在本申请的保护范围之内。

参见图9中所示的滤光单元组，在图9所示的滤光单元组211中，白色滤光单元201位于滤光单元组211中左上角以及右下角的位置，对应的彩色滤光单元集合位于滤光单元组211中右上角以及左下角的位置。

可选地，在该滤光单元组211中，每个彩色滤光单元集合中包括2种颜色的彩色滤光单元。

例如，在图9中，右上角的第一彩色滤光单元中包括绿色滤光单元203以及蓝色滤光单元204；左下角的第二彩色滤光单元中包括绿色滤光单元203以及红色滤光单元202。

进一步地，第一彩色滤光单元集合与第二彩色滤光单元集合中的2个绿色滤光单元均呈45°共顶角排列。另外，第一彩色滤光单元集合中的2个蓝色滤光单元呈-45°共顶角排列，且第二彩色滤光单元集合中的2个红色滤光单元呈-45°共顶角排列。

类似地，基于图9中白色滤光单元201的位置不变，可以对图9中不同颜色的彩色滤光单元的位置进行变换。

可选地，可以在图9的基础上，保持其中白色滤光单元与绿色滤光单元的位置不变，改变其中红色滤光单元和蓝色滤光单元的位置。

可选地，也可以在图9的基础上，保持其中白色滤光单元的位置不变，还可以进一步改变其中绿色滤光单元、红色滤光单元和蓝色滤光单元的位置，得到更多种滤光单元组的排列形式。

例如，图10示出了几种变换后的滤光单元组的排列形式。

具体的变换形式可以参见上文图6和图7的示意图，此处不再赘述。

在上述申请实施例中，每个彩色滤光单元集合中的相同颜色的彩色滤光单元共顶角设置。

除了该方式外，在每个彩色滤光单元集合中，相同颜色的彩色滤光单元也可以共边设置。

图11示出了另一种滤光单元阵列210及其滤光单元组211中滤光单元的示意性排列图。

在图11中，位于滤光单元组左上角的第一彩色滤光单元集合中的2个绿色滤光单元以及2个红色滤光单元共边排列，且第二彩色滤光单元集合中的2个绿色滤光单元以及2个蓝色滤光单元也共边排列。

可选地，在第一彩色滤光单元集合和第二彩色滤光单元集合中，相同颜色的彩色滤光单元的相对位置关系不同。

例如，如图11所示，在该滤光单元组中，在第一彩色滤光单元集合中，2个绿色滤光单元位于第二排，在第二彩色滤光单元集合中，2个绿色滤光单元位于第一排，在滤光单元组中心，2个绿色滤光单元共顶角排列。

在图11所示的滤光单元组中，一条对角线上依次设置有1个红色滤光单元，2个共顶角相邻的绿色滤光单元以及1个蓝色滤光单元，另一条对角线上设置有2个白色滤光单元。

可选地，基于图11中白色滤光单元201位置不变，可以对图11中不同颜色的彩色滤光单元的位置进行变换。

图12示出了几种变换后的滤光单元组的示意性排列图。

如图12所示，几种滤光单元组中，白色滤光单元与绿色滤光单元的位置与图11相同，改变了红色滤光单元和蓝色滤光单元的位置。

可选地，在图11的基础上，还可以进一步改变绿色滤光单元的位置，得到更多种滤光单元组的排列形式。

图13示出了另几种变换后的滤光单元组的示意性排列图。

如图13所示，几种滤光单元组中，白色滤光单元的位置与图11相同，改变了其中绿色滤光单元、红色滤光单元和蓝色滤光单元的位置。

可选地，在图13中示出了几种滤光单元组中，每个彩色滤光单元集合包括2种颜色的滤光单元，且每个彩色滤光单元集合中相同颜色的滤光单元共边相邻排列。

可选地，除了图13中示出的几种滤光单元组以外，在保持其中白色滤光单元和绿色滤光单元的位置不变的情况下，每个彩色滤光单元集合中还可以包括3种颜色的滤光单元，即包括2个绿色滤光单元、1个红色滤光单元以及1个蓝色滤光单元。

可以理解的是，对于上述图11至图13中每一种滤光单元组，将其旋转后或者对称变换后的滤光单元组同样在本申请的保护范围内。

例如，图14示出了以垂直方向为对称轴，将上述滤光单元组进行对称变换后的滤光单元组。

在上述申请实施例中，每个彩色滤光单元集合中包括2种颜色的彩色滤光单元。

除此实施方式以外，在本申请实施例中，一个彩色滤光单元集合中包括2种颜色的彩色滤光单元，另一个彩色滤光单元集合包括同一种颜色的彩色滤光单元。

图15示出了另一种滤光单元阵列210及其滤光单元组211中滤光单元的示意性排列图。

在图15中，位于滤光单元组左上角的第一彩色滤光单元中包括4个绿色滤光单元203；位于滤光单元组右下角的第二彩色滤光单元中包括2个红色滤光单元202以及2个蓝色滤光单元204。

可选地，在第二彩色滤光单元集合中，相同颜色的彩色滤光单元共边相邻设置。

例如，如图15所示，在第二彩色滤光单元中，2个红色滤光单元共边相邻，且2个蓝色滤光单元共边相邻。

在图15所示的滤光单元组中，一条对角线上依次设置有2个共顶角相邻的绿色滤光单元，1个红色滤光单元以及1个蓝色滤光单元，另一条对角线上设置有2个白色滤光单元。

可选地，在图15的基础上，保持其中白色滤光单元与绿色滤光单元的位置不变，改变其中红色滤光单元和蓝色滤光单元的位置，或者，保持其中白色滤光单元的位置不变，改变其中绿色滤光单元、红色滤光单元和蓝色滤光单元的位置。

例如，图16示出了几种变换后的滤光单元组的示意性排列图。

可以理解的是，对于上述图15至图16中每一种滤光单元组，将其旋转后或者对称变换后的滤光单元组同样在本申请的保护范围内。

例如，图17示出了以垂直方向为对称轴，将上述滤光单元组进行对称变换后的滤光单元组。

可以理解的是，本申请中的滤光单元组除了可以为图11和图15中示出了滤光单元组211外，还可以将图11和图15中的滤光单元阵列210中的任意相邻的2个白色滤光单元和2个彩色滤光单元集合划分为一个滤光单元组，任意一种划分情况下的滤光单元组均在本申请的保护范围之内。

上文结合图2至图17介绍了本申请中图像传感器200的基本结构以及其中多种滤光单元组211的排列示意图，下文结合图18和图19介绍针对本申请的图像传感器200的图像处理方法。

图18示出了一种图像处理方法的示意性流程图。图19示出了经过图18中图像处理方法的图像示意图。

如图18所示，该图像处理方法10包括：

S110：对像素单元阵列形成的图像进行子采样，获取包括彩色像素值的第一采样图与包括白色像素值的第二采样图。

作为示例，图19中的1#图为像素单元阵列中对应于一个滤光单元组的一个像素单元组产生的图像。

在图19中的1#图中，白色像素值101为白色像素单元接收白光信号后产生的像素值，其上方对应设置的是白色滤光单元201，红色像素值102为红色像素单元接收红光信号后产生的像素值，其上方对应设置的是红色滤光单元202；类似地，绿色像素值103为绿色像素单元接收绿光信号后产生的像素值，其上方对应设置的是绿色滤光单元203，蓝色像素值104为蓝色像素单元接收红光信号后产生的像素值，其上方对应设置的是蓝色滤光单元204。

图19中的2#图为对1#图中的红色像素值、绿色像素值以及蓝色像素值进行子采样后的第一采样图，图19中的3#图为对1#图中的白色像素值进行子采样后的第二采样图。在第一采样图和第二采样图中，像素值的相对位置关系与原始图像1#图中的像素值的相对位置关系一致。

S120：对第一采样图和第二采样图进行数据处理，获取第一图像和第二图像。

作为示例，图19中的4#图为第一采样图(2#图)经过数据处理后的第一图像，可以看出，经过数据处理后得到的第一图像为拜耳(Bayer)格式的数据图像。

由于经过数据处理后的第一图像为目前图像处理领域较为常用的Bayer格式，因此该第一图像能够适用于更多类型的图像信号处理器(ISP)，从而使得本申请中图像传感器可以与更多的ISP适配，适用于更多的应用场景。

可选地，可以将第一采样图中的4个绿色像素值进行处理，得到拜耳数据图像中呈对角排列的2个绿色像素值，将第一采样图中的2个红色像素值进行处理，得到拜耳数据图像中的1个红色像素值，将第一采样图中的2个蓝色像素值进行处理，得到拜耳数据图像中的1个蓝色像素值。经过本步骤中的数据处理后，图像的像素值变少，图像分辨率变为之前的一半，有利于图像数据的处理速度，优化用户体验。

图19中的5#图为第二采样图(3#图)经过数据处理后的第二图像，可选地，该第二图像可以包括对应于第一采样图(4#图)中4个彩色像素值的4个白色像素值。可以采用插值算法将第二采样图(3#图)中的2个白色像素值进行插值处理，得到第二图像的4个白色像素值。该插值过程可以采用现有技术中的任意一种插值算法，本申请实施例对此不作限定。

可选地，该第二图像也可以仅包括一个白色像素值，该一个白色像素值对应于第一采样图中4个彩色像素值，该一个白色像素值可以根据第二采样图中2个白色像素值得到，其包括但不限于是第二采样图中2个白色像素值的均值或者最大值。

可以理解的是，由于该第二采样图和第二图像不用于表征图像中的颜色信息，而用于提高图像的亮度。在本申请实施例中，白色像素值均匀的分布于图像中，具有较高的空间采样率，有利于提高图像的分辨率以及图像质量。

S130：将第一图像与第二图像进行融合，得到优化后的彩色图像。

可选地，该第一图像的分辨率与第二图像的分辨率相同。

作为示例，将图19中的4#图与5#图进行图像融合得到优化的彩色图像6#，进行图像融合后的彩色图像在保证图像颜色信息的同时能更好地保持亮度信息，从而可以有效地提升低光照条件下的图像质量。

可以理解的是，上述图像处理方法10可以通过处理器或者处理电路进行实现，换言之，可选地，在上述图像传感器中，还可以包括处理单元，该处理单元用于实现上述图像处理方法10。

除了上述申请实施例提供的图像传感器200以外，本申请还提供一种电子设备，该电子设备可以包括上述任一种实施例中的图像传感器200。

该电子设备可以为任意具有图像采集功能的电子设备，例如，其具体可以为手机、电脑等移动终端，也可以为相机、摄像机等拍摄设备，还可以为自动取款机(AutomatedTeller Machine，ATM)等等，本申请对电子设备的应用场景不做限定。

可选地，上述用于执行图像处理方法10的处理单元可以不位于图像传感器200中，而位于图像传感器200所在的电子设备中的处理单元中，例如，若电子设备为手机，则该处理单元可以为手机中处理器中的图像信号处理单元，或者该处理单元也可以为手机中单独的图像信号处理芯片，本申请实施例对处理单元的具体硬件形态不做限定。

应理解，本申请实施例的处理器或者处理单元可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例的图像传感器还可以包括存储器，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (27)

1.一种图像传感器，其特征在于，包括：

滤光单元阵列，包括多个滤光单元组，所述多个滤光单元组中每个滤光单元组包括2个白色滤光单元和2个彩色滤光单元集合，其中，每个彩色滤光单元集合与每个白色滤光单元的面积相等，且每个彩色滤光单元集合中包括4个彩色滤光单元；

像素单元阵列，包括多个像素单元，所述像素单元阵列位于所述滤光单元阵列下方，所述像素单元阵列中多个像素单元与所述滤光单元阵列中多个滤光单元一一对应。

2.根据权利要求1所述的图像传感器，其特征在于，所述滤光单元组包括不同颜色的第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元，所述第一彩色滤光单元的数量与所述第二彩色滤光单元与所述第三彩色滤光单元的数量之和相等。

3.根据权利要求2所述的图像传感器，其特征在于，在所述滤光单元组中，所述第二彩色滤光单元的数量与所述第三彩色滤光单元的数量相等。

4.根据权利要求3所述的图像传感器，其特征在于，在所述滤光单元组中，所述2个白色滤光单元共顶角相邻设置，且所述2个彩色滤光单元集合共顶角相邻设置。

5.根据权利要求4所述的图像传感器，其特征在于，在所述2个彩色滤光单元集合中，第一彩色滤光单元集合包括2个所述第一彩色滤光单元和2个所述第二彩色滤光单元，第二彩色滤光单元集合包括2个所述第一彩色滤光单元和2个所述第三彩色滤光单元。

6.根据权利要求5所述的图像传感器，其特征在于，在每个彩色滤光单元集合中，相同颜色的彩色滤光单元共顶角相邻设置。

7.根据权利要求6所述的图像传感器，其特征在于，在所述2个彩色滤光单元集合中，相同颜色的彩色滤光单元的相对位置关系相同。

8.根据权利要求7所述的图像传感器，其特征在于，在所述滤光单元组中，一条对角线上设置有4个所述第一彩色滤光单元，另一条对角线上设置有2个所述白色滤光单元。

9.根据权利要求7所述的图像传感器，其特征在于，在所述滤光单元组中，一条对角线上设置有2个共顶角相邻的所述第二彩色滤光单元以及2个共顶角相邻的所述第三彩色滤光单元，另一条对角线上设置有2个白色滤光单元。

10.根据权利要求5所述的图像传感器，其特征在于，在每个彩色滤光单元集合中，相同颜色的彩色滤光单元共边相邻设置。

11.根据权利要求10所述的图像传感器，其特征在于，在所述2个彩色滤光单元集合中，相同颜色的彩色滤光单元的相对位置关系不同。

12.根据权利要求11所述的图像传感器，其特征在于，在所述滤光单元组中，一条对角线上依次设置有1个所述第二彩色滤光单元，2个共顶角相邻的所述第一彩色滤光单元以及1个所述第三彩色滤光单元，另一条对角线上设置有2个所述白色滤光单元。

13.根据权利要求4所述的图像传感器，其特征在于，在所述2个彩色滤光单元集合中，第一彩色滤光单元集合包括4个所述第一彩色滤光单元，第二彩色滤光单元集合包括2个所述第二彩色滤光单元和2个所述第三彩色滤光单元。

14.根据权利要求13所述的图像传感器，其特征在于，在所述第二彩色滤光单元集合中，相同颜色的彩色滤光单元共边相邻设置。

15.根据权利要求14所述的图像传感器，其特征在于，在所述滤光单元组中，一条对角线上依次设置有2个共顶角相邻的所述第一彩色滤光单元，1个所述第二彩色滤光单元以及1个所述第三彩色滤光单元，另一条对角线上设置有2个所述白色滤光单元。

16.根据权利要求2至15中任一项所述的图像传感器，其特征在于，所述第一彩色滤光单元、所述第二彩色滤光单元以及所述第三彩色滤光单元用于分别通过三种颜色的光信号，所述三种颜色的光信号波段覆盖可见光波段。

17.根据权利要求16所述的图像传感器，其特征在于，所述第一彩色滤光单元、所述第二彩色滤光单元以及所述第三彩色滤光单元的颜色分别为红、绿、蓝、青、品红、黄中的三种颜色。

18.根据权利要求17所述的图像传感器，其特征在于，所述第一彩色滤光单元为绿色滤光单元、所述第二彩色滤光单元和所述第三彩色滤光单元分别为红色滤光单元和蓝色滤光单元。

19.根据权利要求1至15中任一项所述的图像传感器，其特征在于，所述图像传感器还包括：

微透镜阵列，包括多个微透镜，所述微透镜阵列位于所述滤光单元阵列上方，用于将拍摄对象返回的光信号汇聚至所述滤光单元阵列，其中，所述微透镜阵列中的多个微透镜与所述滤光单元阵列中的多个滤光单元一一对应。

20.根据权利要求19所述的图像传感器，其特征在于，所述微透镜阵列中第一微透镜对应于所述滤光单元阵列中的白色滤光单元，所述微透镜阵列中第二微透镜对应于所述滤光单元阵列中的彩色滤光单元；

其中，所述第一微透镜的半径为所述第二微透镜的半径的2倍。

21.根据权利要求1至15中任一项所述的图像传感器，其特征在于，其特征在于，所述像素单元阵列中白色像素单元对应于所述滤光单元阵列中的白色滤光单元，所述像素单元阵列中彩色像素单元对应于所述滤光单元阵列中的彩色滤光单元；

其中，所述第一像素单元的面积为所述第二像素单元的面积的4倍。

22.根据权利要求1至15中任一项所述的图像传感器，其特征在于，所述像素单元阵列中的彩色像素单元的像素值用于生成所述拍摄对象的第一图像数据，所述像素单元阵列中的白色像素单元的像素值用于生成拍摄对象的第二图像数据，所述第一图像数据和所述第二图像数据用于合成所述拍摄对象的目标图像；

其中，所述白色像素单元为对应于所述白色滤光单元的像素单元，所述彩色像素单元为对应于所述彩色滤光单元的像素单元。

23.根据权利要求22所述的图像传感器，其特征在于，所述像素单元阵列中的彩色像素单元的像素值用于通过数据处理生成拜耳格式的第一图像数据。

24.根据权利要求22所述的图像传感器，其特征在于，所述第一图像数据的分辨率为所述像素单元阵列的分辨率的一半。

25.根据权利要求22所述的图像传感器，其特征在于，所述第二图像数据和所述第一图像数据的分辨率相同；或者，

所述第二图像数据的分辨率为所述第一图像数据的分辨率的一半。

26.根据权利要求1至15中任一项所述的图像传感器，其特征在于，所述图像传感器为互补金属氧化物半导体CMOS图像传感器，或者为电荷耦合器件CCD图像传感器。

27.一种电子设备，其特征在于，包括：

如权利要求1至26中任意一项所述的图像传感器。

Images