CN212752379U - 图像传感器和电子设备 - Google Patents

Abstract

提供了一种图像传感器和电子设备，能够提高图像传感器的性能。该图像传感器，包括：滤光单元阵列，包括多个滤光单元组，该多个滤光单元组中每个滤光单元组包括4×4个滤光单元；其中，在4×4个滤光单元中，每一行、每一列以及每条对角线上均包括2个白色滤光单元和2个彩色滤光单元；像素单元阵列，包括多个像素单元，该像素单元阵列位于该滤光单元阵列下方，且该像素单元阵列中多个像素单元与该滤光单元阵列中多个滤光单元一一对应。通过该方案，白色滤光单元与彩色滤光单元在滤光单元阵列中均匀分布，不仅便于后续图像算法进行图像处理，有利于图像颜色恢复，避免产生彩色莫尔条纹，还能够进一步提高图像的SNR、分辨率等图像质量参数。

Description

图像传感器和电子设备

本申请要求2020年5月15日提交中国专利局、申请号为202010410639.2、发明名称为“图像传感器和电子设备”的中国发明申请的优先权，其全部内容通过应用结合在本申请中。

技术领域

本申请涉及传感器领域，并且更具体地，涉及一种图像传感器和电子设备。

背景技术

图像传感器是一种将光学图像转换为数字信号的电子装置，其通常包括由多个像素单元组成的像素阵列，像素阵列中的每个像素单元用于形成图像中的一个像素值。为了使得图像传感器能够采集彩色图像，可以在像素单元上方设置彩色滤光片(color filter，CF)，使得像素单元可以接收特定颜色的光信号，形成对应于该特定颜色光信号的像素值。

但在设置彩色滤光片的同时，每个像素单元接收的光量变少，造成图像信噪比(signal-to-noise ratio，SNR)变小，影响图像质量。且若图像传感器应用于移动设备中，该图像传感器尺寸受限，对应的像素阵列的感光面积也受限，所以在低光照环境中下，图像质量将会进一步受限。

实用新型内容

本申请实施例提供了一种图像传感器和电子设备，旨在解决低光照环境下图像传感器获取的图像质量较差的问题。

第一方面，提供一种图像传感器，包括：滤光单元阵列，包括多个滤光单元组，该多个滤光单元组中每个滤光单元组包括4×4个滤光单元；其中，在该4×4个滤光单元中，每一行、每一列以及每条对角线上均包括2个白色滤光单元以及2个彩色滤光单元；

像素单元阵列，包括多个像素单元，该像素单元阵列位于该滤光单元阵列下方，且该像素单元阵列中多个像素单元与该滤光单元阵列中多个滤光单元一一对应。

通过本申请实施例的方案，由于每个滤光单元组中，每一行、每一列以及每条对角线上均包括2个白色滤光单元以及2个彩色滤光单元，因此，多个滤光单元组形成的滤光单元阵列在每一行、每一列以及斜方向同样均包括白色滤光单元以及彩色滤光单元两种形式的滤光单元，白色滤光单元与彩色滤光单元在滤光单元阵列中均匀分布，不仅便于后续图像算法进行图像处理，有利于图像颜色恢复，降低图像颜色损失，避免产生彩色莫尔条纹，还能够获取更为准确的全分辨率灰度图像，进一步提高图像的SNR、分辨率等图像质量参数。

在一些可能的实施方式中，该滤光单元组包括不同颜色的第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元，该第一彩色滤光单元的数量等于该第二彩色滤光单元与该第三彩色滤光单元的数量之和。

在一些可能的实施方式中，在该滤光单元组中，该第二彩色滤光单元的数量等于该第三彩色滤光单元的数量。

在一些可能的实施方式中，在该滤光单元组中，每一行中的2个彩色滤光单元颜色不同，且每一列中的2个彩色滤光单元的颜色不同。

在一些可能的实施方式中，在该滤光单元组的每一行中，2个白色滤光单元与2个彩色滤光单元间隔设置；在该滤光单元组的每一列中，2个白色滤光单元连续设置，且2个彩色滤光单元连续设置。

在一些可能的实施方式中，该滤光单元组中相同颜色的彩色滤光单元呈中心对称排列。

在一些可能的实施方式中，该滤光单元组的中间两行中设置有2个目标滤光单元集合，该目标滤光单元集合包括共顶角设置的2个相同颜色的彩色滤光单元。

在一些可能的实施方式中，在该滤光单元组中，该白色滤光单元分别位于第一行第二列、第一行第四列、第二行第二列、第二行第四列、第三上第一列、第三行第三列、第四行第一列、第四行第三列；该第二彩色滤光单元分别位于第二行第一列和第三行第二列；该第一彩色滤光单元分别位于第一行第一列、第二行第三列、第三行第四列、第四行第二列；该第三彩色滤光单元分别位于第一行第三列和第四行第四列。

在一些可能的实施方式中，在该滤光单元组的每一行中，2个白色滤光单元与2个彩色滤光单元间隔设置；在该滤光单元组间隔的两列中，2个白色滤光单元连续设置，且2个彩色滤光单元分离设置；在该滤光单元组间隔的另两列中，2个白色滤光单元分离设置，且2个彩色滤光单元连续设置。

在一些可能的实施方式中，该滤光单元组的中间两列设置有2个目标滤光单元集合，该目标滤光单元集合包括共顶角设置的2个相同颜色的彩色滤光单元。

在一些可能的实施方式中，该滤光单元组中设置有4个目标滤光单元集合，该目标滤光单元集合包括共顶角设置的2个相同颜色的彩色滤光单元。

在一些可能的实施方式中，在该滤光单元组中，该白色滤光单元分别位于第一行第二列、第一行第四列、第二行第一列、第二行第三列、第三上第一列、第三行第三列、第四行第二列、第四行第四列；该第二彩色滤光单元分别位于第一行第三列和第二行第四列；该第一彩色滤光单元分别位于第一行第一列、第二行第二列、第三行第四列、第四行第三列；该第三彩色滤光单元分别位于第三行第一列和第四行第一列。

在一些可能的实施方式中，该第一彩色滤光单元、该第二彩色滤光单元以及该第三彩色滤光单元用于分别通过三种颜色的光信号，该三种颜色的光信号波段覆盖可见光波段。

在一些可能的实施方式中，该第一彩色滤光单元、该第二彩色滤光单元以及该第三彩色滤光单元的颜色分别为红、绿、蓝、青、品红、黄中的三种颜色。

在一些可能的实施方式中，该第一彩色滤光单元为绿色滤光单元、该第二彩色滤光单元和该第三彩色滤光单元分别为红色滤光单元和蓝色滤光单元。

在一些可能的实施方式中，该图像传感器还包括：微透镜阵列，包括多个微透镜，该微透镜阵列位于该滤光单元阵列上方，用于将拍摄对象返回的光信号汇聚至该滤光单元阵列，其中，该微透镜阵列中的多个微透镜与该滤光单元阵列中的多个滤光单元一一对应。

在一些可能的实施方式中，该像素阵列中的白色像素单元的像素值用于生成拍摄对象的第一图像数据，该像素阵列中的彩色像素单元的像素值用于生成该拍摄对象的第二图像数据，该第一图像数据和该第二图像数据用于合成该拍摄对象的目标图像；其中，该白色像素单元为对应于该白色滤光单元的像素单元，该彩色像素单元为对应于该彩色滤光单元的像素单元。

在一些可能的实施方式中，该像素阵列中的彩色像素单元的像素值用于通过插值处理生成中间图像，该中间图像用于通过重排马赛克Remosaic处理生成拜耳Bayer格式的该第二图像数据。

在一些可能的实施方式中，在该中间图像的2×2个像素值中，2个像素值为该彩色像素单元的原始像素值，另2个像素值为经过插值处理得到的像素值。

在一些可能的实施方式中，该第一图像数据和该第二图像数据的分辨率相同。

在一些可能的实施方式中，该图像传感器为互补金属氧化物半导体CMOS图像传感器，或者为电荷耦合器件CCD图像传感器。

第二方面，提供一种电子设备，包括：上述第一方面或者第一方面中任一种可能的实施方式中的图像传感器。

附图说明

图1是本申请实施例提供的一种图像传感器的结构示意图。

图2是本申请实施例提供的另一图像传感器的俯视示意图。

图3是图2中的图像传感器沿A-A’方向的一种截面示意图。

图4是图2中的图像传感器沿A-A’方向的另一种截面示意图。

图5是本申请实施例提供的一种滤光单元阵列中滤光单元的示意性排列图。

图6至图14是本申请实施例提供的几种滤光单元组中滤光单元的示意性排列图。

图15是本申请实施例提供的一种图像处理方法的示意性流程图。

图16是图15中图像处理方法的图像示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。

还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。

本申请实施例的技术方案可以应用于各种图像传感器，例如互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)图像传感器(CMOS image sensor，CIS)，或者电荷耦合器件(charge coupled device,CCD)图像传感器，但本申请实施例对此并不限定。

作为一种常见的应用场景，本申请实施例提供的图像传感器可以应用在智能手机、相机、摄像头、平板电脑以及其他具有成像功能的移动终端或者其他终端设备。

图1示出了一种图像传感器的结构示意图。如图1所示，该图像传感器100包括：像素阵列(pixel array)110，行选择电路120，列选择电路130，控制电路140，以及模数转换(analog to digital converter,ADC)电路150、前端信号处理电路160和后端信号处理电路170。

具体地，如图1所示，像素阵列110中的多个方形的像素单元排列成M行×N列，其中，M、N为正整数。一般来讲，在像素阵列110所在的平面上，该M行的行方向与N列的列方向相互垂直。在一些情况下，为了方便描述，在一个平面中，可以将相互垂直的两个方向，例如本申请中的行方向和列方向，称之为水平方向和垂直方向。

在图1所示的像素单元阵列110中，每个方形的像素单元的任意一边平行或者垂直于行方向或者列方向。

可选地，该像素单元中可以包括光电二极管和场效应开关管等器件，用于接收光信号并将该光信号转换为对应的电信号。

可选地，若图像传感器需要采集彩色图像，则可以在像素单元阵列110上方可以设置彩色滤光片阵列(color filter array，CFA)，其中，每个像素单元上方可以对应设置一个彩色滤光单元，为了方面描述，下文中，将上方设置有彩色滤光单元的像素单元也称为颜色像素单元，例如，上方设置有红色滤光单元的像素单元称为红色像素单元(图1中用R表示)，上方设置有绿色滤光单元的像素单元称为绿色像素单元(图1中用G表示)，上方设置有蓝色滤光单元的像素单元称为蓝色像素单元(图1中用B表示)。

目前，大部分图像传感器的CFA采用基于RGB三原色的拜耳(Bayer)格式，例如，如图1所示，像素单元阵列110上方设置有Bayer格式的CFA，则像素单元阵列110以2×2个像素单元为基本单元，每个基本单元中，包括1个红色像素单元，1个蓝色像素单元，2个绿色像素单元，其中，2个绿色像素单元共顶角相邻设置。

行选择电路120通过M条行控制线连接至像素单元阵列110中的每一行像素单元，可以用于开启和关闭每一行像素单元中的每个像素单元。例如，行选择电路120通过一条行控制线连接至像素单元阵列110中第一行每个像素单元的场效应开关管的栅极，通过开启或关闭场效应开关管控制光电二极管的工作状态。其中，M条行控制线均平行于水平方向。

列选择电路130连接通过N条列控制线至像素单元阵列110中的每一列像素单元，可以用于选择每一列中每个像素单元的信号值输出。例如，列选择电路130通过一条列控制线连接至像素单元阵列110中的第一列每个像素单元的场效应开关管的源极，控制输出光电二极管转换得到的电信号。其中，N条列控制线均平行于垂直方向。

控制电路140连接于该行选择电路120和列选择电路130，用于给该行选择电路120和列选择电路130提供时序，控制该行选择电路120和列选择电路130选择像素单元阵列110中的像素单元，并输出该像素单元的像素值。

可选地，上述行选择电路120、列选择电路130以及控制电路140配合输出像素单元阵列110产生的像素值之后，将该像素单元阵列110的像素值传输给ADC电路150进行模数转换，将模拟像素值转换为数字像素值形成数字图像，方便后续的信号处理电路160进行图像处理，以输出优化后的彩色图像。

可选地，该信号处理电路160可以包括但不限于是图像信号处理器(image signalprocessor，ISP)，用于对数字图像进行线性化处理、去除坏点、去除噪声、色彩校正、去马赛克(demosaic)、自动曝光控制(automatic exposure control，AEC)、自动增益控制(automatic gain control，AGC)、自动白平衡(auto white balance，AWB)等处理。

对于上述采用Bayer格式CFA的图像传感器100，红色像素单元仅能接收红色光信号，绿色像素单元仅能接收绿色光信号，蓝色像素单元仅能接收蓝色光信号，每个像素单元接收的光信号强度较小，造成图像的SNR较大，从而影响了图像质量。

且对于Bayer格式CFA的图像传感器，其图像中亮度的高频信息与色度信息容易发生交叠，就会发生颜色混叠(color aliasing)，容易产生彩色莫尔条纹(color moire)。

基于上述问题，本申请提出一种图像传感器，在CFA中增加白色滤光单元，像素单元阵列中部分像素单元接收彩色光信号，部分像素单元接收白色光信号，从而增加部分像素单元接收的光信号强度，在此基础上对像素单元阵列中多个像素单元的像素值进行处理，在保证图像色彩信息的基础上，提高图像的SNR、分辨率等图像质量参数，得到优化的彩色图像。

图2是本申请实施例提供的一种图像传感器200的示意性俯视图，图3为该图像传感器200沿A-A’方向的示意性截面图。

如图2和图3所示，该图像传感器200包括：

滤光单元阵列210，包括多个滤光单元组211，该多个滤光单元组211中每个滤光单元组包括4×4个滤光单元；

在该4×4个滤光单元中，每一行、每一列以及每条对角线上均包括2个白色滤光单元以及2个彩色滤光单元。

像素单元阵列220，位于滤光单元阵列210下方，包括多个像素单元，该像素单元阵列220中的多个像素单元与上述滤光单元阵列210中的多个滤光单元一一对应。

在一种可能的实施方式中，如图3所示，滤光单元阵列210中多个滤光单元可以设置于像素单元阵列220的多个像素单元的上表面；在另一种可能的实施方式中，滤光单元阵列210中多个滤光单元还可以悬空设置于像素单元阵列220的多个像素单元的上方。

此外，如图3所示，作为示例，滤光单元阵列210中每个滤光单元对应设置于像素单元阵列220中每个像素单元的正上方，换言之，每个滤光单元的中心与其对应的像素单元的中心在垂直方向上重合。除该方式之外，滤光单元阵列210中每个滤光单元对应设置于像素单元阵列220中每个像素单元的斜上方，此时，像素单元阵列220中的每个像素单元可以接收倾斜方向的光信号，本申请实施例对滤光单元阵列210的具体位置不做限定。

该像素单元阵列220中与彩色滤光单元对应的像素单元用于接收经过该彩色滤光单元的彩色光信号，对应输出彩色像素值；该像素单元阵列220中与白色滤光单元对应的像素单元用于接收经过该白色滤光单元的白光信号，对应输出白色像素值；该彩色光信号和白光信号共同用于生成拍摄对象的目标图像。例如，与红色滤光单元对应的像素单元接收红色光信号，对应输出的像素值可以称为红色像素值；与白色滤光单元对应的像素单元接收白光信号，对应输出的像素可以称为白色像素值。

进一步地，如图4所示，图4示出了另一种图像传感器200沿A-A’方向的截面示意图。

如图4所示，除了上述滤光单元阵列210和像素单元阵列220以外，该图像传感器200还包括：

微透镜阵列230，设置于滤光单元阵列210上方，用于将拍摄对象返回的光信号汇聚至滤光单元阵列210，并减少相邻像素单元之间光信号串扰，其中，该微透镜阵列230包括多个微透镜，该多个微透镜与上述滤光单元阵列210中的多个滤光单元和上述像素单元阵列220中的多个像素单元一一对应。

在一些实施方式中，该图像传感器中的像素结构可以称之为芯片上微透镜(onchip lens，OCL)像素结构。

可选地，如图4所示，在该图像传感器200中，在滤光单元阵列210和像素单元阵列220之间还可以包括电介质层240，用于连接该像素单元阵列220和该滤光单元阵列210。

此外，滤光单元阵列210还可以包括位于周围的电介质215和反射栅格216；该反射栅格用于反射大角度入射的光信号，防止光信号损失。

像素单元阵列220可以包括半导体基板221和光敏元件222，其中，光敏元件222位于半导体基板221中，光敏元件222包括但不限于是光电二极管(photodiode，PD)。可选地，像素单元阵列220还可以包括两个光敏元件222之间的隔离区223，防止相邻的两个光敏元件之间的电信号干扰。

可以理解的是，除了图4中所示的基本结构以外，该图像传感器200还可以包括其它叠层结构，例如至少一层金属互联层，以电连接像素单元阵列中的多个像素单元等等，本申请实施例对图像传感器的结构并不限于此。

可选地，如图2所示的俯视图，实际也是本申请实施例提供的一种滤光单元阵列210的排列示意图。

如图2所示，在本申请实施例中，一个滤光单元组211中每个滤光单元均为四边形的滤光单元，例如可以均为方形的滤光单元，16个方形的滤光单元形成方形的滤光单元组。在该滤光单元组211中，彩色滤光单元(如图中阴影块所示)和白色滤光单元(如图中空白块所示)的数量相等，即包括8个彩色滤光单元与8个白色滤光单元。在图像传感器的所在平面中，一个滤光单元组在水平方向(行方向)、垂直方向(列方向)以及45°方向(对角线方向)均包括白色滤光单元以及彩色滤光单元两种形式的滤光单元。

需要说明的是，在本申请中，白色滤光单元是指用于透过白光的滤光片或者滤光材料，在一些实施方式中，该白色滤光单元也可以为透明材料或者为空气间隙，用于透过环境中包括白光的全部光信号。具体地，该白光可以是多种有色光混合光。例如，可以将光谱中三原色的光：蓝色、红色和绿色，按一定比例混合得到白光，或者，光谱中所有可见光的混合也是白光。

对应的，彩色滤光单元是指用于透过彩色光的滤光片或者滤光材料。具体地，该彩色光可以为可见光光谱中的任一波段范围的光信号，例如，红色滤光单元可以用于透过红光，该红光可以为可见光光谱中波长范围在620nm至750nm之间的光信号。类似地，其它颜色的彩色滤光单元同样用于透过对应颜色的光信号。

通过本申请实施例的方案，由于每个滤光单元组中，每一行、每一列以及每条对角线上均包括2个白色滤光单元以及2个彩色滤光单元，因此，多个滤光单元组形成的滤光单元阵列在每一行、每一列以及斜方向同样均包括白色滤光单元以及彩色滤光单元两种形式的滤光单元，白色滤光单元与彩色滤光单元在滤光单元阵列中均匀分布，不仅便于后续图像算法进行图像处理，有利于图像颜色恢复，降低图像颜色损失，避免产生彩色莫尔条纹，还能够获取更为准确的全分辨率灰度图像，进一步提高图像的SNR、分辨率等图像质量参数。

可选地，在一些实施方式中，滤光单元组中可以包括三种颜色的滤光单元(第一彩色滤光单元、第二彩色滤光单元以及第三彩色滤光单元)，例如，可以是三原色滤光单元，即红、绿、蓝(red green blue，RGB)三种颜色的滤光单元，或者，也可以是三补色滤光单元，即青、品红、黄(cyan magenta yellow，CMY)三种颜色的滤光单元，或者，还可以为一种原色两种补色，或者一种补色两种原色的滤光单元。

在滤光单元组中包括三种颜色的彩色滤光单元的情况下，透过该三种颜色的彩色滤光单元的三种颜色的彩色光信号可以覆盖可见光波段，本申请实施例对彩色滤光单元的具体颜色不做限定。

为了方便描述，下文中，以滤光单元组211中包括红、绿、蓝三种颜色的彩色滤光单元为例进行说明，在滤光单元组中包括其它三种颜色的彩色滤光单元时，可以参见下文的技术方案。

图5示出了一种滤光单元组211中滤光单元的示意性排列图。

如图5所示，滤光单元组211中的包括白色滤光单元201，红色滤光单元202，绿色滤光单元203以及蓝色滤光单元204，可选地，在一个滤光单元组211中，白色滤光单元201的数量、绿色滤光单元203的数量、红色滤光单元202的数量以及蓝色滤光单元204的数量之比为4：2：1：1。

可选地，在该滤光单元组211中，每一行中的白色滤光单元与彩色滤光单元间隔设置，每一列中的2个白色滤光单元连续设置，且2个彩色滤光单元连续设置。

作为示例，如图5所示，第1行和第2行中的2个白色滤光单元201间隔设置于第2列和第4列，第3行和第4行中的2个白色滤光单元201间隔设置于第1列和第3列。对应的，第1列和第3列中的2个白色滤光单元201连续设置于第3行和第4行，第2列和第4列中的2个白色滤光单元201连续设置于第1行和第2行。

可选地，每一行中2个彩色滤光单元以及每一列中2个彩色滤光单元的颜色不同。

例如，在图5中，第1行和第4行的2个彩色滤光单元为绿色滤光单元203和蓝色滤光单元204，第2行和第3行的2个彩色滤光单元为红色滤光单元202和绿色滤光单元203。对应的，第1列和第2列的2个彩色滤光单元为绿色滤光单元203和红色滤光单元202，第3列和第3列的2个彩色滤光单元为蓝色滤光单元204和绿色滤光单元203。

具体地，在图5所示的滤光单元组中，2个红色滤光单元202可以分别位于第2行第1列以及第3行第2列，该2个红色滤光单元202可以表示为R₂₁和R₃₂；

4个绿色滤光单元203可以分别位于第1行第1列，第2行第3列，第3行第4列以及第4行第2列，该4个绿色滤光单元203可以表示为G₁₁，G₂₃，G₃₄以及G₄₂；

2个蓝色滤光单元204可以分别位于第1行第3列以及第4行第4列，该2个蓝色滤光单元204可以表示为B₁₃和B₄₄。

可选地，基于图5中白色滤光单元201的位置不变，根据上述每一行中2个彩色滤光单元以及每一列中2个彩色滤光单元的颜色不同的要求，可以对图5中不同颜色的彩色滤光单元的位置进行变换。

例如，基于图5中的滤光单元组，保持白色滤光单元与绿色滤光单元的位置不变，改变其中红色滤光单元和蓝色滤光单元的位置。

可选地，在一些实施方式中，滤光单元组中包括至少两个目标滤光单元集合，每个目标滤光单元集合中2个相同颜色的彩色滤光单元共顶角设置。

在满足上述条件的情况下，图6示出了几种变换后的滤光单元组中滤光单元的示意性排列图。

在图5与图6的所示的多种滤光单元组中，两个目标滤光单元集合位于中间两行，其中一个目标滤光单元集合为2个共顶角设置的绿色滤光单元，另一个目标滤光单元集合为2个共顶角设置的蓝色滤光单元或者红色滤光单元。

又例如，基于图5中的滤光单元组，仅保持白色滤光单元位置不变，改变其中绿色滤光单元、红色滤光单元和蓝色滤光单元的位置。

可选地，在另一些实施方式中，滤光单元组中相同颜色的彩色滤光单元呈中心对称排列。

在满足上述条件的情况下，图7示出了几种变换后的滤光单元组中滤光单元的示意性排列图。

在上述图5至图7所示的多种滤光单元组中，滤光单元组中包括至少两个目标滤光单元集合，或者相同颜色的彩色滤光单元呈中心对称排列，则便于后续进行图像像素插值处理，且能够保留更多的原始图像颜色信息，增加了颜色恢复的准确性，具体的像素插值过程将在下文中进行详细描述。

可以理解的是，对于上述申请实施例中每一种滤光单元组，将经过几何变换，例如旋转后的滤光单元组同样在本申请的保护范围内。

例如，对于图5至图7中所示的滤光单元组，将其顺时针旋转90°后，可以形成图8所示的多种滤光单元组。

可以理解的是，图5至图7中的滤光单元组和图8中的滤光单元组可以等效为相同的滤光单元组，区别仅在于图5至图7中行方向上滤光单元的排列规律与图8中列方向上滤光单元的排列规律相同，对应的，图5至图7中列方向上滤光单元的排列规律与图8中行方向上滤光单元的排列规律相同。

如图8所示，在该滤光单元组的每一列中，2个白色滤光单元与2个彩色滤光单元间隔设置；在该滤光单元组的每一行中，2个白色滤光单元连续设置，且2个彩色滤光单元连续设置。

还可以理解的是，除了图8所示的滤光单元组以外，上述图5至图7中任意一种滤光单元组经过其它角度旋转，或者经过其它几何变换后形成的滤光单元组同样属于本申请的保护范围，此处不再一一列举示出。

上文中各实施例的滤光单元组均是基于图5为基础进行变换得到的，除了上文列举出来的结构以外，本申请的滤光单元组还可以为图9至图11中几个虚线框所示的滤光单元组211。

可以理解的是，图9至图11中的滤光单元组211与图2中的滤光单元组211可以形成中心区域相同的滤光单元阵列，差别仅在于滤光单元阵列210最外围一圈或两圈的滤光单元的排列形式不同，因此，可以将图2、图9至图11中的滤光单元组211形成的滤光单元阵列等价为相同的滤光单元阵列。

因此，在本申请中，可以将图2中的滤光单元阵列210中的任意4×4的滤光单元划分为一个滤光单元组，任意一种划分情况下的滤光单元组均在本申请的保护范围之内。

类似地，本申请中任意一种滤光单元组形成的滤光单元阵列也同样在本申请的保护范围之内。

参见图9中所示的滤光单元组，将图9与图5对比可以看出，将图5中白色滤光单元与彩色滤光单元的位置对换，即形成图9中所示的滤光单元组的形式。

与上述实施方式近似，基于图9中白色滤光单元的位置不变，可以对图9中不同颜色的彩色滤光单元的位置进行变换，可以得到如图12中所示的多种滤光单元组。

例如，如图12中的(a)至(c)图所示，该几种滤光单元组中，包括有两个目标滤光单元集合。如图12中的(d)至(g)图所示，该几种滤光单元组中，相同颜色的彩色滤光单元呈中心对称排列。

进一步地，将图9和图12中的(a)至(g)图中所示的滤光单元组顺时针旋转90°后，形成图12中的(a’)至(h’)图中所示的滤光单元组。

类似地，对图9以及图12中各种滤光单元组进行其它旋转变换，或者几何变换得到的滤光单元组结构同样在本申请的保护范围之内。

参见图10和图11所示的滤光单元组，在该两个实施例中，在滤光单元组的每一行中，2个白色滤光单元与2个彩色滤光单元间隔设置；在滤光单元组间隔的两列中，2个白色滤光单元连续设置，且2个彩色滤光单元分离设置；在滤光单元组间隔的另两列中，2个白色滤光单元分离设置，且2个彩色滤光单元连续设置。

对比图10和图11，将图10中白色滤光单元和彩色滤光单元互换，可以得到图11中的滤光单元组。

基于图10中白色滤光单元的位置不变，可以对图10中不同颜色的彩色滤光单元的位置进行变换，可以得到如图13中所示的多种滤光单元组。

同样的，基于图11中白色滤光单元的位置不变，可以对图11中不同颜色的彩色滤光单元的位置进行变换，可以得到如图14中所示的多种滤光单元组。

如图10、图13中的(a)至(c)图以及图14中的(d)至(g)图所示，该几种滤光单元组中，彩色滤光单元排列为四个目标滤光单元集合。

如图11、图13中的(d)至(g)图以及图14中的(a)至(c)图所示，该几种滤光单元组中，包括两个目标滤光单元集合，该两个目标单元集合中，包括一个绿色滤光单元集合。

进一步地，将图10和图13中的(a)至(g)图中所示的滤光单元组顺时针旋转90°后，形成图13中的(a’)至(h’)图中所示的滤光单元组。将图11和图14中的(a)至(g)图中所示的滤光单元组顺时针旋转90°后，形成图14中的(a’)至(h’)图中所示的滤光单元组。

类似地，对图10、图11、图13和图14中各种滤光单元组进行其它旋转变换或者几何变换得到的滤光单元组结构同样在本申请的保护范围之内。

具体地，如图13中的(a’)至(h’)图以及图14中的(a’)至(h’)图所示，在滤光单元组的每一列中，2个白色滤光单元与2个彩色滤光单元间隔设置；对应的，在滤光单元组间隔的两行中，2个白色滤光单元连续设置，且2个彩色滤光单元分离设置；在滤光单元组间隔的另两行中，2个白色滤光单元分离设置，且2个彩色滤光单元连续设置。

上文结合图2至图14介绍了本申请中图像传感器200的基本结构以及其中多种滤光单元组211的排列示意图，下文结合图15和图16介绍针对本申请的图像传感器200的图像处理方法。

图15示出了一种图像处理方法的示意性流程图。图16示出了经过图15中图像处理方法的图像示意图。

如图15所示，该图像处理方法10包括：

S110：对像素单元阵列形成的图像进行子采样，获取包括彩色像素值的第一采样图与包括白色像素值的第二采样图。

作为示例，图16中的1#图为像素单元阵列中一个4×4个像素单元产生的图像，该4×4个像素单元为对应于上文图10所示的滤光单元组的像素单元。

在图16中的1#图中，白色像素值101为白色像素单元接收白光信号后产生的像素值，其上方对应设置的是白色滤光单元201，红色像素值102为红色像素单元接收红光信号后产生的像素值，其上方对应设置的是红色滤光单元202；类似地，绿色像素值103为绿色像素单元接收绿光信号后产生的像素值，其上方对应设置的是绿色滤光单元203，蓝色像素值104为蓝色像素单元接收蓝光信号后产生的像素值，其上方对应设置的是蓝色滤光单元204。

图16中的2#图为对1#图中的红色像素值、绿色像素值以及蓝色像素值进行子采样后的第一采样图，图16中的3#图为对1#图中的白色像素值进行子采样后的第二采样图。在第一采样图和第二采样图中，像素值的相对位置关系与原始图像1#图中的像素值的相对位置关系一致。

S120：对第一采样图和第二采样图进行插值处理，获取第一图像和第二图像。

作为示例，图16中的4#图为第一采样图(2#图)经过插值处理后的第一图像，具体地，4#图中第i行第j列的像素值可以表示为X_ij，其中，X表示像素值的颜色信息，例如，左上角第1行第1列的绿色像素值可以表示为G₁₁，可以根据G₁₁和G₂₂，插值得到G₁₂和G₂₁，类似地，可以根据R₁₃和R₂₄，插值得到R₁₄和R₂₃；根据B₃₂和B₄₁，插值得到B₃₁和B₄₂；根据G₃₄和G₄₃，插值得到G₃₃和G₄₄，从而根据第一采样图中的像素值插值得到第一图像。

可以看出，在该第一图像中，其中的一半像素值(如图中虚线框所示)保留了原始图像中的颜色信息，更有利于后续图像处理过程中颜色还原，提高图像质量。且该插值处理过程较为简单，能够简化图像处理过程中的算法，提高图像处理的效率。

图16中的5#图为第二采样图(3#图)经过插值处理后的第二图像，该插值过程可以采用现有技术中的任意一种插值算法，本申请实施例对此不作限定。可以理解的是，由于该第二采样图和第二图像不用于表征图像中的颜色信息，而用于提高图像的亮度。在本申请实施例中，白色像素值均匀的分布于第二采样图中，在第二采样图的水平方向、垂直方向以及斜45°方向，均保留有白色像素值，因而能够更准确的获得全分辨率的第二图像，有利于提高最终图像的分辨率以及图像质量。

S130：对第一图像进行重排马赛克处理，得到第三图像。

作为示例，图16中的4#图经过重排马赛克(remosaic)处理后，得到6#图所示的第三图像，可以看出，该第三图像为拜耳(Bayer)格式的数据图像。在本申请实施例中，该重排马赛克的过程可以采用任意一种现有技术中的重排方法，本申请实施例对此不做具体限定。

由于经过重排马赛克处理后的第三图像为目前图像处理领域较为常用的Bayer格式，因此该第三图像能够适用于更多类型的图像信号处理器(ISP)，从而使得本申请中图像传感器可以与更多的ISP适配，适用于更多的应用场景。

S140：将第三图像与第二图像进行融合，得到优化后的彩色图像。

可选地，该第三图像的分辨率与第二图像的分辨率相同。

作为示例，将图16中的5#图与6#图进行图像融合得到优化后的彩色图像7#，进行图像融合后的彩色图像在保证图像颜色信息的同时能更好地保持亮度信息，从而可以有效地提升低光照条件下的图像质量。与此同时，该彩色图像在频域上，亮度与色度信息不易交叠，因此不易产生莫尔条纹。

可以理解的是，上述图像处理方法10可以通过处理器或者处理电路进行实现，换言之，可选地，在上述图像传感器中，还可以包括处理单元，该处理单元用于实现上述图像处理方法10。

除了上述申请实施例提供的图像传感器200以外，本申请还提供一种电子设备，该电子设备可以包括上述任一种实施例中的图像传感器200。

该电子设备可以为任意具有图像采集功能的电子设备，例如，其具体可以为手机、电脑等移动终端，也可以为相机、摄像机等拍摄设备，还可以为自动取款机(AutomatedTeller Machine，ATM)等等，本申请对电子设备的应用场景不做限定。

可选地，上述用于执行图像处理方法10的处理单元可以不位于图像传感器200中，而位于图像传感器200所在的电子设备中的处理单元中，例如，若电子设备为手机，则该处理单元可以为手机中处理器中的图像信号处理单元，或者该处理单元也可以为手机中单独的图像信号处理芯片，本申请实施例对处理单元的具体硬件形态不做限定。

应理解，本申请实施例的处理器或者处理单元可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例的图像传感器还可以包括存储器，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (22)

1.一种图像传感器，其特征在于，包括：

滤光单元阵列，包括多个滤光单元组，所述多个滤光单元组中每个滤光单元组包括4×4个滤光单元；其中，在所述4×4个滤光单元中，每一行、每一列以及每条对角线上均包括2个白色滤光单元以及2个彩色滤光单元；

像素单元阵列，包括多个像素单元，所述像素单元阵列位于所述滤光单元阵列下方，且所述像素单元阵列中多个像素单元与所述滤光单元阵列中多个滤光单元一一对应。

2.根据权利要求1所述的图像传感器，其特征在于，所述滤光单元组包括不同颜色的第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元，所述第一彩色滤光单元的数量等于所述第二彩色滤光单元与所述第三彩色滤光单元的数量之和。

3.根据权利要求2所述的图像传感器，其特征在于，在所述滤光单元组中，所述第二彩色滤光单元的数量等于所述第三彩色滤光单元的数量。

4.根据权利要求3所述的图像传感器，其特征在于，在所述滤光单元组中，每一行中的2个彩色滤光单元颜色不同，且每一列中的2个彩色滤光单元的颜色不同。

5.根据权利要求4所述的图像传感器，其特征在于，在所述滤光单元组的每一行中，2个白色滤光单元与2个彩色滤光单元间隔设置；

在所述滤光单元组的每一列中，2个白色滤光单元连续设置，且2个彩色滤光单元连续设置。

6.根据权利要求5所述的图像传感器，其特征在于，所述滤光单元组中相同颜色的彩色滤光单元呈中心对称排列。

7.根据权利要求5所述的图像传感器，其特征在于，所述滤光单元组的中间两行中设置有2个目标滤光单元集合，所述目标滤光单元集合包括共顶角设置的2个相同颜色的彩色滤光单元。

8.根据权利要求7所述的图像传感器，其特征在于，在所述滤光单元组中，所述白色滤光单元分别位于第一行第二列、第一行第四列、第二行第二列、第二行第四列、第三上第一列、第三行第三列、第四行第一列、第四行第三列；

所述第二彩色滤光单元分别位于第二行第一列和第三行第二列；

所述第一彩色滤光单元分别位于第一行第一列、第二行第三列、第三行第四列、第四行第二列；

所述第三彩色滤光单元分别位于第一行第三列和第四行第四列。

9.根据权利要求4所述的图像传感器，其特征在于，在所述滤光单元组的每一行中，2个白色滤光单元与2个彩色滤光单元间隔设置；

在所述滤光单元组间隔的两列中，2个白色滤光单元连续设置，且2个彩色滤光单元分离设置；在所述滤光单元组间隔的另两列中，2个白色滤光单元分离设置，且2个彩色滤光单元连续设置。

10.根据权利要求9所述的图像传感器，其特征在于，所述滤光单元组的中间两列设置有2个目标滤光单元集合，所述目标滤光单元集合包括共顶角设置的2个相同颜色的彩色滤光单元。

11.根据权利要求9所述的图像传感器，其特征在于，所述滤光单元组中设置有4个目标滤光单元集合，所述目标滤光单元集合包括共顶角设置的2个相同颜色的彩色滤光单元。

12.根据权利要求11所述的图像传感器，其特征在于，在所述滤光单元组中，所述白色滤光单元分别位于第一行第二列、第一行第四列、第二行第一列、第二行第三列、第三上第一列、第三行第三列、第四行第二列、第四行第四列；

所述第二彩色滤光单元分别位于第一行第三列和第二行第四列；

所述第一彩色滤光单元分别位于第一行第一列、第二行第二列、第三行第四列、第四行第三列；

所述第三彩色滤光单元分别位于第三行第一列和第四行第一列。

13.根据权利要求2至12中任一项所述的图像传感器，其特征在于，所述第一彩色滤光单元、所述第二彩色滤光单元以及所述第三彩色滤光单元用于分别通过三种颜色的光信号，所述三种颜色的光信号波段覆盖可见光波段。

14.根据权利要求13所述的图像传感器，其特征在于，所述第一彩色滤光单元、所述第二彩色滤光单元以及所述第三彩色滤光单元的颜色分别为红、绿、蓝、青、品红、黄中的三种颜色。

15.根据权利要求14所述的图像传感器，其特征在于，所述第一彩色滤光单元为绿色滤光单元、所述第二彩色滤光单元和所述第三彩色滤光单元分别为红色滤光单元和蓝色滤光单元。

16.根据权利要求1至12中任一项所述的图像传感器，其特征在于，所述图像传感器还包括：

微透镜阵列，包括多个微透镜，所述微透镜阵列位于所述滤光单元阵列上方，用于将拍摄对象返回的光信号汇聚至所述滤光单元阵列，其中，所述微透镜阵列中的多个微透镜与所述滤光单元阵列中的多个滤光单元一一对应。

17.根据权利要求1至12中任一项所述的图像传感器，其特征在于，所述像素单元阵列中的彩色像素单元的像素值用于生成拍摄对象的第一图像数据，所述像素单元阵列中的白色像素单元的像素值用于生成所述拍摄对象的第二图像数据，所述第一图像数据和所述第二图像数据用于合成所述拍摄对象的目标图像；

其中，所述白色像素单元为对应于所述白色滤光单元的像素单元，所述彩色像素单元为对应于所述彩色滤光单元的像素单元。

18.根据权利要求17所述的图像传感器，其特征在于，所述像素单元阵列中的彩色像素单元的像素值用于通过插值处理生成中间图像，所述中间图像用于通过重排马赛克处理生成拜耳格式的所述第一图像数据。

19.根据权利要求18所述的图像传感器，其特征在于，在所述中间图像的2×2个像素值中，2个像素值为所述彩色像素单元的原始像素值，另2个像素值为经过插值处理得到的像素值。

20.根据权利要求17所述的图像传感器，其特征在于，所述第一图像数据和所述第二图像数据的分辨率相同。

21.根据权利要求1至12中任一项所述的图像传感器，其特征在于，所述图像传感器为互补金属氧化物半导体CMOS图像传感器，或者为电荷耦合器件CCD图像传感器。

22.一种电子设备，其特征在于，包括：

如权利要求1至21中任意一项所述的图像传感器。

Images