CN111818314A - 一种滤波器阵列及图像传感器 - Google Patents

Abstract

本申请实施例提供一种滤光器阵列及图像传感器，所述滤光器阵列包括多个平铺的最小重复单元，每一个所述最小重复单元包括：用于透过红色光线的红色过滤器单元；用于透过绿色光线的绿色过滤器单元；用于透过蓝色光线的蓝色过滤器单元；以及用于透过黄色光线的黄色过滤器单元和用于透过青色光线的青色过滤器单元中的至少一个。本申请的一些实施例采用四色(例如，红蓝绿青四色RGBC或者红蓝绿黄四色RGBY)或者五色光(红蓝黄绿青四色RGYBC)过滤器单元(例如，滤光片)来过滤入射光，一方面提升了透光效率进而提升解析得到的图像的亮度，另一方面提升了像素单元感受颜色的能力，进而提升获取的图像显示的颜色效果。

Description

一种滤波器阵列及图像传感器

技术领域

本申请涉及图像采集处理领域，具体而言本申请实施例涉及一种图像传感器、数码相机及手机。

背景技术

现代图像传感器为了得到彩色的图案，会在感光阵列(包括多个光电二极管)上放置能够过滤特色波长范围的颜色阵列(CFA,Color Filter Array)。最经典的颜色阵列就是2x2的拜耳Bayer阵列，通过在周期性的2x2区域内放置两个绿色、一个红色和一个蓝色，之后通过图像处理模块的算法(例如，demosaic算法)获得全尺寸和全颜色的红绿蓝图像。

随着各种终端(例如，手机)或者系统中所需的图像传感器分辨率的扩大、像素的缩小，以及在夜间拍照等应用的普及，更好的颜色阵列设计成为了一个热门的话题。

发明内容

本申请实施例的目的在于提供一种图像传感器、数码相机及手机，本申请一些实施例的提出的滤波器阵列的四色或者五色的颜色排列可以在几乎不损失颜色还原能力的情况下提升进光量，进而提升得到的图像的亮度和颜色感受度。

第一方面，本申请的一些实施例提供一种滤光器阵列，所述滤光器阵列包括多个平铺的最小重复单元，每一个所述最小重复单元包括：用于透过红色光线的红色过滤器单元；用于透过绿色光线的绿色过滤器单元；用于透过蓝色光线的蓝色过滤器单元；以及用于透过黄色光线的黄色过滤器单元和用于透过青色光线的青色过滤器单元中的至少一个。

本申请的一些实施例采用四色(例如，红蓝绿青四色RGBC或者红蓝绿黄四色RGBY)或者五色光(红蓝黄绿青四色RGYBC)过滤器单元(例如，滤光片)来过滤入射光，一方面提升了透光效率进而提升解析得到的图像的亮度，另一方面提升了像素单元感受颜色的能力，进而提升获取的图像显示的颜色效果。

在一些实施例中，所述滤波器阵列还包括全色过滤器单元。

本申请的一些实施例的过滤器单元还可以包括同时透过红色、绿色和蓝色光的过滤器单元，这样可以进一步提升透光效率，进而提升解析得到的图像的亮度。

在一些实施例中，所述最小重复单元包括四行乘四列的单元格，所述四行乘四列的单元格包括四个两行乘两列的子单元格；其中，四个所述子单元格中的第一子单元格布置有呈对角分布的两个所述红色过滤器单元；所述四个所述子单元格中的第二子单元格布置有呈对角分布的两个所述绿色过滤器单元；所述四个所述子单元格中的第三子单元格布置有呈对角分布的两个所述蓝色过滤器单元；所述四个所述子单元格中的第四子单元格布置有呈对角分布的两个所述黄色过滤器单元和两个所述青色过滤器单元中的至少一种颜色的过滤器单元。

本申请的一些实施例提供了一种采用4*4重复的图案来布置四色或者五色过滤器，采用重复单元中的四个2*2的子单元中的对角来分别布置红色过滤器单元、绿色过滤器单元、蓝色过滤器单元、以及青色和黄色过滤器单元中的一个，显著提升了拍摄得到的图像的亮度和颜色感受度。

在一些实施例中，所述第四子单元格中设置所述青色过滤器单元，其中，两个所述黄色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

本申请的一些实施例可以灵活调整黄色过滤器单元所在的子单元，获取多种图案，提供了更多的可以同时提升颜色感受度和进光量的可选实施例。

在一些实施例中，所述第四子单元格中设置所述黄色过滤器单元，其中，两个所述青色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

本申请的一些实施例可以灵活调整青色过滤器单元所在的子单元，获取多种图案，提供了更多的可以同时提升颜色感受度和进光量的可选实施例。

在一些实施例中，两个所述红色过滤器单元、两个所述绿色过滤器单元、两个所述蓝色过滤器单元以及所述黄色过滤器单元均位于相应子单元格的主对角线上。

本申请的一些实施例可以将红色过滤器单元、绿色过滤器单元、蓝色过滤器单元以及黄色过滤器单元设置在主对角线(即2*2子单元格的左上和右下格对应的对角线)，进一步提升颜色感受度和进光量。

在一些实施例中，所述四个两行乘两列的子单元格中未布置有色的过滤器单元的多个位置中的至少部分位置设置全色过滤器单元；其中，所述有色的过滤器单元包括：所述红色过滤器单元，所述绿色过滤器单元，所述蓝色过滤器单元，所述黄色过滤器单元以及所述青色过滤器单元。

本申请的一些实施例可以在最小重复单元中未设置红色过滤器单元、绿色过滤器单元、蓝色过滤器单元、青色过滤器单元以及黄色过滤器单元的多个位置呈对角的设置全色过滤器单元，进一步提升进光量，进而提升解析得到的图像的亮度。

第二方面，本申请实施例提供一种图像传感器，所述图像传感器包括：多个像素单元；以及与所述多个像素单元一一对应设置的多个过滤器单元，其中，所述多个过滤器单元中的各过滤器单元覆盖于所述多个像素单元中的各像素单元上，所述多个过滤器单元包括用于透过红色光线的红色过滤器单元，用于透过绿色光线的绿色过滤器单元，用于透过蓝色光线的蓝色过滤器单元，以及用于透过黄色光线的黄色过滤器单元和用于透过青色光线的青色过滤器单元中的至少一个。

在一些实施例中，所述多个过滤器单元还包括全色过滤器单元。

在一些实施例中，所述多个过滤器单元组成滤光器阵列，所述滤光器阵列的图案的最小重复单元为四行乘四列的单元格，所述四行乘四列的单元格包括四个两行乘两列的子单元格；其中，四个所述子单元格中的第一子单元格布置有呈对角分布的两个所述红色过滤器单元；所述四个所述子单元格中的第二子单元格布置有呈对角分布的两个所述绿色过滤器单元；所述四个所述子单元格中的第三子单元格布置有呈对角分布的两个所述蓝色过滤器单元；所述四个所述子单元格中的第四子单元格布置有呈对角分布的两个所述黄色过滤器单元和两个所述青色过滤器单元中的至少一种颜色的过滤器单元。

在一些实施例中，所述第四子单元格中设置所述青色过滤器单元，其中，两个所述黄色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

在一些实施例中，所述第四子单元格中设置所述黄色过滤器单元，其中，两个所述青色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

在一些实施例中，两个所述红色过滤器单元、两个所述绿色过滤器单元、两个所述蓝色过滤器单元以及所述黄色过滤器单元均位于相应子单元格的主对角线上。

在一些实施例中，所述四个两行乘两列的子单元格中未布置有色的过滤器单元的多个位置中的至少部分位置设置全色过滤器单元；其中，所述有色的过滤器单元包括：所述红色过滤器单元，所述绿色过滤器单元，所述蓝色过滤器单元，所述黄色过滤器单元以及所述青色过滤器单元。

在一些实施例中，所述图像传感器还包括读取电路，所述读取电路被配置为合并读取所述四个两行乘两列的子单元格中各子单元格的主对角线和从对角线中之一的对角线上设置的过滤器单元对应的感光元件的感光电流。

本申请的一些实施例中可以合并读取与呈对角布置的两个过滤器单元对应的感光元件(例如，像素中的光电二极管)感应的电信号，进而提升信号处理的速度。

在一些实施例中，所述图像传感器还包括转换装置，所述转换装置被配置为将与最小重复单元对应的多个感光元件感应的电信号转换为拜耳格式的输出信号，以供图像处理电路解析图像。

本申请的一些实施例还可以通过转换装置将感光元件阵列采集的电信号转换为满足拜耳格式的输出信号，进而可以利用现有的图像处理电路来得到拍摄图像。

在一些实施例中，所述转换装置被配置为：根据分辨率类型确定神经网络模型的目标权重，其中，所述分辨率包括半尺寸模式和全尺寸模式；根据所述所述神经网络模型将输入的待转换的电信号转换为所述拜耳格式的输出信号。

本申请的一些实施例通过训练的神经网络模型来执行转换装置的功能，例如，本申请实施例采用同一个神经网络架构来提供两种工作模式，两种工作模式是指输入神经网络的分辨率不一样(例如，一个是1/2分辨率和2通道，另一个是1通道的全分辨率)，神经网络的两种工作模式可以存储两组权重，按当前工作模式来选取两组权重中的一组。通过神经网络架构处理格式转换问题，可以提升转换装置的处理精度。

第三方面，本申请实施例提供一种数码相机，所述相机包括镜头以及第一方面所述的滤光器阵列或者第二方面所述的图像传感器。

第四方面，本申请实施例提供一种手机终端，所述手机终端包括存储器、处理器以及上述第一方面所述的滤光器阵列或者第二方面所述的图像传感器。

第五方面，本申请实施例提供一种视频监控系统，所述视频监控系统包括存储器、显示器以及如上述第一方面所述的滤光器阵列或者第二方面所述的图像传感器。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为相关技术提供的图像传感器的结构示意图；

图2为相关技术提供的成像系统的组成框图；

图3为本申请实施例提供的过滤器阵列最小重复单元的平面排布框图；

图4为本申请实施例提供的过滤器阵列中最小重复单元包括的过滤器单元的种类示意图；

图5为本申请实施例提供的像素阵列及相关处理电路的平铺结构框图；

图6为本申请实施例提供的过滤器阵列的第一图案示意图；

图7为本申请实施例提供的图像传感器的过滤器阵列第二图案示意图；

图8为本申请实施例提供的图像传感器的过滤器阵列第三图案示意图；

图9为本申请实施例提供的图像传感器的过滤器阵列第四图案示意图；

图10为本申请实施例提供的图像传感器的过滤器阵列第五图案示意图；

图11为本申请实施例提供的图像传感器的过滤器阵列第六图案示意图；

图12为本申请实施例提供的图像传感器的过滤器阵列第七图案示意图；

图13为本申请实施例提供的图像传感器的过滤器阵列第八图案示意图；

图14为本申请实施例提供的图像传感器的过滤器阵列第九图案示意图；

图15为本申请实施例提供的数码相机的组成框图；

图16为本申请实施例提供的手机的组成框图；

图17为本申请实施例提供的监控系统的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

滤光器阵列的设计可以考虑的指标包括：信噪比、感光能力、颜色还原能力、解析能力以及恢复物体形状和纹理细节的能力。例如，滤波器阵列设计的图案以获取更好的信噪比，尽可能通过更多的光来增加感光能力，更好更准确的还原颜色，更好的解析力以及尽可能的恢复物体形状和纹理上的细节为目标。

例如，对于以4x4的周期阵列为设计图案的滤波器阵列包括QuadBayer以及RGBW两种设计图案。其中，QuadBayer能够提升分辨率，但是进光量不是最优的；RGBW相对QuadBayer能够提升进光量，但是对于颜色还原更差，容易产生颜色噪声。

本申请的一些实施例提供一种四色或者五色排列图案，依据本申请实施例的四色或者五色排列图案布置的滤波器阵列构成的图像传感器可以在几乎不损失颜色还原能力的情况下提升进光量，进而提升解析得到的图像的质量。

请参看图1，图1为相关技术的图像传感器的结构示意图。图1提供的图像传感器100包括过滤器阵列110(即滤光器阵列)以及像素阵列120，其中，过滤器阵列110包括多个过滤器单元111，像素阵列120包括多个像素单元121，且每个像素单元121中又包括感光的感光元件(例如，光电二极管，图1未示出)，图1的过滤器单元111与像素单元121一一对应设置。

图1的过滤器阵列110中的过滤器单元111光学耦合至像素阵列120包括的与其位置相应的某个像素单元121上(具体地说是将过滤后剩余颜色的光引导至像素单元121包括的感光器件，例如光电二极管中)，通过像素单元121中的感光元件可以采集经过过滤器单元111过滤后的相应颜色的光信号的强度信息并存储，即完成了相应像素点的光电转换。

可以理解的是，图1的各个过滤器单元111(例如，滤光片)可以将入射的光线进行过滤，仅保留部分频率的光线(对应于某一种或多种颜色)。为了实现彩色图像的采集，相关技术的图像传感器中通常会设置以一定图案(例如，现有的拜耳(Bayer)图案)排布的过滤器阵列110，以使得图像传感器中的多个像素单元能够接收穿过对应的过滤器单元111的光线，从而生成具有不同色彩通道的像素信号。其中，每个像素单元121仅能输出一种颜色通道的值的像素信号，其余颜色通道的值的像素信号需要通过插值(即有图像处理电路200)来获取。

如图2所示，图2为相关技术的成像系统10包括图像传感器100以及图像处理电路200。

图像传感器100可获取由每个像素单元121(例如，光电二极管)捕捉的光强度和波长(需要过滤器阵列110获取波长信息)信息，并提供可由图像处理电路200处理的一组图像数据。具体地，通过读出电路(图中未示出)可以将像素阵列120中各像素单元121采集的电信号提供至图像处理电路200进行一步数据处理。例如，一组图像数据可以包括多个第一像素信号、多个第二像素信号、多个第三像素信号以及多个第四像素信号组成的图像数据。图像处理电路200可以按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像处理电路200可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。处理后的图像数据(例如彩色图像)可发送给图像存储器(图中未示出)，以便在被显示之前进行另外的处理。经过图像处理电路200处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。图像处理电路200确定的统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿等。

下面结合图3和图4阐述本发明一些实施例提供的以一定图案排布的过滤器阵列110。

如图3和图4所示，本申请一些实施例提供的过滤器阵列110包括多个平铺的最小重复单元170，每一个所述最小重复单元170包括：用于透过红色光线的红色过滤器单元171；用于透过绿色光线的绿色过滤器单元172；用于透过蓝色光线的蓝色过滤器单元173；以及用于透过黄色光线的黄色过滤器单元174和用于透过青色光线的青色过滤器单元175中的至少一个。

也就是说，在一些实施例中，最小重复单元170包括：红色过滤器单元171、绿色过滤器单元172、蓝色过滤器单元173以及黄色过滤器单元174。在另一些实施例中，最小重复单元170包括：红色过滤器单元171、绿色过滤器单元172、蓝色过滤器单元173以及青色过滤器单元175。在又一些实施例中，最小重复单元170包括：红色过滤器单元171、绿色过滤器单元172、蓝色过滤器单元173，黄色过滤器单元174以及青色过滤器单元175。

为了增加透光量，在一些实施例中，所述多个过滤器单元还包括全色过滤器单元(图4中未示出)。

以四行乘四列的单元格为最小重复单元示例性阐述最小重复单元170中各过滤器单元的布局方式。所述四行乘四列的单元格包括四个两行乘两列的子单元格；其中，四个所述子单元格中的第一子单元格布置有呈对角分布的两个所述红色过滤器单元；所述四个所述子单元格中的第二子单元格布置有呈对角分布的两个所述绿色过滤器单元；所述四个所述子单元格中的第三子单元格布置有呈对角分布的两个所述蓝色过滤器单元；所述四个所述子单元格中的第四子单元格布置有呈对角分布的两个所述黄色过滤器单元和两个所述青色过滤器单元中的至少一种颜色的过滤器单元。

需要说明的是，本申请的一些实施例并不限定第一子单元格、第二子单元格、第三子单元格以及第四子单元格在最小重复单元上的相互之间的位置关系也不限定每个子单元格在单元格上的具体位置。也就是说，在一些实施例中，第一子单元格是位于最小重复单元的左上位置的2*2的子单元格。在另一些实施例中，第一子单元格是位于最小重复单元的左下位置的2*2的子单元格。在一些实施例中，第一子单元格是位于最小重复单元的右上位置的2*2的子单元格。在一些实施例中，第一子单元格是位于最小重复单元的右下位置的2*2的子单元格。同理，其余的第二子单元格、第三子单元格以及第四子单元格的位置也可能位于最小重复单元的左上、左下、右上或者右下的子单元格等。本申请实施例的呈对角分布包括在主对角线上分布或者在次对角线上分布，其中，主对角线和次对角线的含义可以参考下文描述。

在一些实施例中，最小重复单元170布置有五色滤波器单元。例如，第一子单元格布置有呈对角分布的两个红色过滤器单元，第二子单元格布置有呈对角分布的两个绿色过滤器单元，第三子单元格布置有呈对角分布的两个蓝色过滤器单元，第四子单元格中设置呈对角分布的两个青色过滤器单元，剩余的两个黄色过滤器单元可位于第一子单元格、第三子单元格或者第四子单元格中。也就是说，黄色过滤器单元可以与红色滤波器单元绑定在一个子单元格中，可以与蓝色滤波器单元绑定在一个子单元格中，也可以与青色过滤器单元绑定在一个子单元格中。

在一些实施例中，最小重复单元170布置有五色过滤器单元。例如，第一子单元格布置有呈对角分布的两个红色过滤器单元，第二子单元格布置有呈对角分布的两个绿色过滤器单元，第三子单元格布置有呈对角分布的两个蓝色过滤器单元，第四子单元格中设置呈对角分布的两个黄色过滤器单元，剩余的两个青色过滤器单元可位于第一子单元格、第三子单元格或者第四子单元格中。也就是说，青色过滤器单元可以与红色滤波器单元绑定在一个子单元格中，可以与蓝色滤波器单元绑定在一个子单元格中，也可以与青色过滤器单元绑定在一个子单元格中。

在一些实施例中，两个所述红色过滤器单元布置在第一子单元格的主对角线上、两个所述绿色过滤器单元布置在第二子单元格的主对角线上、两个所述蓝色过滤器单元布置在第三子单元格的主对角线上以及黄色过滤器单元布置在第四子单元格的主对角线上。可选的，两个青色过滤器单元可以布置于第一子单元格的次对角线(次对角线即各子单元格中左下格和右上格的对角线，如图6的次对角线182)上，也可以布局在第四子单元格的次对角线上。

在一些实施例中，所述四个两行乘两列的子单元格中未布置有色的过滤器单元的多个位置中的至少部分位置设置全色过滤器单元；其中，所述有色的过滤器单元包括：所述红色过滤器单元，所述绿色过滤器单元，所述蓝色过滤器单元，所述黄色过滤器单元以及所述青色过滤器单元。也就是说，对于未布置两个红色过滤器单元、两个绿色过滤器单元、两个蓝色过滤器单元、两个黄色过滤器单元以及两个青色过滤器单元的对角线上可以全部布置全色过滤器单元，也可以在部分位置布置全色过滤器单元而剩余位置不布置任何过滤器单元。

下面结合图5示例性阐述图像传感器100的结构和布局，为了附图简要清晰，图5仅提供了图像传感器100包括的部分单元或者电路，对于图5未示出的图像传感器100包括的其他单元(例如，过滤器阵列的结构和布局请参考图3、图4或者图6-图14)可以参考本申请其他的实施例的相关的附图。

如图5所示，本申请一些实施例提供的图像传感器100包括：多个像素单元121组成的像素阵列120，以及与所述多个像素单元121一一对应设置的多个过滤器单元(由于平铺图未在图5展示位于每个像素单元上层的过滤器单元)，也就是说所述多个过滤器单元中的各过滤器单元覆盖于所述多个像素单元中的各像素单元121(例如，像素单元121的感光器件)上以实现两者之间的光耦合。结合上图4可以看出，所述多个过滤器单元包括用于透过红色光线的红色过滤器单元171，用于透过绿色光线的绿色过滤器单元172，用于透过蓝色光线的蓝色过滤器单元173，以及用于透过黄色光线的黄色过滤器单元174和用于透过青色光线的青色过滤器单元175中的至少一个。本申请的一些实施例采用四色(例如，红蓝绿青四色RGBC或者红蓝绿黄四色RGBY)或者五色光(红蓝黄绿青四色RGYBC)来过滤入射光再由像素上的感光元件进行光电转换后，一方面提升了透光效率进而提升解析得到的图像的亮度，另一方面提升了像素单元感受颜色的能力，进而提升获取的图像显示的颜色效果。

为了增加透光效率，在一些实施例中，所述多个过滤器单元还包括全色过滤器单元(图5未示出)。

如图5所示，在一些实施例中，所述图像传感器还包括读取电路330，读取电路330被配置为合并读取所述四个两行乘两列(即2*2)的子单元格中各子单元格的主对角线(主对角线即各子单元格中左上格和右下格的对角线，如图6主对角线181)和从对角线中之一的对角线上设置的过滤器单元对应的感光元件的感光电流。需要说明的是，为了读出各像素单元的感应电信号需要寻址各个像素单元。作为一个示例，图5某个像素单元的选址过程为：在行驱动电路310的控制下选通某条行地址线311并在列驱动电路320的控制下选通某条列地址线321，以通过与读取电路330连接的读取线312读出行地址线311和列地址线321交叉处的像素单元所感应的电流信号。与现有技术的方案相比，本申请实施例需要同时读取位于一个最小重复单元中各子单元格(或者部分子单元格)中对角线(包括主对角线和次对角线中的至少一条对角线)上布置的过滤器单元对应的两个像素单元的电流值。本申请的一些实施例中可以合并读取与呈对角布置的两个过滤器单元对应的感光元件感应的电信号，进而提升信号处理的速度。

如图5所示，在一些实施例中，图像传感器还包括转换装置340，所述转换装置340被配置为将与最小重复单元对应的多个感光元件感应的电信号转换为拜耳格式的输出信号，以供图像处理电路解析图像。作为一个示例，转换装置340被配置为：根据分辨率类型确定神经网络模型的目标权重，其中，所述分辨率类型包括半尺寸模式和全尺寸模式；根据所述所述神经网络模型将输入的待转换的电信号转换为所述拜耳格式的输出信号。

也就是说，本申请的一些实施例再将读取的像素感应的电信号发送至图1的图像处理电路200之前还需要转换装置340进行信号处理。这是由于，在一些实施例中图像处理电路200不能直接解析本申请一些实施例提供的过滤器单元的排布方式对应的像素单元所感应的电信号，所以需要对读出的数据进行如下两种转换处理：对于半尺寸模式即合并读取各对角线上的电流，此时最小重复单元对应的16个像素感应的电流信号合并为8个像素读出值，之后根据本申请一些实施例的转换装置340可以将8个像素读出值变为4个重新排列后的标准拜耳bayer格式的像素输出值；对于全尺寸模式，即分别读取最小重复单元对应的16个像素单元感应的电流值，即每个像素读出一个感应电流数值，再通过本申请实施例的转换装置将读出的16个感应电流值转换为4x4的标准拜耳bayer格式。例如，转换装置340可以是一个单独的桥接芯片，通过信号线获取像素单元的读出电流值；在一些实施例中转换装置340可以与图像传感器堆叠在一个芯片上。

在一些实施例中，转换装置340可以通过可编程的神经网络处理器(NPU)实现。作为一个示例，转换装置可以通过如下方式由NPU实现：S1.依次读取像素单元121的感光单元的感应的信号值(例如，感应模拟形式电流值)并依次进入NPU的缓冲区域；S2.当缓冲区域内的数据足够多之后，启动NPU即使用预先训练好的神经网络权重计算处理后的结果；S3NPU计算的结果通过总线送出到图像传感器的输入输出单元。可以理解的是，对于所需要的神经网络的权重，可以用如下方式进行：准备大量的RGB图像；按本申请实施例中的颜色排布方式布置过滤器单元并模拟成对应的感光单元读出值(即感光单元反应的电信号)和拜耳Bayer格式的真实值(ground truth)；向感光单元的读出值中加入模拟的噪声(例如，独立同分布的标准高斯噪声)；以神经网络的预测值与正确标记值ground truth的L1norm为目标函数，使用随机梯度下降SGD算法调整神经网络的权重，直到收敛。

下面以最小重复单元为4*4的图案为例并结合图6-图14(为了简介这些图仅通过了四个最小重复单元)示例性阐述过滤器阵列的图案。

本申请的一些实施例提供了一种采用4*4重复的图案来布置四色或者五色过滤器，采用重复单元中的四个2*2的子单元中的对角来分别布置红色过滤器单元、绿色过滤器单元、蓝色过滤器单元、以及青色和黄色过滤器单元中的一个。

在本申请的一些实施例中，滤光器阵列110的图案的最小重复单元170为4*4单元格，所述4*4单元格包括四个2*2的子单元格(例如，图6的四个子单元格(176，177,178，179)，这四个子单元格被经过最小重复单元170(即4*4的单元格)中心的两条垂直虚线分割而成)。其中，四个所述子单元格中的第一子单元格布置有呈对角分布的两个所述红色过滤器单元(例如，作为一个示例在图6中第一子单元格为最小重复单元170左上的子单元格)；所述四个所述子单元格中的第二子单元格布置有呈对角分布的两个所述绿色过滤器单元(例如，作为一个示例在图6中第二子单元格为最小重复单元170右上的子单元格)；所述四个所述子单元格中的第三子单元格布置有呈对角分布的两个所述蓝色过滤器单元(例如，作为一个示例在图6中第三子单元格为最小重复单元170右下的子单元格)；所述四个所述子单元格中的第四子单元格布置有呈对角分布的两个所述黄色过滤器单元和两个所述青色过滤器单元中的至少一种颜色的过滤器单元(例如，作为一个示例在图6中第四子单元格为最小重复单元170左下的子单元格)。对于第一子单元格、第二子单元格、第三子单元格以及第四子单元格的含义请参考上文所述，为避免重复，在此不做赘述。

应该理解的是图6-图14这些附图仅用于示例性说明本申请的技术方案，并不能构成对本申请某些实施例的限制。图6-图14中分别用R标识表示透过红光(波长范围大致为605nm-700nm)并过滤其他颜色的光的红色过滤器单元，用G标识表示透过绿光(波长范围大致为500nm-560nm)并过滤其他颜色的光的绿色过滤器单元，用B标识表示透过蓝光(波长范围大致为435nm-480nm)并过滤其他颜色的光的蓝色过滤器单元，用Y标识表示透过黄光(波长范围大致为580nm-595nm)并过滤其他颜色的光的黄色过滤器单元(由于黄色是)，用C标识表示透过青光(波长范围大致为480nm-490nm)并过滤其他颜色的光的青色过滤器单元。在一些实施例中，青色表示能同时以较高效率(例如，较高光子数量或者较高功率)通过蓝色与绿色的滤光片，也就是说控制通过青色过滤器单元通过的蓝色光和绿色光的量(例如，功率或者光子数)大于通过的红色光的量可以实现透过青光过滤其他色光的目的；黄色表示能同时以较高效率通过红与绿的滤光片，也就是说，可以通过控制黄色过滤器单元通过的红色光和绿色光的量(例如，功率或者光子数)大于通过的蓝色光的量可实现向感光器件提供黄色光的目的。

在一些实施例中，第一子单元格布置有呈对角分布的两个红色过滤器单元，第二子单元格布置有呈对角分布的两个绿色过滤器单元，第三子单元格布置有呈对角分布的两个蓝色过滤器单元，第四子单元格中设置所述青色过滤器单元，其中，两个所述黄色过滤器单元可以位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。具体内容可参考针对过滤器阵列中相应方案的描述，在此不做过多赘述。本申请的一些实施例可以灵活调整黄色过滤器单元所在的子单元，获取多种图案，提供了更多的可以同时提升颜色感受度和进光量的可选实施例。

在一些实施例中，第一子单元格布置有呈对角分布的两个红色过滤器单元，第二子单元格布置有呈对角分布的两个绿色过滤器单元，第三子单元格布置有呈对角分布的两个蓝色过滤器单元，第四子单元格中设置所述黄色过滤器单元，其中，两个所述青色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。具体内容可参考针对过滤器阵列中相应方案的描述，在此不做过多赘述。本申请的一些实施例可以灵活调整青色过滤器单元所在的子单元，获取多种图案，提供了更多的可以同时提升颜色感受度和进光量的可选实施例。

在一些实施例中，两个所述红色过滤器单元、两个所述绿色过滤器单元、两个所述蓝色过滤器单元以及所述黄色过滤器单元均位于相应子单元格的主对角线上。具体内容可参考针对过滤器阵列中相应方案的描述，在此不做过多赘述。本申请的一些实施例可以将红色过滤器单元、绿色过滤器单元、蓝色过滤器单元以及黄色过滤器单元设置在主对角线(即2*2矩阵的左上和右下格对应的对角线)，进一步提升颜色感受度和进光量。

在一些实施例中，所述四个两行乘两列的子单元格中未布置有色的过滤器单元的多个位置中的至少部分位置用于设置全色过滤器单元；其中，所述有色的过滤器单元包括：所述红色过滤器单元，所述绿色过滤器单元，所述蓝色过滤器单元，所述黄色过滤器单元以及所述青色过滤器单元。具体内容可参考针对过滤器阵列中相应方案的描述，在此不做过多赘述。本申请的一些实施例可以在重复单元中未设置红色过滤器单元、绿色过滤器单元、蓝色过滤器单元、青色过滤器单元以及黄色过滤器单元的多个位置呈对角的设置白色过滤器单元，进一步进光量，进而提升解析得到的图像的亮度。

如图6所示，在一些实施例中，过滤器单元包括红色过滤器单元R、绿色过滤器单元G、蓝色过滤器单元B以及黄色过滤器单元Y。图6的最小重复单元170为4*4的单元，以及最小重复单元170中包括的四个2*2的子单元格(176,177,178,179)。其中，图6的两个R分布在其中一个子单元格176的主对角线上，该子单元格176的次对角线上无过滤器单元或者布置两个全色过滤器单元W；图6的两个G分布在子单元格177的主对角线上，该子单元格177的次对角线上无过滤器单元或者布置两个全色过滤器单元W；图6的两个B分布在子单元格178的主对角线上，该子单元格178的次对角线上无过滤器单元或者布置两个全色过滤器单元W。图6的两个Y分布在子单元格179的主对角线上，该子单元格179的次对角线上无过滤器单元或者布置两个全色过滤器单元W。

图7提供了本申请一些实施例的过滤器单元的图案排布，与图6不同的是，图7将图6的黄色过滤器单元替换为了青色过滤器单元。也就是说图7的过滤器阵列中的最小重复单元上布置了红色过滤器单元R、绿色过滤器单元G、蓝色过滤器单元B以及青色过滤器单元C。

图8提供的本申请一些实施实施例的过滤器单元的图案排布，与图6不同的是，图8中增加了青色过滤器单元C，且图8的青色过滤器单元C和红色过滤器单元R绑定在同一个子单元格中。

图9提供的本申请一些实施例的过滤器单元的图案排布，需要说明的图9的图案是对图8的图案旋转90后得到的。

图10的提供的本申请一些实施例的过滤器单元的图案排布，需要说明的图10的图案是对图8的图案垂直翻转后得到的。

图11提供的本申请一些实施例的过滤器单元的图案排布，与图8不同的是，图11的青色过滤器单元C与黄色过滤器单元Y绑定在同一个子单元格中。

图12提供的本申请一些实施例的过滤器单元的图案排布，需要说明的图12的图案是对图11的图案旋转90后得到的。

图13的提供的本申请一些实施例的过滤器单元的图案排布，需要说明的图13的图案是对图11的图案水平直翻转后得到的。

图14提供的本申请一些实施例的过滤器单元的图案排布，图14的左下方的子单元格中主对角线上布置青色过滤器单元。

需要说明的是，对图6-图14的颜色排列进行90度旋转、翻转、左右对称、上下对称等变换，或者在2x2子单元格内交换两种颜色(例如，交换图11最小重复单元右下角子单元格的两个蓝色过滤器单元与两个全色过滤器单元的位置)，应当认为属于与本申请实施例提供的本质相同的颜色排列。

如图15所示，本申请的一些实施例还提供一种数码相机400，所述相机包括图像传感器100和镜头410。图像传感器100的具体结构可以参考上文描述，为避免重复在此不做过多赘述。

如图16所示，本申请实施例提供一种手机终端500，所述手机终端包括存储器510、处理器520以及图像传感器100。图像传感器100的具体结构可以参考上文描述，为避免重复在此不做过多赘述。

如图17所示，本申请实施例提供一种视频监控系统600，所述视频监控系统包括处理器610、显示器620以及图像传感器100。图像传感器100的具体结构可以参考上文描述，为避免重复在此不做过多赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (20)

1.一种滤光器阵列，其特征在于，所述滤光器阵列包括多个平铺的最小重复单元，每一个所述最小重复单元包括：

用于透过红色光线的红色过滤器单元；

用于透过绿色光线的绿色过滤器单元；

用于透过蓝色光线的蓝色过滤器单元；以及

用于透过黄色光线的黄色过滤器单元和用于透过青色光线的青色过滤器单元中的至少一个。

2.如权利要求1所述的滤光器阵列，其特征在于，所述滤光器阵列还包括全色过滤器单元。

3.如权利要求1所述的滤光器阵列，其特征在于，所述最小重复单元包括四行乘四列的单元格，所述四行乘四列的单元格包括四个两行乘两列的子单元格；其中，

四个所述子单元格中的第一子单元格布置有呈对角分布的两个所述红色过滤器单元；

所述四个所述子单元格中的第二子单元格布置有呈对角分布的两个所述绿色过滤器单元；

所述四个所述子单元格中的第三子单元格布置有呈对角分布的两个所述蓝色过滤器单元；

所述四个所述子单元格中的第四子单元格布置有呈对角分布的两个所述黄色过滤器单元和两个所述青色过滤器单元中的至少一种颜色的过滤器单元。

4.如权利要求3所述的滤光器阵列，其特征在于，所述第四子单元格中设置所述青色过滤器单元，其中，两个所述黄色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

5.如权利要求3所述的滤光器阵列，其特征在于，所述第四子单元格中设置所述黄色过滤器单元，其中，两个所述青色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

6.如权利要求5所述的滤光器阵列，其特征在于，两个所述红色过滤器单元、两个所述绿色过滤器单元、两个所述蓝色过滤器单元以及所述黄色过滤器单元均位于相应的子单元格的主对角线上。

7.如权利要求3或6所述的滤光器阵列，其特征在于，所述四个两行乘两列的子单元格中未布置有色的过滤器单元的多个位置中的至少部分位置设置全色过滤器单元；

其中，所述有色的过滤器单元包括：所述红色过滤器单元，所述绿色过滤器单元，所述蓝色过滤器单元，所述黄色过滤器单元以及所述青色过滤器单元。

8.一种图像传感器，其特征在于，所述图像传感器包括：

多个像素单元；以及

与所述多个像素单元一一对应设置的多个过滤器单元，其中，所述多个过滤器单元中的各过滤器单元覆盖于所述多个像素单元中的各像素单元上，所述多个过滤器单元包括用于透过红色光线的红色过滤器单元，用于透过绿色光线的绿色过滤器单元，用于透过蓝色光线的蓝色过滤器单元，以及用于透过黄色光线的黄色过滤器单元和用于透过青色光线的青色过滤器单元中的至少一个。

9.如权利要求8所述的图像传感器，其特征在于，所述多个过滤器单元还包括全色过滤器单元。

10.如权利要求8所述的图像传感器，其特征在于，所述多个过滤器单元组成滤光器阵列，所述滤光器阵列的图案的最小重复单元为四行乘四列的单元格，所述四行乘四列的单元格包括四个两行乘两列的子单元格；

其中，

四个所述子单元格中的第一子单元格布置有呈对角分布的两个所述红色过滤器单元；

所述四个所述子单元格中的第二子单元格布置有呈对角分布的两个所述绿色过滤器单元；

所述四个所述子单元格中的第三子单元格布置有呈对角分布的两个所述蓝色过滤器单元；

所述四个所述子单元格中的第四子单元格布置有呈对角分布的两个所述黄色过滤器单元和两个所述青色过滤器单元中的至少一种颜色的过滤器单元。

11.如权利要求10所述的图像传感器，其特征在于，所述第四子单元格中设置所述青色过滤器单元，其中，两个所述黄色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

12.如权利要求10所述的图像传感器，其特征在于，所述第四子单元格中设置所述黄色过滤器单元，其中，两个所述青色过滤器单元位于所述第一子单元格、所述第三子单元格或者所述第四子单元格中。

13.如权利要求12所述的图像传感器，其特征在于，两个所述红色过滤器单元、两个所述绿色过滤器单元、两个所述蓝色过滤器单元以及所述黄色过滤器单元均位于相应子单元格的主对角线上。

14.如权利要求10或13所述的图像传感器，其特征在于，所述四个两行乘两列的子单元格中未布置有色的过滤器单元的多个位置中的至少部分位置设置全色过滤器单元；

其中，所述有色的过滤器单元包括：所述红色过滤器单元，所述绿色过滤器单元，所述蓝色过滤器单元，所述黄色过滤器单元以及所述青色过滤器单元。

15.如权利要求10所述的图像传感器，其特征在于，所述图像传感器还包括读取电路，所述读取电路被配置为合并读取所述四个两行乘两列的子单元格中各子单元格的主对角线和从对角线中之一的对角线上设置的过滤器单元对应的感光元件的感光电流。

16.如权利要求10或15所述的图像传感器，其特征在于，所述图像传感器还包括转换装置，所述转换装置被配置为将与最小重复单元对应的多个感光元件感应的电信号转换为拜耳格式的输出信号，以供图像处理电路解析图像。

17.如权利要求16所述的图像传感器，其特征在于，所述转换装置被配置为：

根据分辨率类型确定神经网络模型的目标权重，其中，所述分辨率包括半尺寸模式和全尺寸模式；

根据所述神经网络模型将输入的待转换的电信号转换为所述拜耳格式的输出信号。

18.一种数码相机，其特征在于，所述相机包括：

镜头；以及

如权利要求1-10任一项所述滤光器阵列或者如权利要求8-17任一项所述的图像传感器。

19.一种手机终端，其特征在于，所述手机终端包括存储器、处理器以及如权利要求1-10任一项所述滤光器阵列或者如权利要求8-17任一项所述的图像传感器。

20.一种视频监控系统，其特征在于，所述视频监控系统包括存储器、显示器以及如权利要求1-10任一项所述滤光器阵列或者如权利要求8-17任一项所述的图像传感器。

Images