CN212785637U - 滤光器阵列、图像传感器及其应用设备 - Google Patents

Abstract

本申请实施例提供滤光器阵列、图像传感器及其应用设备，所述滤光器阵列包括多个平铺的最小重复单元，每个所述最小重复单元包括布置于六行乘六列的单元格组，所述六行乘六列的单元格组包括四个三行乘三列的单元格组；其中，四个所述单元格组中的第一单元格组中的部分单元格用于布置绿色滤光单元；所述四个所述单元格组中的第二单元格组中的部分单元格用于布置红色滤光单元；所述四个所述单元格组中的第三单元格组中的部分单元格用于布置蓝色滤光单元；所述四个所述单元格组中的第四单元格组中的部分单元格用于布置青色滤光单元。本申请的一些实施例提供的滤光器阵列的颜色排布方案可以在几乎不损失颜色还原能力的情况下提升进光量。

Description

滤光器阵列、图像传感器及其应用设备

技术领域

本申请涉及图像采集领域，具体而言本申请实施例涉及滤光器阵列、图像传感器及其应用设备。

背景技术

为了使得图像传感器可以采集彩色的图案，图像传感器包括感光阵列 (或称为像素阵列)和布置在感光阵列上方的滤光器阵列，也就是在感光阵列(包括多个光电二极管)上放置能够过滤特色波长范围的颜色阵列(CFA, Color Filter Array)。最经典的颜色阵列就是2x2的拜耳Bayer阵列，通过在周期性的2x2区域内放置两个绿色滤光单元、一个红色滤光单元和一个蓝色滤光单元对入射光线进行过滤，之后再由相应滤光单元下方定位的感光单元采集相应颜色光信号的光强信息以产生像素信号，最后基于像素信号并通过图像处理模块的算法(例如，demosaic算法)获得全尺寸和全颜色的红绿蓝图像。

目前随着各种终端(例如，手机)或者系统中所需的图像传感器分辨率的扩大、像素的缩小，以及在夜间拍照等应用的普及，如何更好的设计滤光器单元的颜色阵列排布以提高透光量的同时不损害颜色还原能力成了亟待解决的技术问题。

实用新型内容

本申请实施例的目的在于提供滤光器阵列、图像传感器及其应用设备，本申请实施例提供的滤光器阵列的颜色排布方案相对其他方案可有效减少解析后的亮度噪声及颜色噪声。

第一方面，本申请的一些实施例提供一种滤光器阵列，所述滤光器阵列包括多个平铺的最小重复单元，每个所述最小重复单元包括布置于六行乘六列的单元格组，所述六行乘六列的单元格组包括四个三行乘三列的单元格组；其中，四个所述单元格组中的第一单元格组中的部分单元格用于布置绿色滤光单元；所述四个所述单元格组中的第二单元格组中的部分单元格用于布置红色滤光单元；所述四个所述单元格组中的第三单元格组中的部分单元格用于布置蓝色滤光单元；所述四个所述单元格组中的第四单元格组中的部分单元格用于布置青色滤光单元。

本申请的一些实施例提供的滤光器阵列的颜色排布方案可以在几乎不损失颜色还原能力的情况下提升进光量，可以有效减少解析后的得到的彩色图像的亮度噪声及颜色噪声。

在一些实施例中，所述第一单元格组、所述第二单元格组、所述第三单元格组和所述第四单元格组中的至少部分单元格组中未设置有色滤光单元的单元格中的至少部分单元格用于设置全色滤光单元，其中，所述有色滤光单元包括红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元。

本申请的一些实施例可以在未布置有色的滤光元件的单元格中布置全色滤光单元，与未布置任何颜色的滤光单元相比，本申请的一些实施例可以通过布置全色滤光单元改善颜色保真度；而与布置其他颜色(即非全色滤光单元)的滤光单元相比，全色滤光单元的可以提升进光量进而减少解析图像的亮度噪声。

在一些实施例中，所述第一单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元；所述第二单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元；所述第三单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元；所述第四单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述青色滤光单元；其中，所述四个非相邻单元格位于由所述九个单元格组成图形的除主对角线和次对角线之外的单元格上。

本申请的一些实施例通过在九个单元格组中的四个单元格(不包括最中心的单元格)中非相邻的布置有色滤光单元，可以提升颜色保真度。

在一些实施例中，所述第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元；所述第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元；所述第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元；所述第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元；其中，所述五个非相邻的单元格位于由所述九个单元格组成图形的主对角线和次对角线上。

本申请的一些实施例可以通过在九个单元格组中的五个单元格(位于主对角线和次对角线上的单元格，包括单元格组中的中心单元格)中非相连的设置有色滤光单元，可以进一步提升颜色保真度。

在一些实施例中，所述四个三行乘三列的单元格组中未布置有色滤光单元的多个单元格中的至少部分单元格用于设置全色滤光单元；其中，所述有色的滤光单元包括：所述红色滤光单元，所述绿色滤光单元，所述蓝色滤光单元以及所述青色滤光单元。

本申请的一些实施例通过在未设置有色滤光单元的单元格中设置全色滤光单元，与未设置任何颜色的滤光元件相比可以提升颜色保真度，与设置其他颜色的滤光元件(即非全色的滤光元件)相比可以提升进光量，可以有效减少解析后的得到的彩色图像的亮度噪声及颜色噪声。

第二方面，本申请的一些实施例提供一种图像传感器，所述图像传感器包括：像素阵列，所述像素阵列包括多个像素单元；以及滤光器阵列，所述滤光器阵列包括多个滤光单元，所述滤光器阵列定位于所述像素阵列的上方且所述滤光单元光耦合至所述像素单元，所述滤光器阵列的图案的最小重复单元为六行乘六列的单元格组，所述六行乘六列的单元格组包括四个三行乘三列的单元格组；其中，四个所述单元格组中的第一单元格组中的部分单元格布置有绿色滤光单元；所述四个所述单元格组中的第二单元格组中的部分单元格布置有红色滤光单元；所述四个所述单元格组中的第三单元格组中的部分单元格布置有蓝色滤光单元；所述四个所述单元格组中的第四单元格组中的部分单元格布置有青色滤光单元。

在一些实施例中，所述第一单元格组、所述第二单元格组、所述第三单元格组和所述第四单元格组中的至少部分单元格组中未设置有色滤光单元的单元格中的至少部分单元格用于设置全色滤光单元，其中，所述有色滤光单元包括红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元。

在一些实施例中，所述第一单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元；所述第二单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元；所述第三单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元；所述第四非相邻的单元格组包括的九个单元格中的四个单元格用于设置所述青色滤光单元；其中，所述四个非相邻的单元格位于由所述九个单元格组成图形的除主对角线和次对角线之外的单元格上。

在一些实施例中，所述第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元；所述第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元；所述第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元；所述第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元；其中，所述五个非相邻的单元格位于由所述九个单元格组成图形的主对角线和次对角线上。

在一些实施例中，所述四个三行乘三列的单元格组中未布置有色滤光单元的多个单元格中的至少部分单元格设置全色过滤器单元；其中，所述有色滤光单元包括：所述红色滤光单元，所述绿色滤光单元，所述蓝色滤光单元以及所述青色滤光单元。

在一些实施例中，所述图像传感器还包括读取电路，所述读取电路被配置为合并读取同一个单元格组中相同颜色的滤光单元对应的感光元件的感光电流。

在一些实施例中，所述图像传感器还包括转换装置，所述转换装置被配置为将与最小重复单元对应的多个感光元件感应的电信号转换为拜耳格式的输出信号，以供图像处理电路解析图像。

在一些实施例中，所述转换装置被配置为：根据分辨率类型确定神经网络模型的目标权重，其中，所述分辨率包括半尺寸模式和全尺寸模式；根据所述神经网络模型将输入的待转换的电信号转换为所述拜耳格式的输出信号。

第三方面，本申请的一些实施例提供一种应用设备，所述应用设备包括：镜头；以及上述第一方面所述滤光器阵列或者上述第二方面所述的图像传感器。

第四方面，本申请的一些实施例提供一种应用设备，所述应用设备包括存储器、处理器以及上述第一方面提供的所述滤光器阵列或者上述的第二方面提供的所述的图像传感器。

第五方面，本申请的一些实施例提供一种应用设备，所述应用设备包括存储器、显示器以及上述第一方面所述滤光器阵列或者上述第二方面所述的图像传感器。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为相关技术提供的图像传感器的部分结构示意图；

图2为本申请实施例提供的最小重复单元的排布示意图；

图3-图14为本申请实施例提供的滤光单元在最小重复单元中的排布示意图；

图15为本申请实施例提供的图像传感器像的又一部分结构示意图；

图16为本申请实施例提供的相机结构组成框图；

图17为本申请实施例提供的手机终端的组成框图；

图18为本申请实施例提供的视频监控系统的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请的一些实施例提出的包括红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元的颜色排列可以在几乎不损失颜色还原能力的情况下提升进光量。因此采用本申请一些实施例的滤光单元的颜色排布方案相对其他方案可有效减少解析后的图像的亮度噪声及颜色噪声。

请参看图1，图1为相关技术的图像传感器10，也是本申请一些实施例所基于的图像传感器10的部分结构示意图。如图1所示，图像传感器10 包括滤光器阵列11及像素阵列12。滤光器阵列11包括多个滤光单元110，本申请的一些实施例在于确定了这些滤光单元110的排布规律(具体可以参考图3-图14以及下文的相关描述)。图1的像素阵列12包括多个像素单元120，每个像素单元120对应滤光器阵列11的一个滤光单元110。像素单元120用于接收穿过对应的滤光单元110的光线以生成电信号。例如，像素单元120通过设置的感光元件(例如光电二极管)来感应经过其上相应颜色的滤光单元过滤后的对应颜色的光信号的光强信息。此外，图1还示出了位于滤光器阵列11上方的微透镜阵列13，其中，微透镜阵列13包括多个微透镜130，微透镜130用于接收入射光线。如图1所示，每个微透镜130对应一个滤光单元110及一个像素单元120。

需要说明的是，图1用于示例性说明本申请实施例的图像传感器10的滤光器阵列11中滤光单元110和像素阵列12的像素单元120的对应关系，并不构成对本申请实施例方案的应用场景的限制。例如，本申请的实施例的透镜还可以接收背光光线。

可以理解的是，图1的各个滤光单元110(例如，滤光片)可以将经过微透镜130处理后的入射光线进行过滤，仅保留部分频率的光线(对应于某一种颜色)。为了实现高质量彩色图像的采集，本申请的一些实施例的图像传感器10中提供了一种如下文图3-图14的图案(区别于现有的拜耳 (Bayer)图案)排布的滤光器阵列11。图像传感器10中的多个像素单元120 能够接收穿过对应的滤光单元110的光线，从而生成具有不同色彩通道的像素信号。其中，每个像素单元120仅能输出一种颜色通道的值的像素信号，其余颜色通道的值的像素信号需要通过插值(即有图像处理电路)来获取。

下面结合图2-图14进一步阐述本申请一些实施例提供的滤光器阵列 11的滤光单元110在最小重复单元中排布规律。

如图2所示，本申请的一些实施例提供一种滤光器阵列11，所述滤光器阵列11包括多个平铺的最小重复单元170，每个最小重复单元170包括布置于六行乘六列的单元格组(如图3-图14中的虚线框内的单元格组)，所述六行乘六列的单元格组包括四个三行乘三列的单元格组(例如，请参考图3被垂直虚线178和水平虚线179分割六行乘六列矩阵得到的四个单元格组，即左上单元格组171、左下单元格组173、右上单元格组172以及右下单元格组174)；其中，四个所述单元格组中的第一单元格组中的部分单元格用于布置绿色滤光单元；所述四个所述单元格组中的第二单元格组中的部分单元格用于布置红色滤光单元；所述四个所述单元格组中的第三单元格组中的部分单元格用于布置蓝色滤光单元；所述四个所述单元格组中的第四单元格组中的部分单元格用于布置青色滤光单元。

需要说明的是，本申请的一些实施例并不限定第一单元格组、第二单元格组、第三单元格组以及第四单元格组在最小重复单元上的相互之间的位置关系也不限定每个单元格组在单元格上的具体位置。也就是说，在一些实施例中，第一单元格组是位于最小重复单元的左上位置的3*3的单元格组。在另一些实施例中，第一单元格组是位于最小重复单元的左下位置的3*3的单元格组。在一些实施例中，第一单元格组是位于最小重复单元的右上位置的3*3的子单元格。在一些实施例中，第一单元格组是位于最小重复单元的右下位置的3*3的单元格组。同理，其余的第二单元格组、第三单元格组以及第四单元格组的位置也可能位于最小重复单元的左上、左下、右上或者右下的单元格组。

下面结合图3-图14示例性说明滤光器阵列11中的最小重复单元的滤光单元110的排布规律。

需要说明的是，图3-图14中分别用R标识表示透过红光(例如，波长范围大致为605nm-700nm)并滤除其他颜色的光的红色滤光单元，用G标识表示透过绿光(例如，波长范围大致为500nm-560nm)并滤除其他颜色的光的绿色滤光单元，用B标识表示透过蓝光(例如，波长范围大致为 435nm-480nm)并滤除其他颜色的光的蓝色滤光单元，用C标识表示透过青光(例如，波长范围大致为480nm-490nm)并过滤其他颜色的光的青色滤光单元，用W表示对应位置(即单元格中)设置全色滤光单元或者不设置任何滤光单元。在一些实施例中，青色表示能同时以较高效率(例如，较高光子数量或者较高功率)通过蓝色与绿色的滤光片，也就是说控制通过青色过滤器单元通过的蓝色光和绿色光的量(例如，功率或者光子数) 大于通过的红色光的量可以实现透过青光过滤其他色光的目的。

图3-图14中仅示出了滤光器阵列11中的四个最小重复单元170(图 3-图14中虚线框示出一个最小重复单元170)，这并不构成对本申请实施例的限制。也就是说，图像传感器10的最小重复单元170的数量可以根据实际情况进行调整。在图3-图14中仅图3示出了经过六行乘六列单元格组中心的垂直虚线178和水平虚线179划分得到的四个三行乘三列的单元格组 (即图3的左上位置的第一单元格组171、左下位置的第二单元格组173、右下位置的第三单元格组174以及右上位置的第四单元格组172)示意图，可以理解的是图4-图14也可以通过最小重复单元(例如，虚线框标出的一个最小重复单元)中心的垂直线和水平线将各最小重复单元划分为四个单元格组。

本申请的一些实施例可以将六行乘六列单元格组划分得到的四个3*3 的单元格组中的各单元格组包括的九个单元格中的四个非相邻的单元格中设置有色滤光单元。例如，在各单元格组的除主对角线和次对角线之外的剩余四个单元格中布置有色滤光单元，也就是说除主对角线经过的单元格和次对角线经过的单元格之外的剩余四个非相邻的单元格中设置有色滤光单元。下面结合图3-图8示例性阐述这些实施例。

如图3所示的滤光器阵列中的部分最小重复单元的排布规律图，结合图3可知位于最小重复单元170的左上位置的第一单元格组171包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元G；位于最小重复单元170的左下位置的第二单元格组173包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元 R；位于最小重复单元170的右下位置的第三单元格组174包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元B；位于最小重复单元170的右上位置第四单元格组173包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述青色滤光单元C；其中，所述四个单元格位于由所述九个单元格组成图形的非主对角线和非次对角线(对于非主对角线和非次对角线的含义可以参考下文描述)上，也就是说，所述四个单元格位于由所述九个单元格组成图形的除主对角线和次对角线经过的单元格之外的单元格上。在一些实施例中，图3中未布置有色滤光单元的单元格中的部分单元格或者全部单元格可以设置全色滤光单元。在另一些实施例中，图3未布置有色滤光单元的单元格中可以均不设置任何滤光单元(例如，滤光片)。

图4所示的滤光器阵列的排布图案是图3的排布图案向左旋转90度后得到的。请参考图4，位于最小重复单元170的左下位置的第一单元格组包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元G；位于最小重复单元170的右下位置的第二单元格组包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元R；位于最小重复单元170的右上位置的第三单元格组包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元B；位于最小重复单元170的左上位置第四单元格组包括的三行乘三列的九个单元格中的四个非相邻的单元格用于设置所述青色滤光单元C；其中，所述四个单元格位于由所述九个单元格组成图形的除主对角线和次对角线经过的单元格之外的单元格上。

图5示出的滤光器阵列中滤光单元110的排布规律是将图3的滤光器阵列的排布图案中的最小重复单元水平翻转后得到的。

图6示出的滤光器阵列中滤光单元110的排布规律是将图3的滤光器阵列的排布图案中的最小重复单元进行左右对称后得到的。

图7示出的滤光器阵列中滤光单元110的排布规律是将图3的滤光器阵列的排布图案中的最小重复单元进行上下对称后得到的。

图8示出的滤光器阵列中滤光单元110的排布规律是将图3的滤光器阵列的排布图案中的最小重复单元的蓝色滤光单元和青色滤光单元交换位置得到的。

也就是说，图3-图8的有色滤光器单元(包括：红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元)非相邻的分布在各单元格组的非主对角线和非次对角线上。其中，主对角线为经过各单元格组的左上和右下位置的单元格的对角线(例如，图3的第一单元格组的主对角线180)，次对角线为经过各单元格组的右下和右上的位置的单元格对角线(例如，图3的第四单元格组的次对角线181)。可以理解的是，本申请一些实施例的非主对角线和非次对角线即主对角线和次对角线未经过的单元格，也就是，非主对角线和非次对角线即除主对角线和次对角线之外的单元格。

本申请的一些实施例可以将六行乘六列矩阵划分得到的四个3*3的单元格组中的各单元格组包括的九个单元格中的五个非相邻的单元格中设置有色滤光单元。例如，在各单元格组的主对角线和次对角线经过的单元格中布置有色滤光单元。下面结合图9-图14示例性阐述这些实施例。

如图9所示的滤光器阵列，位于最小重复单元的左上位置的第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元G；位于最小重复单元的左下位置的第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元R；位于最小重复单元的右下位置的第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元B；位于最小重复单元的右上位置的第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元 C；其中，所述五个非相邻的单元格位于由所述九个单元格组成图形的主对角线和次对角线上。在一些实施例中，图9中未布置有色滤光单元的单元格中的部分单元格或者全部单元格可以设置全色滤光单元。在另一些实施例中，图9未布置有色滤光单元的单元格中可以均不设置任何滤光单元(例如，滤光片)。

图10的滤光器阵列11的排布图案是将图9右转90得到的。如图10 所示，位于最小重复单元的右上位置的第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元G；位于最小重复单元的左上位置的第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元R；位于最小重复单元的左下位置的第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元 B；位于最小重复单元的右下位置的第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元C；其中，所述五个单元格位于由所述九个单元格组成图形的主对角线和次对角线上。

图11示出的滤光器阵列中滤光单元110的排布规律对应的图案是将图 9的滤光器阵列的排布图案中的最小重复单元垂直翻转后得到的。

图12示出的滤光器阵列中滤光单元110的排布规律对应的图案是将图 9的滤光器阵列的排布图案中的最小重复单元左右对称后得到的。

图13示出的滤光器阵列中滤光单元110的排布规律对应的图案是将图 9的滤光器阵列的排布图案中的最小重复单元上下对称后得到的。

图14示出的滤光器阵列中滤光单元110的排布规律对应的图案是将图 9的滤光器阵列的排布图案中的最小重复单元中的青色滤光单元和绿色滤光单元交换位置得到的。

也就是说，图9-图14的有色滤光器单元(包括：红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元)非相邻的分布在各单元格组的主对角线和次对角线上。

在一些实施例中，图3-图14的最小重复单元包括的四个三行乘三列的单元格组中未布置有色的滤光单元的多个单元格中的至少部分单元格用于设置全色滤光单元；其中，所述有色的滤光单元包括：所述红色滤光单元，所述绿色滤光单元，所述蓝色滤光单元以及所述青色滤光单元。也就是说，在一些实施例中，最小重复单元包括的四个单元格组中未布置有色滤光单元的部分或者全部单元格中布置全色滤光单元。例如，图3-图8中在最小重复单元的主对角线和次对角线经过的全部(例如五个单元格)或者部分单元格上布置全色滤光器单元，而对于未布置有色滤光单元也未布置全色过滤器单元的单元格可以不布置任何颜色的滤光片。例如，图9-图14中在最小重复单元的非主对角线和非次对角线经过的全部单元格(四个单元格) 或者部分单元格中布置全色滤光器单元，而对于未布置有色滤光单元也未布置全色过滤器单元的单元格可以不布置任何颜色的滤光片。换句话说，本申请一些实施例的第一单元格组、第二单元格组、第三单元格组和第四单元格组中的至少部分单元格组中至少部分单元格用于设置全色滤光单元。

需要说明的是，对图3-图14的颜色排列图案包括的最小重复单元(图 3-图14中采用虚线框示出一个最小重复单元)进行90度旋转、翻转、左右对称、上下对称等变换，或者以3x3单元格组为交换单位在最小重复单元内进行不同单元格组之间位置的交互(例如，图8是交换图3中的两个单元格组的位置得到的，图14是交换图9中的两个单元格组的位置得到的)，应当认为属于与本申请实施例提供的本质相同的颜色排列。本申请实施例提及的单元格主要用于定位各像素单元，由于像素单元与滤光单元一一对应因此本申请的一些实施例在描述滤光单元的排布规律或者排布图时也涉及了单元格。

下面结合图15示例性阐述图像传感器10的结构和布局，为了附图简要清晰，图15仅提供了图像传感器10包括的部分单元或者电路，对于图 15未示出的图像传感器10包括的其他单元(例如，滤光器阵列中的滤光单元，以及滤光单元的排布规律的图案)可以参考本申请其他的实施例的相关描述和相关附图(例如图3-图14)。

如图15所示，本申请一些实施例提供的图像传感器10包括：像素阵列12，所述像素阵列12包括多个像素单元120；以及滤光器阵列(由于滤光器阵列11为平铺在像素阵列12上层的滤光器单元，因此未在图15展示位于每个像素单元120上层的滤光单元)。

可以理解的是，与上文本申请一些实施例提供的滤光器阵列11中的滤光单元的排布规律相同，图15的图像传感器10包括的滤光器阵列包括多个滤光单元，所述滤光器阵列定位于所述像素阵列的上方且所述滤光单元光耦合至所述像素单元，所述滤光器阵列的图案的最小重复单元为六行乘六列的单元格组，所述六行乘六列的单元格组包括四个三行乘三列的单元格组；其中，四个所述单元格组中的第一单元格组中的部分单元格布置有绿色滤光单元；所述四个所述单元格组中的第二单元格组中的部分单元格布置有红色滤光单元；所述四个所述单元格组中的第三单元格组中的部分单元格布置有蓝色滤光单元；所述四个所述单元格组中的第四单元格组中的部分单元格布置有青色滤光单元。

在一些实施例中，所述第一单元格组、所述第二单元格组、所述第三单元格组和所述第四单元格组中的至少部分单元格组中未设置有色滤光单元的单元格中的至少部分单元格用于设置全色滤光单元，其中，所述有色滤光单元包括红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元。

在一些实施例中，所述第一单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元；所述第二单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元；所述第三单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元；所述第四单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述青色滤光单元；其中，所述四个单元格位于由所述九个单元格组成图形的除主对角线和次对角线之外的单元格上。

在一些实施例中，所述第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元；所述第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元；所述第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元；所述第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元；其中，所述五个单元格位于由所述九个单元格组成图形的主对角线和次对角线上。

在一些实施例中，所述四个三行乘三列的单元格组中未布置有色滤光单元的多个单元格中的至少部分单元格设置全色过滤器单元；其中，所述有色滤光单元包括：所述红色滤光单元，所述绿色滤光单元，所述蓝色滤光单元以及所述青色滤光单元。

为了避免重复赘述，对于本申请实施例提供的图像传感器包括滤光器阵列11的具体特征可参考上文本申请实施例提供的滤光单元的排布规律以及图3-图14的内容，在此不做过多赘述。

如图15所示，在一些实施例中，所述图像传感器还包括读取电路330，读取电路330被配置为合并读取同一个单元格组中相同颜色的滤光单元对应的感光元件的感光电流。例如，读取电路330合并读取图3虚线框内的最小重复单元中的左上单元格组171内的四个绿色滤光单元定位的四个像素单元(例如，像素单元包括的光电二极管)的感光电流；读取电路330 合并读取左上单元格组171中五个全色滤光单元(假设五个位置全部布置全色滤光单元)定位的五个像素单元的感应电流。例如，读取电路330合并读取图9虚线框内的最小重复单元的左下单元格组中的五个红色滤光单元定位的像素单元的感应电信号，并读取左下单元格组中剩余单元格(例如，这四个单元格中可以设置对应于全色滤光单元的全色滤光片也可以不设置任何滤光片)定位像素单元的感应电信号。需要说明的是，为了读出各像素单元的感应电信号需要寻址各个像素单元。作为一个示例，图15某个像素单元的选址过程为：在行驱动电路310的控制下选通某条行地址线 311并在列驱动电路320的控制下选通某条列地址线321，以通过与读取电路330连接的读取线312读出行地址线311和列地址线321交叉处的像素单元所感应的电流信号。与现有技术的方案相比，本申请一些实施例需要合并读取位于一个最小重复单元中各单元格组中相同颜色的滤光单元定位的像素单元的感应电流。本申请这些实施例的颜色种类包括：红色、绿色、蓝色、青色以及全色，其中，全色也可以被不布放任何滤光单元替代，也就是说读取电路330会合并读取每个单元格组中为布置有色滤光单元的单元格对应的像素单元的感应电流，而无论这些单元格是否设置了全色滤光单元还是未设置任何滤光单元。

如图15所示，在一些实施例中，图像传感器还包括转换装置340，所述转换装置340被配置为将与最小重复单元对应的多个感光元件感应的电信号转换为拜耳格式的输出信号，以供图像处理电路解析图像。作为一个示例，转换装置340被配置为：根据分辨率类型确定神经网络模型的目标权重，其中，所述分辨率类型包括半尺寸模式和全尺寸模式；根据所述神经网络模型将输入的待转换的电信号转换为所述拜耳格式的输出信号。

也就是说，本申请的一些实施例再将读取电路330读取的像素单元的感应的电信号发送至图像处理电路之前还需要转换装置340进行信号处理。这是由于，在一些实施例中图像处理电路不能直接解析本申请一些实施例提供的滤光单元的排布方式对应的像素单元所感应的电信号，所以需要对读出的数据进行如下两种转换处理：对于半尺寸模式即合并读取同一个单元格组内的相同颜色的滤光单元对应的像素单元对应的感光电流，此时最小重复单元(即六行乘六列的矩阵包括的36个滤光单元)对应的36个像素单元感应的电流信号合并为8个像素读出值(具体地，合并读取之后每个单元格组中读取两个感应电信号，例如，将图3的左上单元格组171的四个绿色滤光单元对应的四个像素单元感应的电流合并为一个读出电流，将图3左上单元格组171剩余五个位置对应的滤光单元对应的五个像素单元感应的电流合并为一个读出电流)，之后根据本申请一些实施例的转换装置340可以将8个像素读出值变为4个重新排列后的标准拜耳bayer格式的像素输出值；对于全尺寸模式，即分别读取最小重复单元对应的36个像素单元感应的电流值，即每个像素单元读出一个感应电流数值，再通过本申请实施例的转换装置将读出的36个感应电流值转换为6x6的标准拜耳bayer 格式。例如，转换装置340可以是一个单独的桥接芯片，通过信号线获取像素单元的读出电流值；在一些实施例中转换装置340可以与图像传感器堆叠在一个芯片上。

在一些实施例中，转换装置340可以通过可编程的神经网络处理器 (NPU)实现。作为一个示例，对于全尺寸模式的转换装置340可以通过如下方式由NPU实现：S1.依次读取像素单元120的感光单元的感应的信号值 (例如，感应模拟形式电流值)并依次进入NPU的缓冲区域；S2.当缓冲区域内的数据足够多之后，启动NPU即使用预先训练好的神经网络权重计算处理后的结果；S3.NPU计算的结果通过总线送出到图像传感器的输入输出单元。可以理解的是，对于所需要的神经网络的权重，可以用如下方式进行：准备大量的RGB图像；按本申请实施例中的颜色排布方式(即图3- 图14)布置滤光单元并模拟成对应的感光单元(例如，像素单元包括的光电二极管)读出值和拜耳Bayer格式的真实值(ground truth)；向感光单元的读出值中加入模拟的噪声(例如，独立同分布的标准高斯噪声)；以神经网络的预测值与正确标记值ground truth的L1 norm为目标函数，使用随机梯度下降SGD算法调整神经网络的权重，直到收敛。

下面以三类具体的电子设备为例示例性阐述应用设备的组成。

如图16所示，本申请的一些实施例还提供一种应用设备，该应用设备包括数码相机400，所述相机包括图像传感器10和镜头410。图像传感器 10的具体结构可以参考上文描述，为避免重复在此不做过多赘述。

如图17所示，本申请实施例提供一种应用设备，所述应用设备包括手机终端500，该手机终端包括：存储器510、处理器520以及图像传感器10。图像传感器10的具体结构可以参考上文描述，为避免重复在此不做过多赘述。

如图18所示，本申请实施例提供一种应用设备，所述应用设备包括视频监控系统600，该视频监控系统包括处理器610、显示器620以及图像传感器10。图像传感器10的具体结构可以参考上文描述，为避免重复在此不做过多赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (14)

1.一种滤光器阵列，其特征在于，所述滤光器阵列包括多个平铺的最小重复单元，每个所述最小重复单元包括六行乘六列的单元格组，所述六行乘六列的单元格组包括四个三行乘三列的单元格组；其中，

四个所述单元格组中的第一单元格组中的部分单元格用于布置绿色滤光单元；

所述四个所述单元格组中的第二单元格组中的部分单元格用于布置红色滤光单元；

所述四个所述单元格组中的第三单元格组中的部分单元格用于布置蓝色滤光单元；

所述四个所述单元格组中的第四单元格组中的部分单元格用于布置青色滤光单元。

2.如权利要求1所述的滤光器阵列，其特征在于，所述第一单元格组、所述第二单元格组、所述第三单元格组和所述第四单元格组中的至少部分单元格组中未设置有色滤光单元的单元格中的至少部分单元格用于设置全色滤光单元，其中，所述有色滤光单元包括红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元。

3.如权利要求1-2任一项所述的滤光器阵列，其特征在于，

所述第一单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元；

所述第二单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元；

所述第三单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元；

所述第四单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述青色滤光单元；

其中，所述四个非相邻的单元格位于由所述九个单元格组成图形的除主对角线和次对角线之外的单元格上。

4.如权利要求1所述的滤光器阵列，其特征在于，

所述第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元；

所述第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元；

所述第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元；

所述第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元；

其中，所述五个非相邻的单元格位于由所述九个单元格组成图形的主对角线和次对角线上。

5.如权利要求4所述的滤光器阵列，其特征在于，所述四个三行乘三列的单元格组中未布置有色滤光单元的多个单元格中的至少部分单元格用于设置全色滤光单元；

其中，所述有色的滤光单元包括：所述红色滤光单元，所述绿色滤光单元，所述蓝色滤光单元以及所述青色滤光单元。

6.一种图像传感器，其特征在于，所述图像传感器包括：

像素阵列，所述像素阵列包括多个像素单元；以及

滤光器阵列，所述滤光器阵列包括多个滤光单元，所述滤光器阵列定位于所述像素阵列的上方且所述滤光单元光耦合至所述像素单元，所述滤光器阵列的图案的最小重复单元为六行乘六列的单元格组，所述六行乘六列的单元格组包括四个三行乘三列的单元格组；其中，

四个所述单元格组中的第一单元格组中的部分单元格布置有绿色滤光单元；

所述四个所述单元格组中的第二单元格组中的部分单元格布置有红色滤光单元；

所述四个所述单元格组中的第三单元格组中的部分单元格布置有蓝色滤光单元；

所述四个所述单元格组中的第四单元格组中的部分单元格布置有青色滤光单元。

7.如权利要求6所述的图像传感器，其特征在于，所述第一单元格组、所述第二单元格组、所述第三单元格组和所述第四单元格组中的至少部分单元格组中未设置有色滤光单元的单元格中的至少部分单元格用于设置全色滤光单元，其中，所述有色滤光单元包括红色滤光单元、绿色滤光单元、蓝色滤光单元以及青色滤光单元。

8.如权利要求6-7任一项所述的图像传感器，其特征在于，

所述第一单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述绿色滤光单元；

所述第二单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述红色滤光单元；

所述第三单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述蓝色滤光单元；

所述第四单元格组包括的九个单元格中的四个非相邻的单元格用于设置所述青色滤光单元；

其中，所述四个非相邻的单元格位于由所述九个单元格组成图形的除主对角线和次对角线之外的单元格上。

9.如权利要求6-7任一项所述的图像传感器，其特征在于，

所述第一单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述绿色滤光单元；

所述第二单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述红色滤光单元；

所述第三单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述蓝色滤光单元；

所述第四单元格组包括的九个单元格中的五个非相邻的单元格用于设置所述青色滤光单元；

其中，所述五个非相邻的单元格位于由所述九个单元格组成图形的主对角线和次对角线上。

10.如权利要求9所述的图像传感器，其特征在于，所述四个三行乘三列的单元格组中未布置有色滤光单元的多个单元格中的至少部分单元格用于设置全色过滤器单元；

其中，所述有色滤光单元包括：所述红色滤光单元，所述绿色滤光单元，所述蓝色滤光单元以及所述青色滤光单元。

11.如权利要求9所述的图像传感器，其特征在于，所述图像传感器还包括读取电路，所述读取电路被配置为合并读取同一个单元格组中相同颜色的滤光单元对应的感光元件的感光电流。

12.一种应用设备，其特征在于，所述应用设备包括：

镜头；以及

如权利要求1-5任一项所述滤光器阵列或者如权利要求6-11任一项所述的图像传感器。

13.一种应用设备，其特征在于，所述应用设备包括：存储器、处理器以及如权利要求1-5任一项所述滤光器阵列或者如权利要求6-11任一项所述的图像传感器。

14.一种应用设备，其特征在于，所述应用设备包括：存储器、显示器以及如权利要求1-5任一项所述滤光器阵列或者如权利要求6-11任一项所述的图像传感器。

Images