CN107896321A - 图像传感器 - Google Patents

Abstract

公开了一种图像传感器，该图像传感器包括多个滤光器、多个透射构件、成像部和信号处理部。滤光器透射具有使得能够视觉识别基色的波长的可见光线，并且透射构件透射红外线。成像部的多个成像元件由多个组构成。成像元件中的每个成像元件包括滤光器或透射构件。信号处理部基于由与所生成的图像的每个像素对应的组的成像元件测量的测量值来确定该像素的亮度。每个组的至少一个成像元件设置有透射构件并且剩余的一个或更多个成像元件设置有滤光器，滤光器无色或具有被分配给该组的基色。

Description

图像传感器

技术领域

本公开内容涉及图像捕捉技术。

背景技术

根据专利文献US2013/0250103A1中所公开的成像系统，多个红外(IR)滤波器与多个滤色器一起以网格图案布置。IR滤波器透射红外线并且阻挡可见光线。为了减轻红外线的影响，成像系统基于由与IR滤波器对应的成像元件获得的测量值，校正由与滤色器对应的成像元件获得的可见光线的测量值。利用该配置，在没有设置有用于阻挡红外线的滤波器的情况下，成像系统可以生成质量良好的图像。

然而，根据US2013/0250103A1的成像系统，所述多个IR滤波器与所述多个滤色器被布置一起。因此，与根据用于常见图像传感器的拜耳(Bayer)布置来布置多个滤色器的情况相比，成像系统包括较少数目的滤色器。因此，成像系统引起捕捉图像的颜色再现性的劣化。

发明内容

本公开内容提供了一种用于在防止所生成的图像的质量劣化的同时简化图像传感器的硬件配置的技术。

作为本公开内容的技术的方面的图像传感器生成图像。该图像传感器包括多个滤光器、多个透射构件、成像部和生成部。

所述多个滤光器透射具有能够视觉识别多种基色中的一种基色的波长的可见光线并且阻挡具有不同波长的可见光线。所述多个透射构件透射至少红外线。成像部包括多个成像元件，所述多个成像元件在与所述多个滤光器和所述多个透射构件中的一个相关联的状态下被二维展开布置。可见光线或红外线进入所述多个成像元件中的每个成像元件，所述可见光线已经穿过与有关的成像元件对应的滤光器，所述红外线已经穿过与有关的成像元件对应的透射构件。生成部生成图像。

所述多个成像元件包括多个组。所述多种基色中的一种基色被分配给所述多个组中的每个组。透射构件被设置成与属于所述多个组中的对应的一个组的多个成像元件中的至少一个成像元件相关联，其中，滤光器被设置成与属于该一个组的剩余的一个或更多个成像元件相关联。滤光器无色或具有分配给该组的基色。滤光器透射具有使得能够视觉识别被分配给该组的基色的波长的可见光线。

根据本公开内容的图像传感器的上述配置，所述多个成像元件被划分成多个组，并且每个组与由图像传感器生成的图像的像素中的对应像素相关联。每个组包括与无色或具有相同基色的相应滤光器对应的一个或更多个成像元件以及与透射构件对应的至少一个成像元件。根据本公开内容的图像传感器，基于由属于每个组的多个成像元件测量的可见光线和红外线的测量值来计算与该组对应的像素的亮度。也就是说，设置有透射构件的至少一个成像元件被布置成与像素相关联。根据图像传感器，通过考虑由与提供给每个像素的透射构件对应的成像元件测量的测量值来计算所述每个像素的亮度。

因此，本公开内容的图像传感器可以在没有使用用于阻挡红外线的滤波器的情况下计算与每个像素对应的基色的亮度，同时减轻红外线的影响。以这种方式，着色图像中的颜色再现性增强。因此，根据该图像传感器，可以在防止所生成的图像的质量劣化的同时简化硬件配置。

注意，该部分内容和权利要求书中所提及的括号中的附图标记指示与稍后作为方面被描述的实施方式中将提及的部件的对应关系。因此，附图标记不限制本公开内容的技术范围。

附图说明

在附图中：

图1是示出根据本发明的实施方式的图像传感器、ECU等的框图；

图2是示出根据实施方式的成像部和捕捉图像的图；

图3是示出根据实施方式的滤波器部的图；

图4是示出根据实施方式的为滤波器组中的一组的R组的图；

图5是示出根据实施方式的为滤波器组中的一组的G组的图；以及

图6是示出根据实施方式的为滤波器组中的一组的B组的图。

具体实施方式

参照附图，将讨论本公开内容的技术的实施方式。

[1.整体配置]

图1示出了装配在车辆中的图像传感器1、ECU 6、车载传感器7以及车辆控制设备8。在下文中，装配有这些装置的车辆被称为本车辆。ECU 6通过使用图像传感器1和其他装置来检测存在于本车辆周围的各种目标。ECU 6基于检测结果来控制车辆控制设备8并且执行各种处理，用于本车辆的驾驶辅助。

车辆控制设备8包括安装在本车辆中的一个或更多个装置。具体地，例如，车辆控制设备8可以包括诸如电动助力转向装置的转向装置81、诸如制动器的制动装置84、以及诸如加速器的驱动装置85，这些装置中的每一个均是用于控制本车辆的行为的装置。除了这些装置之外，车辆控制设备8可以包括例如扬声器82、显示器83和灯86。

包括在车辆控制设备8中的装置根据从ECU 6给出的指令来启动，以提供驾驶辅助例如自动驾驶。在自动驾驶中，自动地执行驾驶操作例如本车辆的加速、制动和转向。具体地，在自动驾驶中，本车辆可以完全自动地被允许巡航到其目的地，或者本车辆可以被允许跟随在前车辆。除了自动驾驶的这些方式之外，可以仅在加速和制动方面自动地操纵本车辆，以自动控制本车辆的速度。此外，在自动驾驶中，可以仅在转向方面自动地操纵本车辆，以自动控制行驶路线。车辆控制设备8中的装置可以提供驾驶辅助，例如防撞、速度警告、后端碰撞警告、车间距离警告或车道偏离警告。在存在本车辆将与物体碰撞的可能性的情况下执行防撞。在这种情况下，通过执行制动控制和/或转向控制来避免与物体的碰撞。

来自车载传感器7的信号被输入至图像传感器1和/或ECU 6。车载传感器7包括一个或更多个传感器。具体地，车载传感器7可以包括检测本车辆的行为的传感器，例如车辆速度传感器、各种加速度传感器以及方向舵偏角传感器。车载传感器7还可以包括检测本车辆的周围环境的传感器例如雷达。车载传感器7还可以包括输出本车辆的位置数据的装置例如GPS、或用作提供地图数据的源的装置例如导航装置、或通信装置(道路车辆通信装置、移动终端例如智能电话)等。

图像传感器1定期地捕捉本车辆周围的图像并且将指示捕捉图像的图像数据输出至ECU 6。稍后将描述图像传感器1的详细配置。

ECU 6主要由例如包括至少CPU、RAM、ROM等的微型计算机来配置。为非暂态有形记录介质中的一种的ROM存储用于基于由图像传感器1获取的图像来执行驾驶辅助的程序。ECU 6的CPU根据程序被操作并且提供上文所提及的驾驶辅助。

图像传感器1和ECU 6可以基于所获取的捕捉图像对存在于本车辆周围的目标的位置、大小、形状、类型、状态等进行检测。目标的示例包括车辆、行人、各种静止物体、行车道、道路标志、交通信号等。图像传感器1和ECU 6可以通过使用从车载传感器7获取的信息来检测目标。图像传感器1可以将目标的检测结果输出至ECU 6。ECU 6可以基于目标的检测结果来提供驾驶辅助。

[2.图像传感器的配置]

图像传感器1被配置作为单目相机。图像传感器1包括透镜部2、滤波器部3、成像部4和信号处理部5。换言之，图像传感器1包括透镜、滤光器装置、成像装置和信号处理单元。透镜部2对应于一个或更多个透镜。滤波器部3对应于滤光器装置。成像部4对应于成像装置。信号处理部5对应于信号处理单元。

成像部4包括多个成像元件40(例如，互补金属氧化物半导体(CMOS)传感器、电荷耦合器件(CCD)传感器等)。如图2所示，所述多个成像元件40以网格图案(以阵列)来布置。所述多个成像元件40被划分成多个组。也就是说，一个成像元件40是一组部件中的部件。在下文中，一组成像元件40也被称为成像元件组41。每个成像元件组41包括以二乘二矩阵布置的四个成像元件40。以具体示例为例，成像元件组41a包括如图2所示的四个成像元件40₁至40₄。

成像部4包括放大器和A/D转换器(未示出)。放大器以预定增益来放大从每个成像元件40输出的模拟信号。模拟信号指示入射到成像元件40上的每束可见光线和每束红外线的强度。A/D转换器将经放大的模拟信号转换为数字值并且将数字值作为由成像元件40测量的测量值输出至信号处理部5。

透镜部2包括一个或更多个透镜。透镜部2在成像部4的成像元件40上形成入射的可见光的图像。

信号处理部5基于由相应的成像元件40测量的可见光线的强度和红外线的强度来生成捕捉图像9。信号处理部5能够生成着色图像和高灵敏度图像。着色图像基于穿过滤色器的光的亮度与穿过IR滤波器的光的亮度之间的差而生成并且具有良好的颜色再现性。着色图像从拜耳图像中生成，在拜耳图像中，基色与每个像素相关联。根据拜耳图像，每个像素输出分配给该像素的基色的光，该光具有根据像素的亮度的强度。高灵敏度图像是基于穿过滤色器的光的亮度与穿过IR滤波器的光的亮度的总和而生成的高灵敏度图像。

信号处理部5将指示所生成的捕捉图像9的图像数据输出至ECU 6。信号处理部5可以基于捕捉图像9来检测如上面所提及的目标的位置等。信号处理部5可以将检测结果输出至ECU 6。信号处理部5可以包括具有至少CPU、RAM和ROM的微型计算机并且使用软件例如程序来生成捕捉图像9。此外，信号处理部5可以使用硬件例如多个逻辑电路来生成捕捉图像9。

成像元件组41在一对一的基础上与由信号处理部5生成的捕捉图像9的像素90对应。成像部4中的每个成像元件组41的位置和捕捉图像9中的与成像元件组41对应的像素90的位置对准。以具体的示例为例，如图2所示，成像元件组41a与像素90a对准。也就是说，多个成像元件组41a至41i中的每个组与多个像素90a至90i中的对应一个像素对准。例如，每个像素90的亮度基于从包括在对应的成像元件组41中的成像元件40获得的测量值而被计算。

滤波器部3布置在透镜部2与成像部4的成像元件40之间。已经穿过透镜部2的可见光线和红外线穿过滤波器部3并且进入成像元件40。滤波器部3包括多个滤色器和多个透射构件。在下文中，所述多个滤色器和所述多个透射构件各自也被称为滤波器。

滤波器部3包括与光的相应基色——即，红色、绿色和蓝色(RGB)——对应的三种类型的滤色器。滤色器是一种滤光器。滤光器与仅透射特定波长范围的光并且不透射其他波长范围的光的光学元件对应。本实施方式涉及使用如下面所描述的滤色器的示例。具体地，滤波器部3包括与红色对应的R滤波器、与绿色对应的G滤波器和与蓝色对应的B滤波器作为滤色器。每个滤色器透射具有使得能够视觉识别对应基色的波长的可见光线并且阻挡其他波长的可见光线。

透射构件透射至少红外线。透射构件可以被配置作为例如红外(IR)滤波器，其透射红外线并且阻挡全部波长的可见光线。透射构件可以例如透射一些波长的可见光线以及红外线。透射构件不一定必须具有作为滤光器的功能。也就是说，透射构件可以透射全部波长的可见光线以及红外线。以具体示例为例，每个透射构件可以被配置为框状构件。透射构件可以允许已经穿过框的开口的可见光线和红外线直接进入成像元件40。

这些滤波器如成像部4的所述多个成像元件40那样以网格图案布置。滤光器在一对一的基础上与所述多个成像元件40对应。已经穿过每个滤波器的可见光线或红外线进入与滤波器对应的成像元件40。如图3所示，滤波器被划分成多个组。在下文中，一组滤波器也被称为滤波器组30。滤波器组30以网格图案布置。每个滤波器组30包括以二乘二矩阵布置的四个滤波器。

滤波器组30在一对一的基础上与成像元件组41对应。以具体示例为例，图3所示的多个滤波器组30a至30i中的每个组与图2所示的多个成像元件组41a至41i中的对应一组对准。滤波器组30的四个滤波器和与有关的滤波器组30对应的成像元件组41的相应成像元件40对应。

光的基色中的一种基色即红色(R)、绿色(G)或蓝色(B)被分配给与有关的滤波器组30对应的每个成像元件组41。在下文中，分配有红色的滤波器组30也被称为R组。分配有绿色的滤波器组30也被称为G组。分配有蓝色的滤波器组30也被称为B组。在图3所示的滤波器部3中，例如，滤波器组30d和30f对应于R组。滤波器组30a、30c、30e、30g和30i对应于G组。滤波器组30b和30h对应于B组。

在滤波器部3中，以预定图案的二乘二矩阵布置的四个滤波器组30被重复地布置。在图案中，两个G组被布置在对角线上，并且一个R组和一组B组被布置在对角线上。滤波器组30可以以与该图案不同的图案来布置。

每个滤波器组30包括一个透射构件以及透射具有使得能够视觉识别被分配给滤波器组30的基色的波长的可见光线的三个滤色器。如图4所示，R组31包括三个R滤波器31a至31c和一个透射构件31d。如图5所示，G组32包括三个G滤波器32a至32c和一个透射构件32d。如图6所示，B组33包括三个B滤波器33a至33c和一个透射构件33d。每个滤波器组30中包括的滤波器的数目以及滤色器和透射构件的数目和位置不限于上述那些数目和位置并且可以适当地被确定。

下面的描述将详细讨论用于计算捕捉图像9的每个像素的亮度值的处理。该处理由信号处理部5来执行。

(1)第一计算处理

首先，下面的描述将讨论用于在透射构件被配置作为IR滤波器的情况下计算每个像素的亮度值的第一计算处理。

根据第一计算处理，当生成着色图像时，使用红色、绿色和蓝色作为基色。与分配有红色的成像元件组41对应的像素与红色相关联，与分配有绿色的成像元件组41对应的像素与绿色相关联，并且与分配有蓝色的成像元件组41对应的像素与蓝色相关联。在下文中，对应于红色的像素也被称为R像素。对应于绿色的像素也被称为G像素。对应于蓝色的像素也被称为B像素。根据第一计算处理，如下各自计算R像素的红色亮度值Rr、G像素的绿色亮度值Gg和B像素的蓝色亮度值Bb。

Rr＝(R1+R2+R3)×k1-IRr×3×k2

Gg＝(G1+G2+G3)×k3-IRg×3×k4

Bb＝(B1+B2+B3)×k5-IRb×3×k6

R1至R3指示由三个相应的成像元件40测量的测量值，这三个相应的成像元件40属于与R像素对准的每个成像元件组41并且与相应的R滤波器31a至31c对应。IRr指示由一个成像元件40测量的测量值，该一个成像元件40属于与R像素对准的成像元件组41并且与透射构件31d对应。G1至G3指示由三个相应的成像元件40测量的测量值，这三个相应的成像元件40属于与G像素对准的每个成像元件组41并且与相应的G滤波器32a至32c对应。IRg指示由一个成像元件40测量的测量值，该一个成像元件40属于与G像素对准的成像元件组41并且与透射构件32d对应。B1至B3指示由三个相应的成像元件40测量的测量值，这三个相应的成像元件40属于与B像素对准的每个成像元件组41并且与相应的B滤波器33a至33c对应。IRb指示由一个成像元件40测量的测量值，该一个成像元件40属于与B像素对准的成像元件组41并且与透射构件33d对应。换言之，IRr、IRg和IRb指示由与相应的透射构件31d至33d对应的成像元件40测量的红外线的强度的测量值。k1至k6是具有预定值的系数。因此，当生成着色图像时，对于每个像素90，信号处理部5计算被分配给与有关的像素90对应的成像元件组41的基色的亮度。在计算时，信号处理部5使用基于与有关的成像元件组41的滤色器对应的成像元件40的测量值的值以及基于与有关的成像元件组41的透射构件对应的成像元件40的测量值的值。通过计算这两个值之间的差来计算亮度值。

对于每个像素，基于分配给位于有关像素周围的不同像素的基色的亮度值来计算未分配给该像素的不同基色的亮度值。

具体地，例如，基于位于R像素周围的G像素的亮度值Gg来计算R像素的绿色亮度值Gr。基于位于R像素周围的B像素的亮度值Bb来计算R像素的蓝色亮度值Br。更具体地，R像素的亮度值Gr指示R像素周围的G像素的亮度值Gg的平均值。R像素的亮度值Br指示R像素周围的B像素的亮度值Bb的平均值。

类似地，分别基于位于G像素周围的R像素的亮度值Rr以及位于G像素周围的B像素的亮度值Bb来计算G像素的红色亮度值Rg和G像素的蓝色亮度值Bg。分别基于位于B像素周围的R像素的亮度值Rr以及位于B像素周围的G像素的亮度值Gg来计算B像素的红色亮度值Rb以及B像素的绿色亮度值Gb。因此，当生成着色图像时，对于多个像素90中的每个像素，信号处理部5计算和分配给与有关的像素90对应的成像元件组41的基色不同的基色的亮度值。当计算不同基色的这样的亮度值时，信号处理部5使用基于从与有关的成像元件组41的透射构件对应的成像元件40得到的测量值的值以及基于从与有关的成像元件组41的滤色器对应的成像元件40得到的测量值的值。通过计算前值与后值之间的差来各自计算不同基色的亮度值。

因此，根据第一计算处理，可以在红外线的影响减轻的状态下生成着色图像。

根据第一计算处理，当生成高灵敏度图像时，如下各自计算R像素的亮度值Wr、G像素的亮度值Wg和B像素的亮度值Wb。

Wr＝(R1+R2+R3)×k7+IRr×k8

Wg＝(G1+G2+G3)×k9+IRg×k10

Wb＝(B1+B2+B3)×k11+IRb×k12

k7至k12是具有预定值的系数。因此，当生成高灵敏度图像时，信号处理部5计算所述多个像素90中的每个像素的亮度。当计算亮度时，信号处理部5使用基于与滤色器对应并且属于与有关的像素对准的成像元件组41的成像元件40的测量值的值以及基于与透射构件对应并且属于成像元件组41的成像元件40的测量值的值。通过计算前值与后值的总和来计算亮度值。因此，根据第一计算处理，可以在从成像元件40得到的红外线的测量结果被充分反映的状态下生成高灵敏度图像。

(2)第二计算处理

下面的描述将讨论用于在透射构件透射全部波长的可见光线的情况下计算每个像素的亮度值的第二计算处理。

根据第二计算处理，当生成着色图像时，使用青色(C)、品红色(M)和黄色(Y)作为基色。与分配有红色的成像元件组41对应的像素与青色相关联，与分配有绿色的成像元件组41对应的像素与品红色相关联，并且与分配有蓝色的成像元件组41对应的像素与黄色相关联。在下文中，对应于青色的像素也被称为C像素。对应于品红色的像素也被称为M像素。对应于黄色的像素也被称为Y像素。根据第二计算处理，如下各自计算C像素的青色亮度值Cc、M像素的品红色亮度值Mm和Y像素的黄色亮度值Yy。

Cc＝IRr×j1-(R1+R2+R3)/(3×j2)

Mm＝IRg×j3-(G1+G2+G3)/(3×j4)

Yy＝IRb×j5-(B1+B2+B3)/(3×j6)

IRr、R1至R3、IRg、G1至G3、IRb和B1至B3具有与第一计算处理的那些值相似的相应含义。j1至j6是具有预定值的系数。

与第一计算处理一样，对于每个像素，基于位于像素周围的不同像素的基色的亮度值来计算未分配给该像素的不同基色的亮度值。

具体地，例如，分别基于C像素周围的像素的对应的品红色亮度值Mm和对应的黄色亮度值Yy来计算C像素的品红色亮度值Mc和黄色亮度值Yc。分别基于M像素周围的像素的对应的青色亮度值Cc和对应的黄色亮度值Yy来计算M像素的青色亮度值Cm和黄色亮度值Ym。分别基于Y像素周围的像素的对应的青色亮度值Cc和对应的品红色亮度值Mm来计算Y像素的青色亮度值Cy和品红色亮度值My。

因此，根据第二计算处理，可以在红外线的影响减轻的状态下生成着色图像。

根据第二计算处理，当生成高灵敏度图像时，R像素的红色亮度值Wr、G像素的绿色亮度值Wg和B像素的蓝色亮度值Wb按照第一计算处理来计算。

[3.有益效果]

以上详细描述的本实施方式产生如下的有益效果。

(1)根据本实施方式的图像传感器1，将多个成像元件40划分成多个成像元件组41，并且所述多个成像元件组41中的每个组与捕捉图像9的像素中的对应一个像素相关联。每个成像元件组41包括：三个成像元件40，其设置有针对相同基色的相应滤色器；以及一个成像元件40，其对应于透射构件。根据图像传感器1，基于由成像元件组41的成像元件40测量的可见光线和红外线的测量值来计算与成像元件组41对应的像素的亮度。也就是说，设置有透射构件的一个成像元件40被提供给每个像素。根据图像传感器1，通过考虑到与提供给有关的像素的透射构件对应的成像元件40的测量值，计算每个像素的亮度。

诸如CCD或CMOS的成像元件不可避免地感测红外线，特别是近红外线。作为抵消该情况的措施，常见的图像传感器被配置成包括阻挡红外线的滤波器，使得已经穿过滤波器的可见光线入射到成像元件上。就此而言，本实施方式的图像传感器1可以在不使用用于阻挡红外线的滤波器的情况下计算被分配给每个像素的基色的亮度，同时减轻红外线的影响。利用这种配置，着色图像中的颜色再现性增强。因此，图像传感器1可以在防止捕捉图像9的质量劣化的同时简化硬件配置。

在已知技术中，例如在夜间，从本车辆的前灯或其他灯发射近红外线，并且基于使用反射的近红外线，由图像传感器生成高灵敏度的捕捉图像9。就此而言，根据本实施方式的图像传感器1，每个成像元件组41包括：三个成像元件40，其设置有相应的滤色器；以及一个成像元件40，其设置有透射红外线的透射构件。利用这种配置，对红外线的灵敏度降低。因此，在将本实施方式的图像传感器1应用于上述技术的情况下，防止由成像元件40测量的测量值达到饱和，使得可以以高灵敏度生成良好的捕捉图像9。

(2)根据本实施方式的第一计算处理和第二计算处理，当生成着色图像时，在红外线的影响减轻的状态下来计算被分配给每个像素的基色的亮度。利用这种配置，确保良好的颜色再现性。当生成高灵敏度图像时，基于由与透射构件对应的成像元件40测量的红外线的测量值，以高灵敏度来计算每个像素的亮度。这使得可以生成具有高灵敏度的良好图像。因此，图像传感器1可以为着色图像和高灵敏度图像两者提供良好的质量。

(3)本实施方式的图像传感器1安装在车辆中。图像传感器1将捕捉图像9输出至车辆的ECU 6。因此，ECU 6可以基于良好质量的捕捉图像9执行各种处理。特别地，由ECU 6执行的处理会需要着色图像和高灵敏度图像两者。就此而言，本实施方式的图像传感器1生成高质量的着色图像和高灵敏度图像。这允许ECU 6合适地执行处理。

(4)ECU 6被配置成提供驾驶辅助。也就是说，由本实施方式的图像传感器1生成的捕捉图像9用于驾驶辅助。ECU 6可以使用良好质量的捕捉图像9来合适地提供驾驶辅助。

[4.其他实施方式]

到目前为止已经描述了本公开内容的实施方式。然而，本公开内容的技术不限于上述实施方式。本公开内容的技术可以在不脱离本公开内容的精神的范围内以各种修改来实现。

(1)根据本实施方式，图像传感器1的成像部4中的所述多个成像元件40以网格图案布置。然而，所述多个成像元件40的布置不限于网格图案，而是可以是各种二维展开的图案。在这种情况下，滤波器部3中的多个滤波器也以与所述多个成像元件40相同的方式来布置。

(2)根据本实施方式，图像传感器1的滤波器部3中的每个滤波器组30包括以二乘二矩阵布置的对于相同基色的三个滤色器以及一个透射构件。然而，滤波器组30中的滤色器和透射构件的数目以及滤色器和透射构件的位置等不限于上述实施方式的那些数目和位置。

然而，注意，每个滤波器组30中的多个滤波器应当被连续布置。换言之，滤波器组30中的每个滤波器应该被布置成与同一滤波器组30的另一个滤波器相邻。每个滤波器组30中的多个滤波器优选地以N×N矩阵布置(N是整数2或更大)。根据每个滤波器组30中的多个滤波器的数目和位置来确定成像部4的每个成像元件组41中的多个成像元件40的数目和位置。

(3)根据本实施方式，图像传感器1安装在车辆中，并且由图像传感器1获取的捕捉图像9被输出至ECU 6并用于提供驾驶辅助的处理。然而，如何使用捕捉图像9以及如何应用图像传感器1不限于此。捕捉图像9可以用于除驾驶辅助以外的处理。此外，图像传感器1可以被配置作为例如便携式相机或任何其他相机并且可以安装在车辆以外的装置中。

(4)根据本实施方式，将第一计算处理和第二计算处理描述为用于计算捕捉图像9的每个像素的亮度的示例性处理。然而，用于计算每个像素的亮度的处理不限于第一计算处理和第二个计算处理。每个像素的亮度可以根据例如透射可见光线或红外线的透射构件的特性、每个成像元件组41中的成像元件40的数目、每个滤波器组30的配置等通过各种方法来计算。

(5)作为示例，本实施方式描述了滤波器部3中的滤波器——三种类型的滤色器，三种类型的滤色器各自透射具有使得能够视觉识别红色、蓝色或绿色的波长的可见光线并且阻挡其他波长的可见光线。然而，滤波器不限于这些。滤波器仅需要是透射预定波长的可见光线的滤光器。因此，滤波器不需要被着色，而例如可以是无色的。

(6)根据本实施方式，可以通过多个部件来实现单个部件的多个功能，或者可以通过多个部件来实现单个部件的单个功能。此外，多个部件的多个功能可以通过单个部件实现，或者通过多个部件实现的单个功能可以通过单个部件来实现。可以省略本实施方式的配置的一部分。本实施方式的配置的至少一部分可以被添加到本实施方式的另一配置或由本实施方式的另一配置替代。由权利要求书的措辞指定的技术思想的任何方面是本公开内容的实施方式。

(7)除了上述图像传感器1以外，本公开内容的技术可以以如下各种形式来实现。具体地，本公开内容的技术可以例如以下述形式来实现：包括图像传感器1作为部件的系统、用于允许计算机用作图像传感器1的程序、存储程序的非暂态有形记录介质例如半导体存储器、以及用于由图像传感器1生成捕捉图像的方法。

[5.与权利要求的对应关系]

本实施方式的图像传感器1的信号处理部5与生成部对应。成像部4的成像元件组41与组对应。

Claims (8)

1.一种用于生成图像的图像传感器，包括：

多个滤光器，每个滤光器透射具有使得能够视觉识别多种基色中的任一种基色的波长的可见光线并且阻挡具有不同波长的可见光线；

多个透射构件，每个透射构件透射至少红外线；

成像部，所述成像部包括多个成像元件，所述多个成像元件在所述成像元件中的每个成像元件与所述多个滤光器和所述多个透射构件中的一个相关联的状态下被二维展开布置，其中，可见光线或红外线进入相应的多个成像元件，所述可见光线已经穿过与相应的成像元件对应的滤光器，所述红外线已经穿过与相应的多个成像元件对应的透射构件；以及

生成部，所述生成部生成所述图像，其中：

所述多个成像元件包括多个组；

所述多种基色中的一种基色被分配给所述多个组中的每个组；

所述透射构件被设置成与所述多个成像元件中的属于所述多个组中的对应的一个组的至少一个成像元件相关联，其中，所述滤光器被设置成与属于所述一个组的剩余的一个或更多个成像元件相关联，所述滤光器无色或具有被分配给所述一个组的基色；并且

所述滤光器透射具有使得能够视觉识别被分配给所述一个组的所述基色的波长的可见光线。

2.根据权利要求1所述的图像传感器，其中：

所述生成部通过以下来生成所述图像：将所述多个成像元件划分成所述多个组；使所述多个组中的每个组与被包括在所述图像中的多个像素中的一个像素对应；以及基于由属于与所述多个像素中的每个像素对应的组的多个成像元件测量的可见光线和红外线的测量值来确定所述每个像素的亮度。

3.根据权利要求2所述的图像传感器，其中：

所述多个透射构件透射红外线并且阻挡可见光线；

所述生成部生成为着色图像的图像以及为高灵敏度图像的图像；

在所述生成部生成所述着色图像时，对于所述多个像素中的每个像素，所述生成部基于如下差来计算被分配给与所述每个像素对应的组的基色的亮度，所述差为根据由与属于所述组的相应的多个滤光器对应的成像元件测量的测量值的值和根据由与属于所述组的透射构件对应的成像元件测量的测量值的值之间的差；并且

在所述生成部生成所述高灵敏度图像时，所述生成部基于如下总和来计算所述多个像素中的每个像素的亮度，所述总和为根据由属于与所述每个像素对应的组并与相应的多个滤光器对应的多个成像元件测量的测量值的值和根据由属于所述组并与所述透射构件对应的成像元件测量的测量值的值的总和。

4.根据权利要求2所述的图像传感器，其中：

所述多个透射构件透射红外线和可见光线；

所述生成部生成为着色图像的图像以及为高灵敏度图像的图像；

在所述生成部生成所述着色图像时，对于所述多个像素中的每个像素，所述生成部基于如下差来计算与被分配给与所述每个像素对应的组的基色不同的基色的亮度，所述差为根据由与属于所述组的相应的多个滤光器对应的成像元件测量的测量值的值和根据由与属于所述组的透射构件对应的成像元件测量的测量值的值之间的差；并且

在所述生成部生成所述高灵敏度图像时，所述生成部基于如下总和来计算所述多个像素中的每个像素的亮度，所述总和为根据由属于与所述每个像素对应的组并与相应的多个滤光器对应的多个成像元件测量的测量值的值和根据由属于所述组并与所述透射构件对应的成像元件测量的测量值的值的总和。

5.根据权利要求1或2所述的图像传感器，其中：

所述图像传感器被安装在车辆中。

6.根据权利要求1或2所述的图像传感器，其中：

由所述图像传感器生成的所述图像被用于对车辆的驾驶辅助。

7.根据权利要求3或4所述的图像传感器，其中：

所述图像传感器被安装在车辆中。

8.根据权利要求3或4所述的图像传感器，其中：

由所述图像传感器生成的所述图像被用于对车辆的驾驶辅助。