CN116134830A

CN116134830A - 摄像装置

Info

Publication number: CN116134830A
Application number: CN202180058618.1A
Authority: CN
Inventors: 堀田飞鸟; 清水富男
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Electronic Systems Co ltd
Priority date: 2020-08-05
Filing date: 2021-07-29
Publication date: 2023-05-16
Also published as: US20230188859A1; DE112021004167T5; WO2022030367A1; JP2022029867A

Abstract

本公开所涉及的摄像装置具备光学带通滤波器、摄像元件、减法器、乘法器、加法器、亮度矩阵以及亮度水平判定部。光学带通滤波器选择性地使可见光和近红外光透过。摄像元件输出与可见光及近红外光的受光强度相应的第一信号以及与近红外光的受光强度相应的第二信号。减法器从第一信号减去第二信号来输出第三信号。乘法器对第二信号乘以控制值来输出信号电平为第二信号的信号电平以下的第四信号。加法器对第三信号加上第四信号来输出图像信号。亮度矩阵输出与图像信号相应的可见区域的亮度信息。亮度水平判定部基于亮度信息来将与可见区域的亮度水平相应的值的控制值供给到乘法器。

Description

摄像装置

技术领域

本公开涉及一种摄像装置。

背景技术

以往，已知有一种摄像装置所涉及的技术，该摄像装置通过搭载除了能够检测具有可见区域的波长的可见光以外还能够检测具有近红外区域的波长的近红外光的摄像元件，从而即使在夜间等可见光的光量少的环境下也能够得到图像。

现有技术文献

专利文献

专利文献1：日本特开2008-289001号公报

发明内容

本公开提供一种能够抑制因近红外光引起的被摄物的颜色再现性劣化从而实现画质的最佳化的摄像装置。

本公开所涉及的摄像装置具备光学带通滤波器、摄像元件、减法器、乘法器、加法器、亮度矩阵以及亮度水平判定部。所述光学带通滤波器构成为选择性地使具有可见区域的波长的可见光和具有近红外区域的波长的近红外光透过。所述摄像元件构成为输出与透过了所述光学带通滤波器的可见光及近红外光的受光强度相应的信号电平的第一信号、以及与透过了光学带通滤波器的近红外光的受光强度相应的信号电平的第二信号。所述减法器构成为从所述第一信号减去所述第二信号来输出第三信号。所述乘法器构成为对所述第二信号乘以控制值来输出信号电平为所述第二信号的信号电平以下的第四信号。所述加法器构成为对所述第三信号加上所述第四信号来输出图像信号。所述亮度矩阵构成为输出与所述图像信号相应的可见区域的亮度信息。所述亮度水平判定部构成为基于来自所述亮度矩阵的所述亮度信息来将与可见区域的亮度水平相应的值的所述控制值供给到所述乘法器。

附图说明

图1是示出实施方式所涉及的摄像装置的结构的一例的图。

图2是示出图1的信号处理部的结构的一例的图。

图3是示出图1及图2的光学带通滤波器所具有的透射率特性的一例的图。

图4是示出图1及图2的摄像元件的滤色器(color filter)中的阵列图案的一例的示意图。

图5是示出图1及图2的摄像元件的像素与输出信号的关系的一例的图。

图6是示出实施方式所涉及的与亮度水平相应的乘法器控制的特性的一例的图。

图7是示出实施方式所涉及的与亮度水平相应的白平衡控制的特性的一例的图。

图8是示出实施方式所涉及的与亮度水平相应的色度增益控制的特性的一例的图。

图9是用于说明通过实施方式所涉及的与亮度水平相应的乘法器控制得到的图像信号的图。

具体实施方式

下面参照附图来说明本公开所涉及的摄像装置的实施方式。

以往，为了进行补充驾驶者的视野的视野辅助，在车辆搭载了后部的后摄像机、侧视镜旁边的侧摄像机。其中，已知一种为了提高车的安全性而有效利用摄像机的影像来探测人、物体并基于探测的结果来促使驾驶者注意或者控制车辆的技术。

作为有效利用了摄像机的影像的车辆的控制，已知有基于拍摄车辆的整个周围所得到的摄像机的影像的自动驻车功能等。然而，例如在侧摄像机的摄像区域中车辆的灯光无法到达等较暗的环境场景较多，对于能够检测具有可见区域的波长的可见光的可见摄像机而言无法以充分的灵敏度确保影像。

与此相对，已知有如下的技术：使用搭载不仅能够检测可见光还能够检测具有近红外区域的波长的近红外光的摄像元件的、具有2个波长范围的摄像机，即使在夜间等可见光的光量少的环境下也得到图像。

然而，在白天等可见光的光量多的环境下，存在由于除了可见光以外还检测到的近红外光而图像相对于被摄物的颜色再现性降低等画质降低的情况。另外，存在如下情况：在进行在光量多的环境与光量少的环境之间切换有无利用近红外光等控制以抑制画质的降低的情况下，由于在切换控制时画质产生差而会给用户带来不协调感。

因此，本公开提供一种能够抑制因近红外光引起的被摄物的颜色再现性劣化从而实现画质的最佳化的摄像装置。

作为一例，设为本公开所涉及的摄像装置是搭载于车辆的多个车载摄像机中的各车载摄像机。多个车载摄像机例如包括分别安装于车辆的前部、后部、左侧面部以及右侧面部的4个摄像机。

在此，车辆的前部例如是车辆的车标(emblem)部等。前部的车载摄像机例如被以沿倾斜方向俯视车辆的前方的路面那样的姿势安装。也就是说，前部的车载摄像机构成为能够拍摄以车辆的前方为中心的规定的摄影区域。

另外，车辆的后部例如是车辆的后牌照装饰(rear license garnish)部等。后部的车载摄像机例如被以沿倾斜方向俯视车辆的后方的路面那样的姿势安装。也就是说，后部的车载摄像机构成为能够拍摄以车辆的后方为中心的规定的摄影区域。

另外，车辆的左侧面部及右侧面部即车辆的侧方部例如是车辆的侧视镜部等。侧方部的车载摄像机例如分别被以沿正下方向俯视车辆的侧方的路面那样的姿势安装。也就是说，侧方部的车载摄像机分别构成为能够拍摄以车辆的侧方为中心的规定的摄影区域。

此外，作为一例，多个车载摄像机中的相邻的车载摄像机配置为摄影区域的一部分相互重复。在该情况下，通过将由多个车载摄像机得到的多个图像以粘贴在一起的方式进行合成，从而能够生成表现车辆的整个周围的图像。

此外，作为搭载本公开所涉及的摄像装置的车辆，能够适当利用自行车、摩托车、汽车、电车等各种车辆。另外，本公开所涉及的摄像装置不限于搭载于车辆，也可以搭载于船舶、飞机等各种移动体。在此，包括车辆在内的各种移动体既可以是载人移动的移动体，也可以是无人移动的移动体。另外，这些移动体的移动既可以由用户控制，也可以自主控制。

图1是示出实施方式所涉及的摄像装置1的结构的一例的图。图2是示出图1的信号处理部30的结构的一例的图。

如图1及图2所示，摄像装置1具备摄像部10以及信号处理部30。摄像部10构成为以规定的帧率依次拍摄规定的摄像区域，并将所读出的像素信号输出到信号处理部30。该像素信号包含RGB信号和IR信号。在后文描述RGB信号和IR信号的详情。信号处理部30构成为基于来自摄像部10的RGB信号的矩阵信息，来执行将RGB信号与IR信号无缝地相减或相加的信号处理。摄像装置1构成为输出被信号处理部30实施了信号处理的图像信号50。

如图1所示，摄像部10具有摄像光学系统11以及摄像元件12。摄像部10向信号处理部30输出与经由摄像光学系统11而在摄像元件12的摄像面成像的被摄物光束的受光强度相应的信号电平的像素信号。

如图1所示，摄像光学系统11具有光学带通滤波器(BPF)111以及透镜112。

光学BPF 111是选择性地使特定的波长的光透过的具有波长选择性的滤波器。图3是示出图1及图2的光学BPF 111所具有的透射率特性(BPF)的一例的图。在图3所示的曲线图中，纵轴和横轴分别表示透射率[％]和波长[nm]。此外，在图3所示的曲线图中，除了示出光学BPF 111的透射率特性(BPF)以外，还示出摄像元件12的与可见光有关的分光特性(R、G、B)以及辐射近红外光的LED(Light Emitting Diode：发光二极管)的发射光谱(LED)。如图3所示，光学BPF 111构成为选择性地使具有可见区域的波长的光即可见光和具有近红外区域的波长的近红外光透过。

透镜112是用于使被摄物光束在摄像元件12的摄像面上成像的光学元件。此外，在图1及图2中，例示由单透镜构成的透镜112，但不限于此。透镜112只要通过具有功率的至少一个光学元件而具有期望的成像性能即可，透镜112既可以由包括至少一个单透镜的复合透镜构成，也可以由透镜系统、反射系统的组合构成。

摄像元件12构成为输出与经由摄像光学系统11而在摄像面成像的被摄物光束的受光强度相应的信号电平的像素信号。作为摄像元件12，能够适当利用CCD(ChargeCoupled Device：电荷耦合器件)、CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)等固体摄像元件。摄像元件12配置于被摄物光束被透镜112成像的位置。摄像元件12构成为二维地排列构成像素的多个受光部。多个受光部中的各受光部例如是光电二极管。多个受光部中的各受光部构成为能够检测具有可见区域的波长的可见光以及具有近红外区域的波长的近红外光。多个受光部中的各受光部生成与受光强度即受光量相应的电荷。所生成的电荷被蓄积于与多个受光部中的各受光部连接的电容器。电容器中蓄积的电荷作为像素信号被读出。

在摄像元件12的摄像面的被摄物侧设置有滤色器121。滤色器121具有在拜耳阵列构造中将R像素变更为BL(黑)像素且将B像素的一部分变更为R像素得到的像素阵列。在此，拜耳阵列构造是指将沿水平方向交替地排列R像素和G像素而成的线以及沿水平方向交替地排列B像素和G像素而成的线在垂直方向上交替地配置的滤色器的阵列构造。

图4是示出图1及图2的摄像元件12的滤色器121中的阵列图案的一例的示意图。具体地说，如图4所示，实施方式所涉及的滤色器121具有将沿水平方向反复排列按B像素、G像素、R像素、G像素的顺序的4个像素而成的线以及沿水平方向交替地排列G像素和BL像素而成的线在垂直方向上交替地配置的阵列构造。

此外，在沿水平方向反复排列按B像素、G像素、R像素、G像素的顺序的4个像素而成的线中的、在垂直方向上连续的2条线之间，沿水平方向错开2个像素。换言之，实施方式所涉及的滤色器121的阵列构造包括按B像素、G像素、BL像素、G像素的顺序依次顺时针地排列而成的像素组以及按R像素、G像素、BL像素、G像素的顺序依次顺时针地排列而成的像素组。

此外，滤色器121中的阵列图案不限于图4所示的阵列构造。例如，滤色器121的阵列构造也可以是在拜耳阵列构造中将G像素的一部分变更为BL(黑)像素得到的像素阵列。

在此，说明从摄像元件12的多个像素中的各像素输出的像素信号。图5是示出图1及图2的摄像元件12的像素与输出信号的关系的一例的图。来自摄像元件12的像素信号包含RGB信号和BL信号。如图2及图5所示，RGB信号包含R′信号、G′信号以及B′信号。

R′信号是从R像素读出的信号。G′信号是从G像素读出的信号。B′信号是从B像素读出的信号。BL信号是从BL像素读出的IR信号。此外，设为摄像元件12的与近红外光有关的分光特性例如是与图3所示的辐射近红外光的LED的发射光谱(LED)相应的特性。

在此，如上所述，光学BPF 111构成为使近红外光透过。另外，摄像元件12的多个受光部中的各受光部构成为能够检测可见光和近红外光。其中，滤色器121中的与R像素、G像素和B像素分别对应的滤光片不限于能够分别使红色光、绿色光和蓝色光透过，还能够使近红外光透过。例如，在被摄物光束的可见光成分的受光强度比摄像元件12的检测灵敏度小的情况下，R′信号、G′信号及B′信号中的各信号与BL信号等同。

因而，如图5所示，R′信号是相当于与红色光的受光强度相应的信号电平的R信号同与近红外光的受光强度相应的信号电平的IR信号之和的信号。另外，G′信号是相当于与绿色光的受光强度相应的信号电平的G信号同IR信号之和的信号。另外，B′信号是相当于与蓝色光的受光强度相应的信号电平的B信号同IR信号之和的信号。据此，摄像元件12能够表现为构成为输出与透过了光学BPF 111的可见光及近红外光的受光强度相应的信号电平的RGB信号、以及与透过了光学BPF 111的近红外光的受光强度相应的信号电平的IR信号。在此，RGB信号是第一信号的一例。另外，IR信号是第二信号的一例。

如图2所示，信号处理部30具有减法器31、加法器32、乘法器33、AE/AWB/γ处理部34、亮度信号处理部35、色度信号处理部36、亮度矩阵(MTX)37以及亮度水平判定部38。

减法器31、加法器32、乘法器33、亮度信号处理部35、色度信号处理部36、亮度MTX37以及亮度水平判定部38中的各部例如由DSP(Digital Signal Processor：数字信号处理器)、ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等逻辑电路构成。

此外，也可以是，减法器31、加法器32、乘法器33、亮度信号处理部35、色度信号处理部36、亮度MTX 37以及亮度水平判定部38中的至少2者由1个逻辑电路构成。另外，也可以是，减法器31、加法器32、乘法器33、亮度信号处理部35、色度信号处理部36、亮度MTX 37以及亮度水平判定部38分别由2个以上的逻辑电路构成。

减法器31是构成为从被输入到+侧的输入端的信号减去被输入到-侧的输入端的信号来输出表示被输入的2个信号之差的信号的电路块。在此，表示差的信号是第三信号的一例。减法器31的2个输入端分别与摄像元件12的输出端电连接。减法器31的输出端电连接于加法器32的2个输入端中的与乘法器33不同的输入端。

加法器32是构成为将被输入到2个输入端的2个信号相加来输出表示被输入的2个信号之和的图像信号的电路块。加法器32的2个输入端分别与减法器31的输出端及乘法器33的输出端电连接。加法器32的输出端与AE/AWB/γ处理部34的输入端电连接。

乘法器33是构成为对被输入到输入端的信号乘以表示被输入到控制端的乘法值的信号来输出表示被输入到输入端的信号与表示乘法值的信号之积的信号的电路块。此外，设为表示积的信号的信号电平为被输入到输入端的信号的信号电平以下。也就是说，设为乘法值是0以上且1以下的实数。在此，乘法值是控制值的一例。另外，表示积的信号是第四信号的一例。乘法器33的输入端与减法器31的-侧的输入端并联地电连接于摄像元件12的输出端。乘法器33的控制端与亮度水平判定部38的输出端之一电连接。乘法器33的输出端电连接于加法器32的2个输入端中的与减法器31不同的输入端。

AE/AWB/γ处理部34的输入端与加法器32的输出端电连接。AE/AWB/γ处理部34的控制端与亮度水平判定部38的输出端之一电连接。AE/AWB/γ处理部34的输出端分别与亮度信号处理部35的输入端、色度信号处理部36的输入端及亮度MTX 37的输入端电连接。AE/AWB/γ处理部34具有CPU(Central Processing Unit：中央处理单元)等处理器以及闪存等存储器。AE/AWB/γ处理部34通过由处理器执行加载到存储器中的程序来实现作为AE处理部341、AWB处理部342以及γ处理部343的功能。在此，AE/AWB/γ处理部34是处理部的一例。

此外，也可以是，AE/AWB/γ处理部34由DSP、ASIC、FPGA等逻辑电路构成。在该情况下，也可以是，减法器31、加法器32、乘法器33、AE/AWB/γ处理部34、亮度信号处理部35、色度信号处理部36、亮度MTX 37以及亮度水平判定部38中的至少2者由1个逻辑电路构成。另外，也可以是，AE/AWB/γ处理部34由2个以上的逻辑电路构成。

AE处理部341进行自动曝光(AE)控制处理。具体地说，AE处理部341基于图像数据中的表示被摄物亮度的AE评价值，来设定摄像元件12的增益、快门速度值等与光圈值校正相当的摄影条件。换言之，AE处理部341将图像信号50所表示的图像的明亮度最佳化。

AWB处理部342根据来自亮度水平判定部38的控制信号来进行自动白平衡(AWB)控制处理。在AWB控制处理中，AWB处理部342配合被摄物光束的色温来调整从摄像元件12输出的RGB信号的信号电平。例如，AWB处理部342基于按摄像元件12的每个规定的像素组的相同颜色像素的像素值的平均值或累积值来调整RGB信号的信号电平，以使R信号和B信号的信号电平与G信号的信号电平一致。此外，AWB处理部342基于通过了摄像光学系统11的分光透射率特性以及摄像元件12的分光灵敏度特性的信号，来计算相同颜色像素的像素值的平均值或累积值。

γ处理部343进行伽马变换处理。在伽马变换处理中，γ处理部343通过调整伽马值来调整图像信号50所表示的图像的对比度，从而提高图像的可视性。

亮度信号处理部35是进行亮度信号处理的电路块。亮度信号处理部35例如包括构成为根据RGB信号输出亮度信息的亮度MTX电路、构成为进行用于使图像呈现清楚感的轮廓校正处理的电路等。亮度信号处理部35的输入端与AE/AWB/γ处理部34的输出端电连接。

色度信号处理部36是进行颜色信号处理的电路块。色度信号处理部36例如包括颜色信号的MTX电路、进行色彩度校正处理的电路、进行色度增益调整处理的电路等。色度信号处理部36的输入端与亮度信号处理部35的输入端并联地电连接于AE/AWB/γ处理部34的输出端。色度信号处理部36的控制端与亮度水平判定部38的输出端之一电连接。

亮度信号处理部35的输出端及色度信号处理部36的输出端经由未图示的耦合器与信号处理部30的输出端电连接。也就是说，从信号处理部30的输出端输出的图像信号50是将亮度信号处理部35的输出信号与色度信号处理部36的输出信号耦合得到的信号。

亮度MTX 37是构成为输出与RGB信号相应的可见区域的亮度信息的电路块。亮度MTX 37的输入端与亮度信号处理部35的输入端及色度信号处理部36的输入端并联地电连接于AE/AWB/γ处理部34的输出端。亮度MTX 37的输出端与亮度水平判定部38的输入端电连接。

作为一例，亮度信号处理部35的亮度MTX电路和亮度MTX 37构成为通过分别按照SD(BT601)标准的亮度MTX式针对摄像元件12的多个像素中的各像素计算亮度信号(Y)，从而输出亮度信息。利用式(1)来表现SD(BT601)标准的亮度MTX式。在式(1)中，R、G以及B分别表示R信号、G信号以及B信号的信号电平。

Y＝0.3R+0.59G+0.11B

作为另一例，亮度信号处理部35的亮度MTX电路和亮度MTX 37构成为通过分别按照HD(BT709)标准的亮度MTX式计算亮度信号(Y)，从而输出亮度信息。利用式(2)来表现HD(BT709)标准的亮度MTX式。在式(2)中，R、G以及B分别表示R信号、G信号以及B信号的信号电平。

Y＝0.21R+0.72G+0.07B

此外，亮度信号处理部35的亮度MTX电路和亮度MTX 37也可以一体地构成。例如，亮度信号处理部35是构成为具有亮度MTX 37并基于来自亮度MTX 37的亮度信息对图像信号实施亮度信号处理的电路块。根据该结构，能够减小电路系统的部件件数、大小。电路系统的部件件数、大小的减小有助于摄像装置1的低成本化、小型化。

亮度水平判定部38是构成为基于亮度信息来控制信号处理部30的动作的电路块。具体地说，亮度水平判定部38构成为根据亮度信息中所包含的每个像素的亮度信号的信号电平、即可见区域的亮度水平来控制信号处理部30的动作。亮度水平判定部38的输入端与亮度MTX 37的输出端电连接。亮度水平判定部38的3个输出端分别与乘法器33的控制端、AE/AWB/γ处理部34的控制端及色度信号处理部36的控制端电连接。

亮度水平判定部38构成为基于由亮度MTX 37输出的多个像素中的各像素的亮度信号来判定可见区域的亮度水平。作为一例，亮度水平判定部38例如按摄像元件12的摄像面中的每个规定的区域判定亮度水平。规定的区域例如是图4所示的像素阵列的2×4的8个像素的区域、4×2的8个像素的区域、4×4的16个像素的区域或者它们的组合的区域。规定的区域例如也可以是在摄像面的中央部与周边部之间数量不同的像素的区域。

作为另一例，亮度水平判定部38例如针对摄像元件12的摄像面中的特定的区域判定亮度水平。特定的区域例如是摄像面的中央部或周边部的像素的区域。特定的区域是任意的大小，例如是图4所示的像素阵列的2×4的8个像素的区域、4×2的8个像素的区域、4×4的16个像素的区域或者它们的组合的区域。另外，也可以在中央部或周边部设置2个以上的特定的区域。另外，特定的区域也可以设置于中央部和周边部这两个部分。

作为另一例，亮度水平判定部38例如针对摄像元件12的摄像面的整个区域判定亮度水平。

另外，亮度水平判定部38构成为根据亮度水平来控制与RGB信号相加的IR信号的信号电平。图6是示出实施方式所涉及的与亮度水平相应的乘法器控制的特性的一例的图。

在亮度水平比规定的阈值br12大的情况下，亮度水平判定部38向乘法器33的控制端供给“0”作为乘法值的值。也就是说，在可见区域的亮度水平高的“明亮的环境”的情况下，乘法器33的输出信号的信号电平为“0”，因此加法器32不对减法器31的输出信号进行任何加法运算，R信号、G信号以及B信号被供给到AE/AWB/γ处理部34。

在亮度水平为规定的阈值br11以下的情况下，亮度水平判定部38向乘法器33的控制端供给“1”作为乘法值的值。也就是说，在可见区域的亮度水平非常低的“非常暗的环境”的情况下，从乘法器33直接输出IR信号，因此加法器32加上由减法器31减去的量的IR信号，R′信号、G′信号以及B′信号被供给到AE/AWB/γ处理部34。

另一方面，在亮度水平比规定的阈值br11大且为规定的阈值br12以下的情况下，亮度水平判定部38向乘法器33的控制端供给“0”至“1”之间的与亮度水平相应的值作为乘法值的值。也就是说，在可见区域的亮度水平低的“暗的环境”的情况下，可见区域的亮度水平越是降低，乘法器33的输出信号的信号电平越是增加，加法器32中IR信号与减法器31的输出信号相加的程度越是增加。在此，比规定的阈值br11大且为规定的阈值br12以下的亮度水平的区域是第一范围的一例。另外，规定的阈值br11是第一范围的下限的一例。另外，规定的阈值br12是第一范围的上限的一例。

此外，在图6所示的例子中，在比规定的阈值br11大且为规定的阈值br12以下的亮度水平的区域中，乘法值的值与亮度水平的关系是线性的，但也可以是非线性的。

这样，亮度水平判定部38构成为基于来自亮度MTX 37的亮度信息，来将与可见区域的亮度水平相应的值的乘法值供给到乘法器33。由此，信号处理部30实现R信号、G信号及B信号与IR信号的连续的相加。另外，摄像装置1能够抑制伴随着加上IR信号的控制与不加上IR信号的控制之间的非连续的切换的用户的不协调感。

此外，也可以在亮度水平为规定的阈值br11的情况下向乘法器33的控制端供给与亮度水平相应的乘法值的值。另外，也可以在亮度水平为规定的阈值br12的情况下向乘法器33的控制端供给“0”作为乘法值的值。

另外，亮度水平判定部38构成为根据亮度水平来对白平衡控制的打开/关闭进行切换。图7是示出实施方式所涉及的与亮度水平相应的白平衡控制的特性的一例的图。

在亮度水平比规定的阈值br21大的情况下，亮度水平判定部38将用于使白平衡控制为打开状态的控制信号供给到AE/AWB/γ处理部34的控制端。另一方面，在亮度水平为规定的阈值br21以下的情况下，亮度水平判定部38将用于使白平衡控制为关闭状态的控制信号供给到AE/AWB/γ处理部34的控制端。在此，规定的阈值br21是第一阈值的一例。

这样，在可见区域的亮度水平低的低照度的状态、即“非常暗的环境”的情况下，亮度水平判定部38使白平衡控制停止。由此，摄像装置1能够抑制因色度信息少的区域中的白平衡控制引起的弊端。

此外，也可以在亮度水平为规定的阈值br21的情况下将用于使白平衡控制为打开状态的控制信号供给到AE/AWB/γ处理部34的控制端。

另外，亮度水平判定部38构成为根据亮度水平来控制色度信号处理的增益。图8是示出实施方式所涉及的与亮度水平相应的色度增益控制的特性的一例的图。

在亮度水平比规定的阈值br32大的情况、即在可见区域的亮度水平高的“明亮的环境”的情况下，亮度水平判定部38向色度信号处理部36的控制端供给“1”作为色度增益的值。另外，在亮度水平为规定的阈值br31以下的情况、即在可见区域的亮度水平非常低的“非常暗的环境”的情况下，亮度水平判定部38向色度信号处理部36的控制端供给“0”作为色度增益的值。另一方面，在亮度水平比规定的阈值br31大且为规定的阈值br32以下的情况、即在可见区域的亮度水平低的“暗的环境”的情况下，亮度水平判定部38向色度信号处理部36的控制端供给“0”至“1”之间的与亮度水平相应的值作为色度增益的值。在该情况下，可见区域的亮度水平越是降低，色度增益的值越是降低。在此，比规定的阈值br31大且为规定的阈值br32以下的亮度水平的区域是第二范围的一例。

此外，在图8所示的例子中，在亮度水平比规定的阈值br31大且为规定的阈值br32以下的区域中，色度增益的值与亮度水平的关系是线性的，但也可以是非线性的。

这样，在亮度水平低的低照度的情况下，信号处理部30抑制色度信号的信号电平。即成为黑白的状态。由此，摄像装置1能够减小低照度下的色度噪声来抑制低照度下的画质劣化。

此外，也可以在亮度水平为规定的阈值br31的情况下向色度信号处理部36的控制端供给与亮度水平相应的色度增益的值。另外，也可以在亮度水平为规定的阈值br32的情况下向色度信号处理部36的控制端供给“1”作为色度增益的值。

此外，规定的阈值br11、规定的阈值br21以及规定的阈值br31既可以是相同的亮度水平的值，也可以是各不相同的值。同样，规定的阈值br12和规定的阈值br32既可以是相同的亮度水平的值，也可以是互不相同的值。

在此，说明实施方式所涉及的摄像装置1的动作的一例。对以规定的帧率依次进行拍摄所得到的像素信号依次执行下面的流程。

摄像元件12生成与透过了光学BPF 111的可见光及近红外光的受光强度相应的R′信号、G′信号以及B′信号，并将所生成的R′信号、G′信号以及B′信号供给到减法器31的+侧的输入端。另外，摄像元件12生成与透过了光学BPF 111的近红外光的受光强度相应的IR信号，并将所生成的IR信号分别供给到减法器31的-侧的输入端和乘法器33的输入端。

减法器31从R′信号、G′信号以及B′信号中的各信号减去IR信号来向加法器32输出R信号、G信号以及B信号。另外，乘法器33通过对IR信号乘以来自亮度水平判定部38的乘法值，来向加法器32输出信号电平为所输入的IR信号的信号电平以下的信号。之后，加法器32将从减法器31输出的信号与从乘法器33输出的信号相加，并将相加得到的图像信号输出到AE/AWB/γ处理部34。

AE/AWB/γ处理部34基于从加法器32输出的图像信号来进行AE控制处理。另外，对从加法器32输出的图像信号实施AWB控制处理或伽马变换处理等图像处理。此外，基于来自亮度水平判定部38的控制信号来决定是否进行AWB控制处理。AE/AWB/γ处理部34将被实施了图像处理的图像信号分别供给到亮度信号处理部35、色度信号处理部36以及亮度MTX37。

之后，亮度信号处理部35对来自AE/AWB/γ处理部34的图像信号进行亮度信号处理。色度信号处理部36使用来自亮度水平判定部38的色度增益来对来自AE/AWB/γ处理部34的图像信号进行色度信号处理。被亮度信号处理部35和色度信号处理部36分别实施了处理的图像信号被耦合，并被作为当前的帧的图像信号50输出。

另外，亮度MTX 37输出与来自AE/AWB/γ处理部34的图像信号相应的可见区域的亮度信息。亮度水平判定部38基于来自亮度MTX 37的亮度信息来判定可见区域的亮度水平。在此，亮度水平判定部38通过将与所判定出的亮度水平相应的乘法值供给到乘法器33来实现与亮度水平相应的乘法器控制的特性。

图9是用于说明通过实施方式所涉及的与亮度水平相应的乘法器控制得到的图像信号50的图。

在可见区域的亮度水平高的“明亮的环境”的情况下，从亮度水平判定部38向乘法器33供给的乘法值为“0”。也就是说，如图9所示，仅使用与可见光的受光强度相应的R信号、G信号以及B信号来生成图像信号50。

在可见区域的亮度水平低的“暗的环境”的情况下，从亮度水平判定部38向乘法器33供给的乘法值为与亮度水平相应的值。也就是说，如图9所示，通过对与可见光的受光强度相应的R信号、G信号以及B信号加上与亮度水平相应的信号电平的IR信号来生成图像信号50。

在可见区域的亮度水平非常低的“非常暗的环境”的情况下，从亮度水平判定部38向乘法器33供给的乘法值为“1”。也就是说，如图9所示，通过对与可见光的受光强度相应的R信号、G信号以及B信号加上与近红外光的受光强度相应的IR信号来生成图像信号50。

另外，亮度水平判定部38通过将与所判定出的亮度水平相应的控制信号供给到AE/AWB/γ处理部34来实现与亮度水平相应的白平衡控制的特性。另外，亮度水平判定部38通过将与所判定出的亮度水平相应的色度增益供给到色度信号处理部36来实现与亮度水平相应的色度增益控制的特性。

这样，摄像装置1构成为通过以规定的帧率依次拍摄规定的摄影区域来输出图像信号50。另外，摄像装置1构成为基于RGB信号的矩阵信息，来对RGB信号与IR信号无缝地进行相减或相加处理。

由此，实施方式所涉及的摄像装置1能够抑制因近红外光引起的被摄物的颜色再现性劣化从而实现画质的最佳化。另外，根据实施方式所涉及的摄像装置1，能够将IR信号与RGB信号无缝地叠加，因此能够抑制伴随着RGB信号与IR信号相减或相加的画质的变化，从而减少给用户带来的不协调感。

此外，如图1所示，本公开所涉及的摄像装置1还能够设为还具有发出近红外光的照明部70的结构。照明部70例如是构成为能够辐射具有图3所示的发射光谱(LED)的近红外光的LED。根据该结构，能够进一步提高在夜间等可见光的光量少的环境下得到的图像的画质。另外，根据实施方式所涉及的技术，还能够抑制伴随着照明部70的接通/断开切换的画质的变化。

此外，本公开所涉及的摄像装置1不限于车载摄像机，能够任意地应用于监视摄像机等在环境的光量变化的环境下使用的摄像机。

此外，由本实施方式的摄像装置1执行的处理的一部分或全部也可以通过软件来实现。

由本实施方式的摄像装置1执行的程序被以可安装的形式或者可执行的形式的文件的方式记录于CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk：数字通用光盘)等计算机可读取的记录介质而被提供。

另外，也可以构成为将由本实施方式的摄像装置1执行的程序保存在与因特网等网络连接的计算机上，并通过经由网络下载来进行提供。另外，也可以构成为将由本实施方式的摄像装置1执行的程序经由因特网等网络来进行提供或分发。

另外，也可以构成为将由本实施方式的摄像装置1执行的程序预先嵌入ROM等来进行提供。

根据以上说明的至少一个实施方式，能够抑制因近红外光引起的被摄物的颜色再现性劣化，从而实现画质的最佳化。

虽然说明了本发明的若干实施方式，但这些实施方式是作为例子进行提示的实施方式，其意图并不在于限定发明的范围。这些实施方式能够以其它各种方式实施，并且能够在不偏离发明的主旨的范围内进行各种省略、置换、变更。这些实施方式、其变形包含在发明的范围、主旨中，同样也包含在权利要求书所记载的发明及其等同的范围内。

附图标记说明

1：摄像装置；10：摄像部；11：摄像光学系统；111：光学带通滤波器(BPF)；112：透镜；12：摄像元件；121：滤色器；30：信号处理部；31：减法器；32：加法器；33：乘法器；34：AE/AWB/γ处理部(处理部)；341：AE处理部；342：AWB处理部；343：γ处理部；35：亮度信号处理部；36：色度信号处理部；37：亮度矩阵(MTX)；38：亮度水平判定部；50：图像信号；70：照明部。

Claims

1.一种摄像装置，具备：

光学带通滤波器，其构成为选择性地使具有可见区域的波长的可见光和具有近红外区域的波长的近红外光透过；

摄像元件，其构成为输出与透过了所述光学带通滤波器的可见光及近红外光的受光强度相应的信号电平的第一信号、以及与透过了光学带通滤波器的近红外光的受光强度相应的信号电平的第二信号；

减法器，其构成为从所述第一信号减去所述第二信号来输出第三信号；

乘法器，其构成为对所述第二信号乘以控制值来输出信号电平为所述第二信号的信号电平以下的第四信号；

加法器，其构成为对所述第三信号加上所述第四信号来输出图像信号；

亮度矩阵，其构成为输出与所述图像信号相应的可见区域的亮度信息；以及

亮度水平判定部，其构成为基于来自所述亮度矩阵的所述亮度信息来将与可见区域的亮度水平相应的值的所述控制值供给到所述乘法器。

2.根据权利要求1所述的摄像装置，其中，

所述亮度水平判定部基于所述亮度信息来判定所述亮度水平。

3.根据权利要求1或2所述的摄像装置，其中，

在所述亮度水平处于第一范围内时，所述亮度水平越大，则所述亮度水平判定部使所述控制值的值越小。

4.根据权利要求3所述的摄像装置，其中，

所述控制值是0以上且1以下的实数，

在所述亮度水平比所述第一范围的上限大时，所述亮度水平判定部将所述控制值的值设为1，

在所述亮度水平比所述第一范围的下限小时，所述亮度水平判定部将所述控制值的值设为0。

5.根据权利要求1至4中的任一项所述的摄像装置，其中，

还具备处理部，所述处理部构成为进行用于调整所述图像信号的白平衡的白平衡控制，

在所述亮度水平为第一阈值以下时，所述亮度水平判定部将用于使所述白平衡控制为关闭状态的控制信号供给到所述处理部。

6.根据权利要求1至5中的任一项所述的摄像装置，其中，

还具备色度信号处理部，所述色度信号处理部根据色度增益的值对所述图像信号实施色度信号处理，

在所述亮度水平处于第二范围内时，所述亮度水平越大，则所述亮度水平判定部使向所述色度信号处理部供给的所述色度增益的值越大。

7.根据权利要求1至6中的任一项所述的摄像装置，其中，

还具备亮度信号处理部，所述亮度信号处理部基于来自所述亮度矩阵的所述亮度信息来对所述图像信号实施亮度信号处理。