CN101263720B

CN101263720B - 车载摄像装置

Info

Publication number: CN101263720B
Application number: CN2006800332655A
Authority: CN
Inventors: 宫腰隆一; 猪熊一行; 藤井俊哉
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Nuvoton Technology Corp Japan
Priority date: 2005-10-04
Filing date: 2006-09-29
Publication date: 2010-05-19
Anticipated expiration: 2026-09-29
Also published as: US20090128626A1; JPWO2007040170A1; JP4974897B2; US8022985B2; WO2007040170A1; CN101263720A

Abstract

将通过多层膜滤光器后进行了光电转换的色信号输入到图像处理LSI中，在图像处理LSI内的色信号处理部中，在分割成了与该色信号相对应的多个区域的彩色矩阵上，对每个区域进行该色信号的校正。

Description

车载摄像装置

技术领域

本发明涉及一种安装在汽车上的用于监控车辆周围环境图像的车载摄像装置。

背景技术

通常，为了提高汽车驾驶的安全性，已经提出了多种将摄像机等摄像装置安装在车辆中，以便监控车辆周围的图像，并且提取并使用该图像中含有的各种信息的设备的提案。

其中包括：由光学相关系统从所取得的图像信号中检测出周围汽车的运动并且根据其距离和速度警告驾驶员的系统、搜寻对于所识别的图像的“道路区域”的规定位置的识别标志系统；用位于车辆中驾驶员座位附近的图像显示装置显示后视镜或车侧反射镜中内嵌的摄像机的输出，使得能够容易地确认对向车辆状态及相邻行车道状态的系统；以及能够同时摄像并显示右侧和左侧方向死角的图像和车辆下方图像的车载摄像机等。

要求这样的车载摄像机不受气象条件的影响。例如，在专利文献1中公开了一种为了获得不受气象条件左右的摄像装置，是以车辆后视镜的镜片部分为半反镜，在内部设置带有光纤的视频透镜和CCD等摄像装置，并将由设置在车辆内部的摄像机信号处理电路处理的图像信号输出到图像显示装置的装置。

另外，在所述专利文献1中，记载了可以解决涉及摄像机安装位置的问题：(1)将摄像机设置在车辆内部时，会导致美观上、舒适度的恶化，并使驾驶员的视野变窄；(2)如果在发动机舱内周围环境非常恶劣，会成为故障的原因；(3)如果设置在车辆外部，例如车门侧面和发动机舱上时，存在着安全性上、设计上、空气阻力这样的性能上等的坏影响。

专利文件1：特开平5-294183号公报(图1)。

发明内容

虽然在这样的现有技术中提供了不会使车辆性能劣化的摄像机的安装位置，但是出现了车载摄像机的性能受到限制这样的新的问题。就是说，(1)由于通过半反镜获取外界的图像，所以灵敏度降低；(2)由于摄像机的安装位置在后视镜内部，所以即使适当调整摄像机的取向或者视野角，能够摄像的视野也是受限的；(3)由于从设计上的观点出发，还在考虑将来去除后视镜，上述现有技术不能与此相对应等。

而且，虽然可以说后视镜内部与车辆外部或者发动机舱内部相比是具有良好的使用环境，但是众所周知，盛夏热天停放的车辆内的气温会变得非常高，包括车辆内部或者后视镜内部。另外，存在着在驾驶时，发动机舱内与车辆内部相比将变得极热，安装在车辆外部的摄像机将直接暴露于阳光直晒这样的使用环境上的问题。

另外，现有的固态摄像装置内的彩色滤镜由有机材料形成的颜料制成，当长时间处于高温状态或长时间暴露于强光直射下时，颜料中会发生化学变化，从而导致波长选择特性发生变化。因此，在使用了颜料滤镜的现有固态摄像装置中，具有由高温或者强照射引起的褪色(彩色分离特性的恶化)这样的问题。如上所述，该问题对于车载摄像装置成为更显著的问题。

另外，虽然作为车载摄像装置存在没有彩色滤镜的单色车载摄像装置，但是显然在上述的识别标志的系统和观察图像显示装置的系统中，需要彩色摄像装置。

本发明是鉴于这些问题点而完成的，其目的在于在车辆外部、车辆内、发动机舱内等无论哪个地方安装了摄像机的情形下，能够确保高精度的彩色再现以及色信号的S/N，都不会因周围温度或者直射日光的影响而劣化。

解决问题的方法

即，本发明是一种具有多个设置在芯片上的单位像素的车载摄像装置，包括：

用于为每个所述单位像素对入射光进行光电转换的光电转换元件；

设置在所述光电转换元件的上方、用于选择性地仅使一部分波长的所述入射光透过以使色彩成份分离的多层膜滤光器；

用于对通过所述多层膜滤光器后进行了光电转换的色信号进行图像处理的图像处理部；

其特征在于所述图像处理部构成为，对在分割成了与所述色信号相对应的多个区域的彩色矩阵上的色信号进行校正，所述的校正是针对每个区域分别进行的。

发明效果

如上所述，由于根据本发明的车载摄像装置，因为对于通过多层膜滤光器的入射光进行光电转换后的色信号的R(红)、G(绿)、B(蓝)成分，在分割为多个区域的彩色矩阵上对于每个区域进行校正，所以在确保高精度的彩色再现性上取得了有利的效果。

另外，在所述多层膜滤光器的调制度低，由于色信号的校正而产生干扰的情形下，因为进行了降低干扰，所以在确保色信号的S/N上取得了有利的效果。

附图说明

图1是显示根据本发明实施方式的车载摄像装置的像素部分的剖面图。

图2是显示将根据本实施方式的车载摄像装置安装在汽车车辆上的状态的图。

图3(a)是示出现有的多层膜滤光器的层结构的图。

图3(b)是示出现有的多层膜滤光器的穿透率特性的图。

图4(a)是示出本实施方式的多层膜滤光器的层结构的图。

图4(b)是示出本实施方式的多层膜滤光器的穿透率特性的图。

图5是示出根据本实施方式的车载摄像装置的全部结构的图。

图6是示出电介质多层膜滤光器的理想的分光特性的图。

图7是示出根据本实施方式的车载摄像装置中的电介质多层膜滤光器的分光特性的图。

图8是示出现有的彩色矩阵上校正前的坐标的模式图。

图9是示出现有的彩色矩阵上校正后的坐标的模式图。

图10是示出现有的彩色矩阵上最终的校正后的坐标的模式图。

图11是示出现有的彩色矩阵上校正前的坐标的其它模式图。

图12是示出现有的彩色矩阵上最终的校正后的坐标的其它模式图。

图13是示出本实施方式的由R-G轴和B-G轴构成的彩色矩阵上的4个区域的模式图。

图14是示出本实施方式的由R-Y轴和B-Y轴构成的彩色矩阵上的4个区域的模式图。

图15是示出本实施方式的彩色矩阵上校正后的坐标的模式图。

图16是示出根据本实施方式的车载摄像装置的像素部的模式图。

图17是示出本实施方式的降低干扰时的校正阈值和校正函数值的模式图。

图18是示出本实施方式的降低干扰时的校正值的模式图。

图19是示出本实施方式的降低干扰时色信号(R-Y)’的每一电平的校正阈值的设定的模式图。

图20是示出本实施方式的降低干扰时色信号(R-Y)’的每一电平的校正函数值的设定的模式图。

标记说明

101 图像传感器

105 光电二极管

106 入射光

109 多层膜滤光器

201 汽车

402 图像处理LSI

404 色信号处理部

405 多轴色差MTX部

406 降低干扰部

具体实施方式

下面参照附图详细说明本发明的实施方式。下面的优选的实施方式的说明本质上只是示例，决不表示限制其适用物或者其用途。

图1是示出根据本发明的车载摄像装置中的3个像素部分的剖面图。如图1所示，车载摄像装置中的图像传感器101包括在N型层102上层叠了P型层103的硅半导体基板，进而在硅半导体基板上形成层间绝缘膜104。

在所述P型层103中通过N型杂质的离子注入形成多个光电二极管(光电转换元件)105，对入射光106进行光电转换。而且，各光电二极管105之间由元件分离区域107分离。

而且，在所述元件分离区域107的上方形成抑制光的入射的遮光膜108。然后，在该遮光膜108上形成由电介质组成的、实现波长选择功能的多层膜滤光器109。然后，在该多层膜滤光器109的上方形成用来高效率地对入射光106进行集光的集光透镜110。

图2是示出将根据本实施方式的车载摄像装置安装在汽车车辆外侧的状态的图。如图2所示，从设计上的观点出发，在汽车102中不安装防护镜或者后视镜，作为替代品在车辆两侧上设置侧面摄像机202。来自于该侧面摄像机202的图像信号被输入到设置在控制台内的图像控制装置203中，来自于图像控制装置203的输出信号被显示在设置于车辆内的驾驶员座位附近的图像显示装置204中。

另外，来自于设置在车辆前部的前部摄像机205、设置在车辆后部的后部摄像机206、车辆内摄像机207和发动机舱内摄像机208的输出信号还输入到所述图像控制装置203中，对于所述图像显示装置204，能够切换来自于侧面摄像机202、前部摄像机205和后部摄像机206的图像信号，或者能够同时显示。而且，通过处理图像信号能够进行前方车辆、后面车辆或者邻接车辆的车辆间距离测定、障碍物的检测等，从而给驾驶员警告。

另外，车辆内摄像机207的图像信号用来分析驾驶员的操作以检测打盹、醉酒驾驶，还可用来在停车时运行对盗车贼发出警报或者进行图像记录。

另外，发动机舱内摄像机208用来监视发动机、变速器、悬架、轮胎等。

此外，由于车辆内及发动机舱内具有比车辆外部在相撞等事故时容易保护摄像机这样的特征，所以也可以采用车辆内摄像机207或者发动机舱内的摄像机208用于车辆外监视。这尤其作为在相撞前后记录交通事故时的图像的车载黑盒子来使用时有效果。

另外，图2中没有示出，在侧面摄像机202、前部摄像机205、后部摄像机206、车辆内摄像机207和发动机舱内摄像机208中组装入图1中示出的车载摄像装置。

下面，与现有的多层膜滤光器的穿透率特性相比较来说明根据本实施方式的多层膜滤光器的穿透率特性。

图3(a)是示出作为在现有的高反射镜中采用的多层膜反射镜的多层膜滤光器的层结构的图，图3(b)是示出现有的多层膜滤光器的穿透率特性的图。

如图3(a)所示，多层膜滤光器的层结构具有简单地层叠折射率不同的材料：氮化硅301(SiN)、氧化硅302、303(SiO₂)的结构。

另外，在图3(b)中，纵轴表示通过多层膜后的光相对于入射的穿透率、横轴表示入射到多层膜中的光的波长。此外，在计算中采用使用菲涅耳系数的矩阵法，对的数量是10，设定中心波长是550nm，仅计算垂直入射光。

其中，构成多层膜的各电介质的光学膜厚nd(n：材料的折射率，d：材料的膜厚)将设定中心波长λ设定为4分之1波长(λ/4)，结果是显示以设定中心波长为中心的反射频带特性。另外，反射频带宽度由采用的材料的折射率差来决定，折射率差越大频带宽越大。

但是，可以说在这样的层结构中，虽然可以得到宽广的阻止反射频带，但是通过R、G、B的彩色分离性能难以选择性地透过波长。

图4(a)是示出使用本实施方式的高反射镜中采用的彩色分离滤光器的多层膜滤光器的层结构的图，图4(b)是示出本实施方式的多层膜滤光器的穿透率特性的图。

如图4(a)所示，根据本发明的实施方式的多层膜滤光器具有以间隔层304为中心，λ/4多层膜结构(λ：设定中心波长)的上部反射器305和下部反射器306设置成对称的结构。通过这样的层结构，在反射频带中选择性地形成透过频带区域，还通过使间隔层304的膜厚变化，可以使其透过峰值波长变化。

而且，由于本发明的电介质多层膜滤光器可以仅使用无机材料构成，即使在高温、强照射下使用也不会产生褪色现象，所以作为车载用途在车辆的外部、发动机舱内、车辆内等，无论任何地方都可以安装。

图5是示出根据本实施方式的车载摄像装置的全部结构的图。在图5中，101是图像传感器，109是层叠无机材料而形成的多层膜滤光器，401是对图像传感器101的输出信号进行模拟处理的AFE(Analog Front End)和转换成数字信号的ADC(ADConverter)。

402是对变成了数字信号的图像传感器101的输出信号进行处理生成所希望的图像数据的图像处理LSI。

403是灰度信号处理部，由图像传感器101的输出信号生成灰度信号Y进行输出处理。

404是色信号处理部，包括对色信号进行彩色矩阵上的校正的多轴色差MTX部405和降低干扰的数字降低干扰部406。

在该色信号处理部404中，由R(红)、G(绿)、B(蓝)成分算出色差信号R-Y、B-Y。其中，Y表示灰度信号，相当于Y＝0.59R+0.3G+0.11B。然后，采用由色信号处理部404得到的色差信号R-Y、B-Y和灰度信号Y形成输出图像。

这样，通过在所述色信号处理部404中进行彩色校正和降低干扰，可以确保高精度的彩色再现性和色信号的S/N。

图6是示出电介质多层膜滤光器的理想的分光特性的图，图7是示出根据本实施方式的车载摄像装置中的电介质多层膜滤光器的分光特性的图。

如图7所示，因为本实施方式的电介质多层膜滤光器的分光特性较差调制度也低，所以发现其不能实现确保如图6所示的理想的彩色再现和色信号的S/N。从而，有必要对来自于多层膜滤光器的输出信号在所述图像处理LSI402中实施图像处理。

下面，一边对色信号的现有校正顺序和本发明校正顺序进行比较一边进行说明。首先，说明对于色信号的现有的校正顺序。

图8是示出现有的彩色矩阵上校正前的色信号的坐标的模式图，示出了由R-Y轴和B-Y轴构成的彩色矩阵上的理想的红色坐标701、黄色坐标702和由电介质多层膜滤光器对红色、黄色的被摄物体进行彩色分离、光电转换而得到的色信号的坐标(红色坐标703、黄色坐标704)。

这里，用式(1)、(2)对图8中的红色坐标703、黄色坐标704进行校正。图9是示出用式(1)、(2)进行校正后的坐标的模式图。

R-Y＝(R-G)-n(B-G)(n为任意整数)…(1)

B-Y＝(B-G)-m(R-G)(m为任意整数)…(2)

这样，在式(1)中，算出色差信号(R-Y)时，通过在B成分和G成分的差(B-G)上乘以常数n，进行色差信号(R-Y)的校正。同样地，在式(2)中，算出色差信号(B-Y)时，通过在R成分和G成分的差(R-G)上乘以常数m，进行色差信号(B-Y)的校正。

接下来，用式(3)、(4)对图9中的红色坐标801、黄色坐标802进行校正。图10是示出用式(3)、(4)进行校正后的坐标的模式图。

(R-Y)’＝s(R-Y)(s为任意整数)… (3)

(B-Y)’＝t(B-Y)(t为任意整数)… (4)

这样，在式(3)中，通过在由式(1)得到的色差信号(R-Y)上乘以常数s，对色差信号(R-Y)进行校正。同样地，在式(4)中，通过在由式(2)得到的色差信号(B-Y)上乘以常数t，对色差信号(B-Y)进行校正。

如上所述，在对于色信号的现有的校正顺序中，对红色坐标703、红色坐标704进行校正使得分别与理想的红色坐标701、黄色坐标702重合。但是，例如在校正前的色信号的坐标(红色坐标1001、黄色坐标1002)的位置如图11所示的情形下，用上述式(1)～(4)进行色信号的校正时，如图12所示，黄色坐标1002与理想的坐标702有大幅度的偏离，可以知道不能进行良好的彩色再现。

接下来，说明对于色信号的本发明的校正顺序。图13是示出由R-G轴和B-G轴构成的彩色矩阵上的4个分割了的区域的模式图。

其中，对通过现有的校正顺序不能进行校正的图11中的红色坐标1001、黄色坐标1002用式(5)～(8)进行校正。

R-Y＝(R-G)-n₁(B-G)(n₁为任意整数、B-G＞0)…(5)

R-Y＝(R-G)-n₂(B-G)(n₂为任意整数、B-G＜0)…(6)

B-Y＝(B-G)-m₁(R-G)(m₁为任意整数、R-G＞0)…(7)

B-Y＝(B-G)-m₂(R-G)(m₂为任意整数、R-G＜0)…(8)

这里，式(5)～(8)意味着对区域1201～1204的每个进行校正。

图14是示出由R-Y轴和B-Y轴构成的彩色矩阵上的4个分割了的区域的模式图。

接下来，与上面同样地，用式(9)～(12)对图10中的红色坐标1001、黄色坐标1002进行校正。

(R-Y)’＝s₁(R-Y)(s₁为任意整数、R-Y＞0)…(9)

(R-Y)’＝s₂(R-Y)(s₂为任意整数、R-Y＜0)…(10)

(B-Y)’＝t₁(B-Y)(t₁为任意整数、B-Y＞0)…(11)

(B-Y)’＝t₂(B-Y)(t₂为任意整数、B-Y＜0)…(12)

这里，式(9)～(12)意味着对区域1301～1304的每个进行校正。

通过如上所述的校正，如图15所示，红色坐标1001、黄色坐标1002与理想的红色坐标701、黄色坐标702重合，可以进行高精度的彩色再现。

此外，在式(5)～(12)中，在由R-G轴和B-G轴构成的彩色矩阵上分割为了4个区域，在由R-Y轴和B-Y轴构成的彩色矩阵上分割为了4个区域，但是不仅限定于该方式，通过增加分割的区域数可以进行更高精度的彩色再现。

此外，n、m、s、t等系数优选通过考虑，理想的色信号坐标和由多层膜滤光器进行彩色分离后进行光电转换而得到的色信号坐标的位置关系来设定。

这里，因为电介质多层膜滤光器的调制度较低，所以存在在彩色矩阵上的校正程度变大，色信号的S/N劣化显著这样的问题。

于是，在根据本发明实施方式的车载摄像装置中，对于S/N劣化显著的色信号进行强力的降低干扰。这样的降低干扰通过采用图16中示出的像素1501周围的8个像素1502～1509的色信号的差的绝对值、和图17中示出的校正阈值1601和校正函数值1602(其中，0≤校正阈值≤校正函数值)来进行。

具体地说，在图16中示出的像素1501～1509的色信号(R-Y)’的值分别为15、25、26、40、24、45、23、27、50的情形下，像素1501和其周围的8个像素1502～1509的色信号(R-Y)’的差的绝对值1510～1517分别为10、11、25、9、30、8、12、35。

另外，在图17中示出的校正阈值1601为“8”、校正函数值1602为“12”的情形下，色信号(R-Y)’的差的绝对值在校正函数值1602以下的有5个色信号(R-Y)’的差的绝对值1510、1511、1513、1515、1516，其平均值为“10”。

如图18所述，差的绝对值1510、1511、1513、1515、1516的平均值“10”在校正函数值1602以下，其校正值1702为“4”。即，像素1501的色信号(R-Y)’被校正为15+4＝19。同样的，也对色信号(B-Y)’进行校正。

此外，虽然在本实施方式中，说明了校正阈值1601为“8”、校正函数值1602为“12”的情形，但是不仅限定于该方式，例如，由于电介质多层膜滤光器的调制度较低，所以在彩色矩阵上的校正程度变大、色信号的S/N劣化显著的情形下，也可以通过将校正阈值1601设定为如“12”、校正函数值1602为如“16”这样的较大值，来进行强力的降低干扰，防止色信号的S/N劣化。

另外，如图19和图20所示，通过对每个色信号的电平设定校正阈值1601和校正函数值1602，可以改变每个色信号电平的降低干扰的强弱，可以根据彩色矩阵上的色信号的校正强弱进行降低干扰。

此外，在图16中示出的像素部的实例中，是对于周围的8个像素分别求出色信号的差的绝对值进行降低干扰，但是不限定于该方式，通过增加用来算出色信号的差的绝对值的周围像素数量，可以考虑将更大范围内像素的色信号进行降低干扰，有利于进一步防止色信号的S/N劣化。

产业上的利用可能性

如上面所说明的那样，由于本发明取得了能够确保高精度的彩色再现、色信号的S/N这样的实用性高的效果，而且不会由于受到周围温度或者直射阳光的影响而劣化，所以非常有用并且在产业上的利用可能性很高。尤其是，可以作为用于安装在汽车上用来监视车辆周围的图像的车载摄像装置来利用。

Claims

1.一种具有多个设置在芯片上的单位像素的车载摄像装置，包括：

设置在所述光电转换元件的上方、用于选择性地仅使一部分波长的所述入射光透过以使色彩成份分离的多层膜滤光器；和

用于对通过所述多层膜滤光器后进行了光电转换的色信号进行图像处理的图像处理部，

其特征在于所述图像处理部构成为，对在分割成了与所述色信号相对应的多个区域的彩色矩阵上的色信号进行校正，所述的校正是针对每个区域分别进行的，进而算出特定的单位像素的色信号与该单位像素的周围像素的色信号之间的差，将该计算结果与预先设定的阈值进行比较，根据该比较结果进行降低干扰，

所述图像处理部通过改变所述阈值的设定来调整降低干扰的强弱。

2.根据权利要求1所述的车载摄像装置，其特征在于所述图像处理部构成为，通过对在所述多个区域中的每个色信号分别乘以不同的常数来对该色信号进行校正。

3.根据权利要求1所述的车载摄像装置，其特征在于与所述色信号相对应的区域被分割为至少4个区域。

4.根据权利要求1所述的车载摄像装置，其特征在于对于所述色信号的每个电平分别设定不同的阈值。

5.根据权利要求1所述的车载摄像装置，其特征在于所述图像处理部构成为，算出所述特定的单位像素的色信号与至少8个周围像素的色信号的差。