CN1941855A - 摄像器和图像处理系统 - Google Patents

摄像器和图像处理系统 Download PDF

Info

Publication number
CN1941855A
CN1941855A CNA2006101270126A CN200610127012A CN1941855A CN 1941855 A CN1941855 A CN 1941855A CN A2006101270126 A CNA2006101270126 A CN A2006101270126A CN 200610127012 A CN200610127012 A CN 200610127012A CN 1941855 A CN1941855 A CN 1941855A
Authority
CN
China
Prior art keywords
filter
color
light
image processing
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101270126A
Other languages
English (en)
Inventor
猪熊一行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1941855A publication Critical patent/CN1941855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • H01L27/14647Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明公开了一种由无机介电材料形成的多层薄膜滤光器。间隔层具有不同的厚度以在图像传感器上形成具有多种不同光谱特性的多种颜色透射滤光器元件。

Description

摄像器和图像处理系统
相关申请的交叉参考
本申请要求享有2005年9月30日提出的申请号为2005-287281的日本专利申请的优先权,在此将其全部内容结合进来作为参考。
技术领域
本发明涉及一种摄像器和图像处理系统,用于在需要高可靠性的设备中提供良好的图像并且通常用于低演色性照明情况下,例如车载照相机。
背景技术
由于车载系统用于加强运行车辆的安全性,传统上已经提出了各种系统,其中车辆配备有摄像装置,例如摄像机,用于监控车辆周围的视频图像。
特别是,该系统包括用于在放置在车辆的驾驶员座位附近的视频显示器上显示来自结合在车门和侧镜组件内的摄像机的输出的视觉识别支持系统,以使驾驶员方便的检查接近的汽车和邻近的路面以及侧面盲点的环境,以及用于处理捕获的视频信号的识别系统以检测周围汽车的运动并且然后根据距离或速度向驾驶员发出警报,或者扫描存在道路信号的特定区域以对其进行识别。
需要用于这种车载系统的车载摄像机不受气候条件的影响。例如,公开号为H05-294183的日本专利申请,为了提供不受气候条件影响的摄像器,公开了这样一种技术:门镜部件的镜子具有半镜面,门镜部件包括安装有滤光片的视频镜头和摄像器,例如CCD,并且由设置在车厢内的摄像机信号处理电路处理的视频信号在视频显示器上输出。
以上公开的日本专利申请进一步说明所提出的技术还解决了如下关于摄像机安装位置的问题:(1)如果摄像机设置在车厢里,这可能影响车厢的美观和舒适并缩小驾驶员的范围;(2)如果将其设置在发动机舱,极端恶劣的环境条件可能引起其故障;并且(3)如果将其设置在车辆外部,例如门外表面或发动机舱上,这对车辆安全、设计和性能,例如空气阻力,有不利影响。
发明内容
虽然以上现有技术提供了车辆性能不会恶化的摄像机安装位置,但是其还存在其它问题,即车载摄像机的性能受到限制。具体的说,问题如下:(1)由于摄像机通过半镜面拍摄车辆周围的视频图像,其响应降低;(2)由于摄像机安装位置在门镜部件内部,即使摄像机的方位和区域角度是人为设计的,摄像机的可检测范围仍然是有限的;以及(3)从设计的角度看,未来停止使用门镜的情况需要考虑,这样上述技术不再有用。
此外,虽然门镜部件内部与车辆外部和发动机舱内部相比是一个较好的使用环境,但是在仲夏里停放在烈日下的车辆内部,包括车厢和门镜部件内部,会上升到非常高的温度。另一方面,装载在发动机舱中和汽车外部上的照相机有使用环境的问题,这是由于在开动时发动机舱内部的温度比车厢高很多而车辆外部上的摄像机直接暴露在阳光下。
车载可视识别支持摄像机系统的目的在于与用裸眼相比增强驾驶员在不利条件下的可见度,如晚上或隧道中。大量的路灯和隧道灯出于经济原因而采用高压钠灯。然而,由于高压钠灯具有差的演色性,驾驶员很难用裸眼区分出颜色。
图14是现有摄像器结构的横截面图。如图所示,摄像器1301包括硅半导体衬底,其中P型层1303设置在N型层1302上并且在半导体基板上形成层间绝缘膜1304。
在P型层1303中,通过注入N型杂质离子形成多个光电二极管1305(光电转换元件)。光电二极管1305用于将入射光1306转换为电流。多个光电二极管1305由设置在其间的绝缘区域1307分隔开。
此外,用于限制光入射的光隔离膜1308形成在各绝缘区域1307上并且在光隔离薄膜1308上方形成滤色片1309。在滤色片1309上形成一聚光镜头1310用于有效收集入射光1306。滤色片1309的波长选择性通过将入射光1306区分为R(红)、G(绿)、B(蓝)各自的波长区域而提供入射光的颜色区分。
然而,由于现有的滤色片1309是由有机色素制成,该色素在长时间高温条件下或长时间暴露于强烈的入射光下会引起化学变化,从而导致改变的波长选择性。这样,现有使用色素滤色的摄像器具有由于高温或强光照恶化的问题(恶化的分离特性)。如上所述,该问题对于车载摄像器更严重。此外,现有滤色片还有另一个问题,即对于用作大量路灯和隧道灯的照明设备,具有很差的演色性。
图15是显示高压钠灯和人眼的光谱特性图,其中附图标记140表示高压钠灯的光谱特性,附图标记1402表示人眼对光的蓝色(B)分量的光谱特性,附图标记1403表示人眼对光的绿色(G)分量的光谱特性,附图标记1404表示人眼对光的红色(R)分量的光谱特性。
图16是显示人眼在高压钠灯照射下的光谱特性图,其中附图标记1501表示对光的红色(R)分量的光谱特性,附图标记1502表示人眼对光的绿色(G)分量的光谱特性。由于高压钠灯的光谱集中在长波长侧,人眼在高压钠灯的照射下几乎只对红色光分量敏感,因此会将所有颜色只识别为红色或红色附近的颜色。由于传统相机也用接近人眼的光谱特性的R、G、B三原色拍照,其也只能将所有颜色识别为红色或红色附近的颜色。
本发明已经将以上所述问题考虑在内,因此其目的在于提供一种摄像器,其在环境温度或直接阳光的影响下不会恶化,即使相机安装在车辆的任何位置,包括车辆外部,车厢内和发动机舱内,而且,在普通路灯下比人眼显示更高的可见性。
具体的说,本发明的摄像器是一包括图像传感器的摄像器,其中多个单元像素排列在芯片上,其中
该图像传感器包括:光电转换元件,用于将入射光转换为各单元像素的电流;和一滤光器,设置于光电转换元件之上,用于选择性地发射一特定波长段的入射光以从入射光中区分颜色分量,和
该滤光器是一由无机材料形成的多层薄膜滤光器并且配置其使要选择发射的特定波长段的一半宽度窄于100纳米。
本发明的图像处理系统包括:
图像传感器,其中多个单元像素排列在一芯片上,所述图像传感器包括一用于把入射光分为至少四种颜色分量的滤光器;
一转换部分,用于将对应由图像传感器区分的至少四种颜色分量的信号分别转换为数字信号;和
图像处理部分,用于处理从转换部分输出的信号以产生颜色信号。
由于本发明的摄像器和图像处理系统采用由无机材料形成的滤光器,其不会引起由于色素的化学变化而恶化的现象并可以用于高温下和强烈的光线下。因此,该摄像器和图像处理系统可以安装在车辆的任何位置,例如在车辆外表面上、车厢里或发动机舱内。
此外,由于滤光器结构配置为通过滤光器采用夹入一组上层反射器和一组下层反射器之间的间隔层的厚度差而改变要被发送的波长段,该两层反射器具有相同的层结构,这减少了制造摄像器的半导体晶片制造工艺步骤的数目,其提供了大量生产时低成本可能性的优势。
此外,由于具有多种不同特性的多个滤光器元件可以方便的在同一芯片上形成,分别选择性地发射窄于人眼三原色各光谱波长段的不同特殊光谱波长段的多种类型的大量滤光器元件可以在可视波长范围内形成以覆盖整个人眼可视波长范围。因此,本发明的摄像器和图像处理系统在低演色性照明下相比人眼改进了颜色区分能力并提供比人眼更详细的颜色信息。
附图说明
图1所示为根据本发明一实施方式的摄像器中的图像传感器结构的横截面图;
图2所示为根据该实施方式的摄像器安装在车辆上的状态;
图3A是传统多层薄膜滤光器的层结构示意图,而图3B是传统多层薄膜滤光器的透射比特性示意图;
图4A所示为该实施方式中多层薄膜滤光器的层结构示意图,而图4B是以上实施方式中多层薄膜滤光器的透射比特性示意图;
图5A-5D是以上实施方式中多层薄膜滤光器的制造工艺示意图;
图6是以上实施方式中多层薄膜滤光器的透射比的计算结果示意图;
图7是以上实施方式的摄像器中图像传感器上形成的多层薄膜滤光器的光谱特性图;
图8是以上实施方式中高压钠灯照射下的摄像器的光谱特性图;
图9是以上实施方式中从高压钠灯照射下的摄像器获得的目标颜色信息;
图10是以上实施方式中的摄像器估计的白光下的颜色信息的结果示意图;
图11是以上实施方式中的摄像器的图形表准备方法示意图;
图12是根据本发明实施方式的图像处理系统的整体结构图;
图13是以上实施方式中图像传感器上多层薄膜滤光器的滤光器元件的示例性排列;
图14是现有摄像器的结构横截面图;
图15是高压钠灯和人眼的光谱特性图;
图16是人眼在高压钠灯照射下的光谱特性图。
具体实施方式
以下将参照附图具体描述本发明的实施方式。以下说明的优选实施例只是示例性的,其目的不在于限制本发明的范围、应用和使用。
图1是根据本发明实施方式的摄像器中的图像传感器结构的横截面图。如图所示,图像传感器101包括硅半导体衬底,其中P型层103位于N行层102之上而层间绝缘薄膜104在半导体衬底上形成。
在P型层103中,多个光电二极管105(光电转换元件)通过注入N型杂离子形成。光电二极管105用于将入射光106转换为电流。多个光电二极管105由设置在其间的绝缘区域107分隔开。
此外,用于限制入射光的光隔离薄膜108在各绝缘区域107上形成。多层薄膜滤光器109在光隔离薄膜108上形成,其由介电材料制成并提供波长选择功能。在多层薄膜滤光器109上形成一聚光镜头110用于有效收集入射光106。
图2是根据该实施方式的摄像器设置在车辆上的状态。如图所示,从设计的观点看,护镜组件和门镜组件都没有连接到车辆201上。取而代之的是,侧相机202安装在车体侧面上。来自侧相机202的视频信号输入到控制台中的视频控制器203而来自视频控制器203的输出信号在放置在车厢内驾驶座附近的视频显示器204上显示。
视频控制器203也接收来自安装在汽车前侧的前相机205和安装在汽车尾部的后相机206的输出信号,并允许视频显示器204显示来自侧相机202,前相机205和后相机206其中之一或全部的视频信号。
由于车厢和发动机舱内部具有在发生意外,例如碰撞,的情况下与那些在汽车外部的相机相比更可能被保护的特点,可以使用车厢内的相机或发动机舱内的相机(均未示出)来监视外部。尤其是,这种相机在用作车载黑盒子以记录交通事故中碰撞前后的视频图像时很有效。
虽然图2未示出,图1所示的摄像器集成在各侧相机202,前相机205和后相机206中。
接下来说明与那些传统的多层薄膜滤光器相比根据该实施方式的多层薄膜滤光器的透射度特性。
图3A是传统多层薄膜滤光器的层结构示意图,其是用于高反射镜的多层薄膜反射器,而图3B是传统多层薄膜滤光器的透射比特性示意图。
如图3A所示,多层薄膜滤光器的层结构由通过简单沉积不同反射指数的材料,即氮化硅(SiN)301和二氧化硅(SiO2)302和303,而获得的堆积层形成。
在图3B中,纵坐标表示相对于入射光透过多层薄膜光线的透射比,横坐标表示入射到多层薄膜的光波长。透射比的计算是通过采用菲涅耳(Fresnel)指数的矩阵方法进行,其中矩阵对的数目是10,设置的中心波长是550纳米且只计算垂直入射光。
在这种情况下,设置形成多层薄膜的各介电材料的光学厚度nd(n:材料的折射率,d:其厚度),这样各介电材料相对设置的中心波长λ具有四分之一波长(λ/4)。因此,多层薄膜表现出集中在设定的中心波长的反射波段特性。此外,反射波段的宽度由使用的材料之间的折射率差决定。具体来说,较大的折射率差提供较宽的反射带宽。
虽然上述层结构提供了宽的防反射带宽,但是为了执行将光分为R、G、B的颜色区分功能,还是很难选择性透过特定波长的入射光。
图4A所示为该实施方式中多层薄膜滤光器的层结构示意图,其是一用于高反射镜的颜色区分滤光器,图4B是该实施方式的多层薄膜滤光器的透射度特性示意图。
如图4A所示,该实施例的多层薄膜滤光器具有如下结构,一组上反射器305和一组下反射器306相对于插入其间的间隔层304对称设置,各组形成一λ/4多层结构(λ:设置的中心波长)。这种层结构能够在反射波段中选择性地形成透射波段。此外,通过改变间隔层304的厚度可以改变反射波段中的透射波段的透射峰值波长。
图5A-5D是该实施方式中多层薄膜滤光器的制造工艺示意图。首先,如图5A所示,使用高频溅射装置,在硅晶片401上形成交替由二氧化硅(SiO2)和二氧化钛(TiO2)制成并且具有λ/4多层结构(λ:设置的中心波长)的低反射器402至405以及由TiO2制成的间隔层406。然后,为了选择性地只透射特定的波长,执行蚀刻工艺以将间隔层406形成为理想的厚度。
具体的,如图5B所示,在形成有低反射器和间隔层402至406的晶片上施加光阻材料。然后,对该光阻材料进行预曝光烘焙(预烘焙),通过诸如stepper的光刻机进行曝光,显影和进行最后烘焙(过烘焙),从而形成光阻图案407。之后,采用基于CF4的蚀刻气体,间隔层406被最后蚀刻直到图5B所示的该层结构的中部具有透射红(R)波带的厚度。
接着,如图5C所示,以与图5B相同的方式,在对应于用于透射绿(G)波段的区域的晶片表面区域中形成光阻图案,并且通过通过干蚀刻法蚀刻掉间隔层406,直到图5C所示的层结构的右手部分具有透射绿波带的厚度。
进而,如图5D所示,采用高频溅射装置,以与图5A相同的方式,在上反射器上形成交替由二氧化硅(SiO2)和二氧化钛(TiO2)制成并具有λ/4多层结构的上反射器408-411。
在制造工艺中,将由介电材料制成的、分别为R、G和B多层薄膜结构的三部分设置为总厚度为562纳米,542纳米和622纳米。
图6是该实施方式中多层薄膜滤光器的透射度的计算结果示意图,其中纵坐标表示相对于入射光透过多层薄膜的光透光度,横坐标表示入射到多层薄膜的光的波长。透光度的计算通过采用公知的特征矩阵的方法进行。
采用的介电材料为作为高折射率材料的二氧化钛TiO2501(折射率:2.5)和作为低折射率材料的二氧化硅SiO2 502(折射率:1.45)。此外,采用的间隔层503设置为光学厚度(物理厚度)为200纳米(80纳米),0纳米(0纳米)和50纳米(20纳米)。
如图6所示,可以根据间隔层503的存在与否及其厚度的改变而改变透射峰值波长特性。这能够使波长分为摄像器需要的R、G和B分量。
虽然在该实施例中采用二氧化钛TiO2作为高折射率材料,但是也可采用包括氮化硅(SiN)、五氧化二钽(Ta2O5)和二氧化锆(ZrO2)的其它高折射率材料。虽然在该实施例中采用SiO2作为低折射率材料,但是也可采用其它材料,只要它们具有比用作高折射率材料的绝缘材料低的折射率。
如上所述,根据本发明的介电多层薄膜结构,可以通过通用的半导体制作工艺制造滤光器,而且不像传统的色素滤光器,其与在形成光接收元件和互连摄像器之后需要所谓的芯片上工艺制造滤光器不同,而是可直接通过通用的半导体制作工艺制造。因此,由于稳定的制造工艺和改善的生产率,可以在提供成本减少方面获得有利的效果。
此外,由于本发明的介电多层薄膜滤光器可以只由无机材料形成,因此,即使用于高温之下和强烈光照下也不会引起颜色恶化,采用本发明的介电多层薄膜滤光器的摄像器可以作为车载设备安装在车辆的任何位置,例如车辆外部,发动机舱内或车厢内。
图7是该实施方式的摄像器中形成在图像传感器上的多层薄膜滤光器的光谱特性。参照图7,在图像传感器上形成由601至606表示的具有不同光谱特性的六类滤光器元件。滤光器元件601至606各自具有大约40纳米的光谱带宽(一半宽度),其被选择的要窄于人眼的光谱带宽,即80纳米至100纳米。
在图中,附图标记607显示高压钠灯的光谱特性,其是一典型的路灯。人眼和传统相机可以获得几乎只有灯的红色分量的信息。因此,对于他们很难在高压钠灯照射下区分颜色。
图8是本发明的该实施方式中高压钠灯照射下摄像器的光谱特性图。如图所示,本发明的摄像器即使在高压钠灯照射下也可以获得如701至703表示的多条颜色信息,因此可以区分颜色。
当获得的颜色信息显示给人时,需要转换为人眼可以区分的传统RGB形式来显示。最好的办法是将目标的颜色复制为在白光下的颜色。然而,由于几乎不能获得蓝至绿分量的信息,目标颜色必须从红色分量的信息进行估计。在传统滤光器的情况下,获得的红色分量的信息条数是单一的,这使得估计蓝至绿分量很困难。相比之下,在本发明中,获得的红色分量的信息条数是复数的。因此,根据本发明,目标的光谱图案可以从获得的多条信息得到,并且白光下的颜色可以在某种程度上进行估算。
图9是该实施方式中从高压钠灯照射下的摄像器获得的目标颜色信息,其中附图标记801表示目标A在白光下的光谱特性而附图标记802表示目标B在相同白光下的光谱特性。
在本发明的摄像器中,当拍摄目标A和B在高压钠灯照射下的图像时,可以获得目标A的颜色信息801a和801b并可以获得目标B的颜色信息802a、802b和802c。
这样,根据本发明,可以获得目标A和B各自的部分光谱图案信息。更具体的说,在传统相机中,由于可以获得红色分量的单条信息,从获得的信息不能得到光谱图案的信息。相比而言,根据本发明,从获得的部分光谱图案的信息中可以得到在白光下的光谱特性。
图10是该实施方式中的摄像器估计的白光下的颜色信息的结果示意图,其中附图标记802a、802b和802c表示目标B在高压钠灯照射下各自的颜色信息。
在这种情况下,基于比人可视波长范围400纳米至700纳米更窄的范围内的颜色信息,得到目标B在白光下的光谱802。然后,将得到的光谱802转换为人眼可以区分的传统R、G和B信号(覆盖整个可见波长范围的颜色信号),从而分别获得B分量901、G分量902和R分量903。
作为一种实际的颜色信息估算方法,可以为直接从一组颜色信息802a、802b和802c输出一组转换信号901、902和903而考虑事先准备一个转换表。准备这种图形表(pattern table)的方法示例是收集实际目标的特征并从其统计性地获得转换数据。下面说明这种图形表准备方法。
图11是该实施方式中的摄像器的图形表准备方法示意图。参照图11,在摄像器中,基于两种不同的方法获得关于目标的颜色信息。具体来说,第一种方法是,如图中的1001a和1001b所示,在该方法中,相机拍摄下来的目标具有根据人眼在白光下的光谱特征的光谱,而第二种方法是,如图中的1002a和1002b所示,在该方法中,目标由本发明的摄像器在高压钠灯照射下拍摄。
采用上述两种图像摄取方法,为大量的目标收集关于颜色信息的图形数据1003a、1003b、……,根据收集的数据,准备将输入(比人眼可见波长范围(400纳米至700纳米)窄的范围内的多条颜色信息)与输出(覆盖整个可见波长范围的颜色信号)相关联的图形表1004。
图12是根据本发明一实施方式的图像处理系统的整体结构图,其中附图标记101表示图像传感器,附图标记109表示通过沉积无机材料层形成的多层薄膜滤光器,而附图标记1101表示包括用于以模拟的方式处理图像传感器101的输出信号的模拟前端(AFE)和用于将模拟信号转换为数字信号的AD转换器(ADC)。
附图标记1102表示图像处理LSI(大规模集成电路),用于处理图像传感器101的数字输出信号以产生理想的图像数据。
附图标记1103表示颜色估计部分,用于估计来自图像传感器101的输出信号的颜色。具体来说,颜色估计部分1103采用包含在其中的图形表1004从有限的低演色性灯,例如高压钠灯,照射下的颜色信息中估计白光下的颜色。
附图标记1104表示颜色产生部分,用于由估计的颜色信息产生理想的颜色信号。输出的颜色信号为三原色信号(R、G和B)。虽然在该实施例中,输出颜色信号为三原色信号,但是输出颜色信号也可以是其它的形式信号,例如色差信号。
虽然在该实施方式中颜色估计基于在高压钠灯照射下的颜色信息进行,但是不言而喻,例如,颜色估计可以采用类似的方式甚至采用其它具有不同光谱特性的低演色性光源。此外,虽然在该实施方式中采用六类滤光器元件,但是可以使用大量类型的滤光器元件以更加详细的分析光谱图案信息。
图13是该实施方式中图像传感器上多层薄膜滤光器的滤光器元件的示例性排列。如一般所知,人眼对于绿色(G)分量具有最高的可见度,因此,绿色分量的信息最决定人的分辨率感觉。如所知,人眼对于垂直和水平图像的分辨敏感而对倾斜图像的分辨力相对要差。从这些情况来看,可以认为滤光器中绿色分量交错安排对于加强分辨能力很有效。
因此,在多个601至606六类具有不同光谱特性的滤光器元件的排列中,优选地,开始交错设置绿色透射滤光器元件603和604用于逐行选择透射最绿的颜色。
然而,由于滤光器元件的数目是六个,滤光器阵列为3×2矩阵图形。在这种情况下,当交错设置绿色透射滤光器元件时,在水平相邻的交错设置的滤光器元件之间产生各自对应于一个像素宽度的间隔的平行的行,这样绿色透射滤光器元件在间隔的行中稀疏。因此,在间隔的行中设置滤光器元件602和605以选择透射次绿的颜色。
最后,在剩余的位置设置滤光器元件601和606。注意,该滤光器阵列仅仅是基于给定分辨率重要性的概念的示例,还可以采用其它的滤光器阵列。
说明至此,本发明提供了一种在低演色性灯照射下与裸眼相比改进颜色区分能力的高实用效果。因此,本发明非常有用并具有高的工业适用性。尤其是,本发明可以用作车载摄像器用于监视车辆周围的视频图像以进行视觉识别。

Claims (8)

1、一种摄像器,包括图像传感器,在该图像传感器中多个单元像素排列在芯片上,其特征在于,
该图像传感器包括:光电转换元件,用于将入射光转换为各单元像素的电流;和滤光器,设置于光电转换元件之上,用于选择透射特定波长段的入射光以从入射光中分隔开颜色分量,和
所述滤光器为由无机材料形成的多层薄膜滤光器并且配置为被选择透射的特定波长段的一半宽度窄于100纳米。
2、根据权利要求1所述的摄像器,其特征在于,所述滤光器包括多个滤光器元件,该滤光器元件为具有不同特性的至少四类以覆盖人眼可见的从400纳米至700纳米的波长范围。
3、根据权利要求2所述的摄像器,其特征在于,至少四类的多个滤光器元件排列在图像传感器上以在所述多个滤光器元件之中,用于选择透射最绿颜色的绿色透射滤光器元件逐行交错设置,而另一类用于选择透射次绿颜色的滤光器元件设置在由交错排列的绿色透射滤光器元件产生的滤光器阵列并且其中绿色透射滤光器元件稀疏的位置。
4、一种图像处理系统,包括:
图像传感器,其中多个单元像素排列在芯片上,所述图像传感器包括用于将入射光分为至少四种颜色分量的滤光器;
转换部分,用于将对应于由图像传感器分隔开的至少四种颜色分量的信号分别转换为数字信号;和
图像处理部分,用于处理从转换部分输出的信号以产生颜色信号。
5、根据权利要求4所述的图像处理系统,其特征在于,所述图像处理部分配置为基于比人眼可见波长范围窄的范围的颜色信息而产生覆盖整个人眼可见的从400纳米至700纳米的波长范围的颜色信号。
6、根据权利要求5所述的图像处理系统,其特征在于,所述图像处理部分配置为基于在比人眼可见的从400纳米至700纳米波长范围窄的范围内的多种颜色的信息估计目标在白光下的颜色,并基于该估计结果产生颜色信号。
7、根据权利要求6所述的图像处理系统,其特征在于,
所述图像处理部分包括图形表,显示目标在低演色性光下的颜色信息和在白光下所述同一目标的颜色信息之间的关系,和
所述图像处理单元配置为基于图形表由低演色性光下的目标估计在白光下该目标的颜色信息。
8、根据权利要求4所述的图像处理系统,其特征在于,所述图像处理部分由半导体大规模集成电路芯片形成。
CNA2006101270126A 2005-09-30 2006-09-19 摄像器和图像处理系统 Pending CN1941855A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005287281 2005-09-30
JP2005287281A JP2007103401A (ja) 2005-09-30 2005-09-30 撮像装置及び画像処理装置

Publications (1)

Publication Number Publication Date
CN1941855A true CN1941855A (zh) 2007-04-04

Family

ID=37901509

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101270126A Pending CN1941855A (zh) 2005-09-30 2006-09-19 摄像器和图像处理系统

Country Status (3)

Country Link
US (1) US7952624B2 (zh)
JP (1) JP2007103401A (zh)
CN (1) CN1941855A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107086222A (zh) * 2016-02-12 2017-08-22 唯亚威解决方案股份有限公司 滤光器阵列
CN108243331A (zh) * 2016-12-27 2018-07-03 松下知识产权经营株式会社 图像生成装置及拍摄装置
CN108780006A (zh) * 2015-12-14 2018-11-09 ams有限公司 光学感测装置和制造光学感测装置的方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5074106B2 (ja) * 2007-06-08 2012-11-14 パナソニック株式会社 固体撮像素子及びカメラ
JP4696104B2 (ja) * 2007-09-28 2011-06-08 富士フイルム株式会社 裏面照射型固体撮像素子及びその製造方法
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
US20100163759A1 (en) * 2008-12-31 2010-07-01 Stmicroelectronics S.R.L. Radiation sensor with photodiodes being integrated on a semiconductor substrate and corresponding integration process
US8330840B2 (en) * 2009-08-06 2012-12-11 Aptina Imaging Corporation Image sensor with multilayer interference filters
JP5612894B2 (ja) * 2010-04-12 2014-10-22 オリンパス株式会社 撮像装置
JP2011254311A (ja) * 2010-06-02 2011-12-15 Aisin Seiki Co Ltd 車両周辺画像処理装置
JP6074813B2 (ja) * 2011-05-11 2017-02-08 国立大学法人東京工業大学 カラーフィルタアレイ及び撮像素子
TWI521965B (zh) * 2012-05-14 2016-02-11 Sony Corp Camera and camera methods, electronic machines and programs
CN106470299B (zh) * 2015-08-18 2022-12-23 杭州海康机器人股份有限公司 镜头、摄像机、包裹检测系统和图像处理方法
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
KR102395992B1 (ko) 2017-04-07 2022-05-10 삼성전자주식회사 광대역 컬러 필터를 포함하는 이미지 센서
JP2022050242A (ja) * 2020-09-17 2022-03-30 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその製造方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037951B2 (ja) * 1988-12-06 2000-05-08 オリンパス光学工業株式会社 色温度調整装置
JP2872759B2 (ja) * 1989-06-08 1999-03-24 富士写真フイルム株式会社 固体撮像システム
US5523811A (en) 1992-04-17 1996-06-04 Canon Kabushiki Kaisha Camera device for moving body
JPH05294183A (ja) 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
JP3511316B2 (ja) * 1993-10-01 2004-03-29 三菱電機株式会社 撮像装置
JPH11113006A (ja) * 1997-09-30 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
JPH11113005A (ja) * 1997-09-30 1999-04-23 Sony Corp 撮像装置
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
WO2000077566A1 (en) * 1999-06-14 2000-12-21 Augusto Carlos J R P Display or imager device with integrated wavelength filter
US7892169B2 (en) * 2000-07-21 2011-02-22 Olympus Corporation Endoscope apparatus
US7154545B2 (en) * 2001-04-30 2006-12-26 Hewlett-Packard Development Company, L.P. Image scanner photosensor assembly with improved spectral accuracy and increased bit-depth
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
KR100459902B1 (ko) 2002-07-04 2004-12-03 삼성전자주식회사 압축 영상의 색온도 변환 방법 및 그 시스템
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
US7742088B2 (en) * 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
US7633537B2 (en) * 2002-12-18 2009-12-15 Nikon Corporation Color image sensor, color filter array and color imaging device
JP3861808B2 (ja) * 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
JP3970185B2 (ja) * 2003-01-14 2007-09-05 富士フイルム株式会社 固体撮像素子及びデジタルカメラ
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
JP3967690B2 (ja) * 2003-03-25 2007-08-29 富士フイルム株式会社 撮像装置
US20070058055A1 (en) * 2003-08-01 2007-03-15 Takumi Yamaguchi Solid-state imaging device, manufacturing method for solid-state imaging device, and camera using the same
CN1875638A (zh) * 2003-11-11 2006-12-06 奥林巴斯株式会社 多谱图像捕捉装置
CN100449764C (zh) * 2003-11-18 2009-01-07 松下电器产业株式会社 光电探测器
US20050151860A1 (en) * 2004-01-08 2005-07-14 Silverstein D. A. Image sensing device and method
EP1592067A4 (en) * 2004-01-15 2007-05-02 Matsushita Electric Ind Co Ltd TUBE-FREE PICTURE DEVICE, PROCESS FOR PRODUCING A TUBE-FREE PICTURE DEVICE AND CAMERA THEREWITH
CN2727760Y (zh) 2004-07-24 2005-09-21 鸿富锦精密工业(深圳)有限公司 彩色滤光片
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780006A (zh) * 2015-12-14 2018-11-09 ams有限公司 光学感测装置和制造光学感测装置的方法
CN107086222A (zh) * 2016-02-12 2017-08-22 唯亚威解决方案股份有限公司 滤光器阵列
TWI721099B (zh) * 2016-02-12 2021-03-11 美商菲爾薇解析公司 光學濾光片陣列
CN113270429A (zh) * 2016-02-12 2021-08-17 唯亚威通讯技术有限公司 滤光器阵列
TWI758105B (zh) * 2016-02-12 2022-03-11 美商菲爾薇解析公司 光學濾光片陣列
CN113270429B (zh) * 2016-02-12 2024-06-25 唯亚威通讯技术有限公司 滤光器阵列
CN108243331A (zh) * 2016-12-27 2018-07-03 松下知识产权经营株式会社 图像生成装置及拍摄装置

Also Published As

Publication number Publication date
US20070076105A1 (en) 2007-04-05
US7952624B2 (en) 2011-05-31
JP2007103401A (ja) 2007-04-19

Similar Documents

Publication Publication Date Title
CN1941855A (zh) 摄像器和图像处理系统
CN109906512B (zh) 摄像元件和电子设备
CN101078854A (zh) 摄像装置
US7560684B2 (en) On-vehicle imaging device
US7903157B2 (en) Imaging system and image sensor with filter selectively transmitting combination of plural narrow wavelength bands of incident light in low color rendering illumination
CN101438411A (zh) 用于制造分离彩色滤光片的侧壁间隔物及对应图像传感器的方法
KR20140027532A (ko) 촬상 장치, 물체 검출 장치, 광학 필터 및 광학 필터의 제조 방법
KR20070101139A (ko) 고체 촬상 장치, 카메라 및 신호 처리 방법
US20180088588A1 (en) Color filter array for machine vision system
JP4974897B2 (ja) 車載撮像装置
WO2022196169A1 (ja) 撮像装置
WO2022019111A1 (ja) 光検出装置
WO2021192677A1 (ja) センサ装置およびその製造方法
WO2023013554A1 (ja) 光検出器及び電子機器
CN116802812A (zh) 摄像装置
WO2024018904A1 (ja) 固体撮像装置
WO2023243252A1 (ja) 光検出装置
WO2024053299A1 (ja) 光検出装置および電子機器
WO2023189130A1 (ja) 光検出装置及び電子機器
WO2023181657A1 (ja) 光検出装置及び電子機器
WO2024057724A1 (ja) 撮像装置、及び電子機器
US20240120359A1 (en) Photodetection device and electronic apparatus
JP2021136352A (ja) 固体撮像装置およびその製造方法
KR20240054968A (ko) 촬상 장치 및 전자 기기
JP2023127332A (ja) 光検出装置及び電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20070404

C20 Patent right or utility model deemed to be abandoned or is abandoned