CN1971927A - 物理信息获取方法、物理信息获取装置和半导体器件 - Google Patents

物理信息获取方法、物理信息获取装置和半导体器件 Download PDF

Info

Publication number
CN1971927A
CN1971927A CN200610135758.1A CN200610135758A CN1971927A CN 1971927 A CN1971927 A CN 1971927A CN 200610135758 A CN200610135758 A CN 200610135758A CN 1971927 A CN1971927 A CN 1971927A
Authority
CN
China
Prior art keywords
mentioned
test section
component
light
wavelength zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200610135758.1A
Other languages
English (en)
Other versions
CN1971927B (zh
Inventor
户田淳
佐藤玄太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006133412A external-priority patent/JP4984634B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1971927A publication Critical patent/CN1971927A/zh
Application granted granted Critical
Publication of CN1971927B publication Critical patent/CN1971927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种物理信息获取方法、物理信息获取装置和半导体器件。在摄像装置中,即使不用红外光滤光片,也可排除红外光等不需要的波长区分量的影响。在通过滤光片(C1、C2、C3)将可见光区内进行波长分离从而由各检测部进行检测的同时,通过滤光片(C4)将红外光区域进行波长分离从而由检测部进行检测。通过使用滤光片(C4)检测的信号(SC4),对通过滤光片(C1、C2、C3)检测的信号(SC1、SC2、SC3)进行校正,从而获得与排除了红外光区分量影响的可见光区分量有关的摄像信号。

Description

物理信息获取方法、物理信息获取装置和半导体器件
技术领域
本发明涉及物理信息获取方法、物理信息获取装置和半导体器件。更具体地,本发明涉及一种信号获取技术,特别适用于,配设有对从外部输入的例如光或放射线等的电磁波敏感的多个单元构成元件,利用将根据单元构成元件转换成电信号的物理量分布作为电信号并可读取的、用于物理量分布检测的半导体器件的固体摄像装置等。特别是涉及一种排除漏入到主要波长区(通常例如可见光区)的不需要的波长(通常为相对可见光的红外光或紫外光)区分量的影响的结构。
背景技术
现有技术中,将多个对从外部输入的诸如光或放射线等的电磁波等的物理量变化敏感的单元构成元件(例如像素)配置成线状或矩阵状的物理量分布检测半导体器件被适用于各种技术领域。
例如,在视频装置领域中,大家都使用用于检测物理量的一个例子即光(电磁波的一种)的变化的CCD(电荷耦合器件)型或MOS(金属氧化半导体)或CMOS(补偿金属氧化半导体)型固体摄像装置。它们将被单元构成元件(固体摄像装置中为像素)转换成电信号的物理量分布作为电信号并读出。
例如,固体摄像装置中,利用设于设备部的摄像部(像素部)的光电转换元件(受光元件:光电传感器)即光电二极管,检测从外部输入的诸如光或放射线等电磁波而生成·积蓄信号电荷,并将该积蓄的信号电荷(光电子)作为图像信号而读出。
最近,提出了一种对由可见光产生的像及由红外光产生的像进行摄像的结构(例如参照专利文献1~9)。通过事先提供例如红外线的发光点并对其进行光线追迹,可检测出存在于可见光的像中的红外光的发光点位置。而且在没有可见光例如夜间的场合,通过照射红外光进行摄像也可得到清晰的像。并且,通过在可见光中另掺入红外光可使感度提高。
专利文献1:美国专利第5965875号
专利文献2:特开2004-103964号公报
专利文献3:特开平10-210486号公报
专利文献4:特开2002-369049号公报
专利文献5:特开平06-121325号公报
专利文献6:特开平09-166493号公报
专利文献7:特开平09-130678号公报
专利文献8:特开2000-59798号公报
专利文献9:特开2003-70009号公报
专利文献1、2所述的结构为,利用波长吸收系数在半导体纵深方向的差异的单板式结构。
专利文献3~5所述的结构为,采用输入光学系统中将波长分离的反射镜或棱镜等的波长分解光学系统,并由各自的摄像元件接收可见光和红外光的多板式结构。
专利文献6所述的结构为,采用输入光学系统中转动式的波长分解光学系统,并由同一摄像元件接受可见光和红外光的单板式结构。例如,采用转动结构式进行红外光截止滤光片的插入/拔出,在插入红外光截止滤光片时输出不存在近红外光及红外光影响的可见光彩色图像,在拔出红外光截止滤光片时输出可见光及近红外光光强相加之后的图像。
专利文献7所述的结构为,采用输入光学系统中具有波长分解功能的孔径光学系统,并采用同一摄像元件接受可见光和红外光的结构。
专利文献8所述的结构为这样的结构,在对近红外光和可见光敏感的摄像元件之上,设置透过近红外光的彩色滤光片,并且,设置调整装置,用于在射向摄像元件的入射光通过红外截止滤光片的位置和非通过位置之间,对红外截止滤光片位置进行调整,通过切换红外截止滤光片的位置,在采用近红外光进行摄影及采用可见光进行摄影而共用的场合,对摄像元件近红外光区感度和可见光区感度两者均有效地运用。
专利文献9所述的结构为,为了排除红外光的影响而根据红外光对色差信号或辉度信号的值的影响度,进行使色差信号和/或辉度信号的值减少的校正。比如,在滤色片为品红、绿色、蓝绿、黄色的各补色滤光片时,对色差信号R-Y或品红和黄色的各色输出信号进行校正。
发明内容
图102为解释专利文献1、2所述传感器结构的图,图102(A)表示半导体层的光吸收光谱特性图,图102(B)为设备的截面结构示意图。
如图102(A)所示,该结构中,Si(硅)半导体的光吸收系数按照蓝、绿、红、红外光的顺序依次变小,即关于包含在入射光L1中的蓝色光、绿色光、红色光以及红外光,利用其在半导体纵深方向对波长呈空间依赖性的特点,如图102(B)所示,从Si半导体表面沿着纵深方向依次设置用于检测可见光(蓝、绿、红)及红外光的各色光的层。
然而,在利用对波长吸收系数不同的专利文献2所述的结构中,尽管并非理论上可检测的光量很低,但是,在检测蓝色光的层中,为了在红色光及绿色光通过时大体上被吸收,这些光将作为蓝色光被检测。出于这个原因,在本来没有蓝色信号的场合例如输入绿色或红色信号时,也会产生好像输入蓝色信号的伪信号,所以得不到足够的色再现性。
为了避免这种情况,有必要采用对三基色整体进行计算的信号处理进行校正,但因为计算另外需要额外的电路,此时仅电路结构一项就变得复杂化·大规模化,而且增加成本。并且,在三基色中,如果1种颜色饱和,则会使得该饱和光的原来的值不被判断而产生计算错误,从而会导致对原本的颜色进行错误的信号处理。
如图102(A)所示,大部分半导体对红外光具有吸收感光度。因此,在例如采用Si半导体的固体摄像装置(图像传感器)等中,通常需要在传感器之前放置诸如玻璃制红外光截止滤光片以作为消色滤光片。
为了将可见光和红外光,或者只将红外光作为信号接收而进行摄像,需要将红外光截止滤光片取下,以降低红外光截止比例。
然而,如果这样的话,红外光将混入可见光中并入射至光电转换元件,所以可见光像的色调会与原本的不一样。因此,很难同时将可见光的像仅与红外光(或红外光与可见光的混合)分离而分别得到真切的图像。
另外,除了存在上述技术问题之外,如果像一般固体摄像装置那样采用红外光截止滤光片的话,可见光也基本上被截止掉而使感光度降低。另外,采用红外光截止滤光片还会使成本提高。
专利文献3~5所述的结构中,因为波长分离用反射镜或棱镜等波长分解光学系统的存在,输入光学系统规模形成得很大。
专利文献6、9所述的结构中,因为红外光截止滤光片的插入/拔出机构的存在,装置很大,红外光截止滤光片的操作不能自动进行。
专利文献7所述的结构中,因为具有波长分解功能的孔径光学系统的存在,装置的规模很大。之外,从作为可同时得到红外线图像和可见光线图像器件的图像传感器中,可仅输出合成该红外线图像和可见光线图像的电信号,也可仅输出该红外线图像或仅输出可见光线图像的电信号。
专利文献8所述的结构尽管对色差信号及亮度信号进行校正,然而该校正总归是根据估计而来的,校正精度很差。
本发明鉴于上述问题而提出,目的在于提供一种对可见光区主要波长区漏入的红外光或紫外光等不期望的波长区分量排除其影响的新的结构。
对于本发明的结构,首先,事先将主要分量即第1波长区(例如可见光区)分量,和不同于该第1波长区分量的、相对第1波长区分量来说成为不期望分量的第2波长区(例如红外光区)的分量予以分离,并采用第1检测部进行检测,同时,将含至少第2波长区的分量的校正用波长区的分量采用第2检测部进行检测。优选地,该2个检测部可载置于同一块衬底上。
而且,使用上述第1检测部所检测的单位信号,上述第2检测部所检测的单位信号,获取将上述第2波长区分量的至少一部分的影响排除的上述第1波长区分量相关的物理信息。
另外,还可根据需要,通过采用由第2检测部所检测的第2波长区分量的单位信号,以获取与排除第1波长区分量的影响的第2波长区分量相关的物理信息。此时,还可根据需要,对由第1检测部所检测的单位信号和由第2检测部所检测的单位信号进行线性计算。这样,可分别根据第1波长区分量和第2波长区分量而能够单独获取物理信息。
另外,在校正计算时,基于将第1波长区分量中所含的第2波长区分量排除的观点,也可以从第1检测部所检测的单位信号中,减掉第2检测部所检测的单位信号乘以规定系数之后的信号分量。
进一步优选地,还可以通过将由第2检测部所检测的单位信号和由第1检测部所检测的单位信号的积乘以规定系数而得到的非线性信号分量进行加法运算而进行校正。
这里,在“对非线性信号分量进行加法运算”时,在没有设置用于截断第2波长区分量(例如红外光分量)的滤光片时,通过对第1波长区分量变大进行校正而以得到同等信号电平为目的的校正,及以使色差变小为目的的校正,根据各校正目的,使系数的符号(正负)及值、还有校正计算式最优化。作为校正计算式的一个例子,只要是2次多项式及其他多项式,绝对值式等非线性信号分量,就能够采用各种校正式。
另外,如果第2检测部所检测的校正用波长区分量不含第1波长区分量,还可进行单纯的减法计算处理,不过,在第2检测部所检测的校正用波长区分量含第1波长区分量时,需要先行进行该减法计算处理,以将第2检测部所检测的校正用波长区分量中所含第1波长区分量排除。对于该排除,可以从由第2检测部检测的单位信号中,减掉第1检测部所检测的单位信号乘以规定系数得到的信号分量。
另外,在设置用于检测校正用波长区分量的第2检测部的情况下,可保持为与用于获取原始目的信号的第1检测部之间的配置关系。例如,对多个第1检测部,可配设1个第2检测部,第1检测部和第2检测部具有一定的数量比而呈周期性配置也可以(例如第1检测部和第2检测部成1比1配置)。
第1检测部可以由将第1波长区分量进一步进行波长分离并检测的多个检测元件的组合形成。例如为了摄取彩色图像而进行色分离即为其一典型例子。
此时,为防止彩色图像分辨率降低而进行校正的过程中,也可以将第1检测部的多个检测元件和第2检测部配设成2维网格状,且将多个检测元件内的用于检测某波长分量的元件排列成方格花纹状。
另外,在使用由第2检测部检测的第2波长区分量的单位信号号,获取与排除第1波长区分量影响的第2波长区分量相关的物理信息的情况下,为防止该第2波长区分量相关物理信息的分辨率降低,也可以将第1检测部的多个检测元件和第2检测部配设成2维网格状,且将第2检测部排列成方格花纹状。
根据本发明,因为采用第2检测部所检测的单位信号对第1检测部所检测的单位信号进行校正,所以可以将由第1检测部所检测的第1波长区分量中所含的第2波长区的分量抑制、除去。
因此,纵然在传感器之前没有放置作为诸如消色滤光片一个例子的红外光截止滤光片时,也可获得足够色再现性的可见光彩色图像。由于无需昂贵的红外光截止滤光片,故可大幅降低成本。另外,由于省去了一些具有厚度及重量的红外光截止滤光片,故可使光学系统轻型化紧凑化。无论如何,由于无需红外光截止滤光片的插入/拔出机构,故装置规模不会变得很大。
附图说明
图1表示可通常根据校正计算对可见光彩色图像和红外光图像分别单独计算的色分离滤光片的配置例的基本结构图。
图2表示本发明摄像装置的概略结构图。
图3(A)和图3(B)表示将图1所示的色分离滤光片配置适用于内线传送方式的CCD固体摄像元件时的摄像装置的电路图。
图4(A)和图4(B)表示将图1所示的色分离滤光片配置适用于CMOS固体摄像元件时的摄像装置的电路图。
图5(A)和图5(B)为说明在采用作为将可见光图像和红外光图像分离获得的结构的图像传感器时的信号获取方法的一个例子的图。
图6(A)和图6(B)为说明固体摄像元件的第1实施方式的图。
图7为说明设计叠层膜手段的基本概念的结构图。
图8为说明设计叠层膜手段的基本概念的反射光谱图。
图9为说明设计叠层膜手段的基本概念的反射光谱图。
图10(A)和图10(B)为说明反射中心波长λ条件的图(表示反射光谱概念的图)。
图11为说明反射中心波长λ条件的反射光谱图。
图12为说明反射中心波长λ条件的反射光谱图。
图13为说明利用叠层膜的单波长分波对应的分光图像传感器的第1实施方式的结构图。
图14为说明利用叠层膜的单波长分波对应的分光图像传感器的第1实施方式中的厚度依赖性的反射光谱图。
图15为说明利用叠层膜的单波长分波对应的分光图像传感器的第1实施方式的图(反射光谱图;详细)。
图16为说明利用叠层膜的单波长分波对应的分光图像传感器的第1实施方式的结构图。
图17为说明利用叠层膜的单波长分波对应的分光图像传感器的第1实施方式中的反射光谱图。
图18为说明利用叠层膜的单波长分波对应的分光图像传感器的第1变形例的结构图。
图19为说明利用叠层膜的单波长分波对应的分光图像传感器的第1变形例的反射光谱图。
图20为说明利用叠层膜的单波长分波对应的分光图像传感器的第2变形例的结构图。
图21为说明利用叠层膜的单波长分波对应的分光图像传感器的第2变形例的反射光谱图。
图22为说明利用叠层膜的单波长分波对应的分光图像传感器的第3变形例的结构图。
图23为说明利用叠层膜的单波长分波对应的分光图像传感器的第3变形例的反射光谱图。
图24为说明利用叠层膜的单波长分波对应的分光图像传感器的第3变形例中的厚度依赖性的反射光谱图。
图25为说明利用叠层膜的单波长分波对应的分光图像传感器的第4变形例(之一)的结构图。
图26为说明利用叠层膜的单波长分波对应的分光图像传感器的第4变形例(之一)的反射光谱图。
图27为说明利用叠层膜的单波长分波对应的分光图像传感器的第4变形例(之二)的结构图。
图28为说明利用叠层膜的单波长分波对应的分光图像传感器的第4变形例(之二)的反射光谱图。
图29为说明利用叠层膜的单波长分波对应的分光图像传感器的第5变形例的结构图。
图30为说明利用叠层膜的单波长分波对应的分光图像传感器的第5变形例的反射光谱图。
图31(A)和图31(F)表示制造利用叠层膜的传感器结构的分光图像传感器的具体工艺的例子的图。
图32为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的结构图。
图33为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的结构图。
图34为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的结构图。
图35为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的结构图。
图36为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的图。
图37为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的反射光谱图。
图38为说明利用叠层膜的单波长分波对应的分光图像传感器的第6变形例的反射光谱图。
图39(A)和图39(B)为说明固体摄像元件的第2实施方式的图。
图40为说明利用衍射光栅的分光图像传感器的基本结构的概念图。
图41为放大示出图40所示的分光图像传感器的其中一个光电二极管组的图。
图42为说明将衍射光栅配设于Si衬底入射面的分波图像传感器的另外的实施方式(对应红外光)的图。
图43表示对应红外光的分波图像传感器中使用的Si的折射率和衰减系数的波长色散的关系的图表。
图44为对蓝色光(波长460nm)从受光面入射至具有图42所示结构的分光图像传感器时的分光手段进行说明的计算模拟图。
图45为对绿色光(波长540nm)从受光面入射至具有图42所示结构的分光图像传感器时的分光手段进行说明的计算模拟图。
图46为对红色光(波长640nm)从受光面入射至具有图42所示结构的分光图像传感器时的分光手段进行说明的计算模拟图。
图47为对红外光(波长780nm)从受光面入射至具有图42所示结构的分光图像传感器时的分光手段进行说明的计算模拟图。
图48为对红外光(波长880nm)从受光面入射至具有图42所示结构的分光图像传感器时的分光手段进行说明的计算模拟图。
图49为根据模拟结果对可见光和红外光的分光中的检测位置的合适的例子进行说明的图。
图50表示对应图49检测位置的红外光对应的传感器结构的一构成例的断面图。
图51(A)和图51(B)为说明固体摄像元件的第3实施方式的图。
图52为说明红外光分量混入可见光分量而产生的问题的图(之一)。
图53为说明红外光分量混入可见光分量而产生的问题的图(之二)。
图54为说明红外光分量混入可见光分量而产生的问题的图(之三)。
图55为说明红外光分量混入可见光分量而产生的问题的图(之四)。
图56为说明红外光分量混入可见光分量而产生的问题的图(之五)。
图57为说明红外光分量混入可见光分量而产生的问题的图(之六)。
图58为说明红外光分量混入可见光分量而产生的问题的图(之七)。
图59说明红外光分量混入可见光分量对色再现性影响的图(之一)。
图60说明红外光分量混入可见光分量对色再现性影响的图(之二)。
图61(A)和图61(C)表示校正计算用色分离滤光片的第1具体例的配置图。
图62说明具有图61所示色分离滤光片的配置的CCD固体摄像元件的构成例的图(斜视图)。
图63说明将红外光和可见光两种波长分量同时作为像而可分别进行摄像的CCD固体摄像元件的构成例的图(断面结构图)。
图64(A)和图64(B)表示第1具体例中所采用的滤色片的特性例的图。
图65说明校正计算采用的系数设定手段的图(之一)。
图66(A)和图66(B)说明校正计算采用的系数设定手段的图(之二)。
图67(A)和图67(B)说明校正计算采用的系数设定手段的图(之三)。
图68(A)和图68(C)表示校正计算用色分离滤光片的第2具体例的配置图。
图69说明具有图68所示色分离滤光片的配置的CCD固体摄像元件的构成例的图(斜视图)。
图70说明第2具体例的红外光分量的校正手段的图。
图71说明第2具体例的第3例的校正手段的图(之一)。
图72说明第2具体例的第3例的校正手段的图(之二)。
图73(A)和图73(C)表示校正计算用色分离滤光片的第3具体例的配置图。
图74说明具有图73所示色分离滤光片的配置的、将红外光和可见光两种波长分量同时作为像而可分别进行摄像的CCD固体摄像元件的构成例的图(斜视图)。
图75(A)和图75(B)说明基于分辨率降低而考虑的像素排列的图(之一)。
图76表示黑色滤光片透过光谱特性的一个例子的图。
图77(A)和图77(B)说明基于分辨率降低而考虑的像素排列的图(之二)。
图78(A)和图78(C)说明基于分辨率降低而考虑的像素排列的图(之三)。
图79(A)和图79(B)说明基于分辨率降低而考虑的像素排列的图(之四)。
图80(A)和图80(B)说明基于分辨率降低而考虑的像素排列的图(之五)。
图81(A)和图81(B)说明基于分辨率降低而考虑的像素排列的图(之六)。
图82表示试验中所采用的黑白照相机概要图。
图83为试验用照相机和滤色片分光感光度特性图。
图84表示G色及红外光截止滤光片、校正像素用黑色滤光片各自透过光谱图。
图85表示作为测色指标而使用的麦克佩斯表中的色卡号码(1整套:24色)的对应的图。
图86(A)和图86(C)表示根据采用实验用照相机和绿色滤光片G对麦克佩斯表摄像而得到的原始的图像数据而显示图像的图。
图87表示作为图86所示摄像结果的、对每个麦克佩斯表的色卡号码显示信号电平(实测值)的图。
图88(A)和图88(B)表示根据采用实验用照相机和作为校正像素的黑色滤光片BK对麦克佩斯表摄像而得到的原始的图像数据而显示图像的图。
图89(A)和图89(B)表示黑色滤光片图像乘以规定系数得到的黑色校正图像的图。
图90(A)和图90(C)表示采用黑色校正图像的G色图像的校正效果的一个例子的、示出图像的图。
图91表示采用黑色校正图像的G色图像的校正效果的一个例子的、示出每个麦克佩斯色卡号码的信号电平(实测值)的图。
图92(A)和图92(B)表示采用黑色校正图像的G色图像的高精度的校正手段的校正效果的、示出图像的图。
图93表示采用黑色校正图像的G色图像的高精度的校正手段的校正效果的、示出每个麦克佩斯色卡号码的信号电平(实测值)的图。
图94表示适用于白色校正像素场合的实验时的环境条件的图。
图95表示普通IR截止滤光片和模拟MLT滤光片透过特性的图。
图96表示适用于实验用照相机和模拟MLT滤光片场合的滤色片的分光感光特性图。
图97表示整个处理顺序的流程图。
图98表示在卤灯光源(色温3000K)环境下对麦克佩斯表的24色摄影,进行计算而求得校正前后色差结果的图。
图99为就各种光源的色差测定结果汇总图表。
图100表示在卤灯光源(色温3000K)环境下噪音估计值和实测值汇总图表。
图101表示对荧光灯的噪音估计值和实测值汇总图表。
图102(A)和图102(B)为说明专利文献1、2所述传感器结构图。
标号说明
1...电介质叠层膜、10...分光滤光片、11...分光图像传感器、12...单位像素矩阵、14...滤色片、101...CCD固体摄像元件、122...垂直传送CCD、124...读取栅电路、126...水平传送CCD、128...输出放大器、201...CMOS固体摄像元件、205...像素内放大器、207...驱动控制部、219...垂直信号线、226...纵向处理部、300...摄像装置、302...摄影透镜、304...光学低通滤波器、310...摄像部、312...滤色片组、314...固体摄像元件、320...驱动部、330...摄像信号处理部、332...预处理部、334...AD转换部、336...校正处理部、340...图像信号处理部、342...红外光校正处理部、344...辉度信号处理部、346...色信号处理部、348...红外信号处理部、360...图像切换控制部、501...衍射光栅、502...散射体、510...分光图像传感器、611...摄像元件、624...滤色片
具体实施方式
下面参照附图对本发明实施方式作出详细说明。
<基本概念>
图1是表示通常可采用校正计算来分别单独计算可见光彩色图像和红外光图像的色分离滤光片的配置例的基本结构的图形。其中,将可见光彩色图像用滤色片C1、C2、C3(均透过第1波长区分量)的3个波长区(色分量)用的分量、及与滤色片C1、C2、C3分量不同的作为第2波长区分量的红外光用滤色片C4这样的具有各自过滤特性的4种滤色片,呈规则形状(本例中为正方形网格状)地排列。通过采用通过滤色片C1、C2、C3、C4并与之对应的检测部对其进行检测的方式,可对各分量分别单独进行检测。配设有滤色片C1、C2、C3的检测部为第1检测部,配设有滤色片C4的检测部为第2检测部。另外,配设有滤色片C1、C2、C3的检测部(检测元件)为用于进一步将第1波长区波长分离并检测的器件。
滤色片C1、C2、C3例如可以是对可见光带域内某色分量的透过率大致为1,而对其他色分量大致为零的基色滤光片。例如,可以是以可见光VL(波长λ=380~780nm)的三基色即蓝色分量B(例如对波长λ=400~500nm的色分量透过率大致为1而其他色分量大致为零)、绿色分量G(例如对波长λ=500~600nm的色分量透过率大致为1而其他色分量大致为零)、红色分量R(例如对波长λ=600~700nm的色分量透过率大致为1而其他色分量大致为零)为中心的基色滤光片。
或者,滤色片C1、C2、C3可以是对可见光带域内某种色分量的透过率大致为零,而对其他色分量具有大致为1的透过率的补色类滤色片。例如,可以是黄色Ye(例如对波长λ=400~500nm的色分量透过率大致为零而其他色分量大致为1)、品红色分量Mg(例如对波长λ=500~600nm的色分量透过率大致为零而其他色分量大致为1)、蓝绿色分量Cy(例如对波长λ=600~700nm的色分量透过率大致为零而其他色分量大致为1)等,对可见光三基色分量具有大致为零的透过率的补色系滤色片。
因为补色系滤色片比基色系滤色片感光度更高,故通过使用对可见光区的透过光分别呈三基色各自的补色的补色类滤色片,可以提高摄像装置的感光度。反之,通过使用基色系滤色片,具有无需进行差分处理而可得到基色色信号,对可见光彩色图像的信号处理变得简单易行的优点。
透过率“大致为1”指的是理想的状态,对该波长区的透过率远远大于其他波长区透过率即可。“接近1的透过率”的一部分也可。另外,对于透过率“大致为零”同样指的是理想的状态,对该波长区的透过率远远小于其他波长区透过率即可。“接近零的透过率”的一部分也可。
另外,无论是基色系还是补色系,可以对可见光区内规定色(基色或补色)的波长区分量透过,而对第2波长区即红外光区是否通过或者说对红外光IR的透过率则无要求。
例如,目前一般使用的各色滤色片要求对可见光带域内例如分别对R、G、B各自的透过率高而对其他色(例如R时的G或B)透过率低,而对可见光带域之外的光的透过率则无规定,通常,如果比该其他色(例如R时的G或B)透过率更高一些,即使各滤光片对红外区具有感光度、红外区中也存在透过的光。然而,在本实施方式中,即使存在这种可见光带域外透过率高的特性,也没有受到影响。
另一方面,滤色片C4优选为含至少第2波长区(本例中为红外光)分量的规定波长区采用的器件,作为第1种手段,可以是阻止通过滤色片C1、C2、C3的主要分量(即可见光分量)透过而仅使第2波长区(本例中为红外光)透过的器件(可见光截止滤光片),作为第两种手段,可以是使从第1波长区(本例中为可见光)至第2波长区(本例中为红外光)的全域分量通过的器件(全域带通滤光片)。在第两种手段场合中,就使从可见光至红外光(尤其近红外光)的全波长分量透过这一点,作为滤色片C4,实际上,可采用未设置彩色滤光片的结构。
例如,在将可见光截止滤光片没有装入接受红外光的检测区的受光面上时,可见光漏入红外光的检测区,该漏入分量的可见光像和原来的红外光图像混合并一起得到合成图像。为了除掉该混合的可见光像,从而得到几乎不受到大部分可见光影响的红外光图像,需要减少例如接受可见光分量光的3个色像素R、G、B所检测的蓝、红、绿光的强度。
与此相对,通过设置作为可见光截止滤光片的使红外光和绿色光透过的绿色滤光片,可从红外光用检测部得到红外光IR和绿色可见光LG的混合分量,而且通过与从接受绿色光分量的色像素G所得到的绿色分量相减求得差值,可得到基本全然不受可见光VL(这里为绿色光G)影响的仅存在红外光IR的像。因为需要将绿色滤光片设在外光用检测部的受光面,所以,与为了免设绿色滤光片而减少用3个像素R、G、B所检测的蓝、红、绿的强度的情况相比,处理变得更为简易。
另外,如果设置使红外光通过而仅吸收可见光的黑色滤光片,作为可见光截止滤光片,则通过用该黑色滤光片吸收可见光,从红外光用检测部得到仅红外光的分量,即使不进行差分处理,也可得到基本全然不受可见光影响的仅红外光的红外光图像。
配设滤色片C1、C2、C3的像素的检测部(例如光电二极管等摄像元件)可以对可见光具有感光度,而无需对近红外光具有感光度。另一方面,配设滤色片C4的像素的光电二极管等所构成的检测部在本例中需要至少对近红外光具有感光度。另外,在滤色片C4为仅透过近红外光的可见光截止滤光片时无需具有对可见光的感光度,但是,在滤色片C4为全域带通滤光片时则需要对可见光具有感光度。
另外,对于配设滤色片C4的色像素,不但可以作为基于配设该滤色片C4的色像素所得到的与第2波长区分量相关的物理信息(本例中为红外光图像)再现用而使用,而且可以作为基于配设滤色片C1、C2、C3的色像素所得到的作为对可见光彩色图像再现用色信号的校正像素而使用。此时滤色片C4变成对滤色片C1、C2、C3起到校正滤色片的作用。
换言之,在再现可见光彩色图像时,首先,使来自配设滤色片C1、C2、C3的色像素的第1波长区的信号分量SC1、SC2、SC3,从与该第1波长区分量不同的第2波长区(红外)分量分离,并在分别独立的检测区中进行检测。另外,对含至少第2波长区(红外)分量的规定波长区(仅红外或全域)信号分量SC4,进一步在其他检测区中进行检测。
而且,通过采用信号分量SC4对各信号分量SC1、SC2、SC3进行校正的方式,获取用于还原与第1波长区分量(可见光分量)相关的图像(这里为可见光彩色图像)的各校正色信号SC1*,SC2*,SC3*
在进行该校正计算时,从第1波长区的信号分量SC1、SC2、SC3,减掉含至少第2波长区分量的信号分量SC4乘以规定系数αC1、αC2、αC3的信号分量。
而涉及第2波长区分量的图像(这里为与红外光相关的红外光图像)可由信号分量SC4得到。此时,在滤色片C4为阻止透过滤色片C1、C2、C3的主要分量(即可见光分量)透过而仅使第2波长区(本例中为红外光)透过的可见光截止滤光片时,信号分量SC4本身表征红外光图像。另一方面,在滤色片C4为使从第1波长区(本例中为可见光)至第2波长区(本例中为红外光)全域分量透过的全域带通滤光片时,可以从信号分量SC4中减去由信号分量SC1、SC2、SC3所得到的可见光像的分量。另外,对于红外光图像,可以通过获取红外光和可见光混合而得到的像而得到。
据此,如果对由4种波长区(这里为配设4种滤色片的各像素)得到的信号输出进行矩阵计算,则可分别独立计算得到可见光彩色图像和近红外光图像。换言之,在光电二极管等摄像元件的各像素中,通过配设具有各自滤光片特性的4种滤色片,并将配设4种滤色片的各像素的输出进行矩阵计算,可以分别独立而且同时地获取用于形成基本全然不受近红外光影响的可见光彩色图像的三基色输出、及用于形成基本全然不受可见光影响的近红外光图像的输出。
特别是对于可见光彩色图像,通过计算处理校正由红外光的漏入引起的色再现的恶化,可形成在暗处感光度高并且色还原良好的摄像。还可缓和红外光附近红色信号分量变大的现象及在视频的红色部分的辉度变高的现象,尤其是,纵然在未采用摄像元件或机构时,也能够以低成本获取色再现性提高与低照度时感光度提升之间的平衡。
另外,在此时,在成像光学系统的光路上的传感器之前装入作为消色滤光片的诸如具有一定厚度和重量的昂贵的玻璃制光学部件不再成为必要。通过省去昂贵的红外光截止滤光片,可使光学系统轻型化且紧凑化,并大幅降低成本。不言而喻,由于无需红外光截止滤光片的插入/拔出机构,故不会使装置规模变大。
另外,采用不用红外光截止滤光片的方式也可实现高感光度。通过无红外光截止滤光片而进行彩色摄像,可以与现行的信号处理电路组合,并且可有效地利用近红外线区的光以实现高感光度,此时,纵然低照度情形其也会得到很好的色再现性。
针对可见光分量中漏入的红外光分量产生的可见光彩色图像色再现性的恶化问题,可采用计算处理进行简单的校正。就该校正计算,不但可采用如特开2003-70009号公报记载的结构那样仅靠估算进行的校正,也可采用对红外光分量进行实测,并利用该信息进行校正,可根据实际摄像环境下的红外光强度的适合量实施校正,校正精度相当好。另外,使用者无需根据摄像环境调整校正量,所以很方便。
<摄像装置>
图2表示本发明作为物理信息获取装置一例的摄像装置的概略结构图。该摄像装置300为单独获取可见光彩色图像及近红外光图像的摄像装置。
具体地,摄像装置300包括载置被拍照体Z的图像的光L引导到摄像部侧并成像的摄影透镜302、光学低通滤波器304、具有滤色片组312及固体摄像元件(图像传感器)314的摄像部310、驱动固体摄像元件314的驱动部320、对从固体摄像元件314输出的各摄像信号SIR(红外光分量)、SV(可见光分量)进行处理的摄像信号处理部330。
光学低通滤波器304是为了防止往返偏差,用于阻断高于耐奎斯特频率的高频分量的器件。普通的摄像装置中,该光学低通滤波器304与红外光截止滤光片一起使用,但在本结构中,不包括红外光截止滤光片。另外,在采用分别单独得到可见光彩色图像和近红外光图像的结构时,多采用包括将通过摄影透镜302而入射的光L1与作为不可见光一个例子的红外光IR及可见光VL分离的波长分离用光学部件(称为波长分离光学系统)的结构,但在本结构中,不包括这样的对于入射系统进行波长分离的波长分离光学系统。
固体摄像元件314为由呈二维矩阵状排列的光电转换像素组形成的摄像元件。本实施方式用的固体摄像元件314的具体结构在后面描述。
在固体摄像元件314的摄像面,产生与对被拍照体Z进行照相的红外光IR对应的电荷及与可见光VL对应的电荷。电荷的积蓄操作及电荷的读取操作等操作由从未图示的系统控制电路向驱动部320输出的传感器驱动用脉冲信号控制。
从固体摄像元件314中读取的电荷信号,即载置红外光图像的红外光摄像信号SIR和摄取可见光像的可见光摄像信号SVL,被送至摄像信号处理部330,并进行规定的信号处理。
例如,摄像信号处理部330包括,对从固体摄像元件314输出的传感器输出信号(可见光摄像信号SVL及红外光摄像信号SIR)进行黑电平调整或增益调整或咖嘛校正等预处理的预处理部332、将从预处理部332输出的模拟信号转换成数字信号的AD转换部334、对由摄影透镜302产生的阴影或固体摄像元件314形成的像素缺陷等进行校正的校正处理部336、图像信号处理部340。
作为本实施方式的特征部分,图像信号处理部340包括,通过采用红外光摄像信号SIR对可见光摄像信号SVL施加校正,生成校正可见光摄像信号SVL*的红外光校正处理部342。另外,图像信号处理部340包括,根据红外光校正处理部342输出的校正可见光摄像信号SVL*,生成辉度信号的辉度信号处理部344、根据红外光校正处理部342输出的校正可见光摄像信号SVL*,生成色信号(基色信号及色差信号)的色信号处理部346、根据红外光摄像信号SIR,生成表征红外光图像的红外光信号的红外信号处理部348。
从固体摄像元件314输出的摄像信号被摄像信号处理部330的预处理部332放大至规定电平,并由AD转换部334从模拟信号转换至数字信号。另外,对于可见光分量的数字图像信号,由红外光校正处理部342抑制其红外光分量,而且由辉度信号处理部344及色信号处理部346根据需要(尤其将补色滤光片用作滤色片C1、C2、C3时)分离成R、G、B色分离信号之后,被转换成辉度信号、色信号或其合成的视频信号等并被输出。还由红外信号处理部348根据需要(未采用黑色滤光片作为滤色片C4时)采用可见光摄像信号SVL对红外光摄像信号SIR进行较正。
红外光校正处理部342最好可以采用红外光摄像信号SIR对可见光摄像信号SVL进行校正,并且其配置位置并未限于这种结构之中。例如,设置于AD转换部334和进行阴影校正及像素缺陷校正的校正处理部336之间,在阴影校正及像素缺陷校正之前实施控制红外光影响的校正也可以。
或者,设置于预处理部332和AD转换部334之间,在黑色电平调整、增益调整及咖嘛校正等预处理之后,进行红外光抑制处理也可以,设置于固体摄像元件314和预处理部332之间,在黑色电平调整、增益调整及咖嘛校正等预处理之前,进行红外光抑制处理也可以。
根据这种结构,摄像装置300利用摄影透镜302取入含红外光IR的显示被拍照体Z的光学图像,读入到不分离红外光图像(近红外光光学图像)和可见光像(可见光光学图像)的摄像部310中,在利用摄像信号处理部330分别将这些红外光图像及可见光像转换成视频信号之后,进行规定的信号处理(例如分离成R、G、B分量的色信号分离等),作为彩色图像信号、红外光图像信号、或两者合成的混合图像信号而输出。
例如,摄影透镜302为由可透过约从波长380nm到约2200nm的光的石英或蓝宝石等光学材料构成的透镜,通过读取含红外光IR的光学图像,一边将其会聚,一边使之在固体摄像元件314上成像。
另外,对于本实施方式的摄像装置300,其特征在于,在摄像部310,设置最适合用于原本检测目的的波长分量的检测的检测部(图像传感器)。尤其,在本实施方式中,为了检测可见光VL和红外光IR内的短波长,设置最适合用于可见光VL检测的固体摄像元件314。
这里,“最适合的图像传感器”指的是具有这样的结构,该结构具有与波长分离对应的区域,该区域在原本用于检测目的的波长分量的摄像信号中,尽量不包括原本用于检测目的的波长分量之外的分量。
本实施方式具有这样的特征点,不用在波长分离光学系统光路上具有波长分离,通过在图像传感器侧具有的波长分离对应的结构也可实现光学系统的紧凑化。
这种摄像装置的结构不像特开平10-210486号公报及特开平06-121325号公报所公开的结构那样,通过将采用波长分离光学系统分离的各波长分量,分别入射到具有相同结构的各自传感器之上,以分别获得可见光像和红外光图像。
另外,也不同于特开平10-210486号公报公开的那样的结构,其通过将透过冷反射镜的可见光分量,进一步采用3块分光镜,分离成红色分量、绿色分量、和蓝色分量,并分别入射至各自的传感器之上,从而对于可见光VL,获得R、G、B各自的图像。在特开平10-210486号公报公开的方式中,需要就可见光VL设置3个传感器,尽管感光度提高,但存在成本增大这样的问题。本实施方式结构不存在这样的问题。
另外,也不同于特开平2002-369049号公报公开的那样的结构,通过在光路上分两截进行波长分离,并分别入射到具有相同结构的各自传感器之上,以分别获得可见光像和红外光图像。在专利文献4公开的方式下,因为在光路上分两截进行波长分离,故存在光学系统规模变大的缺点。之外,还存在感光度及图像模糊的问题。本实施方式结构不存在这样的问题。
例如,在本实施方式结构中,对于摄像部310进行的可见光VL的摄像,无需在固体摄像元件314之前装入作为消色滤光片例子的诸如红外光截止滤光片。通过省去昂贵的红外光截止滤光片,可大幅降低成本。另外,通过省去具有一定厚度及重量的红外光截止滤光片,可使光学系统轻型化且紧凑化。当然,由于无需红外光截止滤光片的插入/拔出结构,装置规模也不会因此而变大。与现行的采用玻璃制红外光截止滤光片情形相比,可提供具有成本上的优势,因紧凑化而便携性等好的数码相机等摄像装置。
另外,在将红外光截止滤光片放在固体摄像元件314之前的结构中,将玻璃衬底装入CCD或CMOS等摄像元件前面时,会在光路途中形成空气和玻璃界面。因此,希望透过的可见光VL的光最终会在其界面发生反射,产生导致感光度降低问题。进一步,由于这样的界面变多,斜射入的光(在玻璃内)折射的角度根据波长而不同,从而因光路变化导致焦点模糊。相反,如果在固体摄像元件314前面光路上不用红外光截止滤光片,则具有不会产生该焦点变模糊的优点。
为了进一步提高波长分离性能,会产生光学系统规模变大等问题,但是也可以对整体装入较弱的红外光截止滤光片。可以通过装入例如小于50%的红外光截止滤光片,切至对可见光VL几乎不产生影响的水平。
无论是哪种情况,均可以同时进行对仅可见光VL的摄像和仅红外光IR的摄像,或者,均可以同时进行对仅可见光VL的摄像和混合红外光IR与可见光VL的摄像。
在白天,进行黑白图像或彩色图像的摄像时,可不受红外光IR的影响,而在晚上等场合,可以采用红外光IR进行摄像。也可根据需要,同时输出另一个的像。此时,在白天,也可得到不受可见光VL影响的仅红外光IR的图像。
例如可得到基本全然不受红外光IR影响的仅可见光VL的黑白图像。但是与特开2002-142228号公报所述结构不同,在得到基本全然不受红外光IR影响的可见光VL的黑白图像时,无需进行红外光IR分量之间的计算处理。
而且,在固体摄像元件314上,对应像素(单位像素矩阵),设置将可见光VL范围内分离成规定波长区分量的光学部件,诸如对可见光区具有规定波长透过特性的滤色片,采用这种方式,可得到基本全然不受红外光IR影响的可见光区中的仅特定波长区的像。
另外,在构成单位像素矩阵的多个光电二极管上,将可见光区中的分别具有不同波长透过特性的滤色片,在与各波长对应(色别)的光电二极管位置上进行位置整合并规则地排列,采用这种方式,可将可见光区分离成不同波长区(色别),而通过对根据这些色别像素得到的各像素信号进行合成处理,可得到全然不受红外光IR影响的仅可见光VL的彩色图像(可见光彩色图像)。
与特开2002-142228号公报记载的结构中单纯的矩阵计算不同,在得到全然不受红外光IR影响的仅可见光VL的彩色图像的时候,从可见光区信号分量SV中,减去至少含红外光区分量的信号分量SIR乘以规定系数α的信号分量而得到的信号分量,因为进行这样的校正计算,所以可高精度抑制可见光区像素信号中所含的红外光分量。
另外,不但可采用如特开2003-70009号公报记载的结构那样仅靠估算进行的校正,也可采用对红外光分量进行实测,并利用该信息对可见光分量进行校正,故可高精度且可根据实际摄像环境实施校正。
一般可以分别独立的求取可见光VL的黑白图像或彩色图像和“与红外光IR相关的像”。“与红外光IR相关的像”指的是基本全然不受可见光VL影响的仅红外光IR的像及红外光IR与可见光VL混合的像。
基本全然不受红外光IR影响的仅可见光VL的摄像(黑白摄像或彩色摄像)、及红外光IR与可见光VL混合的摄像也可同时进行。通过仅可见光VL的分量(黑白像分量或彩色像分量)、红外光IR与可见光VL混合的分量的合成处理(具体地差分处理),也可进行基本全然不受可见光VL影响的仅红外光IR的摄像。
在上述内容中,“基本全然不受影响”指的是,最终考虑到人类的视觉,根据普通人类视觉不能感知明显差别即可,也可以“稍稍受到影响”。换言之,对红外光IR来说,最好可获取可忽视透过波长区(可见光VL)的影响的红外图像(物理信息的一个例子),而对可见光VL来说,最好可获取可忽视反射波长区分量(红外光IR)的影响的普通图像(物理信息的一个例子)。
另外,作为滤色片C4,在没有使用黑色滤光片时,配设有滤色片C4的校正像素由于具有从可见光至红外光的广泛波长区中的感光度,故与配设有滤色片C1、C2、C3的可见光摄像用其他像素相比,像素信号容易饱和。
为了避免该问题,可采用驱动部320对配设有滤色片C4的第2检测部的检测时间进行控制。例如,对于明亮场所的摄像,可利用电子快门功能,在比平常短的时间内由校正像素检测部读出像素信号,并将其传送至预处理部332。此时,通过以高于60桢/秒的速率传送信号可得到应对饱和问题的效果。
或仅在比0.01667秒更短的时间(积蓄时间)内从校正像素检测部读取电荷也可。此时,可采用溢板将电荷信号排出衬底,以读取在有效短时间内电荷的积蓄。进一步优选地,通过以高于240桢/秒的速率传送信号可得到进一步的应对饱和问题的效果。或者,仅在比4.16毫秒更短的时间(积蓄时间)内从检测部读取电荷也可。无论采用哪种方式,可使校正像素检测部输出的像素信号难以饱和即可。为了阻止这种饱和而在短的时间(积蓄时间)内读取电荷,可仅针对校正像素进行,也可针对整个像素进行。
通过将在进一步短的时间内读取的信号进行2次以上的计算,将弱信号转换成强信号,提高S/N比也可以。如果这样做,无论在光线不好的地方进行摄像,还是在明亮的场所进行摄像均可得到合适的感光度及高的S/N比,动态范围变广。
<摄像装置:CCD型>
图3为将图1所示色分离滤光片配置适用于内线传送方式的CCD固体摄像元件(IT_CCD图像传感器)时的摄像装置电路图。
这里,图3表示将可见光带域分成R、G、B各色分量且检测红外光IR的结构,为分别单独检测可见光VL内蓝色光B、绿色光G、和红色光R、红外光IR的结构,实际上是在1个单位像素矩阵12内中的分波长形成像素(光电转换元件)12B、12G、12R,并且具有无波长分离结构的像素12IR,相对于其他像素而言将像素12IR作为校正像素使用的结构。
如图3(A)所示,CCD固体摄像元件101除了设置有单位像素矩阵12之外,在垂直传送方向,并列设置有多个垂直传送CCD122。垂直传送CCD122电荷传送方向即像素信号读取方向为纵向(图中的X方向)。
而且,在垂直传送CCD122与各单位像素矩阵12之间,夹有形成读出栅线124(按波长为124B、124G、124R、124IR)的MOS晶体管,并且在各单位单元(单位结构元件)界面部分设有未图示的通道止挡。
由如图3可看出,1个单位像素矩阵12为可单独对蓝色光B、绿色光G、和红色光B、红外光IR进行检测的结构,实际上为在1个单位像素矩阵12内按照波长形成12B、12G、12R、12IR的结构。设于具有这些单位像素矩阵12所构成的传感器部112的垂直列每一列上,并垂直传送由读出栅线124从各传感器部读出的信号电荷的多个垂直传送CCD122,和传感器部112一起构成摄像区110。
其中,滤色片14的排列例如可以是,在硅衬底1_ω受光面上,在垂直传送CCD122纵方向(X方向),按照蓝、绿、红、IR(校正像素)、蓝、绿、红、IR(校正像素)、...的顺序,或者,在多个垂直传送CCD122的同一行方向(Y方向),按照蓝、绿、红、IR(校正像素)、蓝、绿、红、IR(校正像素)、...的顺序。另外,考虑由设置校正像素引起的分辨率降低的像素排列方式也是有效的(后面将详述)。
传感器部112的单位像素矩阵12(各像素12B、12G、12R、12IR)上所积蓄的信号电荷,通过对读出栅线124施加与读出脉冲ROG对应的驱动脉冲φROG,可在同一垂直列的垂直传送CCD122中被读取。垂直传送CCD122根据诸如3相~8相等垂直传送时钟Vx,被驱动脉冲φVx传送驱动,并在被读取的信号电荷处于水平截止期间的一部分时,在每隔1条与扫描线(1行)相当的部分依次沿着垂直方向传送。该每隔1行进行的垂直传送具体地被称之为行扫。
另外,在CCD固体摄像元件101中,在多个垂直传送CCD122的各传送末端部,即与最后行的垂直传送CCD122邻接处,呈1行分设有在规定(例如左右)方向延伸的水平传送CCD126(H寄存部、水平传送部)。该水平传送CCD126根据诸如2相的水平传送时钟H1、H2,被驱动脉冲ΦH1、ΦH2传送驱动,从多个垂直传送CCD122传送过来的每行信号电荷,在水平截止期间之后的水平扫描期间在水平方向按顺序传送。相应该用于2相驱动,设有多个(2个)水平传送电极。
在水平传送CCD126的传送末端的端部,设有具有漂移扩散放大器(FDA)结构的电荷电压转换部的输出放大器128。输出放大器128作为物理信息获取部的一个例子,在电荷电压转换部,将水平传送CCD126所水平传送来的信号电荷依次转换成电压信号并放大至规定电平而输出。该电压信号作为根据来自被拍照体的光的入射量的CCD输出(VOut)被导出像素信号。据此构成内线传送方式的CCD固体摄像元件101。
如图3(B)所示,作为CCD输出(VOut),从输出放大器128导出的像素信号被输入摄像信号处理部330。在摄像信号处理部330中,被输入来自作为信号切换控制部一例的诸如图像切换控制部360的图像切换控制信号。
图像切换控制部360,对摄像信号处理部330的输出基本全然不受红外光IR影响的可见光VL的黑白图像或彩色图像、和基本全然不受可见光VL影响的红外光IR的图像的任何其中一个图像,或它们双方的图像,或者可见光VL和红外光IR的混合图像即加上红外光IR的辉度的模拟黑白图像或模拟彩色图像,发出它们之间进行任意切换的指令。总之,对可见光VL的图像和与红外光IR相关的图像同时摄像输出或切换摄像输出进行控制。
该指令可以是操作摄像装置时的外部输入,或者,根据摄像信号处理部330没有红外光IR时可见光的辉度,由图像切换控制部360进行自动处理而发出指令进行切换也可以。
其中,摄像信号处理部330进行对诸如各像素摄像数据R、G、B、IR进行同步化的同步化处理、对由于涂片现象及起霜现象所产生的纵向干涉噪音分量进行校正的纵向干涉噪音校正处理、对白平衡(WB)调整进行控制的WB控制处理、调整辉度等级一致性的咖嘛校正处理、利用电荷积蓄时间不同的2个图面的像素信息而扩大动态范围的动态范围扩大处理、或者生成辉度数据(Y)或色数据(C)的YC信号生成处理等。据此,可基于红(R)、绿(G)、蓝(B)基色摄像数据(R、G、B、IR的各像素数据)得到可见光带域的图像(称为普通图像)。
另外,摄像信号处理部330采用红外光IR的像素数据,生成与红外光IR有关的图像。例如,在对可见光像获取用像素12R、12G、12B起到校正像素作用的像素12IR中,在红外光IR以及可见光VL同时给出信号而没有装入滤色片14C时,通过使用来自像素12IR的像素数据,可得到高感光度的图像。另外,通过获取由像素12R、12G、12B得到的各色分量之间的差分,得到仅仅红外光IR的像。
或者,作为滤色片14C,对像素12IR装入绿色滤光片14G时,可由像素12IR得到红外光IR和绿色可见光LG混合的像,并且通过获取与由像素12G得到的绿色分量之间的差分,可得到仅红外光IR的像。或者,作为滤色片14C,对像素12IR设置黑色滤光片14BK时,通过采用来自像素IR的像素数据可得到仅红外光IR的像。
如上所生成的各图像被送至未图示的显示部,作为可视图像提示给操作者,或者继续存储保存于硬盘装置等存储装置中,或者作为处理结束数据送至其他功能部。
<摄像装置:CMOS型>
图4表示将图1所示的色分离滤光片配置用于CMOS固体摄像元件(CMOS图像传感器)时的摄像装置的电路图。
这里,图4表示将可见光带域分成R、G、B各色分量且检测红外光IR的结构,为分别单独检测可见光VL内蓝色光B、绿色光G、和红色光R、红外光IR的结构,实际上是在1个单位像素矩阵12内,在各个波长形成像素(光电转换元件)12B、12G、12R,并且具有无波长分离结构的像素12IR,相对于其它像素将像素12IR作为校正像素使用的结构。
在应用于CMOS时,构成为,对单位像素矩阵12内的一个一个的像素(光电转换元件)12B、12G、12R、12IR,每一个都具有单元放大器的结构。因此,此时,成如图4(A)的结构。像素信号在采用单元放大器放大之后通过噪音抵消电路并被输出。
例如,CMOS固体摄像元件201具有呈行及列状排列(即二维矩阵状排列)的、含根据入射光量而输出信号的受光元件(电荷生成部的一个例子)的多个像素的像素部,各像素的信号输出为电压信号,为成列并设有CDS(相关双线取样)处理功能部及数字转换部(ADC)等所谓的典型的纵向型器件。
具体地,如图4所示,CMOS固体摄像元件201包括呈行及列状排列多个像素12的像素部(摄像部)210、设于像素部210外侧的驱动控制部207、纵向处理部226、输出电路228。
在纵向处理部226的前级或后级,还可根据需要,与纵向处理部226一起,在同一个半导体区中,设置具有信号放大功能的AGC(自动增益控制)电路等。在纵向处理部226的前级进行AGC时,进行模拟放大,在纵向处理部226的后级进行AGC时,进行数字放大。如果单纯对n字节数字数据实现放大,则由于存在辉度等级的损失,故无论对所述的哪种情况,在进行期拟放大之后向数字转换被认为是优选的。
驱动控制部207具有用于将像素部210信号按顺序读取的控制电路的功能。例如,作为驱动控制部207包括,对列寻址及列扫描进行控制的水平扫描电路(列扫描电路)212、对行寻址及行扫描进行控制的垂直扫描电路(行扫描电路)214、具有充当与外部之间的接口作用及生成内部时钟等功能的通讯·时间控制部220。
水平扫描电路212具有从纵向处理部226读取计数值的读出扫描部的功能。这些驱动控制部207的各元件可以和像素部210一起,采用与半导体集成电路制造技术相同的技术,一体形成于单晶硅等半导体区中,作为半导体系统的一个例子即固体摄像元件(摄像器件)。
图4中,为了简化,省略了部分行及列,但实际上,各行各列中配置有数十至数千个像素12。该像素12通常由作为受光元件(电荷生成部)的单位像素矩阵12、具有放大用半导体元件(例如晶体管)的像素内放大器(单元放大器:像素信号生成部)205(按照波长分为205B、205G、205R、205IR)构成。
从图4可以看出,每个单位像素矩阵12均为单独检测蓝色光B、绿色光G、红色光R、及红外光IR的结构,实际上,在每个单位像素矩阵12内,均为按照波长(色)形成12B、12G、12R、12IR。
这里作为滤色片14的排列,例如可以是,在硅衬底1_ω受光面上的X方向,按照蓝、绿、红、IR(校正像素)、蓝、绿、红、IR(校正像素)、...的顺序,或者,在与X方向垂直的Y方向,按照蓝、绿、红、IR(校正像素)、蓝、绿、红、IR(校正像素)、...的顺序。另外,也可有效考虑由于设置校正像素而导致分辨率降低的色排列方式(后面将详述)。
作为像素内放大器205,例如采用漂移扩散放大器构成的器件。例如对电荷生成部,可以采用,具有诸如作为电荷读取部(传送栅线部/读出栅线部)的读出选择用晶体管、诸如作为复位栅线部复位晶体管、垂直选择用晶体管、及诸如作为检测漂移扩散的电位变化的检测元件的源极跟踪机构构成的放大用晶体管的,由作为CMOS传感器而通用的4个晶体管所构成的器件。
或者,可以象特许第2708455号公报记载的那样,具有用于对与由电荷生成部所生成的信号电荷对应的信号电压进行放大的、与漏极接线(DRN)连接的放大用晶体管、用于对像素内放大器205进行复位的复位晶体管、从垂直移位寄存器开始经由传送布线(TRF)进行扫描的读取选择用晶体管(传送栅线部)的,由3个晶体管所构成的器件。
像素12分别与通过用于行选择的行控制线215而进行扫描的垂直扫描电路214、或通过垂直信号线219而运行的纵向处理部226连接。其中,行控制线215表示从垂直扫描电路214接入像素中的布线整体。作为一个例子,该行控制线215配设于与扁长的散射体3平行的方向。
水平扫描电路212和垂直扫描电路214由含例如移位寄存器或解码器的结构构成,并响应通讯·时间控制部220所给予的控制信号而开始运行地址选择操作(扫描)。为此,行控制线215中,含有用于驱动像素12的各种脉冲信号(例如复位脉冲RST、传送脉冲TRF、DRN控制脉冲DRN等)。
尽管未图示,但通讯·时间控制部220具有,用于供给各部分运行必须的时钟及规定时间的脉冲信号的定时发生器TG(读取地址控制装置的一个例子)的功能块、以及通过端子220a安装主时钟CLK0、或者通过端子220b安装对操作模式等发出指令的数据DATA、进一步通过端子220c输出含CMOS固体摄像元件201信息的数据的、起到通讯接口作用的功能块。
例如,向水平解码器输出水平寻址信号,向垂直解码器输出垂直寻址信号,各解码器接收这些信号,进行对应的行或列的选择,由驱动电路驱动像素12及纵向处理部226。
此时,因为像素12呈二维矩阵状排列,所以,通过像素内放大器(像素信号生成部)205所生成的垂直信号线219,以行为单位(列并排),将列方向输出的模拟像素信号访问读入,以进行(垂直)扫描读取。还可以在此之后,通过在与垂直列并列的方向即行方向上进行访问,而向输出侧读出像素信号(例如被数字化的像素数据),以进行(水平)扫描读取,以实现像素信号及像素数据读出的高速化。当然,并未限于扫描读取,通过对欲读出的像素12直接进行寻址指定,也可实施仅对像素12需要的信息进行读出的随机寻址操作。
另外,在通讯·时间控制部220中,将与由端子220a所输入的主时钟(主时钟)CLK0频率相同的时钟CLK1、将其2分频的时钟、以及将其进一步分频的低速时钟,供给至器件内的各部分,例如水平扫描电路212、垂直扫描电路214、纵向处理部226等中。
垂直扫描电路214用于选择像素部210的行,并对该行提供所需脉冲。例如具有,指定垂直方向读出行(选择像素部210的行)的垂直解码器、及垂直驱动电路,该垂直驱动电路通过将脉冲供给至用于由垂直解码器指定的读出地址上(行方向)的像素12的行控制线215而进行驱动。垂直解码器除了选择读出信号行之外,也选择电子快门用的行等。
水平扫描电路212按照顺序选择与低速时钟CLK2同步且位于纵向处理部226内部的未图示的纵向电路,并将该信号导入水平信号线(水平输出线)218。例如具有,指定水平方向读出列(选择纵向处理部226内的每个纵向电路)的水平解码器,及根据水平解码器指定的读出地址通过选择开关227将纵向处理部226的各信号导入水平信号线218中的水平驱动电路。水平信号线218的例如纵向AD电路按照安装操作字节数n(n为正整数)配置,例如如果为10(=n)字节的话,根据该字节数则配置成10个。
在这种结构的CMOS固体摄像元件201中,像素12所输出的像素信号在每列垂直列上通过垂直信号线219提供至纵向处理部226的纵向电路上。这里,单位像素矩阵12(各像素12B、12G、12R、12IR)中所积蓄的信号电荷通过同一垂直列的垂直信号线219而被读出。
纵向处理部226的各纵向电路采集每一列的像素的信号,并对该信号进行处理。各纵向电路均具有,采用例如低速时钟CLK2将模拟信号转换成例如10字节的数字数据的ADC(模拟/数字转换器)电路。
另外,通过构成这样的电路结构,对于由垂直信号线219输入的电压模式的像素信号,能够执行在完成像素复位之后的信号电平(噪音电平)和纯的(对应受光光量)信号电平Vsig之间取差分的处理。因此,可以去除称为固定图样噪音(FPN)及复位噪音这样的噪音信号分量。
采用这种纵向电路处理后的模拟像素信号(或数字像素数据),通过被来自水平扫描电路212的水平选择信号驱动的水平选择开关217,被传送至水平信号线218,并进一步输入输出电路228中。上面是以10字节为例的,但是其他字节数诸如不到10字节(例如8字节)或超过10字节的字节数(例如14字节)等等均可以。
根据该结构,从呈行列状排列有作为电荷生成部的单位像素矩阵12(像素12B、12G、12R、12IR)的像素部210,就每一行的各垂直列,按顺序输出像素信号。而且,与呈行列状排列有受光元件的像素部210对应的每一幅图像即每桢图像,用像素部210所有的像素信号的集合表示。
输出电路228为与CCD固体摄像元件101中的输出放大器128对应的电路。在其后级,和CCD固体摄像元件101一样,如图4(B)所示,设置有摄像信号处理部330。在摄像信号处理部330中,和CCD固体摄像元件101一样,输入来自图像切换控制部360的图像切换控制信号。
这样,在根据红(R)、绿(G)、蓝(B)的基色摄像数据(R、G、B、IR的各像素数据)或可见光VL用像素数据,得到可见光带域的图像(即普通图像)的同时,也使用了红外光IR像素数据,采用这种方式,可得到与红外光IR相关的图像。
<信号读取方法>
图5为说明在采用分离可见光图像和红外光图像而获得的结构的图像传感器时,信号获取方法的一个例子的图形。这里示出CMOS结构的情况。另外,图5(A)为电路图,图5(B)为信号时间图。
相对于设置在受光部上的各个光电转换元件732(彩色时的R、G、B各色,下同)、732IR,按照波长设置有传送栅线734(R、G、B)、734IR。各光电转换元件732(R、G、B)、732IR,通过各自对应的传送栅线734(R、G、B)、734IR,连接向通过放大用晶体管740和复位晶体管736等的像素内放大器705。放大用晶体管740通过垂直选择晶体管742连接于垂直信号线751上。
以与示出复位状态和信号读取状态的图5(B)所示的各时间对应的方式输出像素信号。其中,在将选择脉冲SEL供给至读出目标的垂直行的垂直选择晶体管742中的状态下,在将读出脉冲T(R、G、B)、TIR供给至传送栅线734(R、G、B)而读出各自信号电荷之前,将复位脉冲RST供给至复位晶体管736而使漂移扩散电位738复位。这样,可按照红外光IR分量→可见光VL分量(各色分量)的顺序(反之亦可),将像素信号分别单独读出。
<摄像元件;第1实施方式-采用电介质叠层膜>
图6为说明固体摄像元件314的第1实施方式的图形。该第1实施方式的固体摄像元件314的特征在于,引入了利用电介质叠层膜按照规定波长的每个波长进行分光的波长分离的概念。这里,以对作为电磁波的一个例子的光按照规定波长的每个波长进行分光为例进行说明。
具体地,本申请人利用特愿2004-358139号公报提出的技术方案的结构,作为分光图像传感器(分光检测部),在固体摄像元件314的入射电磁波的入射面上,具有叠层在邻接的层间折射率不同而具有规定厚度的层的多层结构,具有利用作为具有使所入射的光(电磁波)中,除了用于原来的检测目的之外的波长分量(本例中为红外光IR分量)反射,其余分量(本例中为可见光VL分量)透过的特性的叠层部件的电介质叠层膜的波长分离对应的结构。传感器基本结构本身可为CCD型或CMOS型或其他任何一种类型。
反之,叠层部件具有的上述特性可以是,使所入射的光(电磁波)中,用于原来的检测目的的波长分量(本例中为可见光VL分量)透过,而其余分量(本例中为红外光IR分量)反射的特性。
第1实施方式中,在可见光VL的检测部,设置具有利用最适于可见光VL检测的电介质叠层膜的分光图像传感器结构的图像传感器。利用电介质叠层膜光学排除红外光IR,将入射至可见光VL检测部的仅可见光VL分量的仅光电子转换成电信号。为了不在光路上进行波长分离,在每个图像传感器上的可见光检测像素(具体地为R、G、B各色像素)中一体形成利用电介质多层膜进行分光的分光滤光片,而在红外光检测像素中没有形成利用电介质多层膜的分光滤光片,采用这种方式,可以单独且同时获取可见光像和红外光图像。因此,可基本不受红外光IR的影响而能够单独得到独立于红外光图像的可见光像。
<利用电介质叠层膜的波长分离的概念>
如图6(A)所示,电介质叠层膜1为具有叠层多层在邻接的层间折射率nj(j为2以上的正整数,下同)不同(折射率差Δn),而具有规定厚度dj的层的结构的叠层部件。因此,如后所述,具有使电磁波中的规定波长区分量反射而其余分量透过的特性。
形成电介质叠层膜1的各电介质层1_j的层数的计数方法,并非将位于其两侧厚度方向的层(第n0层1_0与第k层1_k)的数目作为层数进行计数,例如,从第1层至第k层依次进行计数。实际上,由除开两侧厚度方向的层(第0层1_0与第k层1_k)的基本层1_1~1_n(图中n=5)构成电介质叠层膜1。
如果光入射到具有这种结构的电介质叠层膜1上,则通过在电介质叠层膜1中发生干涉,反射率(或透过率)将变成对波长λ具有一定依赖性。光的折射率差Δn越大则其效果越明显。
尤其,该电介质叠层膜1,通过具有周期性结构以及给定一定的条件(例如各层的厚度d的条件d~λ/4n),在入射白色光等入射光L1时,则仅某特定波长区的光(特定波长区光)的反射率被有效提高,使大部分光成为反射光分量L2,即透过率变小,而且,通过降低其他波长区光的反射率而使大部分光成为透过光分量L3,即,可使透过率变大。
其中,波长λ为某波长区的中心波长,n为该层的折射率。本实施方式中,通过利用该电介质叠层膜1的反射率(或透过率)的波长依赖性,从而形分量光滤光片10。
图6(B)表示对红外光IR(InfraRed)及可见光VL(Visible Light)进行分光的例子。对于比可见光VL更靠长波长侧即红外区的波长λ(主要比780nm更长波长侧)的红外光IR,通过形成具有高反射率的电介质叠层膜1,可以截断红外光IR。
形成电介质叠层膜1的各电介质层1_j的材料(层材),以多层的形式构成电介质叠层膜1的观点来看,至少由两种层材构成,3层以上时各电介质层1_j任何一层的层材可以为不同的层材,将两种(或两种以上)层材按照交错或任意的顺序叠层也可以。另外,也可以将电介质叠层膜1主要采用第1及第2层材构成,并且用其中一部分代替第3(或以上)层材。下面进行详细说明。
《电介质叠层膜的设计方法;红外光截止例》
<厚度dj的设计方法>
图7~9为说明电介质叠层膜1的设计方法的基本概念的图形。这里说明的是电介质叠层膜1主要采用第1及第2层材构成,且使红外光IR有选择地被反射的设计例。
如图7中的结构图所示,本实施方式中所采用的电介质叠层膜1被夹于两侧(以下光入射侧称为第0层、相对侧称为第k层)的较厚的二氧化硅SiO2(下面记为SiO2)中,由第1及第2层材即多层电介质层1_j叠层而成。在图示例中,作为形成电介质层1_j的第1及第2层的材料可采用任意普通材料形成,采用将氮化硅Si3N4(下面记为SiN)作为第1层材,将二氧化硅SiO2作为第2层材的两种材料,并将它们交错叠层。另外,电介质叠层膜1的结构中,假定二氧化硅SiO2上下足够厚(d0=dk=∞)。
这种电介质叠层膜1通过满足下式(1)的条件而可有效提高反射率。
[数1]
dj=λ0/4nj          ...(1)
其中,dj(j为层号,下同)为构成介电体叠层膜1的各介电体层1_j的厚度,nj为该各介电体层1_j的折射率,λ0为反射波长区的中心波长(以下称为反射中心波长)。
形成电介质叠层膜1的各电介质层1_j的层数的计数方法,并非将位于其两侧较厚的SiO2作为层数进行计数,例如,从第1层至第k层,以诸如SiN层/SiO2层/SiN层3层、SiN层/SiO2层/SiN层/SiO2层/SiN5层这样的样式,依次进行计数。图4中示出的是7层结构。
另外,作为反射波长区的红外光IR的反射中心波长λ0=900nm,成第奇数层的氮化硅SiN的折射率nα=2.03,成第偶数层及第k层的二氧化硅SiO2的折射率nβ=1.46,折射率差Δn为0.57。
另外,根据上式(1),氮化硅SiN的厚度dα(=d1,d3,...;j为奇数)为111nm,二氧化硅SiO2的厚度dβ(=d2,d4,...;j为偶数)为154nm。
图8表示对于采用普通材料的图7的结构,改变层数,采用有效菲涅尔系数法计算的反射率R的结果(反射光谱图),由此图可看出层数对反射光谱的决定性。
根据图8可看出,随着层数增加,以红外光IR的反射中心波长λ0=900nm为中心反射率R变高。进一步可看出,通过如此地将波长900nm选择为反射中心波长λ0,大致将红外光IR和可见光VL分开。其中可看出,优选地,通过选择5层以上,反射率R大于0.5,尤其选择7层以上时,反射率超过0.7。
图9为说明电介质层1_j厚度变化依赖性(与偏离的关系)的反射光谱图。这里表示的是以7层的情况为例,将各电介质层1_j厚度dj浮动±10%而计算出的结果(反射光谱图)。
条件式(1)尽管是根据菲涅尔系数法进行理想计算的值,但是实际上式(1)的条件还算是比较宽松。例如可看出,即使厚度dj存在±10%的误差,也还可根据菲涅尔系数法计算而能够有效提高反射率。
例如,如图8所示,可看出,即使厚度dj存在偏差,也可有效提高反射率R。例如,对于红外光IR的反射中心波长λ0=900nm,即可得到反射率R大于0.5这样足够的反射率R,而对于红外光IR整体(主要在比780nm更长波长侧)则反射很强。因此,实际上,如果掺杂偏移的话,电介质层1_j厚度dj如果满足下式(2)的范围,则不但反射率得到有效提高,而且进一步得到足够的效果。
[数2]
0.9×λ0/4n≤dj≤1.1×λ0/4n    ....(2)
<反射中心波长λ0的设计方法>
图10~12为说明反射中心波长λ0的条件的图。厚度dj的数值条件取决于光谱的红外反射区的带宽ΔλIR。如表示反射光谱概念的图10(A)所示,在红外反射区的带宽ΔλIR很广时,如果中心波长λ0不在长波长侧的话则可见光VL的反射变得显著。反之,如表示反射光谱概念的图10(B)所示,在红外反射区的带宽ΔλIR很窄时,如果中心波长λ0不在短波长侧的话则接近可见光VL的近红外区不会产生反射。此时可见光VL和红外光IR的波长分离性能相当的好。
然而,从图102所示的硅Si的吸收光谱图可看出,如果使红外区内0.78μm≤λ≤0.95μm范围的红外光IR反射,则能够得到充分的红外截止效果。这是因为,比波长0.95μm更靠长波长侧的光大部分没有被硅Si内部吸收,没有进行光电转换的缘故。因此,为了能够反射0.78μm≤λ≤0.95μm范围内的波长的红外光IR,最好选择反射中心波长λ0。
另外,对于可见光VL在红(R)区域内,即使可见度较低的640~780nm范围的光与否反射,可考虑为对摄像元件的性能是没有影响的。因此即使在640~780nm波长区产生反射也不会有问题。
而且,红外反射区的带宽ΔλIR在电介质叠层膜1的折射率差Δn很大时变广,反之,在折射率差Δn很小时变窄。因此,红外反射区的带宽ΔλIR在为SiN/SiO2多层膜时变窄,为Si/SiO2多层膜时变广。
综上所述,在为SiN/SiO2多层膜(折射率差Δn=0.57)时,通过对图11的反射光谱图所示的780nm和950nm的反射中心波长λ0的计算可看出,如果其处于780nm≤λ0≤950nm的范围的话,则基本上满足上述条件。因此,图11表示采用后述的图16所述叠层结构,使λ0=780nm和λ0=950nm,仅通过改变电介质层1_j膜厚度dj并计算的图形。
同样,在为Si/SiO2多层膜(折射率差Δn=2.64)时,如果其处于图12的反射光谱图所示的900nm≤λ0≤1100nm的范围的话,则基本满足上述条件。
从上述内容可以看出,对于氮化硅SiN或硅Si与二氧化硅SiO2的组合情况,作为反射中心波长λ0,最好满足下式(3-1)。优选地,最好满足下式(3-2)。这些式子表明,将900nm附近作为反射中心波长λ0是理想的。
[数3]
780 nm &le; &lambda; 0 &le; 1100 nm . . . ( 3 - 1 ) 850 nm &le; &lambda; 0 &le; 1000 nm . . . ( 3 - 2 ) - - - ( 3 )
当然,上述所示的材料只不过是一个例子,并不只是二氧化硅SiO2与氮化硅SiN层的组合才能达到上述所述效果。通过计算可以估摸到,选择折射率差大于0.3,进一步优选大于0.5的材料即可得到同样的效果。
例如SiN膜也可以根据制作条件而产生组成分量比例的偏差。另外,作为构成电介质叠层膜1的介电体层1_j,除了可使用二氧化硅SiO2与氮化硅SiN之外,也可使用氧化铝Al2O3或氧化锆ZrO2(折射率2.05)或二氧化钛TiO2(折射率2.3~2.55)或氧化镁MgO或氧化亚铅ZnO(折射率2.1)等氧化物或聚碳酸酯PC(折射率1.58)或丙烯树脂PMMA(折射率1.49)等高分子材料、碳化硅SiC(折射率2.65)或锗Ge(折射率4~5.5)等半导体材料。
通过采用高分子材料,可以构成具有现有技术中采用玻璃制时所没有的特征的分光滤光片10。换言之,能够采用塑料制,从而具有优秀的轻型化且耐久性(耐高温、耐高湿、耐冲击)的特点。
《利用电介质叠层膜的分波图像传感器》
图13~图17为说明适用于利用电介质叠层膜1的固体摄像元件314的分光图像传感器11的一实施方式的图。该分光图像传感器11为采用利用电介质叠层膜1的分光滤光片10的基本的设计手段而构成的器件。这里叙述的是,通过将电介质叠层膜1形成于半导体元件层上以选择反射红外光IR,从而截断红外光IR而接受可见光VL分量的分光图像传感器11的设计例。
在分光图像传感器11的基本结构采用将分光滤光片10形成于半导体元件层的受光部上的结构时,就这样成为单波长分波对应(即黑白图像摄像用)的分光图像传感器11,而通过对分光图像传感器11的各受光部设置色分离滤光片规定色(例如R、G、B任何一色),则可成为彩色图像摄像对应的分光图像传感器。
这里,在将采用图7~图9说明的电介质叠层膜1,制作在形成硅(Si)光监测器等检测元件的折射率比形成电介质叠层膜1的各介电体层1_j更大的半导体元件层上的情形中,从半导体元件层到电介质叠层膜1的距离即形成第k层电介质层1_k的二氧硅SiO2层的厚度dk很重要。
这指的是,如图13所示的结构图,由于与来自例如采用硅Si(折射率4.1)形成的半导体元件层(光监测器等)的表面即硅衬底1_ω的表面的反射光L4之间产生的干涉效果,全反射光LRtotal的光谱发生变化。
图14为说明全反射光LRtotal的、形成电介质层1_k的二氧化硅SiO2层的厚度dk的变化依赖性的反射光谱图。其中示出,就图7所示的7层结构的电介质叠层膜1,通过改变电介质层1_k的厚度dk而计算的结果。在图14内的各图中,横轴为波长λ(μm),纵轴为反射率R。
如图14各图所揭示,可看出,在厚度dk=0.154μm时,即对红外光IR的反射中心波长λ0,在满足条件式(1)的值时,反射光谱大致不受影响,而对红外光IR(λ≥780nm)发生强反射。与此相对,在至厚度dk=0.3~50μm的光谱中,可看出,与厚度dk=∞的反射光谱相比,产生了其他的振动。因此可看出,采用红外的反射存在呈凹陷状降低的波长区。
其中,如果厚度dk=2.5μm以上时,红外的凹陷处的半宽值将小于30nm,尤其在厚度dk=5.0μm以上时其半宽值将小于20nm,而因为对普通的宽频带自然光半宽值变得充分小而形成平均化的反射率。而且还可看出,对于厚度dk=0.3~1.0μm的光谱,采用可见光VL时的反射率很高。由此可以说,优选地,在厚度dk=0.154μm附近,即满足条件式(1)的值时最优化。
图15为说明形成电介质层1_k的二氧化硅SiO2层的厚度dk的变化依赖性的反射光谱图,尤其示出在厚度dk=0.154μm附近,通过改变厚度dk的值而计算的结果的图形。在图15内的各图中,横轴为波长λ(μm),纵轴为反射率R。
从该结果的理解可看出,通过将满足条件式(1)的厚度dk=0.154μm作为中心,如果厚度位于dk=0.14~0.16μm的范围的话,可抑制可见光VL的反射。
如上,分光图像传感器11的最佳结构,变成如图16结构图所示的那样,实际上,为含第k层电介质层1_k而具有8层结构的电介质叠层膜1A的结构,其反射光谱计算结果变成图17所示反射光谱图那样的结果。换言之,电介质叠层膜1A成为,在硅衬底1_ω上,形成将第2层材即采用二氧化硅SiO2形成的层分成4周期而设置的结构。
<利用电介质叠层膜的变形例>
图18~图30表示利用电介质多层膜的分光滤光片10及分光图像传感器11的变形例的图。上述分光滤光片10的结构示出的是利用电介质叠层膜1的基本结构,但也可为除此之外的变形。同样,上述分光图像传感器11的结构示出的是将利用电介质叠层膜1的分光滤光片10形成于CMOS或CCD等受光部上的基本结构,但也可为除此之外的变形。简言之,例如,作为分光滤光片10或分光图像传感器11的变形例,可以采用本申请人在特愿2004-358139号申请中提出的方案那样的结构。
例如,如图18所示的第1变形例,通过将分光图像传感器11形成为,在第k层电介质层1_k和硅衬底1_ω之间,追加一层相对第k层电介质层1_k的折射率nk和硅衬底1_ω的折射率nω(=4.1)具有中间折射率的第3层1_γ(例如氮化硅SiN层)的分光图像传感器11,也可降低涉及可见光区内的反射。
另外,如果采用图18所示的结构,对应该变形,在从电介质叠层膜1的第1层开始在进行第7层定数设计之时,红外光IR的反射中心波长λ0不是900nm而是变成比其低的852nm,氮化硅SiN的厚度dα(=d1,d3,...;j为奇数)为105nm,二氧化硅SiO2的厚度dβ(=d2,d4,...;j为偶数)为146nm。
这是因为,通过新插入薄SiN层(30nm),可见光反射率减少的同时可见光和红外光边界780nm附近的反射率也降低,使整体向短波长侧移位以弥补这种降低,即对边界附近的红外来说被高效截止。当然,也可以将红外光IR的反射中心波长λ0继续取为900nm。
另外,在第1变形例的基础上追加的第3层材与第1层材即氮化硅SiN相同,但也可为比硅衬底1_ω折射率大的材料,或者其他材料。
具有第1例的变形例的电介质叠层膜1的分光图像传感器11实际上为,含7层电介质叠层膜1及第k层的电介质层1_k(二氧化硅SiO2层)和氮化硅SiN层1_γ等2层,整体上为具有9层结构的介电体叠层膜1B的器件。其反射光谱图的计算结果如图19所示。
另外,如图20所示的第2变形例,通过在第1变形例追加的第3层材和硅衬底1_ω之间,叠层折射率比第3层材更小的第4层1_δ(例如二氧化硅SiO2层)的分光图像传感器11,可进一步降低暗电流。
具体地,在第3层材的厚度dγ的氮化硅SiN层1_γ和硅衬底1_ω之间,采用二氧化硅SiO2层1_δ作为第4层材,其厚度dδ=0.010μm。其反射光谱图的计算结果如图21所示。
另外,在第2变形例的基础上追加的第4层材与第2层材即二氧化硅SiO2相同,但也可为比第3层材(本例中为氮化硅SiN)折射率小的材料,或者其他材料。
具有第2例的变形例的电介质叠层膜1的分光图像传感器11实际上为,含7层电介质叠层膜1及第k层的电介质层1_k(二氧化硅SiO2层)和氮化硅SiN层1_γ和二氧化硅SiO2层1_δ等3层,整体上为具有10层结构的介电体叠层膜1C的器件。换言之,介电体叠层膜1C成为,在硅衬底1_ω上,形成将第2层材即采用二氧化硅SiO2形成的层分成5周期而设置的结构。
在第1例和第2例中,存在有无二氧化硅SiO2层1_δ的不同,但是如图19和图21所示可理解到,无论哪个例子中的可见光VL的反射率均被充分降低。另外,如第2例,通过追加二氧化硅SiO2层1_δ,为了防止因追加氮化硅SiN层1_γ产生效果降低,两者厚度关系最好为dδ<<dγ。
这样,可通过在第k层二氧化硅SiO2和硅衬底1_ω之间,追加一层将相对折射率nk(=n SiO2)和折射率nω(=n Si)具有中间折射率nγ(=n SiN)的材料的薄氮化硅SiN层1_γ作为中间层,可抑制可见光VL的反射。
如图22所示的第3变形例,在电介质叠层膜1内,通过追加比构成该电介质叠层膜1的基本的第1及第2层材折射率更大的第5层1_η(例如比二氧化硅SiO2和氮化硅SiN高的折射率=4.1的厚度dη=61nm的硅Si层)的分光图像传感器11,可降低形成电介质叠层膜1的介电体层1_j的层数。
例如,如图22结构图所示的例子,将比二氧化硅SiO2和氮化硅SiN高的折射率=4.1的厚度dη=61nm的硅Si层作为第5层材,替换掉氮化硅SiN(中间的第3层的介电体层1_3)而只追加一层。
另外,图22中,在对电介质叠层膜1的各层进行常数设计之时,红外光IR的反射中心波长λ0取为900nm,氮化硅SiN的厚度dα(=d1,d3,...;j为奇数)为111nm,二氧化硅SiO2的厚度dβ(=d2,d4,...;j为偶数)为154nm,将厚度dη=55nm的硅Si层作为第5层材,替换掉氮化硅SiN而只追加一层。其反射光谱图的计算结果如图23所示。
其中,在第3变形例的基础上追加的第5层材与形成半导体元件层的硅衬底1_ω相同,但也可为比形成电介质叠层膜1的第5层材之外的介电体层1_j折射率大的材料,或者其它材料。
另外,在将电介质叠层膜1D制作在半导体元件层(硅衬底1_ω)上的情况下,从半导体元件层到电介质叠层膜1D的距离即形成第k层电介质层1_k的二氧化硅SiO2层的厚度dk很重要。
这指的是,如图22的结构图所示,由于与来自例如采用硅Si(折射率4.1)形成的半导体元件层(光监测器等)的表面即硅衬底1_ω的表面的反射光LR之间产生的干涉效果,全反射光LRtotal的光谱发生变化。
图24为就5层结构的电介质叠层膜1D,说明全反射光Lrtotal的、形成电介质层1_k的二氧化硅SiO2层的厚度dk的变化依赖性的反射光谱图。在图24内的各图中,横轴为波长λ(μm),纵轴为反射率R。
从图24内的各图可知,在厚度dk=0.15μm时,即对红外光IR的反射中心波长λ0,在满足条件式(1)的值dk=0.154μm附近时,反射光谱大致不受影响,而对红外光IR(λ≥780nm)发生强反射。与此相对,在至厚度dk=0.3~50μm的光谱中,可看出,与厚度dk=∞的反射光谱相比,产生了其他的振动。因此可看出,采用红外的反射存在呈凹陷状降低的波长区。
另外,如图25及图27所示的第4变形例所示,在第3变形例的基础上层数降低时,在电介质叠层膜1内,通过追加多层比构成该电介质叠层膜1的基本的第1及第2层材折射率更大的第5层1_η(例如比二氧化硅SiO2和氮化硅SiN高的折射率=4.1的厚度dη=61nm的硅Si层)的分光图像传感器11,可进一步降低层数。具有对于基本层邻接的层折射率变大的特点。
例如,在图25的结构图所示的例子(第4变形例:之一)中,构成基本层具有3层结构的电介质叠层膜1E,将比二氧化硅SiO2和氮化硅SiN高的折射率=4.1的厚度dη=61nm的硅Si层作为第5层材,替换氮化硅SiN而成2层设计。换言之,电介质叠层膜1E成为,在硅衬底1_ω上,形成将第2层材即采用二氧化硅SiO2形成的层分成2周期而设置的结构。其反射光谱图的计算结果如图26所示。
另外,在对电介质叠层膜1的各层进行定数设计之时,红外光IR的反射中心波长λ0取为1000nm,第5层材形成的硅Si层的厚度dη(=d1,d3)为61nm,二氧化硅SiO2的厚度dβ(=d2)及dk为171nm。
另外,在图27结构图所示的例子(第4变形例:之二)中,构成基本层具有5层结构的电介质叠层膜1E,将比二氧化硅SiO2和氮化硅SiN高的折射率=4.1的厚度dη=61nm的硅Si层作为第5层材,替换氮化硅SiN而成3层设计。其反射光谱图的计算结果如图28所示反射光谱图。通过与图26比较可看出,通过增加第5层材,红外区的反射率接近1.0。
另外,如图29所示的第5变形例,在第3或第4变形例中,通过同时适用于第1变形例的分光图像传感器,不但可以减少层数,而且可降低可见光区中的反射。尤其可使蓝色B分量(波长420nm附近)或绿色G分量(波长520nm附近)的反射率增加一些,使红色R分量(波长600nm附近)反射率充分降低,非常适用于和红外光IR的分离。
例如,图29所示的结构形成为,在第k层的二氧化硅SiO2和硅衬底1_ω之间叠层厚度dγ较薄的氮化硅SiN层1_γ作为第3层材的结构。其中,厚度dγ=0.030μm。其反射光谱图的计算结果如图30所示反射光谱图。具有该变形例的电介质叠层膜1的分光图像传感器11实际上为,在3层电介质叠层膜1上,含第k层的电介质层1_k(二氧化硅SiO2层)和氮化硅SiN层1_γ等2层,整体上为具有5层结构的介电体叠层膜1F的器件。
另外,在该第5变形例的基础上追加的第3层材与第1层材即氮化硅SiN相同,但也可为比硅衬底1_ω(本例中为二氧化硅SiO2)折射率大的材料,或者其它材料。
尽管省略图示,但在第3及第4变形例中,通过形成同时采用第1及第2变形例的分光图像传感器11,不但可减少层数,而且可进一步降低可见光区内的反射及减少暗电流。
在上述说明中,尽管采用利用电介质叠层膜1的分光滤光片10而构分量光图像传感器11,但未限于此,将具有使电磁波内规定波长区分量反射而使其余分量透过特性的部件设置于检测部的入射电磁波的入射面也可以。
另外,并未限于电介质叠层膜1,还可以利用规定厚度的单层膜,形分量光滤光片。如果使单层膜的膜厚发生变化,则可得到使电磁波内规定波长区分量反射而使其余分量透过的效果。
《制造工艺的具体例子》
图31表示制造利用上述实施方式中说明的叠层膜的传感器结构的分光图像传感器的具体工艺的例子的图。该图31为说明具有红外光IR用受光部和可见光VL用受光部的分光图像传感器制造工艺的例子的图。
在该结构的制作中,首先形成普通的CCD或CMOS结构的电路(图31(A))。之后,在Si光电二极管上采用诸如CVD(化学气相沉积)等手段按顺序叠层SiO2膜及SiN(图31(B))。
然后,采用光刻技术或RIE(反应离子蚀刻)法等手段对例如4个像素内的仅一个像素进行蚀刻,以在红外光IR用受光部,形成直达最下层的SiO2膜的开口部(图31(E))。该红外光IR用受光部对其他可见光彩色图像摄像用色像素可以用做为校正像素。
接着,为了保护电介质叠层膜1等,在一部分设有开口部的电介质叠层膜1之上,再次采用CVD等手段对SiO2膜进行叠层并平坦化(图31(F))。当然,该流程并非必须。
此时,为了避免可见光VL用的3个像素(R、G、B分量用)被蚀刻,可以使用在红外光IR用受光部上设有开口部的抗蚀剂(图31(C)、(D))。这种情况下,在电介质叠层膜1上叠层SiO2膜之前,需要除去抗蚀剂(图31(D)→(E))。
另外,尽管省略图示,进一步于之上形成与像素对应的滤色片或微透镜。此时,通过在红外光IR用受光部配设例如黑色滤光片,在可见光用检测部配设基色滤光片,黑色滤光片的像素接受红外光,而其他3色像素接受可见光的红、绿、蓝色三基色光。
如果这样,则在三基色可见光像素检测部上形成SiN层和SiO2层的电介质多层膜,而在黑色像素检测部上没有形成这种电介质多层膜。通过使用这种结构制作的摄像元件,可同时对三基色可见光像和红外光像进行摄像。
进一步,在有些须红外光IR漏掉并入射至可见光VL用光电转换元件(光电二极管等)时,可装入整体比较弱的红外光截止滤光片。例如通过装入小于50%红外光截止滤光片,即使截止到相对可见光VL基本不存在问题的水平,红外光IR用光电转换元件(光电二极管等)也会变得对红外光IR的会聚具有足够的敏感度。
另外,在所述制造工序中,由于以直到Si衬底表面附近的方式进行蚀刻,即在红外光IR用受光部设置直达最下层的SiO2膜的开口部(图31(E)),故存在由于蚀刻而导致的损坏的问题。此时,增大Si衬底正上方的SiO2层的厚度d也可降低损坏的可能性。
这里,如果dk=2.5μm以上,则如图14所示,反射光谱的红外光区的凹陷半宽值变窄,对普通的宽频带的自然光形成平均化的反射率,故可形成对红外光的反射。因此,优选地,最好将等第k层电介质层1_k的厚度dk取为2.5μm以上。进一步优选取为5μm以上的厚度。
另外,将布线层其上形成用于在硅衬底1_ω上所形成的光电二极管或像素内放大器等的金属布线、即形成用于从摄像部(检测区)读出来自单位信号生成部即像素内放大器等的作为单位信号的像素信号的信号线形成于硅衬底1_ω正上方的情况下,与在硅衬底1_ω正上方形成电介质叠层膜1的结构相比,通过在硅衬底1_ω上具有一定距离地形成电介质叠层膜1,即通过在金属布线更上侧形成电介质叠层膜1,可得到使工艺变容易,成本大大降低的优点。后面将详述,通过增加形成电介质叠层膜1的层数,也可得到某种很好的效果。下面对考虑到金属布线的分光图像传感器进行说明。
《利用电介质叠层膜的分波图像传感器;第6变形例》
图32~图38为说明利用电介质叠层膜1的单波长分波对应的分光图像传感器11的第6变形例的图形。第6变形例的特征在于,在图13~图17说明的手段的基础上,考虑金属布线,在硅衬底1_ω上更靠上的具有一定距离的上侧,将电介质叠层膜1与光电二极管等检测部一体形成在硅衬底1_ω上。
例如,如图32所示,如果考虑到CMOS结构,在形成有光电二极管等的检测部的半导体元件层上具有一层布线层,其厚度为0.7μm左右场合中,在比形成有光电二极管等的硅衬底1_ω以0.7μm略多一点地一体形成多层膜结构时,也可以在第1层布线层的工艺之后形成电介质叠层膜1。这样可以在厚度dk0.7μm的第k层内设置布线层。
另外,如图33所示,在半导体元件层上具有3层布线层,它们的总厚度为3.2μm左右场合中,在比形成有光电二极管等的硅衬底1_ω以约3.2μm略多一点地一体形成多层膜结构时,也可以在最上层即第3层布线层的工艺之后形成电介质叠层膜1。这样可以在厚度dk=3.2μm的第k层内设置布线层。
这里,所述的“约3.2μm”指的是,如图所示,在本例中,硅衬底1_ω上设置厚度为10nm左右的SiO2(δ层),在它上面形成厚度为65nm左右的SiN(γ层),“3.2μm”指的是除去γ、δ层的k层的厚度。
可在形成该电介质叠层膜1之后,形成滤色片14及微透镜等。
图34和图35表示该分光图像传感器11的叠层结构概念图。其中,除了基本层1_1~1_n之外,在第k层的介电体层1_k和硅衬底1_ω之间,利用具有第3层1_γ和第4层1_δ的图20所示的第2变形例的结构。另外,和第2变形例一样,红外光IR的反射中心波长λ0取为852nm。
例如,图34中,将图20所示的7层结构作为基本层,并且将具有第k层的介电体层1_k(二氧化硅SiO2层)和碳化硅SiN层1_γ和二氧化硅SiO2层1_δ等分3层的电介质叠层膜1C作为基层,并将第k层的介电体层1_k的厚度取为700nm。另外,将第k层二氧化硅SiO2和硅衬底1_ω之间厚度dγ=65nm或100nm的较薄的碳化硅SiN层1_γ作为第3层材而叠层,而且,在该追加的第3层材和硅衬底1_ω之间形成,将作为折射率比第3层材小的第4层材的二氧化硅SiO2层1_δ,以厚度dδ=10nm而叠层的电介质叠层膜1C。
另外,在图35中,将成为基本层的电介质叠层膜1取9层结构,并且将具有第k层的介电体层1_k的厚度取为700nm或3.2μm。另外,将第k层二氧化硅SiO2和硅衬底1_ω之间厚度dγ=65nm的较薄的碳化硅SiN层1_γ作为第3层材而叠层,而且,在该追加的第3层材和硅衬底1_ω之间形成,将作为折射率比第3层材小的第4层材的二氧化硅SiO2层1_δ,以厚度dδ=10nm而叠层的电介质叠层膜1C。
它们的反射光谱计算结果如图36~38所示。由图32及图33可看出,通过在700nm或3.2μm左右的硅衬底1_ω的上侧形成电介质叠层膜1,布线作业变得容易了。确切地,在硅衬底1_ω的正上方,因为第4层材即SiO2层和第3层材即SiN层的顺序分别具有10nm和65nm(或100nm)的厚度,故形成在它们的上侧。
其中,就具有SiN膜和SiO2膜的电介质叠层膜1来说,尽管示出的是7层的情况和9层的情况,但如图36所示可看出,如果氮化硅SiN层1_γ厚度过厚,则红外光反射区的凹陷很大,导致反射大大降低。而且,如果第3层材即SiN层厚度dγ很厚,则可见光区的反射变高。如第2例中所说明的那样,作为中间层而设的第3层材,是为了降低可见光区内的反射的目的而设的层材,作为中间层而设的介电体层1_γ的厚度dγ,根据对于薄时情形足够宽裕而对于很大情形则富余很少的原则而设。
另外,从图37可以看出,与7层时相比,如果多层结构的层数增加至9层,红外光区反射率R将超过0.9,红外光区反射性能可进一步提高。另外从图38也可看出,采用第k层的介电体层1_k的厚度dk取为3.2μm的7层结构的话,则红外光反射区的凹陷很大,导致反射大大降低。然而,如果层数仍然增加至9层,则它们的凹陷变小,红外光反射性能可进一步提高。
因此,在进行现有布线工艺之后,对于形成电介质叠层膜1来说制造变容易,无需进行新工艺的研发而成本降低。即通过图32或图33所示CMOS结构的制造,工艺也可变容易且可得到有益的效果。如果在形成电介质叠层膜1之后进行布线工艺,则进行电介质叠层膜1的除去等作业时在工艺上变得很困难,存在很大的差别。
<摄像元件;第2实施方式-利用衍射光栅>
图39为固体摄像元件314的第2实施方式的说明图。该第2实施方式的固体摄像元件314的特点在于,引入了利用衍射光栅将电磁波分光成每个规定波长的波长分离的概念。其中以作为电磁波一个例子的光被分光成每个规定波长为例进行说明。
具体地,如图39(A)所示,作为采用利用本申请人在特愿2004-250049号公报中提出的技术方案中的结构的器件,衍射光栅501构成为,由用于截断电磁波(例如光)(在为光的情况下为遮光)的遮断部件所构成的散射体502呈周期并设,如果入射光L1入射时,通过各散射体502散射光线而产生衍射波L2。另外,该衍射波L2通过多个周期的存在的散射体502,衍射波L2互相之间产生干涉。
这样,如图39(B)所示,如果各衍射波L2相位一致则光强度变强,反之,如果相位岔开半个波长则变弱。结果,在Si(硅)衬底509表面及Si衬底内部随之产生干涉条纹。
在本实施方式中,该干涉条纹图样呈现根据波长λ而变化的波长色散性,利用这一点而形分量光图像传感器。
<利用衍射光栅的分波图像传感器的基本结构>
图40为说明利用衍射光栅的分波图像传感器(分光图像传感器)的基本结构的概念图。另外图41示出的是图40所示的分光图像传感器511的一组光电二极管组512部分放大视图。
其中,光电二极管组512与对应于现有技术的摄像装置中的一个像素的一个光电二极管相当。本实施方式的特点在于,将通过在开口部对利用由上述电磁波产生的衍射效果而分光的分别不同的波长(色分量)进行检测的按照波长(色别)的光电转换元件,在光电二极管组512内设置成多个,采用这种方式,以实现高分辨率、高像素化等。对形成1个像素的1个光电二极管组512,色分离用全色分量按比例构成,对成1像素的色别的光电转换元件,色分离用任何色分量比例构成情况不同。
配设有具有多个图40所示的光电转换元件而形成的光电二极管组512的分光图像传感器511的特点在于,利用衍射效果将电磁波分成多个波长分量,使各波长分量在入射面内的邻近的各不相同位置入射的波长色散部,由散射体503(第1散射体)、狭缝505(第2散射体)和散射体507(第3散射体)构成。
具体地,在入射光L1侧,透过电磁波(例如光)的扁长(线状或杆状)开口部503a、和遮断电磁波(例如光)(光时为遮光)的部分即呈扁长状(线状或杆状)的遮光部503b相互排列而形成的散射体503配置成,遮光部503b彼此平行且呈周期性的且在受光面内规定方向(例如横向;图中的X方向)形成列。横向(图中的X方向)是光电二极管组512与从具有的色别的光电转换元件读取像素信号的方向对应的方向。
这里,“线状”指的是,其断面积相对于光波长而言无限接近0(零)的形态。“杆状”指的是,其断面积为有限的形态。无论哪种,在细长形状即扁长状这一点上是共通的。
另外,分光图像传感器511中,设置有形成衍射光栅501的主要部分的狭缝状光散射体(以下仅称为狭缝)505,以配置在散射体503和Si衬底509之间的会聚衍射波L2的周边上包围透过电磁波(例如光)的扁长状开口部(狭缝的缝隙)505a,和开口部505a、遮断电磁波(例如光)(光时为遮光)的部分即遮光部505b。
该狭缝505的开口部505a的周期(相邻开口部505a的间隔)和散射体503的周期(相邻的散射体503的遮光部50503b的间隔;散射体503的开口部的间隔)相等,且它们呈平行地配置。之外,开口部505a配设在通过相邻散射体503间中点的大致中心线CLO上(对光电二极管组512表面垂直)的位置上。
进一步,分光图像传感器511设置有,在狭缝505和光电二极管组512之间以夹着开口部507a的方式周期地平行地配置另一个扁长状遮光部507b的散射体507。该散射体507设定成,散射体507的周期(相邻的遮光部507b的间隔)和散射体503的周期(散射体503的相邻的遮光部50503b的间隔)或狭缝505的开口部505a的周期(狭缝505的相邻的开口部505a的间隔)相等。之外,散射体507的遮光部507b配设在通过散射体503间中点的大致中心线CLO上(对光电二极管组512表面垂直)的位置上。
在这种结构的分光图像传感器511中,通过周期地配置各散射体503,如图40所示,产生衍射波L2的会聚。尤其是在横向周期地且平行等间隔地配置各散射体503时,衍射波L2会聚于各散射体503间的中心线CLO上。
另外,通过使用扁长状散射体503,衍射波L2呈扁长状会聚,衍射波L2彼此之间干涉条纹(光强分布)呈扁长状。因此,从装置结构上考虑,因为可以将光电二极管组512内设置的光电转换元件(光监测器)形成扁长状结构,故具有易于设计的优点。
另外,图40主要示出的是会聚效果,之后,衍射波L2进一步前行,根据图41所示的狭缝505及还一个散射体507的作用而被分光。
因此,采用该2个作用效果的合成技术形成光的会聚及分束。此时,在衍射波L2会聚的周边即散射体503和光电二极管组512之间,以扁长状开口部505a(狭缝缝隙)在横向成周期地且平行的方式,配置狭缝505,采用这种方式,通过控制入射光L1可很好地分光成所述蓝色光L3-B、绿色光L3-G、红色光L3-R、红外光L3-IR(总称为分光分量L3)。
配设有具有多个图40所示的光电转换元件而形成的光电二极管组512的分光图像传感器511中,在入射光L1侧,扁长状(线状或杆状)散射体503配置成,平行且呈周期性的且在受光面内规定方向(例如横向;图中的X方向)形成列。横向(图中的X方向)是光电二极管组512与从具有的色别的光电转换元件读取像素信号的方向对应的方向。
另外,如果狭缝505的开口部505a的周期(相邻的开口部505a的间隔)与散射体503的周期(相邻的遮光部50503b的间隔)相等并且它们平行地配置的话,对整体结构(尤其散射体503和狭缝505的关系)而言周期性和对称性提高、光的干涉特性变得很好。结果,分光特性变好。
另外,被散射体503衍射的光(衍射波L2)在其中点(遮光部50503b间的中心)附近会聚。因此,通过在通过散射体503间中点的大致中心线CLO上(对光电二极管组512表面垂直)的位置上配设狭缝505的开口部505a,可高效地进行分光。
另外可看出,狭缝宽度Ds如果取值为800nm±300nm,可对可见光(蓝色光L3-B、绿色光L3-G、红色光L3-R)及红外光L3-IR进行分光。
根据场合,还可将另一个散射体507设置在该狭缝505的开口部505a的中心线CLO上且在狭缝505和光电二极管组512之间,也可不设另一个散射体507。
这里,如果将另一个线状散射体507设置在该狭缝505的开口部505a的中心线CLO上且在狭缝505和光电二极管组512之间,则如图41所示,长波长侧的光(绿色光~红色光)通过衍射,在与其散射体507具有一定距离的地方会聚,而根据麦克斯韦方程组采用FDTD法(Finite Difference Time Domain Method)进行的光场计算可得出,短波长侧光(尤其蓝色光)在其散射体后侧的光电二极管组512中心线CLO上会聚。
其中,通过使用扁长状散射体507,衍射波L2呈扁长状会聚,衍射波L2彼此之间干涉条纹(光强分布)呈扁长状。因此,从装置结构上考虑,因为可以将光电二极管组512内设置的光电转换元件(光监测器)形成扁长状结构,故具有易于设计的优点。另外,如果将散射体507呈周期性且平行地配置的话,对整体结构而言周期性和对称性提高、光的干涉特性变得很好。结果,分光特性变好。如果将两者组合,则形分量光效果变得更好,且易于设计的结构。
另外,如果散射体503的周期(相邻的遮光部50503b的间隔)与散射体507的周期(相邻的遮光部507b的间隔)相等,且它们呈平行地配置的话,对整体结构(尤其散射体503和散射体507的关系)而言周期性和对称性提高、光的干涉特性变得很好。结果,分光特性变好。
而且,如果狭缝505的开口部505a的周期(相邻的开口部505a的间隔)与散射体507的周期(相邻的遮光部507b的间隔)相等,且它们平行配置,对整体结构(尤其狭缝505和散射体507的关系)而言周期性和对称性提高、光的干涉特性变得很好。结果,分光特性变好。
尤其,如果散射体503的周期(相邻的遮光部50503b的间隔)、狭缝505的开口部505a的周期(相邻的开口部505a的间隔)与散射体507的周期(相邻的遮光部507b的间隔)相等,且它们呈平行地配置的话,所有散射体的位置关系可以重合,对周期性和对称性而言可得到最大的效果。结果,光的干涉特性变得相当好,分光特性变得特别好。
本实施方式中,特点在于,通过利用使用上述衍射特性分光的方法,形分量光图像传感器511。这种结构可以为在母材即透明氧化膜或氮化膜中埋入散射体的结构。即散射体最好埋入规定的透明材料(母材)中,与半导体衬底一体构成。此时,也可以将折射率比母材高的材料选做散射体。
其中,将氧化膜或氮化膜作为母材的理由有2个。其一,它们均为普通半导体工艺中所采用的膜,便宜而成本低。其二,由于与硅相比折射率低,通过与硅的组合可将折射率差设得大些,从而导致高效地产生衍射。
另外,作为透明母材,可以采用氧化膜或氮化膜。其中,作为氧化膜,采用SiOx为好,尤其SiO2为好。另外,作为氮化膜,采用SiNx为好。这是由于,SiOx,其中尤其特别是完全被氧化的SiO2化学上很稳定,而且折射率最低。对于SiNx也一样,Si3N4化学上最稳定。
另外,优选地,散射体采用工艺整合性好的硅Si而形成,但也可为其他的材料所形成,例如可采用氮化硅SiN。此时,散射体503、507均可采用同一材料形成,也可分别采用不同材料形成。SiNx为普通半导体工艺所采用的材料,具有廉价而成本低的优点。
另外,散射体可采用锗形成。具有折射率比硅Si高,散射效果及衍射效果得到提高的优点。
然而,散射体如果折射率不同,也可以采用金属及其化合物。即也可以是迁移金属,迁移金属硅化物、迁移金属氮化物、迁移金属氮化氧化物、贵金属、贵金属硅化物、高熔点金属、高熔点金属硅化物等。具体地,例如可以是Al、Cu、Ni、Cr、W、WSi、WSi2、Ti、TiSi2、TiSi、TiN、TiON、Ta、TaN、NiSi、NiSi2、Hf、HfN、HfSi2、Ag、Au、Pt、CoSi2、RuN、RuOx、RuOxN等。其中尤其采用Al、Cu、Ni等可实现廉价而低成本。
另外,利用衍射光栅的传感器结构也可集p型半导体和n型半导体而反向使用。考虑到抑制噪音信号则采用n型衬底。此时,通过在n衬底上进行Al及B等第III族掺杂剂的热扩散处理等,在对自表面至2μm以上进行p型化之后,可以作成这种结构。而且,考虑到抑制漏电流,通过在半导体最外表面的深度0.1μm以内进行Al及B等第III族掺杂剂的热扩散处理等而进行p型化也可。
当然,散射体3的位置周期(从光散射体中心点到下一个相同光散射体中心点的横向间隔)对应光电二极管组512排列间距(现有结构中的像素节距),所以,通过改变散射体503位置周期可以对像素节距进行调整。如果是高密度摄像装置,可以减小该周期,而如果是低密度摄像装置,则可以增大该周期。
例如,散射体503位置周期如果在0.5~5μm则可得到相同的效果。下限0.5μm是根据可见光衍射边界而设定的。即可见光时,0.3μm以上为衍射边界。周期结构因为需要取值为至少比该值大的值,故将下限取为0.5μm。然而将其自身边界即0.3μm作为下限设定也未尝不可。
另一方面,上限5μm是根据显著产生衍射现象的衍射级而设定。当然大于5μm也产生衍射现象故上限其实并未特别限定于此。对此,称之为“优选小于5μm”也未尝不可。
另外,虽然不一定作为特定情况,但优选周期为1~2μm,进一步优选上述周期为1.5μm。其中下限1μm是根据普通可见光衍射光栅的周期结构及1周期中形成2个以上的光电转换元件的制作难易程度而设定。另一方面,上限2μm是根据从模拟结果至2μm在当今条件下制作容易的认可度而设定。
另外,散射体503、507可以具有衍射效果并可得到对光的会聚性,散射体503、507中的任意一个其厚度一般可以在0.01μm以上。其中,下限0.01μm根据可产生光散射及衍射的最小值而设定。通常,尺寸为光波长约1/10左右的散射体即可产生光散射及衍射。
另外,考虑到与母材即SiO2的折射率的关系,散射体503的厚度优选为0.1μm以上,进一步优选为0.2±0.05μm的范围内。其中下限0.1μm是根据产生有效散射及衍射的厚度而设定。另外,中心值0.2μm是根据模拟结果显示出的非常好的分光特性的情况而设定,其范围0.05μm是考虑制作上的偏差而设定的。
另外,为了高效地产生作用,作为散射体503、507,无论散射体503、507的哪一方,其横向宽度最好为0.05μm以上。这里下限0.05μm是根据可产生光散射及衍射的最小值而设定。通常,尺寸为光波长约1/10左右的散射体即可产生光散射及衍射。然而,尽管该横向宽度是考虑与散射体厚度的整合性而将下限设定为0.01μm,但从工艺上考虑这取决于如果采用最新的工艺是否能够达到0.05μm的宽度。因此,考虑到可产生光散射及衍射的要求及限于工艺的最小宽度,而将0.05μm设定为下限。
另外,尤其优选地是散射体的宽度d为0.05μm≤d≤0.3μm的范围(0.1-0.05/+0.2μm)。其中通用中心值即0.1μm是模拟的结果,从分光特性好来看,将该值0.1μm设定为中心值。另外,范围中的-0.05μm由下限的关系而设定,而对于上限,则考虑容易制造且实现量产化工艺(0.25μm工艺)而设定为+0.2μm。
另外,狭缝505的开口部505a宽度(狭缝宽度Ds)最好为0.1μm以上,优选为0.4μm以下。其中下限0.1μm是根据产生有效衍射的最小值而设定,上限0.4μm是根据对可见光(λ≤780nm)、尤其红色光640nm和绿色光540nm进行高效分光的狭缝宽度在0.4μm以下而设定。不过,在0.5μm并非没有分光,而是优选在0.4μm以下。
另外,为了特别提高分光特性,该狭缝宽度Ds最好为0.3±0.1μm。其中,中心值0.3μm是基于模拟结果而实现优秀分光特性而将0.3μm设定为中心值。该范围±0.1μm同样是基于模拟结果、且通过对可见光进行尤其显著的衍射而可分光的条件而设定的。然而,对于红外分光这里的值将显著不同。
另外,狭缝505厚度为了得到分光效果最好为0.01μm以上。其中下限0.01μm根据起到狭缝作用的最小值而设定。即作为其作用使之几乎不呈现光的遮断效果的厚度。另外,为了得到特别有效的效果,最好为0.125±0.1μm。这里,中心值0.125μm是根据模拟结果而实现优秀的分光特性而将0.125μm设定为中心值,其范围±0.1μm的下限-0.1μm是根据使蓝色光遮断效果变得充分而设定,而上限+0.1μm是根据制造上的制作容易度而设定。
《红外光和可见光的分光结构》
图42为说明将衍射光栅501配设于Si衬底509(对应分光图像传感器510的光电二极管组512)的入射面的对应红外光分离的分波图像传感器的图,示出将红外光和可见光分光的分光图像传感器511的截面结构。影线部分表示Si材料,之外的白色部分表示氧化膜SiO2,本实施方式的分光图像传感器511作为整体在Si衬底509上形成氧化膜SiO2。
另外本实施方式的将光分光成红外光和可见光的2个波长分量的分光图像传感器511与将可见光带域内的光分光成多个波长分量(前例中的蓝、绿、红三色)的分光图像传感器511不同,其特征在于在狭缝505和光电二极管组512之间没有设置散射体507。
在没有设置散射体507时因为绿色光和蓝色光混合在一起,故在进行可见光检测时,在光电二极管组512内,除了配置红外光检测用光电转换元件之外,还配置单一的光电转换元件作为可见光检测用,从而对可见光带域内并未分光而得到黑白图像。为了进行彩色图像摄像,可以采用色分离滤光片,采用与现有结构同样的手段,在三基色用各光电转换元件(光监测器)之前,各自装入例如将可见光分离成蓝、绿、红各三基色光的波长分量的红、蓝、绿的消色滤光片(色分离滤光片)。
在Si衬底509(对应光电二极管组512)的入射面侧,扁长状的各散射体503,对于在横向(图中的X方向)上周期性地平行设置,各自的厚度为0.15μm,各散射体503的位置周期即从散射体503的中心点到下一个散射体503的中心点的横向(图中的X方向)的间隔为2.0μm。
分光图像传感器511,在从其表面(散射体503的入射光L1的入射侧)至深度方向(图中的Z方向)2.50μm位置且与Si衬底509距离1.05μm的位置,即散射体503和Si衬底509(对应光电二极管组512)之间设置厚度为0.1μm,狭缝宽度Ds为0.80μm的狭缝505。结果,包围开口部505a、遮断电磁波(例如光)(光时为遮光)部分即遮光部505b的宽度为1.20μm。
狭缝505的各狭缝宽度Ds的开口部505a在横向(图中的X方向)上呈周期性且平行地被设置,而且各狭缝宽度Ds的开口部505a设置于通过散射体503间中点的中心线CLO上(相对Si衬底509或光电二极管组512表面垂直)的位置,与扁长状散射体503平行地配置。即狭缝505的开口部505a的周期(相邻开口部505a的间隔)和散射体503的周期(相邻的遮光部50503b的间隔)及相位相等,且它们呈平行地配置。
图43表示对应红外光的分波图像传感器511中使用的Si(硅)的折射率和衰减系数的波长色散的关系的图表。其中蓝色、绿色、红色的代表波长分别为460nm、540nm、640nm。另外,因为氧化膜SiO2的折射率色散相当小,故对哪个波长折射率均为1.4、衰减系数为0。
<分波手段的模拟;红外光和可见光>
图44~图48为使各波长分量光从受光面入射至具有图42所示结构的分光图像传感器511上时,对红外光和可见光的分光手段进行说明的计算模拟图(采用FDTD法进行光场计算的图)。图44~图48中,Z=2.5μm横虚线表示光电二极管组512和硅氧化膜SiO2的界面(传感器表面)。
其中,图44为将蓝色光(波长460nm)、图45为将绿色光(波长540nm)、图46为将红色光(波长640nm)分别入射时的计算模拟结果。从这些图中可看出,对于可见光(蓝色光、绿色光、红色光的任一种),在X=-3.0、-1.0、1.0、3.0μm处,至Z=2.5~3.5μm(光电二极管组512表面至深度1.0μm),即从传感器附近~稍微深些的区域中光强变强。
另外,图47、图48分别是入射红外光(波长780nm)、红外光(波长880nm)时的计算模拟结果。其中波长780nm为可见光和红外光的界面附近。从图48可看出,对于红外光(波长880nm),在X=-2.0、0、2.0μm处,至Z=2.5~4.5μm(光电二极管组512表面至深度2.0μm),即从传感器附近~有些深的区域中光强变强。
总之,可以看出,对于含于入射光L1的可见光(蓝色光、绿色光、红色光)和红外光之间的关系,通过使之入射至图42所示的分光图像传感器511上,不但在宽度方向(图中的X方向)根据波长呈现场所依赖性,而且在深度方向也根据波长呈现场所依赖性。
另外,在关于可见光和红外光界面附近即波长780nm所示出的图48中可看出,在X=-3.0、-2.0、-1.0、0、1.0、2.0、3.0μm处,至Z=2.5~4.5μm(光电二及管组512表面至深度2.0μm),即从传感器附近~稍微深些的区域中光强变强。总之呈现示出可见光(蓝色光、绿色光、红色光)的图44~图46和示出红外光(波长880nm)的两幅图中的性质。
<检测位置的合适例子;红外光和可见光>
图49为根据上述模拟结果对可见光和红外光的分光中的检测位置的合适例子进行说明的图形。
例如,如果在如图49所示例子的区域中形成可检测光线的分光图像传感器511的话,则可对红、绿、蓝三基色形成的可见光带域和红外光(880nm)进行分光并检测出。
即,可以是,对于可见光(波长460nm蓝色光、波长540nm绿色光、波长640nm红色光),在X=-3.0、-1.0、1.0、3.0μm处,至Z=2.5~3.5μm(光电二极管组512表面至深度1.0μm),对于红外光(波长880nm),在X=-2.0、0、2.0μm处,至Z=2.5~4.5μm(光电二极管组512表面至深度2.0μm)进行检测。
总之,pn结合的最大深度可以设定于各Z方向的范围。具体地,如果形成可见光用光电转换元件12W的pn结合部分的最大深度为从光电二极管组512的表面至深度1.0μm的范围,而形成红外光用光电转换元件12IR的pn结合部分的最大深度为从光电二极管组512的表面至深度2.0μm的范围的话,则对各自波长分量的检测效率得到提高。
此时为了防止光电二极管组512间混色发生,各光电二极管组512的横向(X方向)宽度可以为各散射体503横向(X方向)的间隔2.0μm以下。另外,形成设于光电二极管组512内的按照波长(可见光和红外光)的光电转换元件的pn结合部分的横向(X方向)宽度可以为1.0μm以下,优选为0.3μm以下。这些值为对半导体工艺来讲易于量产化的值。
其中,pn结合部分的横向(X方向)宽度0.5μm是考虑将红外光和可见光2分光时作为2.0μm/2=1.0μm最大值而设定。而且,0.3μm是考虑对应现行0.25μm工艺而可量产化而设定。仅将可见光带域内分光时,如果考虑到该尺寸取为0.5μm,通常来讲,则可设定为0.5(仅可见光带域时)~1.0(对应红外光时)μm以下。
<红外光对应的检测位置上所对应的传感器结构>
图50表示与图49的检测位置对应的红外光对应传感器结构的一个结构例的截面图。在p型Si衬底509内,在各自的光电二极管组512的每一个中,该分光图像传感器511在分别与可见光(蓝色光、绿色光及红色光)、红外光对应的宽度方向(图中的X方向)及深度方向(图中的Z方向)的各检测位置上,掺入n型掺杂物。
象这样形分量别检测可见光、红外光的n型Si区域591,设置各波长分量用的光电转换元件(光电二极管)512W、512IR。光电转换元件512W、512IR既可设置于Si衬底509的受光面,也可设置于Si衬底509内,在横向(X方向),按照可见光、红外光、可见光、红外光、...的顺序被排列。
其中,通过在n型和p型半导体界面附近的空乏层将光吸收而形成电子和空穴,而且电子和空穴通过空乏层形成的电场分别移动n型和p型半导体而积蓄信号电荷。该信号电荷通过从各自的光电转换元件512W、512IR读取,可作为电信号而被检测。
即,每个光电二极管组512,在横向(图中的X方向)及深度方向(图中的Z方向)的各检测位置,设置有对可见光和红外光分别单独进行检测的检测区。采用这种结构,因为无需使用一般图像传感器所用的红外光截止滤光片(或可减少截止比例的器件)故平均入射至单位面积上的光量增多。因此而可使光电信号转换效率提高,关于可见光的感光性特性提高。而且,因为无需红外光截止滤光片而降低了成本。
因为每个光电二极管组512均为对可见光(蓝色光、绿色光及红色光)和红外光分别单独进行检测的结构,故采用1个形成1像素的光电二极管组512可实现1个单位(波长分光单位)的波长分光。即,实际上,由于在光电二极管组512内按照波长形成光电转换元件的结构,故无需将对应像素的光电二极管组512按照所谓的可见光用及红外光用等按照波长来提供。
因此,通过采用1个光电二极管组512完成1个波长分光单位,可实现同时对可见光黑白图像和红外光红外像进行摄像。据此,通过例如对事先准备好的红外线的发光点进行光线追迹,可检测出存在于可见光像(黑白图像)中的红外光发光点位置。
另外,通过设置例如R、G、B的基色滤光片,从光电转换元件512W中,因为可根据滤色颜色得到R、G、B的色信号,故可进一步获取可见光彩色图像。
位于红外光摄像区的光电转换元件512IR具有作为对可见光摄像区的光电转换元件512W得到的可见光像进行校正的校正像素的功能。另外,通过设置没有分离滤光片的像素(这里为光电二极管组512),可将该像素作为,对自可见光至红外光全波长分量进行检测的像素,及对从其他具有色分离滤光片的像素(这里为光电二极管组512)得到的可见光像进行校正的校正像素使用。
通过在狭缝505和光电二极管组512的受光面之间配置散射体507,可高效地对绿色光和蓝色光进行分光,所以,通过在光电二极管组512内,除了配置红外光检测用光电转换元件12IR之外,还配置有替代可见光带域检测用的光电转换元件12W的、用于接受可见光带域内蓝色光、绿色光及红色光的各自的光电转换元件512B、512G、512R,可采用1个图像传感器对准确色合成的可见光的彩色图像及红外光像同时进行摄像。
然而,其波长分离特性不一定足够,因为与对仅可见光带域内分光成红、绿、蓝三基色情况相比,红、绿、蓝各色分光性能不理想,故在需要突出色再现性的场合,最好采用色分离滤光片。
但是,如果红、绿、蓝3基色少量进行分光,可能不是完全的黑白图像,而是得到再现彩色图像的效果,所以,在红外光对应的场合中,将散射体507配设在传感器表面和狭缝505之间,这样,如果将pn结最大深度设定在可对红绿蓝三基色进行分光并检测的各Z方向的合适范围中的话,不但可单纯地进行红外光和可见光的分离,而且还可将可见光带域内进一步分离成红绿蓝三基色分量,使各色检测效率提高。可见光带域内的红绿蓝分光和红外光的分光可相容。
<摄像元件;第3实施方式-利用深度方向的吸收系数的波长依赖性>
图51为说明固体摄像元件314的第3实施方式的图形。该第3实施方式的固体摄像元件314和专利文献1、2所述结构一样,为利用在半导体深度方向根据波长而吸收系数不同的单板式结构。
具体地,如图51所示的每1个像素的结构,采用的是,使用在半导体深度方向的波长引起的吸收系数的不同,对可见光像和红外光图像进行分离而获得的结构的固体摄像元件(图像传感器)611。即,通过利用根据深度和波长而吸收系数不同的特性,使用可抑制原来检测目的之外波长分量(本例中为可见光VL分量)的影响,并且检测原来检测目的的波长分量(本例中为红外光IR分量)的图像传感器。
即,在使用利用在半导体衬底深度方向根据波长而吸收系数不同的结构的图像传感器时,作为一个例子,利用波长不到780nm的可见光VL光进行光电转换的电子,在硅(Si)衬底深度方向,在较浅部分~5μm左右的深度(可见光检测区611VL)处被吸收。这样,如果采用在比5μm浅度更浅的可见光检测区611VL处对取得的信号进行检测的结构的话,可获得关于可见光分量的电信号。
利用剩下的光分量即波长780nm以上的红外光进行光电转换的电子,在比5μm更深的区域(红外光检测区611IR)处被吸收。在两者检测区边界部分,设置非电连区。因此,如果采用在比5μm更深的红外光检测区611IR处对取得的信号进行检测的结构的话,仅可获得关于红外光分量的电信号。换言之,通过将在半导体层浅区被光电转换的可见光VL(例如波长780nm不到的光)的信号分量排除,而仅利用半导体层深的区域被光电转换的红外光IR(例如波长780nm以上的光)的信号分量,从而获取入射的仅红外光IR分量的电信号。
因此,在红外光检测区611IR中,可获得基本不受可见光VL影响的红外光图像。另外,通过在较浅部分~5μm左右深度区(可见光检测区611VL)处对取得的信号进行检则,在可见光检测区611VL中也可获得可见光分量的电信号。
这样,在仅将入射的可见光分量的光电子转换成可见光摄像信号SVL,获取基本不受红外光IR影响的可见光像的同时,还能够仅将入射的仅红外光分量的光电子转换成红外光摄像信号SIR,同时、独立地获取基本不受可见光VL影响的红外光像。
另外,如图51(B)所示,为了进行可见光彩色图像的摄像,在其受光面上,对应各受光部(像素)而设置色分离滤光片624的规定色(例如624R、624G、624B的任何一种)。如果利用半导体衬底深度方向根据波长而吸收系数不同的话,则在较浅的可见光检测区611VL中,虽然可以进行R、G、B的波长分离,但实际上分离性能未必好,在突现色再现性的场合,最好采用色分离滤光片。
因此,不但可以单独得到,将仅入射的仅可见光分量的光电子转换成可见光摄像信号SVL而获取基本不受红外光IR影响的可见光彩色图像,而且同时还可单独得到将仅入射的仅红外光分量的光电子转换成红外光摄像信号SIR而获取基本不受可见光VL影响的红外光像。
另外,具有色分离滤色片424的像素的较深的红外光检测区611IR,还具有作为对从较浅的可见光检测区611VL得到的可见光彩色图像进行校正的校正像素的功能。另外,通过设置不具有色分离滤色片424的像素,可将该像素作为,对自可见光至红外光全波长分量进行检测的像素,及对从其他具有色分离滤光片424的像素得到的可见光彩色图像进行校正的校正像素而使用。
<混入红外光产生的问题>
如上所述,尽管对各种结构的固体摄像元件314的结构例进行了说明,但无论哪种结构都存在下述问题,即红外光分量混入可见光分量中侵入检测部,从而显示可见光像的信号强度中会叠加红外信号,使可见光图像色再现性变差。例如,如果采用使用电介质叠层膜的结构,为了通过同时读取可见光和红外光的像而可实现高感度化及红外通讯功能等高功能化,在可见光即RGB基色滤光片或CyMgYe补色滤光片的像素中,不使红外光完全反射并漏掉部分红外光而使之侵入检测部,从而信号强度中会叠加红外信号,使可见光图像色再现性变差。下面对此问题进行说明。
图52所示的结构和图35所示的电介质多层膜结构(该结构设计成对近红外光的反射增高)的分光图像传感器11具有相同结构,第k层的介电体层1_k的厚度取为3.2μm,红外光IR的反射中心波长λ0不取为852nm,而是变为更低的770nm。
图53表示,在图52所示的电介质多层膜结构的分光图像传感器11中,采用有效菲涅尔系数法计算并估计出从垂直方向入射光时的反射光谱的结果的图。其中,之所以采用SiN和SiO2的多层膜,是因为它们是普通Si基工艺中常常使用的材料。如果将反射率R限为1的话,则透过率光谱为T=1-R的光谱。
另外,图54为表示一般经常使用的彩色滤光片的分光灵敏度曲线的图(分光灵敏度特性图)。图55表示实际得到的分光灵敏度曲线一个例子的图。从图54所示的感度曲线中,加上图53所示的反射光谱中导出的透过光谱,即得到图55所示的实际得到的分光灵敏度曲线。从图55可看出,在波长700nm前后以上的红外光侧具有大约10%左右的分光灵敏度。
另外,图56和图53一样,与图35所示的电介质多层膜结构(该结构设计成对近红外光的反射增高)的分光图像传感器11具有相同结构,第k层的介电体层1_k的厚度取为3.2μm,红外光IR的反射中心波长λ0取为852nm,采用有效菲涅尔系数法计算并估计出反射光谱的结果的图。该图示出设计中心即中心条件,以及对该中心条件,将红外光IR反射中心波长λ0分别浮动-10%、-10%的情况。
图57表示使用于索尼摄像元件ICX456AQ中的彩色滤光片的分光灵敏度曲线图。图58表示采用ICX456AQ实际得到的分光灵敏度曲线图。其中,如图52所示,第k层的介电体层1_k的厚度取为3.2μm,之上设有9层结构的基本层。由图55和图58的比较可看出,如果红外光IR反射中心波长λ0很高,则在波长700nm前后以上的红外光侧,更加具有大的分光灵敏度。
如图102所示,大部分半导体对红外光都具有吸收感度。因此,在红外光侧具有一定分光灵敏度时,在从接受可见光的检测部得到的像素信号中,除了会加上三基色或补色系的可见光的光强度信号之外,还会加上由红外光产生的信号分量,从而与实际的色信号形成差别,色再现性变差。尤其,就基色滤光片时红色,补色滤光片时品红或黄色而言,关于红外光附近的波长分量,从检测部向所得到的像素信号,红外光分量的漏入变大。
图59和图60为说明红外光分量混入可见光分量而产生的对色再现性影响的图。其中表示通过计算在可见光的受光部同时入射红外光时的色差而得到的结果。总之,就麦克佩斯图的24色而计算Lab(确切的为L*a*b即省略示出“*”)空间的色差ΔEab(确切的为ΔEa*b*即省略示出“*”)。所说的麦克佩斯图为グレタグマクベス(GretagMacbeth)会社作为色品图用进行测色器校正用图表而标准化图表。
其中,图59表示红外光同时入射至像素而RGB各色信号强度全部增加+5%时的图,图60表示R、G、B分别增加20.62%、10.4%、15.3%时的图。这些图为在xy色度图上计算的结果图表化而表示ΔEab≥5区域的图。
如下式(4)所示,色差ΔEab通过对红外光入射部分在优化和没有被优化情形之间进行计算而求得。
[数4]
Figure A20061013575800571
从图59和图60可看出,无论哪个场合,如果在可见光中混入红外光入射分量,则存在ΔEab≥5的区域。例如,在图59中,麦克佩斯图的24色中的6色存在ΔEab≥5的区域,在图60中,24色中的17色存在ΔEab≥5的区域。通常,如果ΔEab≥5,则人类感觉上可分辨出色的不同,故如果可见光分量中混入红外光入射分量,则色再现性变差。
因此,在考虑色再现性情况下,可看出采用红外光截止滤光片所具有的效果。然而,如果采用红外光截止滤光片,则成本变高,且还会截断部分可见光而使感光度降低。
上面尽管是对针对利用包括如涉及没有红外光截止滤光片的专利如2001-69519中所述的不透过近红外区的光的滤光片的摄像元件进行的说明,但就具体的滤光片的材质及结构而言并未作出披露。另外还提出了一种对特开2000-59798中记载的红外截止滤光片的位置进行切换,对特开2003-70009记载的R-Y信号正负进行检测并在对红外光影响变大的R-Y信号为正时对其进行校正的方案。然而,成为大规模装置的电路具有由于规模大而成本变高及校正精度不充分等缺点。
因此,为了提高红外光反射率,作为利用没有使用红外光截止滤光片的电介质叠层膜的分光图像传感器511,可以考虑采用增多多层膜的层数或增大多层膜的各层的折射率差的方法。然而,在增加层数的方法中,例如在为图7所示的SiO2层和SiN层组合的分光图像传感器11时,如图8所示,即使为6周期11层,反射率也会为0.9左右,因此可见光分量中存在红外光的入射分量会使色还原变差。为了使反射率接近1.0,可以考虑进一步增加层数,但是,此时,厚度同时也会变成1μm厚。对于这种厚膜结构,随着多层膜制作工艺上困难加大,量产化将成为问题。
另外,如果增大折射率差,例如在为图25及图27所示的第4变形例那样的SiO2层和Si层组合的分光图像传感器11时,如图26及图28所示,通过例如将基本层形成为5层结构,可将红外区的反射率提高至“1”左右,反之,可见光区的反射率会提高,可见光的光电转换效率会降低,会引起感光度降低。
另外,因为斜射的入射光中存在不少的漏光,所以,彼此双方受到对方的漏光分量的影响,分离获取的可见光像的色再现性只是其漏光分量会降低,而对于红外光图像,其漏光分量中会出现可见光像分量,这也是个问题。
换言之,在为利用电介质叠层膜的传感器结构时,使器件的厚度、受光感度及色再现性等全部最佳存在困难,而整个器件却不得不采用这样的结构,结果,遗留有由于红外光分量的漏光而导致的色再现性的问题。
另外,在利用衍射光栅501的分光图像传感器511时,由图44~图48可看出,虽然通过利用根据横向(图中的X方向)中的波长产生的场所依赖性的特点可分离可见光和红外光,但由图48可看出,在可见光和红外光边界附近,可见光(蓝色光、绿色光、红色光)和红外光(波长880nm)的分离是不完全的,结果,遗留下来由于红外光分量的漏光而导致的色再现性的问题。反之,对于红外光图像,也存在由于可见光分量的漏光而产生的影响。
另外,在为利用根据半导体深度方向中的波长而吸收系数不同的固体摄像元件611时,在可见光检测区611所得到的可见光分量中,由对现有技术的说明可看出,由于红外光IR在通过时接受一定程度的吸收,该红外光IR作为可见光VL被误检测,所以受到红外光分量的影响。
另外,在为利用根据半导体深度方向中的波长而吸收系数不同的结构的固体摄像元件611时,因为红外光IR和可见光VL内的红色分量的边界附近波长彼此会受到对方一定程度的吸收,故在红外光摄像区得到的红外光图像分量中,可受到可见光带域尤其红色分量的影响。
<红外光混入的解决手段>
为了解决该问题,本实施方式的摄像装置300通过在图像信号处理部340中含有红外光校正处理部342,可解决由于在接受可见光的检测区中的红外光混入而产生的色还原问题。这样,即使在图像传感器之前没有设置光学波长分离手段(通常为红外光截止滤光片),也可根据信号处理,抑制并除去相对可见光区为不需要分量的红外光。此时,即使在可见光检测部的结果中存在红外光的漏光,因为根据信号处理,抑制并除去其不需要的红外光分量,所以在实现可获取足够色再现性的可见光彩色图像的摄像装置之时,图像传感器的使用范围变广。下面对该手段进行具体的说明。
<色分离滤光片排列;第1例>
图61是表示通常可根据校正计算对可见光彩色图像和红外光图像分别单独计算的色分离滤光片配置的第1具体例(以下称为第1具体例)的图形。该第1具体例的特点在于,设置用于排除可见光而仅接受并检测红外光的检测区,作为对可见光彩色图像进行校正用的检测区。
如图61(A)所示,利用将各色滤光片呈马赛克状排列的所谓的拜耳(Bayer)排列的基本形的彩色滤光片,首先,呈正方网格状排列的单位像素,以对应红(R)、绿(G)、蓝(B)三色彩色滤光片的形式,以色分离滤光片的往返单位按照2像素×2像素排列的方式而构成像素部。另外,为了设置排除可见光而仅接受并检测红外光的检测部(检测区),将2个绿(G)滤光片中其中一个换成黑色滤光片BK。即,将用于可见光彩色图像的基色滤光片R、G、B的3个波长区(色分量)用滤光片,以及与基色滤光片R、G、B分量不同的所述的红外光用黑色滤光片BK这样的具有各自不同滤光特性的4种滤色片,规则地排列。
例如,在偶数行奇数列,排列用于感知第1彩色(红色R)的第1彩色像素,在奇数行奇数列,排列用于感知第2彩色(绿色G)的第2彩色像素,在奇数行偶数列,排列用于感知第3彩色(蓝色B)的第3彩色像素,在偶数行偶数列,排列用于感知红外光IR的第4彩色像素(这里为黑色校正像素),对每一行,不同的G/B或R/BK呈方格花纹状排列。
这种拜耳排列的基本形的彩色滤光片的色排列在行方向及列方向的任何一个方向,G/B或R/BK该2色每2个重复一次。
采用通过基色滤光片R、G、B而用对应的检测部进行检测的方式,可对可见光彩色图像进行摄像,同时,采用通过黑色滤光片BK而用对应的检测部进行检测的方式,可对红外光图像以独立于可见光彩色图像的形式而同时进行摄像。另外,从配置该黑色滤光片BK的像素所得到的红外光信号还可作为,对从配置基色滤光片R、G、B的像素所得到的可见光彩色图像进行校正的校正信号而使用。
图62和图63具有图61所示的色分离滤光片的配置,为说明将仅红外光IR和可见光VL的两种波长分量同时作为像而可分别进行摄像的CCD固体摄像元件的图。其中,图62为透视图(斜视图)。而图63为衬底表面附近的断面结构图。其中采用针对利用电介质叠层膜的CCD固体摄像元件101的适用例子而表示。
在图62所示的CCD固体摄像元件101的结构中,尽管只示出由4像素形成的单位像素矩阵12,但是,实际上在横方向以及纵方向均重复这样的结构。
形成单位像素矩阵12的周期排列的4像素内,在1个像素12IR上没有形成电介质叠层膜1而设置有黑色滤光片14BK,通过该黑色滤光片14BK而仅接受红外光IR。即,在红外光IR的像素12IR上,通过采用作为滤色片14的黑色滤光片14BK,可将可见光VL截止而仅可接受红外光IR。用于对设有该黑色滤光片14BK的可见光彩色图像进行校正的像素12IR也称为黑色校正像素12BK。
另一方面,在另外的3个像素12B、12G、12R上形成电介质叠层膜1,而且在其上设置基色滤光片14R、14G、14B,从而通过基色滤光片14R、14G、14B接受对应于可见光VL内的蓝色B、绿色G、及红色R的三基色。即通过将电介质叠层膜形成于三基色系的彩色滤光片的某个像素的检测部上,具有可有效截断红外光的功能。
另外,在示出衬底表面附近的断面结构图的图63中,示出了仅接受可见光VL的像素。接受红外光IR的像素12IR为没有电介质叠层膜1及黑色滤光片14BK的结构。即,将图31说明的制作工艺流程那样的电介质叠层膜,在采用图16所示结构,采用CVD法,对SiN层和SiO2层依次叠层之后,利用光刻技术和RIE法,在仅接受红外光IR的像素中除去。之后,接着对SiO2层进行叠层并进行平坦化。
如果使用采用这种结构制作的摄像元件,则可看出可根据三基色分量对可见光彩色图像及仅红外光IR的图像同时进行摄像。但是,存在可见光彩色图像由于红外光漏光而产生色再现性降低的问题。为此,进行下述方式的校正。
<第1具体例的校正手段>
图64~图67为说明第1具体例中的红外光分量的校正手段的图。其中,图64表示第1具体例中使用的滤色片14的特性例的图。而图65~图67为说明采用校正计算时使用的系数的设定手段的图。
首先,作为可见光彩色图像摄像用滤色片14,使用以可见光VL(波长λ=380~780nm)的三基色即蓝色分量B(例如波长λ=400~500nm、透过率大致为1而其他大致为零)、绿色分量G(例如波长λ=500~600nm、透过率大致为1而其他大致为零)、红色分量R(例如波长λ=600~700nm、透过率大致为1而其他大致为零)为中心的基色滤光片14R、14G、14B。
透过率“大致为1”指的是理想的状态,该波长区的透过率远远大于其他波长区的透过率即可。一部分上也可以是“不为1的透过率”。另外,透过率“大致为零”同样指的是理想的状态,对该波长区的透过率远远小于其他波长区透过率即可。“接近零的透过率”的一部分也可。
另外,对透过波长区分量即可见光VL区内规定色(基色或补色)的波长区分量最好透过,而对反射波长区分量即红外光IR区是否通过或者说对红外光IR的透过率则无要求。因为红外光IR分量被电介质叠层膜1截止。
作为一个例子,使用图64(A)(实际上和图54相同)中示出的分光灵敏度特性的器件。其为现在普遍使用的滤色片的器件。具有将波长380nm~540nm左右作为蓝色波长区、将波长420nm~620nm左右作为绿色波长区、将波长560nm~780nm作为红色波长区的感度特性。
由该图64可看出,对于绿色G的感度曲线,即使对相比640nm更长波长的光也具有感光度。这正好意味着此时在入射比640nm更长波长的光时色再现性变差的事实。同样,就另外的色(R、B)而言,对红外光区的光也具有感光度,这正好也意味着此时在入射红外光时色再现性变差的事实。
另外,作为用于对相对可见光彩色图像作为校正分量而使用的红外光图像进行摄像的滤色片14,作为一个例子,如图64(B)所示,采用具有主要对可见光VL进行吸收而使红外光IR透过的特征的黑色滤光片14BK,即对红外光IR(波长λ≥780nm)透过率大致为1而对其他光大致为零的器件。因此,像素12IR仅对红外光具有感光度。
透过率“大致为1”指的是理想的状态,对红外光IR波长区的透过率远远大于其他波长区透过率即可。另外,对于透过率“大致为零”同样指的是理想的状态,对该波长区的透过率远远小于其他波长区透过率即可。
这里的黑色滤光片14BK原则上为对可见光和红外光边界即比波长780nm更长波长侧的光透过的滤光片,即主要对380nm~780nm的可见光波长区呈吸收性,而主要对780nm以上的红外光波长区呈透过性的黑色滤光片即可,但如该图64(B)所示,也可以是,对比波长700nm更长波长侧的光透过的滤光片,即主要对380nm~700nm的可见光波长区呈吸收性,而主要对700nm以上的波长区呈透过性的黑色滤光片。
另外,根据基色滤光片14R、14G、14B的分光是敏度曲线,各自最合适的黑色透过光谱是不同的。例如,如图54所示的场合,绿色G的感度曲线对比波长640nm更长波长侧的光具有感度,在比波长640nm更长波长侧的光入射时色再现性变差,所以为了对此也进行校正,作为黑色滤光片14BK,为对比波长640nm更长波长侧的光透过的滤光片,即主要对380nm~640nm的可见光波长区呈吸收性,而主要对640nm以上的波长区呈透过性的黑色滤光片似乎会更确切些。
通过设置配置有这种黑色滤光片14BK的黑色校正像素12BK,可仅将入射至摄像元件的红外光IR作为信号值并利用像素12IR进行测定。而且,可截止通过将该信号值乘以系数得到的值从各三基色或补色的光信号中减去的计算而得到的红外信号(红外分量的信号)。因此,即使在存在红外光的状况下,也可获取色还原好的图像。
具体地,采用这种方式,即用表示红外光图像的红外光信号分量SIR(红外光测定信号强度)对表示可见光彩色图像的各基色信号分量SR、SG、SB进行校正,以排除红外光(第2波长区)的分量的影响,获取用于再现关于可见光分量(第1波长区分量)的可见光彩色图像的经过校正的基色信号SR*、SG*、SB*,即原来可见光波长区中的仅各色信号分量的正确的色信号强度。
至于该校正计算,如下式(5-1)所示,从原来可见光波长区中的各色信号分量中混入红外光漏光信号分量的基色信号分量SR、SG、SB中,通过减去红外光信号分量SIR乘以规定系数αR、αG、αB的校正信号分量,从而得到排除红外光(第2波长区)的漏光分量的影响的经过校正的基色信号SR*、SG*、SB*
与设置了用于降低第2波长区分量的红外光截止滤光片时相比,在没有设置红外光截止滤光片时,因为可见光彩色图像用三基色信号分量变大,故对于同等信号电平,最好进一步如下式(5-2)所示,进一步减去红外光信号分量SIR乘以系数εR、εG、εB和基色信号分量SR、SG、SB的非线性校正信号分量。即,以预先由红外光信号分量SIR乘以规定系数εR、εG、εB得到的值对色信号分量SR、SG、SB进行非线性感度校正,从施加该感度校正的值中,最好减去红外光信号分量SIR乘以系数αR、αG、αB的校正信号分量。
如果考虑负的系数εR、εG、εB的情况,实际上,是通过被第2检测部检测的红外光分量和被第1检测部检测的原来的像素信号的乘积加上乘以负的系数εR、εG、εB的非线性信号分量而进行校正的。
这样,进一步排除红外光(第2波长区)的漏光分量的影响,高精度地获取用于再现关于可见光分量(第1波长区分量)的可见光彩色图像的、原来可见光波长区中的仅各色信号分量的各校正色信号SR**、SG**、SB**。另外,利用该式(5-2)进行的校正无需针对所有三基色信号分量进行,特别地,可仅针对对辉度信号影响度强的绿色信号分量进行校正。
[数学式5]
SR * = SR - &alpha;R &times; SIR SG * = SG - &alpha;G &times; SIR SB * = SB - &alpha;B &times; SIR ( 5 - 1 ) SR * * = SR ( 1 - &epsiv;R &times; SIR ) - &alpha;R &times; SIR SG * * = SG ( 1 - &epsiv;G &times; SIR ) - &alpha;G &times; SIR SB * * = SB ( 1 - &epsiv;G &times; SIR ) - &alpha;B &times; SIR ( 5 - 2 ) - - - ( 5 )
在设定αR、αG、αB时,最要紧的是能够充分控制红外光的漏入分量。这里,红外光的漏入分量还取决于光源中包含的红外光波长区的强度。
例如,图65为说明由可见光检测区中检测的信号强度的光源的影响的图。作为一个例子,这里考虑关于太阳光波长光谱的影响。可见光检测区中被检测的信号强度是,由图54所示感度曲线乘以从图53所示的反射光谱导出的透过光谱而实际得到的图55所示的分光灵敏度曲线,进一步乘以该图65所示的光源波长光谱而得到。
图66和图67示出在组合利用电介质叠层膜1的分光图像传感器11和滤色片14的摄像元件时根据光源影响状况的示意图。
图66(A)示出红外光光谱强度和可见光光谱强度大致相同时的情况,图66(B)示出红外光光谱强度比可见光光谱强度低时的情况。由从图66(A)、(B)比较可看出,含于由配置有规定色滤色片14的摄像元件得到的信号中的红外光分量取决于(成比例)含于光源中的红外光光谱强度。
因此,为了不受含于光源的红外光光谱强度的影响而合理控制红外光漏入分量,往往从配置有规定色滤色片14的摄像元件得到的信号中减去一定量,如图67所示,而且,最好使该减去量按照含于光源的红外光光谱强度而变化(成比例)。通过测量红外光分量,将该测量信息乘以系数得到的值从配置有规定色滤色片14的摄像元件得到的信号中减去,从而可根据在实际摄像环境下的红外光强度以合适量进行校正,校正精度相当好。
另外,如果确定某光源下最合适的系数,则即使之后光源条件发生变化也可使用同一系数,用户无需根据摄像环境进行校正量的调整,使用起来很方便。
这样,通过对配置4种滤色片的各像素的输出进行矩阵计算,可分别单独求得可见光彩色图像和近红外光图像。换言之,在光电二极管等摄像元件的各像素中,通过配设具有各自滤光特性的4种滤色片、对配设4种滤色片的各像素的输出进行矩阵计算,可分别单独且同时获得用于形成基本全然不受近红外光影响的可见光彩色图像的3基色输出及用于形成基本全然不受可见光影响的近红外光图像。
尤其,关于可见光彩色图像,通过利用计算处理校正由于红外光漏光而产生的色还原恶化,可形成暗处感光度高且色再现性良好的摄像。接近红外光的红色信号分量变大的现象及视频红色部分辉度变高现象也可得到缓和,无需采用特别的摄像元件及结构就能够以低成本实现色再现性提高及低照度时感光度提高之间的平衡。另外,通过根据实际具有使用的基色滤光片的特性而设定黑色滤光片14BK的特性,可以解决由于红外光更低波长侧漏光分量产生的色再现性的问题。
另外,在该摄像元件中,因为在一体形成于光电二极管上的电介质叠层膜1的部分中,一部分并未形成电介质叠层膜1,所以,与将具有部分未形成电介质叠层膜1的电介质叠层膜1的各自光学材料配设于摄像元件前面的情形不同,不会引起位置是否合适的问题。
另外,尽管除了利用R、G、B基色滤光片像素之外还利用黑色滤光片像素(黑色校正像素12BK)而获得红外光信号,但该黑色校正像素12BK,对于对可见光彩色图像进行校正这一点而言,未必需要对红外光图像的摄像进行充分配置,不限于如图61所示的配置例那样,将校正用像素12IR(第2检测部)相对用于普通图像的摄像的像素12R、12G、12B(第1检测部)成1比1地配设,成任意比例也可。
例如,只要在摄像元件的角(隅)方向,在哪个方向装入都可以。这样,可以成为将校正用像素12IR(第2检测部)相对用于摄像普通图像的多个像素(第1检测部)配置成1个的形态,能够以对用于摄像普通图像的像素(第1检测部)的配置形态基本不施加影响的方式设置校正用像素(第2检测部)。其中,因为此时使用采用1个校正用像素获取的校正信号而对摄像普通图像的多个像素(第1检测部)的像素信号进行校正,所以,大致不能应对校正用信号(本例中为红外光信号)的面内模糊问题。
为了解决该问题,在整体像素排列中,在对普通图像进行摄像的像素(第1检测部)之间,以一定数量比而呈周期性地装入校正用像素(第2检测部)。在被拍照体表面的红外光的反射率根据该被拍照体的部分而变化的面内模糊的场合,通过呈周期地装入整体的像素排列,可合理进行校正。将校正用像素(第2检测部)呈周期地装入的最佳形态为,将校正用像素(第2检测部)相对用于摄像普通图像的像素(第1检测部)成1比1配置的形态。
这样,通过组合黑色校正像素12BK和电介质叠层膜1,可将加载于可见光图像信号中的红外光信号剔除,即使不使用硝子制的红外光截止滤光片,也可得到色再现性良好的可见光彩色图像。因为没有使用硝子制的红外光截止滤光片,故有成本低的好处,并能够对可见光透过率高而实现高感度化。对于利用电介质叠层膜1时红外光漏光产生的色还原恶化问题,因为通过使用根据黑色校正像素12BK测量的红外光分量而进行计算处理的校正,所以可在暗处进行感光度高且色还原好的摄像,另外,用于校正的结构简单而校正精度良好。
另外,因为使用黑色校正像素12BK作为校正像素,所以与通过从可见光至红外光(尤其近红外光)的全波长分量的结构相比(参照后述的利用白色校正像素的第2具体例),难以达到信号饱和,动态范围变广。
另外,在上例中,作为可见光彩色图像摄像用滤色片14,尽管采用基色滤光片14R、14G、14B,但也可采用补色滤光片Cy、Mg、Ye。此时,如图61(B)所示,也可以配置分量别用黄色滤光片Ye替换基色滤光片14R、用品红滤光片Mg替换基色滤光片14G、用蓝绿滤光片Cy替换基色滤光片14B。而且,成对角出现2个的品红滤光片Mg的其中一个配置作为校正像素的黑色滤光片BK。
除了配设黑色滤光片的像素之外,在像素12Cy、12Mg、12Ye之上形成电介质叠层膜1,而且于其上,设置有补色滤光片14Cy、14Mg、14Ye,通过补色滤光片14Cy、14Mg、14Ye,接受可见光VL内对应的蓝绿Cy、品红Mg及黄色Ye的各色光。即,通过将电介质叠层膜形成于补色系的彩色滤光片的某像素的检测部上,使之具有可有效截止红外光的功能。
另外,不限于仅Cy、Mg、Ye的补色滤光片的组合,即使对于基色滤光片的1个即绿色滤光片或白色滤光片W与补色滤光片的组合,也可设置用于形成校正像素的黑色滤光片BK的像素。例如,如图61(C)所示,对于采用组合Cy、Mg的2个补色滤光片和G的基色滤光片的场积蓄频率内置肋板方式用器件,也可以在4像素内将具有2个基色滤光片G内的其中一个替换成作为校正像素的黑色滤光片BK。
在采用这些补色滤光片的校正计算时,也可以如下式(6)所示,从在原来的可见光波长区中的各色信号分量中混入红外光漏光信号分量的色信号分量SCy、SMg、SYe、SG中,减去红外光信号分量SIR乘以规定系数αCy、αMg、αYe、αG的校正信号分量。这样,可排除红外光(第2波长区)漏光分量的影响,获取用于关于可见光分量(第1波长区分量)的可见光彩色图像的再现的、仅原来可见光波长区中的各色信号分量的各校正色信号SCy*、SMg*、SYe*、SG*
[数6]
SCy * = SCy - &alpha;Cy &times; SIR SMg * = SMg - &alpha;Mg &times; SIR SYe * = SYe - &alpha;Ye &times; SIR SG * = SG - &alpha;G &times; SIR ( 6 - 1 ) SCy * * = SCy ( 1 - &epsiv;Cy &times; SIR ) - &alpha;Cy &times; SIR SMg * * = SMg ( 1 - &epsiv;Ye &times; SIR ) - &alpha;Mg &times; SIR SYe * * = SYe ( 1 - &epsiv;Ye &times; SIR ) - &alpha;Ye &times; SIR ( 6 - 2 ) - - - ( 6 )
<上述第1具体例中的其他的传感器结构的适用例>
在上述第1具体例中,对于用在利用电介质叠层膜的CCD固体摄像元件101中的事例,为了设置排除可见光而仅接受并检测红外光的检测区,尽管将2个绿(G)中的其中一个置换成黑色滤光片BK,但同样,对于利用衍射光栅501的分光图像传感器511或利用根据半导体深度方向中的波长而吸收系数不同的固体摄像元件611,也设置排除可见光而仅接受并检测红外光的检测区,可在使用从该检测区得到的红外光信号而得到红外光图像的同时,还可将该红外光信号相对从配置彩色图像摄像用滤色片(例如基色滤光片R、G、B)的像素得到的可见光彩色图像进行校正用。
例如,在用于利用衍射光栅501的分光图像传感器511时,可以呈所谓拜耳(Bayer)排列的基本形的彩色滤光片排列。此时,针对面方向即呈二维状面方向,在配置彩色图像摄像用基色滤光片12R、12G、12B的部分中,形成用于检测各色的可见光图像摄像区,在其周边,形成检测红外光图像摄像的红外光图像摄像区。
另外,在用于利用半导体深度方向中的波长而吸收系数不同的固体摄像元件611时,也可以呈所谓拜耳(Bayer)排列的基本形的彩色滤光片排列。此时,针对深度方向即三维状深度方向,在配置彩色图像摄像用基色滤光片12R、12G、12B的部分的较浅区中,形成用于检测各色的可见光图像摄像区,在比其更深的区域,形成检测红外光图像摄像的红外光图像摄像区。
无论在哪种场合,关于基色滤光片12R、12G、12B的光谱感度特性,优选使用在各基色波长区和红外光区中透过率大致为1,在其它区域大致为零的器件。为了防止从用作为对红外光图像及可见光彩色图像的校正分量的红外光图像摄像区中得到的信号电平的降低,需采取至少衰减达半导体深度区的红外光分量的措施。
这样,无论哪个场合,可独立于可见光彩色图像而单独得到大致不受可见光VL影响的红外光图像。另外,通过使用半导体深区域中得到的红外光图像分量对半导体浅区域中得到的可见光彩色图像进行校正计算,通过排除可见光像漏入红外光分量的影响,可使色再现性提高。
无论哪个场合,和利用电介质叠层膜的场合不同,由各自传感器结构特征可看出,用于可见光彩色图像获取的检测区和用于获取红外光图像的检测区,因为采用在半导体面方向或深度方向分离,通过设置用于获取可见光彩色图像的滤色片14,也可自动地获取红外光分量的结构,所以在形成红外光图像摄像区之时,也可不主动配设校正用黑色滤光片,可继续利用呈所谓拜耳(Bayer)排列的基本形的彩色滤光片排列。因此,如后述所述,不会因原来G像素替换成黑色校正像素而导致可见光彩色图像及红外光图像分辨率降低。
<色分离滤光片排列;第2例>
图68表示通常可根据校正计算分别独立求出可见光彩色图像和红外光图像的色分离滤光片配置的第2具体例(以下称为第2具体例)的图。该第2具体例的特点在于,设置接受·检测红外光甚至和可见光全波长分量的检测区,作为对可见光彩色图像进行校正用的检测区。
如图68(A)所示,利用将各色滤光片呈所谓的拜耳排列的基本形的彩色滤光片,首先,呈正方网格状排列的单位像素,以对应红(R)、绿(G)、蓝(B)三色彩色滤光片的形式,以色分离滤光片的往返单位按照2像素×2像素排列的方式而构成像素部。另外,为了设置不但接受检测红外光而且接受检测可见光全波长分量的检测部(检测区),将2个绿(G)滤光片中其中一个换成白色滤光片W。即,将用于可见光彩色图像的基色滤光片R、G、B的3个波长区(色分量)用滤光片,以及与基色滤光片R、G、B分量不同的所述的红外光用白色滤光片W这样的具有各自不同滤光特性的4种滤色片,规则地排列。
另外,配有白色滤光片W的白色校正像素使从可见光至红外光(尤其近红外光)全波长分量透过,就这一点而言,实际上,可采用不设彩色滤光片的结构。
例如,在偶数行奇数列,排列用于感知第1彩色(红色R)的第1彩色像素,在奇数行奇数列,排列用于感知第2彩色(绿色G)的第2彩色像素,在奇数行偶数列,排列用于感知第3彩色(蓝色B)的第3彩色像素,在偶数行偶数列,排列用于感知红外光IR的第4彩色像素(这里为白色像素),对每一行,不同的G/B或R/W呈方格花纹状排列。这种拜耳排列的基本形的彩色滤光片的色排列在行方向及列方向的任何一个方向,G/B或R/W该2色每2个重复一次。
采用通过基色滤光片R、G、B而用对应的检测部进行检测的方式,可对可见光彩色图像进行摄像,同时,采用通过白色滤光片W而用对应的检测部进行检测的方式,可对红外光图像或红外光和可见光混合图像以独立于可见光彩色图像的形式而同时进行摄像。例如通过继续利用从接受红外光IR和可见光VL混合分量光的像素12IR来的像素数据,可得到红外光IR和可见光VL混合分量的像并可提高感光度。尽管可同时得到红外光IR和可见光VL混合分量的像以及可见光VL的像,但通过得到两者的差分,可得到仅红外光IR的像。另外,从配置该白色滤光片W的像素所得到的混合图像信号还可作为,对从配置基色滤光片R、G、B的像素所得到的可见光彩色图像进行校正的校正信号而使用。
图69具有图68所示的色分离滤光片的配置,为说明将仅红外光IR和可见光VL的两种波长分量同时作为像而可分别进行摄像的CCD固体摄像元件的图。其中,图69为示出结构例的透视图(斜视图)。其中采用针对利用电介质叠层膜的CCD固体摄像元件101的适用例子而表示。衬底表面附近的断面结构图和图63相同。
在图69所示的CCD固体摄像元件101的结构中,尽管只示出由4像素形成的单位像素矩阵12,但是,实际上在横方向以及纵方向均重复这样的结构。
在形成单位像素矩阵12的周期排列的4像素内,在1个像素12IR上设有形成电介质叠层膜1,也没有设置有滤色光片14,不通过滤色光片14而接受红外光IR。此时,在像素12IR上,接受红外光IR和可见光VL的混合分量。对未设有该滤色光片14的像素12IR也称为白色校正像素12W或全域透过像素。
这样,对于未形成电介质叠层膜1的像素12IR,红外光IR和可见光VL都同时对信号作出贡献,而对于白色校正像素12W,则没有装入滤色片14。因此,实际上,可将红外光用像素12IR兼用作红外光IR用及可见光VL用像素,而不仅仅是红外光IR用象素。
另一方面,在另外的3个像素12B、12G、12R上形成电介质叠层膜1,而且在其上设置基色滤光片14R、14G、14B,从而通过基色滤光片14R、14G、14B接受对应于可见光VL内的蓝色B、绿色G、及红色R的三基色。即通过将电介质叠层膜形成于三基色系的彩色滤光片的某个像素的检测部上,具有可将红外光有效的截断的功能。作为第2具体例使用的基色滤光片14R、14G、14B,可使用与图64(A)所示的第1具体例同样的滤光片。
如果使用采用这种结构制作的摄像元件,则可看出可根据三基色分量对可见光彩色图像及仅仅红外光IR的像或红外光IR和可见光VL混合像同时进行摄像。但是,存在可见光彩色图像由于红外光漏光而产生色再现性降低的问题。为此,进行下述方式的校正。
<第2具体例的校正手段;第1例>
图70为说明第2具体例中的红外光分量的校正手段的图。通过设置未配置滤色片14的白色校正像素12W,从而可利用像素12IR测定表示入射至摄像元件的红外光IR和可见光的合成分量的信号值SW。
另外,在图70中,尽管示出的是白色滤光片的透过特性在可见光带域和红外光带域相等,但这并非必须的,红外光带域的透过强度比可见光带域的透过强度低些也可。也可以是,具有可使可见光带域的全波长分量以足够强度透过的同时,在红外光带域中,与R、G、B基色滤光片透过强度相比能够以足够强度透过的特性(参照后述的模拟MLT滤光片)。
而且,通过将从该白色校正像素12W得到的红外光分量乘以系数的值,从各三基色或补色的光信号中减去,可截止加上去的红外信号(红外分量的信号)。因此即使在存在红外光的状态下也可获取色再现性好的图像。
但是,和黑色校正像素的情形不同,从白色校正像素12W得到的信号值SW中,因为不但含有红外光分量IR,而且含有可见光分量VL,故有必要对排除可见光分量VL的信号强度SVL的红外光信号强度SIR进行估计。
具体地,采用这种方式,即用表示红外光图像的红外光信号分量SIR(红外光测定信号强度)对表示可见光彩色图像的各基色信号分量SR、SG、SB进行校正,以排除红外光(第2波长区)的分量的影响,获取用于再现关于可见光分量(第1波长区分量)的可见光彩色图像的经过校正的基色信号SR*、SG*、SB*,即原来可见光波长区中的仅各色信号分量的正确的色信号强度。
其中,至于该第2具体例的校正手段的第1例的校正计算,如下式(5-1)所示,从原来可见光波长区中的各色信号分量中混入红外光漏光信号分量的基色信号分量SR、SG、SB中,通过减去所估值的红外光信号分量SIR乘以规定系数αR、αG、αB的校正信号分量,从而得到排除红外光(第2波长区)的漏光分量的影响的经过校正的基色信号SR*、SG*、SB*。当然,也适用上述式(5-2)。
其中,从图70可看出,在白色校正像素12W所取得的信号值SW内,红外光信号分量SIR主要表示红外光分量IR的信号强度。因此,在白色校正像素12W所取得的可见光分量的信号值SVL之间,下式(7)成立。对于其中的红外光分量IR,因为从图54所示的色分离滤光片的分光灵敏度曲线可看出,G分量的640nm附近更长波长侧的光将要遮断,所以主要指的是640nm更长波长的光。通常,红外光的定义指的是其为肉眼不可见的光,比780nm更长波长的光,这里也是如此定义。
[数7]
SW=SVL+SIR    ...(7)
另一方面,红外光IR或可见光VL的光量在被拍照体侧和摄像侧存在比例关系。即在被拍照体侧如果增加,则在摄像侧也按此比例增加。因此,形成如图64的关系。
例如,透过白色滤光片(未配设滤色片14时也含有)的可见光VL的光量可以认为和被基色滤光片14R、14G、14B透过的可见光光量乘以各系数得到的值的和相等,所以,被白色滤光片透过的可见光分量VL的信号强度SVL与被基色滤光片14R、14G、14B透过的可见光分量的校正后基色信号强度SR*、SG*、SB*乘以各系数βR、βG、βB得到的值的和大体相等,并可采用下式(8)表示。
[数8]
SVL=βR×SR*+βG×SG*+βB×SB*    ...(8)
因此,透过白色滤光片的红外光分量的信号强度SIR可用下式(9-1)表示。进一步,如果将式(5-1)代入式(9-1),则可表示成式(9-2)。如果对其进一步针对红外光分量IR进行并项,则可表示成式(9-3)。
[数9]
SIR = SW - SVL = SW - ( &beta;R &times; SR * + &beta;G &times; SG * + &beta;B &times; SB * ) . . . ( 9 - 1 ) SIR = SW - { &beta;R &times; ( SR - &alpha;R &times; RSIR ) + &beta;G &times; ( SG - &alpha;G &times; SIR ) + &beta;B &times; ( SB - &alpha;B &times; SIR ) } . . . ( 9 - 2 ) SIR = SW - ( &beta;R &times; SR + &beta;G &times; SG + &beta;B &times; SB 1 - ( &alpha;R &times; &beta;R + &alpha;G &times; &beta;G + &alpha;B &times; &beta;B ) . . . ( 9 - 3 ) - - - ( 9 )
其中,注意由白色校正像素得到的信号分量SW、由基色滤光片像素得到的信号分量SR、SG、SB,如果将各自系数取为γW、γR、γG、γB,则系数γW、γR、γG、γB可由下式(10-1)~(10-4)表示,通过使用该系数γW、γR、γG、γB,可用(9-3)替换成式(10-5)。
即,使用由基色滤光片像素得到的信号分量SR、SG、SB,可估计由白色校正像素12W得到的信号值SW中所含的仅红外光分量IR的信号强度SIR。
即,通过采用由基色滤光片像素得到的信号分量SR、SG、SB,对作为第2检测部的白色校正像素12W得到的信号值SW进行校正,图像信号处理部340可估计排除作为第1波长区分量的可见光分量(蓝色分量~红色分量)之后的作为第2波长区分量的仅红外光分量IR的信号强度SIR。
[数10]
&gamma;W = 1 1 - ( &alpha;R &times; &beta;R + &alpha;G &times; &beta;G + &alpha;B &times; &beta;B ) . . . ( 10 - 1 ) &gamma;R = &beta;R 1 - ( &alpha;R &times; &beta;R + &alpha;G &times; &beta;G + &alpha;B &times; &beta;B ) . . . ( 10 - 2 ) &gamma;G = &beta;G 1 - ( &alpha;R &times; &beta;R + &alpha;G &times; &beta;G + &alpha;B &times; &beta;B ) . . . ( 10 - 3 ) &gamma;B = &beta;B 1 - ( &alpha;R &times; &beta;R + &alpha;G &times; &beta;G + &alpha;B &times; &beta;B ) . . . ( 10 - 4 ) SIR = &gamma;W &times; SW - ( &gamma;R &times; SR + &gamma;G &times; SG + &gamma;B &times; SB . . . ( 10 - 5 ) - - - ( 10 )
在设系数γR、γG、γB时,具有系数αR、αG、αB和系数βR、βG、βB之间的关系。对于系数αR、αG、αB,可与第1具体例时相同。对于系数βR、βG、βB,根据与透过白色滤光片(未配滤色片14时也含有)的可见光VL的光量和基色滤光片14R、14G、14B透过的可见光量乘以各系数βR、βG、βB的值的和的对应关系设定。例如,各系数α、β、γ通过采用牛顿法而以误差减小的方式采用算术计算而求得。
通常,如图70所示,将基色滤光片14R、14G、14B的可见光区中的透过特性取为大致相同形状时,可以为βR∶βG∶βB=3∶6∶1。
这样,通过对配置4种滤色片的各像素的输出,具体地为对配置3种基色滤光片的像素和白色滤光片14W的(实际上未配滤色片)像素的各输出,进行矩阵计算,可分别单独求得可见光彩色图像和近红外光图像。换言之,在光电二极管等摄像元件的各像素中,通过配设具有各自滤光特性的4种滤色片、对配设4种滤色片的各像素的输出进行矩阵计算,可分别单独且同时获得用于形成基本全然不受近红外光影响的可见光彩色图像的3基色输出、以及,通过红外光和可见光混合的合成图像或由白色校正像素12W得到的混合分量和可见光分量的合成处理(具体地为差分处理),获得基本全然不受可见光影响的仅红外光图像。
例如,通过持续利用来自接受红外光IR和可见光VL的混合分量的像素12IR的像素数据,可得到红外光IR和可见光VL混合分量的图像,可提高感光度。另外,尽管在得到红外光IR和可见光VL的混合分量的像的同时,得到可见光VL的像,但通过取两者的差,可得到仅红外光IR的像。
另外,在该摄像元件中,因为在一体形成于光电二极管上的电介质叠层膜1的部分中,一部分并未形成电介质叠层膜1,所以,与将具有部分未形成电介质叠层膜1的电介质叠层膜1的各自光学材料配设于摄像元件前面的情形不同,不会引起位置是否合适的问题。
尤其,关于可见光彩色图像,通过进行由于红外光漏光而产生的色再现恶化的计算处理的校正,可形成暗处感光度高且色再现性良好的摄像。红外光中近红色信号分量变大的现象及视频红色部分辉度变高现象也可得到缓和,无需采用特别的摄像元件及结构就能够以低成本实现色再现性提高及低照度时感光度提高之间的平衡。
例如,在白色校正像素12W得到的信号SW中,不但含有红外光分量,而且含有可见光分量,所以,通过使用该可见光分量的信号SVL,对基于配置有可见光彩色图像摄像用基色滤光片14R、14G、14B的像素得到的辉度信号施加校正(实际上进行加法运算处理),对色再现性而言可独立化,能够实现可见光彩色图像的高感光度。
除了利用如图68所示的R、G、B基色滤光片像素之外,还利用白色滤光片像素(白色校正像素12W)而获得红外光信号,但对于对可见光彩色图像进行校正这一点而言,该白色校正像素12W未必需要对红外光图像的摄像进行充分配置,不限于如图68所示的配置例,放置于任何地方均可。例如,在元件的角方向哪个方向装入都可以,或者整个像素排列呈周期性地装入也可。尤其被拍照体表面的红外光的反射率在根据该被拍照体部分变化而变化场合中,通过呈周期地装入整体的像素排列可合理进行校正。
这样,通过组合白色校正像素12W和电介质叠层膜1,可将加载于可见光图像信号中的红外光信号剔除,即使不使用硝子制的红外光截止滤光片,也可得到色再现性良好的可见光彩色图像。因为没有使用硝子制的红外光截止滤光片,故有成本低的好处,并能够对可见光透过率高而实现高感度化。
对于利用电介质叠层膜1时红外光漏光产生的色还原恶化问题,因为从含由白色校正像素12W测量的红外光分量的信号中估计红外光分量,并通过使用该估计的红外光分量进行计算处理的校正,所以可在暗处进行感光度高且色还原好的摄像,另外,因用于校正的结构简单(但仅红外光分量估计一项较第1具体例复杂)、且估计的红外光分量为实际测量的红外光分量,故校正精度良好。
因此,因为白色校正像素12W在从可见光VL至红外光IR的广波长区中具有感光度,所以与可见光彩色图像摄像用像素(这里为配有基色滤光片的基色像素)相比,信号易于饱和,尤其对于明亮环境下的摄像来说,该饱和现象成为问题。具体地,在明亮环境下,将不能够得到合适的红外光图像,而对可见光彩色图像的校正也会变得不合适。
为了解决该饱和问题,例如,对于明亮环境下的摄像,可使用利用快门功能(并非限于机械快门也含电子快门)的曝光控制,从而可高速进行摄像。例如,对摄像元件以短周期进行曝光,可从该摄像元件(具体地说为检测部)读出像素信号,并将其送至摄像信号处理部330的预处理部332。
此时,通过以例如高于60桢/秒的速率进行曝光及信号读出可提高对饱和问题的效果。或者可单纯以短于0.01667秒的时间(积蓄时间)进行信号读出也可以。此时,例如,采用溢出手段将电荷信号排出衬底侧从而以有效短的时间读出电荷的积蓄也可以。
进一步优选地,通过以例如高于240桢/秒的速率进行曝光及信号读取,可进一步提高对饱和问题的效果。或者也可以单纯以短于4.16毫秒的时间(积蓄时间)进行信号读取。
另外,为防饱和而在短时间(积蓄时间)内读出电荷的目标像素可仅作为为白色校正像素12W,也可作为含可见光彩色图像摄像用其他像素(这里为配有基色滤光片的基色像素)的全像素。
另外,通过对在进一步短的曝光时间内读取的信号进行2次以上的累算,从而将暗处弱信号转换为强信号,提高S/N比也可。例如,如果这样做,即便在暗的环境下进行摄像,或明亮环境下进行摄像均可得到合适感光度及高S/N比,动态范围变广。总之,通过高速摄像,白色校正像素12W难以达到饱和,同时,通过对信号的累算,动态范围变广。
另外,在上例中,作为可见光彩色图像摄像用滤色片14,尽管采用基色滤光片14R、14G、14B,但也可采用补色滤光片Cy、Mg、Ye。此时,如图68(B)所示,也可以配置分量别用黄色滤光片Ye替换基色滤光片14R、用品红滤光片Mg替换基色滤光片14G、用蓝绿滤光片Cy替换基色滤光片14B。而且,成对角出现2个的品红滤光片Mg的其中一个配置作为校正像素的白色滤光片W。
除了配设白色滤光片的像素之外,在像素12Cy、12Mg、12Ye之上形成电介质叠层膜1,而且于其上,设置有补色滤光片14Cy、14Mg、14Ye,通过补色滤光片14Cy、14Mg、14Ye,接受可见光VL内对应的蓝绿Cy、品红Mg及黄色Ye的各色光。即,通过将电介质叠层膜形成于补色系的彩色滤光片的某像素的检测部上,使之具有可有效截止红外光的功能。
另外,不限于仅Cy、Mg、Ye的补色滤光片的组合,即使组合基色滤光片的1个即绿色滤光片G和补色滤光片,也可设置用于形成校正像素的白色滤光片W的像素。例如,如图68(C)所示,对于采用组合Cy、Mg的2个补色滤光片和G的基色滤光片的场积蓄频率内置肋板方式用器件,也可以在4像素内将具有2个基色滤光片G内的其中一个替换成作为校正像素的白色滤光片W。
在采用这些补色滤光片时的校正计算中,也可采用式(6),可根据式(10-5)推算,此时的红外光信号分量SIR可如下式(11)所示进行替换。在式(11)中,与实际使用的滤色片对应地采用Cy、Mg、Ye、G的各分量,但未必需要针对全色分量,例如,如果为图68(B)所示的滤色片配置的话,将G分量取为零,如果为图68(C)所示的滤色片配置的话将Mg分量取为零。
[数11]
SIR=γW×SW-(γCy×SCy+γMg×SMg+γYe×Sye+γG×SG...(11)
<第2具体例的校正手段;第2例>
如上所述,作为采周白色校正像素12W时的校正手段,尽管是就根据仅为线性项的上述式(5-1)的第1例的校正计算进行的说明,但是,通过添加非线性项的校正计算也可进一步减小色差。尽管考虑非线性项之处和上述式(5-2)共通,但对概要上来说是不同的。对于此点,下面将详细说明。
在对第2具体例的校正手段的第2例进行校正计算时,也可以如下式(12-1)所示,对上述式(5-1)得到的分量,加上含从基色信号分量S(SR、SG、SB)中扣去系数ηR、ηG、ηB的分量和红外光信号分量SIR的乘积乘以系数ωR、ωG、ωB的2次信号分量(S×IR)的非线性校正信号分量。然而,如果各色分量彼此系数乘积ωR×ηR、ωG×ηG、ωB×ηB足够小,则可忽略该系数积分量,也可适用下式(12-2)。另外,红外光信号分量SIR和上述式(10-5)示出的相同。
[数12]
SR * = SR - &alpha;R &times; SIR + &omega;R &times; ( SR - &eta;R ) &times; SIR SG * = SG - &alpha;G &times; SIR + &omega;G &times; ( SG - &eta;G ) &times; SIR SB * = SB - &alpha;B &times; SIR + &omega;B &times; ( SB - &eta;B ) &times; SIR ( 12 - 1 ) SR * = SR - &alpha;R &times; SIR + &omega;R &times; SR &times; SIR SG * = SG - &alpha;G &times; SIR + &omega;G &times; SG &times; SIR SB * = SB - &alpha;B &times; SIR + &omega;B &times; SB &times; SIR ( 12 - 2 ) - - - ( 12 )
在采用非线性项进行校正这一点上,尽管和上述式(5-2)类似,但式(5-2)的目的是,在未设红外光截止滤光片时,校正可见光彩色图像用三基色信号分量变大的部分,以得到同等信号电平,而式(12-1)及式(12-2)则是以减小色差以得到精度好的正确的色信息为目的,这一点是不同的。
式(12)尽管为采用基色滤光片14R、14G、14B时的概要例,但同样,也可适用于采用补色滤光片Cy、Mg、Ye的场合或进一步可适用于将绿色滤光片G或白色滤光片W组合为补色滤光片情况。
在采用这些补色滤色片时的校正计算情形,替换上述式(12),作为一个例子,可采用下式(13)。关于此点,认为相对上述式(5)与适用于上述式(6)情形相同。
[数13]
SCy * = SCy - &alpha;Cy &times; SIR + &omega;Cy &times; ( SCy - &eta;Cy ) &times; SIR SMg * = SMg - &alpha;Mg &times; SIR + &omega;Mg &times; ( SMg - &eta;Mg ) &times; SIR SYe * = SYe - &alpha;Ye &times; SIR + &omega;Ye &times; ( SYe - &eta;Ye ) &times; SIR SG * = SG - &alpha;G &times; SIR + &omega;G &times; ( SG - &eta;G ) &times; SIR ( 13 - 1 ) SCy * = SCy - &alpha;Cy &times; SIR + &omega;Cy &times; SCy &times; SIR SMg * = SMg - &alpha;Mg &times; SIR + &omega;Mg &times; SMg &times; SIR SYe * = SYe - &alpha;Ye &times; SIR + &omega;Ye &times; SYe &times; SIR SG * = SG - &alpha;G &times; SIR + &omega;G &times; SG &times; SIR ( 13 - 2 ) - - - ( 13 )
<第2具体例的校正手段;第3例>
图71及图72为说明第2具体例的第3例的校正手段的图。在式(12)及(13)中,为了减小色差,尽管加上含红外光IR和原来信号分量S的积(S×IR)乘以规定系数得到的2次信号分量的非线性校正信号分量,但也可利用色信号S和计数η的差(S-η)的2次以上的高次式的校正分量。
例如,也可以如下式(14-1)所示,对上述式(5-1)得到的分量,加上含从基色信号分量SR、SG、SB中扣去系数ηR、ηG、ηB的分量的平方和红外光信号分量SIR的乘积乘以系数ωR、ωG、ωB的作为整体的3次信号分量(S^2×IR)的非线性校正信号分量。
另外,也可以是能够加上非线性校正信号分量的情况,而不限于差(S-η)和红外光信号分量SIR的积的多项式,适用于利用下式(14-2)所示的绝对值式或下式(14-3)所示的1次项式等条件式,乘以红外光分量SIR而得到非线性信号分量的校正式也可以。
[数14]
例如,对于蓝色(B)分量,将采用式(5-1)及式(6-1)所示的线性式的校正计算之后的色分量的辉度值,与其色分量的纯值(采用IR截止滤光片时的B分量的辉度值)的差作为纵轴,进一步将横轴上进行校正计算后的辉度值作为横轴,绘制的图表在图71示出。该图表的情况显示差相对于校正后的辉度值呈上凸的依赖性。作为示出该特性的曲线,从中可以得到,如特性例1所示类似2次多项式的形态或如特性例2所示值大于及小于ηB时依赖性发生变化的形态。
因此,对于上述依赖性,进一步如图72所示,如果加入下凸状抛物线形的依赖性的话,则可将差分取为一个定值。此时,因为变成定差分的形态故色再现性成为问题,但通过进一步进行白平衡,可抵消整体的差分。这样,对差分的变化点(相当系数η),通过进行匹配计算式的计算,可减小校正计算的误差。
作为显示下凸依赖性的的式子,尽管采用如上述式(14-1)所示的差(S-η)的2次式或通常的非线性式对之进行校正,但未必限于多次式。例如,如式(14-2)或(14-3)所示,采用值比ηB大些或小些时依赖性变化的式子也可得到相同的效果。
<色分离滤光片排列;第3例>
图73和图74表示通常可根据校正计算对可见光彩色图像和红外光图像分别单独计算的色分离滤光片配置的第3具体例(以下称为第3具体例)的图。该第3具体例的特点在于,设置用于接受并检测红外光及可见光中某特定波长分量的光的检测区,作为对可见光彩色图像进行校正用的检测区。
作为一个例子,将图69所示的第2具体例结构中的白色校正像素12W替换成配置有绿色滤光片14GIR的像素。此时,在像素12IR中,可以接受与红外光IR和可见光VL内的绿色的混合分量的光。该配有绿色滤光片14GIR的像素12IR称为绿色校正像素12GIR。配有检测可见光的绿色滤光片14G的像素12G中尽管无需对红外光区具有感光度,但是值得注意的是,绿色校正像素12GIR中相对红外光区是需要具有感光度的。
此时,通过经基色滤光片R、G、B而采用对应的检测部检测,不但可以进行可见光彩色图像的摄像,而且还可通过经校正用绿色滤光片G而采用对应的检测部检测,单独且同时于可见光彩色图像,对红外光图像或红外光和绿色光混合图像进行摄像。
例如,通过继续利用从接受红外光IR和绿色光的混合分量光的像素12IR来的像素数据,可得到红外光IR和绿色光的混合分量的像并可提高感光度。另外,尽管可同时得到红外光IR和绿色光的混合分量的像以及可见光VL的像,但通过得到与可见光VL的像中的绿色分量的差分,可得到仅红外光IR的像。另外,从配置该校正用的绿色滤光片G的像素所得到的混合图像信号还可作为,对从配置基色滤光片R、G、B的像素所得到的可见光彩色图像进行校正的校正信号而使用。
在进行校正计算处理时,和第1及第2具体例一样,式(5-1)或式(6)可继续适用。另外,在估计来自于信号SGIR的红外光分量的信号SIR时,用绿色校正像素12GIR得到的信号SGIR替换第2具体例中的信号SW,可见光分量的信号SVL仅就绿色分量用也可以,用式(15)替换式(10-5)也可。
[数15]
SIR=γGIR×SGIR-γG×SG    ...(15)
在从绿色校正像素12GIR得到的信号SGIR中,因为不但含有红外光分量而且还含有绿色光分量,所以,通过使用该绿色光分量对从配有可见光彩色图像摄像用基色滤光片14R、14G、14B的像素得到的信号进行校正(实际上进行加法计算处理),也可实现可见光彩色图像高感光度化及高分辨率化。
这一点和在第2具体例中使用白色校正像素12W时的情况也相同,通过使用由白色校正像素12W检测的可见光分量(R、G、B),对从配有可见光彩色图像摄像用基色滤光片14R、14G、14B的像素得到的信号进行校正(实际上进行加法计算处理),也可实现可见光彩色图像高感光度化及高分辨率化。
另外,在第3具体例中,作为可见光彩色图像摄像用滤色片14,尽管采用基色滤光片14R、14G、14B,但也可采用补色滤光片Cy、Mg、Ye或与基色滤光片G的组合。
另外,对于第2具体例及第3具体例的结构,原则上,通过设置白色校正像素12W或绿色校正像素12GIR,和第1具体例的变形例一样,也适用利用衍射光栅501的分光图像传感器511或利用在半导体深度方向根据波长而吸收系数不同的固体摄像元件611。
但是,由各自传感器结构特征可知,用于获取可见光彩色图像的检测区和用于获取红外光图像的检测区在半导体的面方向或深度方向分离,设置用于获取可见光彩色图像的滤色片14,所以也可以自动地在红外光图像的检测区获取红外光分量的结构,所以,此时不必主动设置配设有校正用白色滤光片或绿色滤光片的像素。
然而,无论第1~第3具体例的哪一个,因为均可将配设校正用滤色片的像素用作为检测红外光的像素,故不但可实现红外光光通讯及距离测定等高功能化,而且还可同时检测出可见光和红外光并将其图像化。因此,采用该图像传感器,可接收肉眼可见的可见光图像的像,尤其可同时接收对应于准确色合成(色再现性好的)的彩色图像,肉眼不可见的红外光的像信息。因此,作为暗场照相机等新信息系统的基本器件其应用很广。
例如,通过事先准备红外线发光点并对其进行追迹,可检测出存在于可见光彩色图像的像中的红外光的发光点位置。而且在没有可见光例如夜间的场合,通过照射红外光进行摄像也可得到清晰的红外光图像,也可用作为防犯用图像传感器。
<色分离滤光片的其他的配置例>
图75~图81是说明在利用电介质叠层膜1的分光图像传感器11中,考虑到在设置对可见光彩色图像进行校正用像素时分辨率降低的像素排列的图形。
就像素排列而言,在采用图61及图68所示配列结构时,单纯地在现有RGB基色滤光片或CyMgYe补色滤光片(或基色滤光片G)的可见光像素基础上追加红外光(或红外光和可见光的混合)检测用像素。
例如,如果决定将原来可见光彩色图像摄像用的绿色像素G或品红色像素Mg,替换成黑色校正像素或白色校正像素或绿色校正像素或品红色校正像素,对于可见光彩色图像及红外光图像的任何一种图像,都存在导致分辨率降低的可能性。例如,如果将现有RGB拜耳排列的G的1个像素置换成红外像素,则分辨率降低。然而,通过设计校正像素及波长分量被赋予高分辨率的像素(例如绿色像素G)的配置形态,可解决分辨率降低的问题。
此时重要的是,和现有技术相同,在采用将各色滤光片排列成马赛克状的色分离滤光片结构时,配置成,红外光(或红外和可见光的混合)的像素具有一定网格间隔而呈马赛克状,同时,可见光基色系RGB或补色系CyMgYe像素内的一个像素具有一定网格间隔而呈马赛克状。
这里,“呈马赛克状”指的是,对于某色像素,它们具有一定网格间隔而呈网格状排列。但该色像素邻接的情况未必必须如此。作为采用色像素邻接配置形态时的典型例子,如将红外光像素及其它的色像素的正方形相互错开并列如棋盘状(方格花纹状)的配置形态。或,可见光基色系RGB或补色系CyMgYe像素内的一个像素及其它的色像素的正方形相互错开并列如棋盘状(方格花纹状)的配置形态。
<用于基色滤光片的例子>
例如,为了持续采用RGB基色滤光片来抑制可见光彩色图像分辨率降低,可维持可见光区G的像素配置密度,将可见光区剩下的R或B像素置换成校正用黑像素或白像素或绿色像素。例如,如图75所示,在呈2行2列的单位像素矩阵12内,首先,在奇数行奇数列及偶数行偶数列,排列用于感知可见光区的绿色分量的彩色像素G,在偶数行奇数列,排列校正用黑色像素(图75(A))或白色像素(图75(B))或绿色像素(未图示)。
另外,在单位像素矩阵12的列方向的第奇数列中,排列用于在行方向的第奇数列中的单位像素矩阵12的奇数行偶数列感知可见光区的蓝色分量的彩色像素B,用于在行方向的第偶数列中的单位像素矩阵12的奇数行偶数列感知可见光区的红色分量的彩色像素R。在单位像素矩阵12的列方向的第偶数列中,彩色像素B和彩色像素R的配置相反。作为整体,滤色片14的重复循环在2×2单位像素矩阵12中就会完成。
在该图75所示配置形态的场合,采用将可见光基色系RGB像素内的一个像素G及其它色像素的正方形相互错开并列如方格花纹状的配置形态,因为可见光彩色图像中的被赋予很大分辨率的彩色像素G的配置密度可采用与拜耳排列相同的排列,所以可见光彩色图像分辨率将不会降低。
但是,因为彩色像素R和彩色像素B的配置密度相对拜耳排列为1/2故色分解能力降低。然而,对于人类对色的色觉度,对红色R和蓝色B比绿色G的要差,故须将其作为一个大的问题考虑。另一方面,关于利用校正像素的红外光图像,校正像素的配置密度因为对用于感知可见光区绿色分量的彩色像素G为1/2,故色分解能力比可见光彩色图像的也差。
例如,如果采用图76所示的呈透过光谱特性的黑色滤光片14BK,采用图75(A)所示配置式样配置黑色校正像素,将图52所示的层结构(对应接受可见光的像素的断面结构图为图33)的CMOS固体摄像元件(像素电路结构为图4)采用图31所示的制作工艺流程制作,尝试性进行试验,则可看到,可以对三基色的可见光高分辨率彩色图像、以及分辨率低于彩色图像但分辨率仍较高的红外光像同时进行摄像。
从图76可知,在红外光侧呈透过特性。使用表征从黑色校正像素得到的红外光分量的信号,对混入三基色可见光像素的红外光分量采用上式(5-1)进行校正,色再现性也没有产生由红外光分量引起的的色再现性问题。通过这种校正,即使在红外光的一些环境下进行摄像也可呈现良好的色再现性,并可感受到高的感光度。
另外,如果通过采用图75(B)所示配置式样配置白色校正像素,将图52所示的层结构(对应接受可见光的像素的断面结构图为图33)的CMOS固体摄像元件(像素电路结构为图4)采用图31所示的制作工艺流程制作而尝试性进行试验,则可看到,可以对三基色的可见光高分辨率彩色图像、以及分辨率低于彩色图像但分辨率仍较高的红外光和可见光混合的图像同时进行摄像。另外,通过减少采用三基色的可见光像素R、G、B检测的蓝、红、绿的强度,可看到,仅可对红外光的图像同时进行摄像。
另外,如上式(10-5)所示,通过从白色校正像素得到的可见光分量和红外光分量的混合分量中将表征红外光分量的信号取出(进行估算),使用该取出的表征红外光分量的信号,对混入三基色可见光像素的红外光分量采用上式(5-1)进行校正,则由于红外光分量而产生的色再现性问题不再存在。通过这种校正,即使在红外光的一些环境下进行摄像也可呈现良好的色再现性,并可感受到高的感光度。
另外,通过使用从白色校正像素得到的可见光分量,对基于三基色可见光像素而得到的辉度信号进行校正,也可看到色再现性独立,并可实现可见光彩色图像的高感度化的结果。
另外,为了不饱和,在短时间(积蓄时间)内对所有像素进行曝光并读出电荷信号,进一步在短时间内对读取的信号进行2次以上的累算,则可将其转换成强信号,即使在暗的环境下进行摄像,或在明亮环境下进行摄像,也可得到合适的感光度,看到动态范围很广。
另外,图75(A)所示的黑色校正像素和多层膜组合的结构或图75(B)所示的白色校正像素和多层膜组合的结构不仅限于CMOS固体摄像元件,即使制作图63所示CCD结构也可得到同样的效果。
另外,为了抑制红外光图像分辨率降低,例如如图77所示,连同用于感知如图75所示的可见光区的绿色分量的彩色像素G,替换成校正用黑色像素(图77(A))或白色像素(图77(B))或绿色像素(未图示)的配置。此时,将作为校正像素的红外光像素及其它的色像素的正方形采用相互错开并列排列的方格花纹状配置形态,因为可将校正像素的配置密度配置成和拜耳排列时相同的排列,故红外光图像的分辨率不会降低。但是,因为可见光彩色图像中的分辨率赋予很大的彩色像素G的配置密度相对校正像素为1/2,所以可见光彩色图像比红外光图像的色分解能力更差。关于色分解能力,和图75情形一样。
例如,如果通过采用图76所示的呈透过光谱特性的黑色滤光片14BK,制作采用图77(A)所示配置式样配置黑色校正像素的CCD固体摄像元件(像素电路结构为图3、对应接受可见光的像素的断面结构图为图63)而尝试性进行试验,则可看到,可以对高分辨率的红外光图像、以及分辨率低于红外光图像但分辨率仍较高的可见光彩色图像同时进行摄像。
从图76可看出,在红外光侧呈透射特性。通过使用表征从黑色校正像素得到的红外光分量的信号,对混入三基色可见光像素的红外光分量采用上式(5-1)进行校正,则由于红外光分量而产生的色再现性问题不再存在。通过这种校正,即使在红外光的一些环境下进行摄像也可呈现良好的色再现性,并可感受到高的感光度。
另外,如果制作以图75(B)所示配置式样配置白色校正像素的CCD固体摄像元件(像素电路结构为图3、对应接受可见光的像素的断面结构图为图63),并尝试性进行试验,则可看到,可以对高分辨率的红外光和可见光混合的图像同时摄像,另外通过减少采用三基色的可见光像素R、G、B检测的蓝、红、绿的强度,可仅对高分辨率的红外光的图像进行摄像。同时,可对分辨率低于红外光图像但分辨率仍较高的可见光彩色图像进行摄像。
另外,如上式(10-5)那样,通过从白色校正像素得到的可见光分量和红外光分量的混合分量中将表征红外光分量的信号取出(进行估算),使用该取出的表征红外光分量的信号,对混入三基色可见光像素的红外光分量采用上式(5-1)进行校正,则也不会产生由于红外光分量而产生的色再现性问题。通过执行这样的校正,即使在红外光的一些环境下进行摄像也可呈现良好的色再现性,并具有高感光度。
另外,通过使用从白色校正像素得到的可见光分量,对基于三基色可见光像素而得到的辉度信号进行校正,也可看到色再现性独立,并可实现可见光彩色图像的高感度化的结果。
另外,为防饱和,采用仅白色像素溢出而在短时间(积蓄时间)内读出电荷信号,进一步,在短时间内对读取的信号进行2次以上的累算,则可将其转换成强信号,即使在暗的环境下进行摄像,或明亮环境下进行摄像,则也可得到合适的感光度,看到动态范围很广。
另外,图77(A)所示的黑色校正像素和多层膜组合的结构或图77(B)所示的白色校正像素和多层膜组合的结构不仅限于CCD固体摄像元件,即使制作CMOS固体摄像元件结构也可得到同样的效果。
图78为设置对可见光彩色图像校正用像素的场合中的其他的像素排列的说明图。该变形形态具有将校正用像素配设的滤色片的色进行多种组合的特点。例如,在图78所示的例子中,组合第1具体例和第2具体例,将作为校正用像素的黑色滤光片14BK和白色滤光片14W相对单位像素矩阵12交互排列。其中,图78(A)为图61和图68的组合,图78(B)为图75(A)、(B)的组合,图78(C)为图77(A)、(B)的组合。
通过取为这种组合配置形态,例如可将白色校正像素12W主要用于高感度化,将黑色校正像素12BK用于色校正。诚然,将白色校正像素12W用于色校正也可以。
<用在补色滤光片中的例子>
另外,为了持续采用CyMgYe补色滤光片来抑制可见光彩色图像分辨率降低,可维持可见光区的Mg的像素配置密度,将可见光区剩下的R或B像素置换成校正用黑像素或白像素或绿色像素。例如图79所示,在呈2行2列的单位像素矩阵12内,首先,在奇数行奇数列及偶数行偶数列,排列用于感知可见光区的品红色分量的彩色像素Mg,在偶数行奇数列,排列校正用黑色像素(图79(A))或白色像素(图79(B))或品红色像素(未图示)。另外,将品红色Mg内的其中一个置换成绿色G也可以。
此时,采用将可见光补色系CyMgYe像素内的一个像素Mg及其它色像素的正方形相互错开并列如方格花纹状的配置形态,因为可见光彩色图像中的被赋予很大分辨率的彩色像素Mg的配置密度可采用与拜耳排列相同的排列,所以可见光彩色图像分辨率将不会降低。
但是,因为彩色像素Cy和彩色像素Ye的配置密度相对彩色像素Mg的排列为1/2故色分解能力降低,故须将人类此时对色的色觉度很低的问题作为一个大的问题考虑。另外,关于利用校正像素的红外光图像,校正像素的配置密度因为对用于感知可见光区品红色分量的彩色像素Mg为1/2,故色分解能力比可见光彩色图像的也差。
另外,为了抑制红外光图像的分辨率降低,例如如图80所示,可替换用于感知可见光区的品红色分量的彩色像素Mg,以及校正用黑色像素(图80(A))、白色像素(图80(B))和品红色像素(未图示)的配置。此时,将作为校正像素的红外光像素及其它的色像素的正方形采用相互错开并列排列的方格花纹状配置形态,因为可将校正像素的配置密度配置成和拜耳排列时相同的排列,故红外光图像的分辨率不会降低。但是,因为可见光彩色图像中的分辨率赋予很大的彩色像素Mg的配置密度相对校正像素为1/2,所以可见光彩色图像比红外光图像的色分解能力更差。关于色分解能力,和图79情形一样。
在用于抑制分辨率降低的上述配置形态样例中,尽管将绿色G或品红色Mg的像素以尽可能高的密度配置成马赛克状(作为定型例的方格花纹状),但即使将其它色(R、B或Cy、Ye)的像素配置成方格花纹状也可得到大致相同的效果。当然,最好在提高分辨率及色分解能力之后,将视觉度高的色分量的滤光片以尽可能高的密度配置成马赛克状。
<用于倾斜配置的例子>
在上述例中,就将滤色片配置成正方形网格状的例子进行了说明,但其也可被配设成倾斜的网格状。例如,图81(A)所示的配置形态为将图75(B)所示的配置形态向右大致转动45度后的像素排列。另外图81(B)所示的配置形态为将图77(B)所示的配置形态向右大致转动45度后的像素排列。这样,如果配列成倾斜的网格状,则垂直方向和水平方向各像素密度增加,可进一步提高该方向的分辨率。
《实验例;黑色校正像素》
图82~图93说明采用黑色校正像素,对可见光彩色图像色再现性进行校正的结构的试验例的图。
首先,图82为示出适用黑色校正像素时实验中采用的黑白照相机概要的图。在该实验例中,在索尼(株)黑白照相机XCL-X700的基础上,追加滤色片以进行实验。黑白照相机XCL-X700(以下称为实验用照相机)的基本性能为,例如,1/2英寸,全像素读出(渐进式)、有效像素数1034×779,摄像像素数1024×768,像素尺寸6.25μm。
图83为实验用照相机与滤色片光谱感度特性图。图中的全波长像素为具有黑白用实验用照相机特性本身的像素。另外,R、G、B各像素为实验用照相机中配置R、G、B各色滤光片时的像素,表示进行反复校正的结果。
图84为G色及红外光截止滤光片及用于校正像素中的黑色滤光片的各透过光谱图。红外光截止滤光片理想透过特性为在可见光区(波长不足700nm)为“1”,在红外光区(波长700nm以上)为“0”,但是,如图所示,在可见光区具有少量损失,而在红外光区也具有少量透射。
为此,G色的透过光谱根据红外光截止滤光片的有无,透过率变得有些许不同(当然无红外光截止滤光片时透过率高)。另外,在无红外光截止滤光片时,在红外光区有些许透过,即存在红外光漏光分量(IR漏光)。该红外光漏光分量通过使用黑色滤光片可与可见光分量分离。
图85是表示与作为测色指标使用的麦克佩斯图中的色卡号码(1整套:24色)对应的图。另外,图86表示根据采用实验用照相机和绿色滤光片G对麦克佩斯表摄像而得到的原始的图像数据的图像(初始图像)的图。作为摄像条件,采用20W白炽灯及荧光灯作为光源,对实验用照相机镜头F2.8,光圈f取为2.8,快门速度取为1/2.8秒。
其中,图86(A)为不采用红外光截止滤光片时的绿色图像G(IR无截止),图86(B)为采用红外光截止滤光片时的绿色图像G(IR有截止),图86(C)为其差分图像,即绿色滤光片G的红外光漏光分量的图像。图87为图86所示的摄像结果的、用信号电平(实测值)表示麦克佩斯图色卡号码的图。
由图86的各图的比较或图87可看出,对麦克佩斯图各色卡摄像的G色滤光片像素输出的信号电平根据红外光截止滤光片的有无而不同。
图88是表示基于采用实验用照相机和作为校正像素的黑色滤光片BK对麦克佩斯表摄像而得到的原始的图像数据的图像(初始图像)的图形。摄像条件和图86时相同。其中,图88(A)为黑色滤光片BK的图像(黑色滤光片图像Br),图88(B)为作为比较例的、绿色滤光片G的红外光漏光分量的图像(和图86(C)一样的图像)。
图89表示黑色滤光片图像Br乘以规定系数αG得到的黑色校正图像Brcorr的图。摄像条件和图86时相同。其中,图89(A)为系数αG=0.18时的黑色校正图像Brcorr,图89(B)为作为比较例的、绿色滤光片G的红外光漏光分量的图像(和图86(C)一样的图像)。
从该两者的图像比较可看出,麦克佩斯图各色卡信号电平哪一个都处于大致相同的状态。即,绿色滤光片G的输出中显现的红外光漏光分量通过使用黑色滤光片BK,可得到与可见光分量分离的结果。因此,通过取图86(B)所示的绿色图像G(有IR截断)的图像和黑色校正图像Brcorr的差分而得到绿色校正后图像G*。即使没有使用红外光截止滤光片,也可从绿色图像中除去红外光漏光分量。
例如,图90及图91示出采用黑色校正图像对G色图像进行校正的校正效果的一个例子。其中,图90(A)为绿色图像G(IR无截止)(和图86(A)一样),图90(B)为绿色图像G(IR有截止)(和图86(B)一样),图90(C)为绿色图像G(IR无截止)和黑色校正图像Brcorr的差分图像,即绿色校正后图像G*。另外,图91为图90(C)所示的差分结果(绿色校正后图像)的、用信号电平(实测值)表示麦克佩斯图色卡号码的图。
从图90(A)和图90(C)的比较或从图91可看出,麦克佩斯图各色卡信号电平都处于大致相同的状态。换言之,即使没有采用红外光截止滤光片,也可从绿色图像中大致除去红外光漏光分量。因为在没有采用红外光截止滤光片时也可获得与采用了红外光截止滤光片时大致相同的信号,所以,可获得与采用了红外光截止滤光片时大致相同的、具有充分的色再现性的可见光彩色图像。
但是,从图91可看出,与具有红外光截止滤光片时还是存在一定差别的。该差别如图84所示,可以认为在G色的可见光区的透过光谱根据红外光截止滤光片的有无而具有差别是其原因所在。因此,为了校正该影响,做法最好是,不是单纯对绿色图像G(IR无截止)和黑色校正图像Brcorr取差分,而是事先对绿色图像G(IR无截止)进行感度校正。对于该感度校正,可采用黑色滤光片BK的像素信号。
总之,在此时的校正计算情形,最好是如式(5-1)所示,不但从原来可见光波长区中的各色信号分量中混入红外光漏光信号分量的色信号分量SCy、SMg、Sye、SG中,减去红外光信号分量SIR乘以规定系数αR、αG、αB的校正信号分量,而且,如式(5-2)所示,事先以红外光信号分量SIR乘以规定系数εR、εG、εB得到的值,对色信号分量SCy、SMg、Sye、SG进行感度校正,从被施加该感度校正的分量中,减去红外光信号分量SIR乘以规定系数αR、αG、αB的校正信号分量,从而进行高精度的校正。
例如,图92及图93示出该高精度校正效果的一个例子。其中,图92(A)为绿色图像G(IR有截止)(和图86(B)一样),图92(B)为根据式(5-2)当系数αG=0.11,εG0.0012时进行高精度校正时的绿色校正后图像G**。另外,图93为图92(B)所示的差分结果(绿色校正后图像G**)的、用信号电平(实测值)表示麦克佩斯图色卡号码的图。
从图92(A)和图92(B)的比较或从图93可看出,麦克佩斯图各色卡信号电平哪一个都处于大致相同的状态。即,即使没有采用红外光截止滤光片也可大致从绿色图像中除去红外光漏光分量。没有采用红外光截止滤光片时也可从绿色图像中大致完全除去红外光漏光分量。因为在没有采用红外光截止滤光片时也可获得与采用了红外光截止滤光片时相同的信号,所以,可获得与采用了红外光截止滤光片时相同的、具有充分的色再现性的可见光彩色图像。
例如,在白色校正像素12W得到的信号SW中,不但含有红外光分量而且含有可见光分量,所以,通过使用该可见光分量的信号SVL,对基于配有可见光彩色图像摄像用基色滤光片14R、14G、14B的像素得到的辉度信号施加校正(实际上进行加法运算处理),对色再现性而言可独立化,并可实现可见光彩色图像高感度化。
《实验例;白色校正像素》
图94~图101为采用白色校正像素,对可见光彩色图像色再现性进行校正的结构的实验例的说明图。
首先,图94表示适用于白色校正像素场合的实验时的环境条件的图。在该实验例中,在索尼(株)的黑白照相机XCX495M(以下称为实验用照相机)的基础上,通过追加R、G、B基色滤光片而设置基色像素12R、12G、12B的同时,通过设置模拟MLT滤光片而构成白色校正像素12W的结构以进行实验。另外为了检验设置白色校正像素12W而带来的效果,采用切换IR截止滤光片(C5000)的有无来替换模拟MLT滤光片。
这里,“模拟MLT滤光片”指的是,与Si3N4/SiO2多层膜(5周期)透过特性大致相等的IR截止滤光片,相对(株)大真空制的C5000的滤光片的厚度1.6mm其为0.4mm之薄。
另外,作为设置白色校正像素12W时的像素排列,可以排列成上述的图68(A)、图75(B)、图77(B)等那样。
另外,将色温2600K、2800K、3000K的3种卤光灯、及色温3000~7000K的3种荧光灯ECW(具体地日光色、自然色、白炽灯色的各荧光灯)作为光源条件,对作为测色指标而使用的麦克佩斯图和分辨率评价用分辨率图进行摄像。
图95是表示普通IR截止滤光片C5000和模拟MLT滤光片的透射特性的图形。由图可看出,通过采用模拟MLT代替IR截止滤光片C5000,可具有不但可以以足够强度透射可见光带域的全波长分量,而且在红外光带域中,与R、G、B基色滤光片的透过强度相比,能够具有以足够强的强度透射的特性。
图96为实验用照相机和模拟MLT滤光片适用时的滤色片的分光灵敏度特性图。由图可看出,适用模拟MLT滤光片时,在红外光区(波长700nm以上),在R、G、B基色滤光分量中,存在红外光(IR)的漏光分量(IR漏光)。
图97表示整体处理顺序的流程图。采用IR截止滤光片C5000时和采用模拟MLT滤光片时的不同之处仅在于,红外光校正处理部342中是否存在适用上述式(5)或式(12)的色校正计算处理部(S104)。
换言之,首先,摄像信号处理部330获取由试验用照相机产生的原始摄像信号(初始输出)(S100)。预处理部332对实验用照相机所输出的原始摄像信号,即传感器输出信号(可见光摄像信号SVL(具体地为R、G、B的各色分量SR、SG、SB)以及红外光摄像信号SIR),进行黑色电平调整或增益调整或咖嘛校正等预处理(S102)。之后,在采用模拟MLT滤光片场合中,图像信号处理部340的红外光校正处理部342实施适用上述式(5)或式(12)的色校正计算处理(S104)。
进一步,图像信号处理部340通过实施白平衡(WB)用标准化处理(S106)或明亮度信号的标准化处理(S108),获得位图数据(S110)。而且,获得评价用色数据(S120)。
在获取评价用色数据(S120)时,首先,将R、G、B信号(这里为sRGB信号)进行线性化处理(S122)、根据选用CIE(Commission Internationaled`Eclairage)1931中的等色函数x(λ)、y(λ)、z(λ)转换成三色表色系的XYZ表色系信号(S124)。进一步转换成CIE1976中确定的为均等色空间之一的Lab表色系的色信号(S126)。
这样,如果分别采用IR截止滤光片C5000时和采用模拟MLT滤光片时各自获得Lab信号,则分别根据上述式(4)求得色差ΔEab,并对各自色差进行比较(S130)。
适用式(5)或式(12)时的各系数α、β、γ尽管采用牛顿法进行使误差减小的算术计算而求得,但这里,作为一个例子,α、γ根据下式(16-1)取值。而适用式(12)时的各系数ω、η根据下式(16-2)取值。
[数16]RGB
&alpha;R = 2.1843 &alpha;G = 1.0279 B&alpha; = 0.6065 &gamma;R = 0.0901 &gamma;G = 0.3485 &gamma;B = 0.0936 &gamma;W = 0.169 ( 16 - 1 ) &omega;R = 0 &omega;G = 0 &omega;B = 0.0087 &eta;R = 12 &eta;G = 12 &eta;B = 12 ( 16 - 2 ) . . . ( 16 )
在式(16-2)中,是在测定基色系滤光片的实验用照相机的结果的基础上,使色差最小而求得的系数的结果。ωR、ωG的值尽管为“0”,但由于系数为器件所固有的,因每个器件值有所差异,故其他器件中也可不为“0”。
图98表示卤光灯光源(色温3000K)环境下对麦克佩斯图的24色摄像,通过计算求得校正前后色差结果的图。该图98为可比较未校正时的色差,适用式(5)的仅进行线性项校正计算的色差,和适用式(12)的含非线性项的校正计算的色差的图表化的图。其中,横轴表示麦克佩斯图各色号码。
从图98可看出,相对校正前的平均色差7.36,校正后的平均色差在适用式(5)时3.95是一个界限。然而,通过进行进一步修正式(5)而适用式(12)的含非线性项的校正,则平均色差成为3.01,从而可进一步减少色差,可改进色再现性。
图99为除卤光灯光源(色温3000K)之外,对色温2600K、2800K的两种卤光灯、及日光色、昼白色、白炽灯色3种荧光灯的色差测定结果汇总图表。其中,表示没有校正的场合和适用式(12)的校正的情况。
由图99可看出,无论哪种光源下,通过适用式(12)而用非线性项对IR漏光进行校正,与校正前相比,平均色差可变得足够小。即使在卤光灯光源场合(色温2800K),也可以是ΔEab=4.064<5,纵然可见光分量中含有红外光入射分量,根据适用式(12)的校正也可实现色还原。在卤光灯光源(色温2600K)场合中,ΔEab=6.14>5,遗留色再现性问题。
<关于信噪比>
然而,如果根据式(5)或式(12)进行校正计算,则相应该校正计算,随之产生信噪比(S/N)变差的问题。然而,根据试验,则看不出问题。下面对此点进行说明。
首先,对于适用式(5)时的噪音N,假定A色分量(这里A色相当于白色)、R色分量、G色分量、B色分量之间没有相关性,则如下式(17)所示,可采用色散σ的几何平均计算而求得。
[数17]
N R * = N R 2 + &alpha; R 2 ( &gamma; A 2 N A 2 + &gamma; R 2 N R 2 + &gamma; G 2 N G 2 + &gamma; B 2 N B 2 ) N G * = N G 2 + &alpha; G 2 ( &gamma; A 2 N A 2 + &gamma; R 2 N R 2 + &gamma; G 2 N G 2 + &gamma; B 2 N B 2 ) N B * = N B 2 &alpha; B 2 ( &gamma; A 2 N A 2 + &gamma; R 2 N R 2 + &gamma; G 2 N G 2 + &gamma; B 2 N B 2 ) - - - ( 17 )
另外,在适用式(12)的场合中,各系数ω、η满足(16-2)时,红外光分量IR和蓝色分量B由下式(18)表示。
[数18]
IR = &gamma; a &times; A - ( &gamma; r &times; R + &gamma; g &times; G + &gamma; b &times; B ) B * = B - &alpha; b &times; IR + &omega; &times; ( B - &eta; ) &times; IR = ( 1 + &alpha; b &gamma; b + &eta;&omega; &gamma; b ) &times; B + ( &alpha; b &gamma; r + &eta;&omega; &gamma; r ) &times; R + ( &alpha; b &gamma; g + &eta;&omega; &gamma; g ) &times; G + ( &alpha; b &gamma; a - &eta;&omega; &gamma; a ) &times; A + &omega; &gamma; a &times; AB - &omega; &gamma; r &times; RB - &omega; &gamma; g &times; GB - &omega; &gamma; b &times; B 2 - - - ( 18 )
因此,例如对于蓝色分量B,得到下式(19),而就蓝色分量B的噪音NB*则通过对式(19)的左边取根值而可得到。在式(19)和式(17)之间,存在σb1=NB*,σA=NA,σr=NR,σg=NG,σb=NB的关系。
[数19]
&sigma; b 1 2 = ( 1 + &alpha; b &gamma; b + &eta;&omega; &gamma; b ) 2 &times; &sigma; b 2 + ( &alpha; b &gamma; r + &eta;&omega; &gamma; r ) 2 &times; &sigma; r 2 + ( &alpha; b &gamma; g + &eta;&omega; &gamma; g ) 2 &times; &sigma; g 2 + ( &alpha; b &gamma; a - &eta;&omega; &gamma; a ) 2 &times; &sigma; a 2 + ( &omega; &gamma; a ) 2 &times; &sigma; a 2 &sigma; b 2 + ( &omega; &gamma; r ) 2 &times; &sigma; r 2 &sigma; b 2 + ( &omega; &gamma; g ) 2 &times; &sigma; g 2 &sigma; b 2 + ( &omega; &gamma; b ) 2 &times; &sigma; b 4 - - - ( 19 )
图100及图101为针对卤光灯光源(色温3000K)和荧光灯的噪音估计值和实测值汇总表。由图100及图101可看出,对采用通常的IR截止滤光片C5000的场合,采用适用式(12)的非线性项对IR漏光进行校正时,在卤光灯光源(色温3000K)情况,为-0.530dB(估计值)、-0.784dB(实测值),为荧光灯时,为+2.854dB(估计值)、+0.383dB(实测值),可认为,无论哪种光源,大致无需担心信噪比恶化的问题。
[产业上的利用可能性]
以上尽管采用实施方式对本发明作出了说明,但本发明技术范围并不限于上述实施方式记载的范围。可以在不脱离发明宗旨的范围之内对上述实施方式作出各种改变或改进,该进行了改变或改进的形态也含于本发明技术范围之中。
另外,上述实施方式不限于权利要求涉及的发明,另外,实施方式中所说明的特征的组合的全部特征并非限于发明解决手段的必要特征。上述实施方式中含有各种级别的发明,通过被公开的多个构成要件中的适当的组合可得到各种发明。即使从实施方式中所示的全构成要件中去掉某几个构成要件,按照所得到的效果,去掉该几个构成要件的结构也认为是属于本发明的一部分的抽出来的方案。
例如,上述技术不一定局限于通过可见光和红外光的分光,以及独立检测该分光分量而分别获得可见光像和红外光像的技术。例如,也可以是,对可见光和紫外光的分光及检测,同时将可见光及紫外光同时检测出并图像化的技术。另外,就同时检测的可见光而言,并未限于不分光而检测黑白图像的技术,如上述利用按照颜色区分的滤色片将可见光带域内的光分光成三基色分量光从而检测彩色图像也可以。
这样,能够对应于肉眼可见的可见光图像(黑白图像或彩色图像),同时获取肉眼不可见的紫外光像信息。因此,作为光合成检测相机等新信息系统的基本器件的应用很广。

Claims (20)

1、物理信息获取方法,在单位结构元件内含有用于检测电磁波的检测部,及根据由上述检测部所检测的电磁波量而生成对应的单位信号并输出的单位信号生成部,该单位结构元件利用按规定顺序配设于同一衬底上的用于物理量分布检测的装置,基于上述单位信号获取规定目的用的物理信息,其特征在于,
对于第1波长区分量,与不同于该第1波长区分量的第2波长区分量事先分离并由第1上述检测部进行检测,同时由第2上述检测部检测至少包含第2波长区的分量的校正用波长区的分量,
使用由上述第1检测部所检测的单位信号、由上述第2检测部所检测的单位信号,获取排除了上述第2波长区分量的至少一部分的影响的上述第1波长区分量相关的物理信息。
2、如权利要求1所述物理信息获取方法,其特征在于,
通过从上述第1检测部所检测的单位信号中,减去由上述第2检测部所检测的单位信号乘以规定的系数所得到的信号分量而进行上述校正。
3、如权利要求1所述物理信息获取方法,其特征在于,
上述校正用波长区的分量不含上述第1波长区分量。
4、如权利要求1所述物理信息获取方法,其特征在于,
上述校正用波长区的分量包含上述第1波长区分量,从该校正用波长区分量中采用上述第1检测部所检测的单位信号,获取排除了上述第1波长区分量的至少一部分的上述第2波长区分量的单位信号,
使用该校正后的上述第2波长区分量的单位信号,对上述第1检测部所检测的单位信号进行上述校正。
5、如权利要求1所述物理信息获取方法,其特征在于,
使用不含上述第1波长区分量的、由上述第2检测部所检测的其中一个的上述校正用波长区的单位信号,对上述第1检测部所检测的单位信号进行第1上述校正,同时,
使用上述第1检测部对包含上述第1波长区分量的、由上述第2检测部所检测的另一个的上述校正用波长区的单位信号检测所得的单位信号,获取,排除了上述第1波长区分量的至少一部分的上述第2波长区分量的单位信号,使用该校正后的上述第2波长区的单位信号,对上述第1检测部所检测的单位信号进行第2上述校正。
6、物理信息获取装置,在单位结构元件内含有用于检测电磁波的检测部,及根据由上述检测部所检测的电磁波量而生成对应的单位信号并输出的单位信号生成部,该单位结构元件利用按规定的顺序配设于同一衬底上的用于物理量分布检测的装置,根据上述单位信号获取用于规定目的的物理信息,其特征在于,该装置包括:
第1检测部,将第1波长区分量与不同于该第1波长区分量的第2波长区分量预先分离并进行检测;
第2检测部,检测至少包含上述第2波长区的分量的校正用波长区的分量;以及
信号处理部,使用上述第1检测部所检测的单位信号、上述第2检测部所检测的单位信号,获取将上述第2波长区分量的至少一部分的影响排除的上述第1波长区分量相关的物理信息。
7、物理信息获取装置,在单位结构元件内含有用于检测电磁波的检测部,及根据由上述检测部检测的电磁波量而生成对应的单位信号并输出的单位信号生成部,该单位结构元件是按规定顺序配设于同一衬底上的用于物理量分布检测的装置,其使用具有第1检测部和第2检测部的装置,该第1检测部将第1波长区分量与不同于该第1波长区分量的第2波长区分量预先分离并进行检测,第2检测部检测包含至少上述第2波长区的分量的校正用波长区的分量,根据上述单位信号,获取用于规定目的物理信息,其特征在于,该装置包括:
信号处理部,使用上述第1检测部所检测的单位信号、上述第2检测部所检测的单位信号,获取将上述第2波长区分量的至少一部分的影响排除的上述第1波长区分量相关的物理信息。
8、如权利要求6或7所述的物理信息获取装置,其特征在于,
上述信号处理部通过从上述第1检测部所检测的单位信号中,减去上述第2检测部所检测的单位信号乘以规定系数的信号分量,进行上述校正。
9、如权利要求8所述物理信息获取装置,其特征在于,
上述信号处理部还通过将上述第1检测部所检测的单位信号与上述第2检测部所检测的单位信号的乘积乘以规定系数的非线性信号分量进行加法运算,进行上述校正。
10、如权利要求6或7所述物理信息获取装置,其特征在于,
上述第2检测部对不包含上述第1波长区分量的上述校正用波长区分量的单位信号进行检测。
11、如权利要求6或7所述物理信息获取装置,其特征在于,
上述第2检测部对包含上述第1波长区分量的上述校正用波长区分量的单位信号进行检测,
上述信号处理部采用上述第1检测部对上述第2检测部所检测的校正用波长区分量的单位信号检测所得的单位信号,获取排除了上述第1波长区分量的至少一部分的上述第2波长区分量的单位信号,
使用该校正后的上述第2波长区单位信号,对上述第1检测部所检测的单位信号进行上述校正。
12、如权利要求6或7所述物理信息获取装置,其特征在于,
作为上述第2检测部,既对不包含上述第1波长区分量的上述校正用波长区分量的单位信号进行检测,又对包含上述第1波长区分量的上述校正用波长区分量的单位信号进行检测,
上述信号处理部采用不含上述第1波长区分量的、由上述第2检测部所检测的其中一个的上述校正用波长区分量的单位信号,对由上述第1检测部所检测的单位信号进行第1校正,同时采用上述第1检测部对包含上述第1波长区分量的、由上述第2检测部所检测的另一个的上述校正用波长区分量的单位信号检测所得的单位信号,获取将排除了上述第1波长区分量的至少一部分的上述第2波长区分量的单位信号,使用该校正后的上述第2波长区的单位信号,对上述第1检测部所检测的单位信号进行第2上述校正。
13、如权利要求6或7所述物理信息获取装置,其特征在于,
包括用于控制上述第2检测部的检测时间的驱动部。
14、如权利要求6或7所述物理信息获取装置,其特征在于,
上述信号处理部对上述第2检测部所检测的上述校正用波长区分量的单位信号进行多次累算,使用该累算后的上述第2波长区的单位信号,对上述第1检测部所检测的单位信号进行上述校正。
15、半导体器件,在单位结构元件内含有用于检测电磁波量的检测部,及根据由上述检测部检测的电磁波量而生成对应的单位信号并输出的单位信号生成部,该单位结构元件为按规定顺序配设于同一衬底上的用于物理量分布检测的半导体器件,其特征在于,
在同一块衬底上,具有将第1波长区分量与不同于该第1波长区分量的第2波长区分量预先分离并进行检测的第1检测部、及对包含至少上述第2波长区的分量的校正用波长区的分量进行检测的第2检测部。
16、如权利要求15所述半导体器件,其特征在于,
上述第1检测部和上述第2检测部具有一定的数量比,并呈周期性地排列。
17、如权利要求16所述半导体器件,其特征在于,
对多个上述第1检测部配置1个上述第2检测部。
18、如权利要求15所述半导体器件,其特征在于,
上述第1检测部和上述第2检测部成1比1配置。
19、如权利要求15所述半导体器件,其特征在于,
上述第1检测部由多个将上述第1波长区分量进一步进行波长分离并检测的检测元件的组合形成,
上述第1检测部的上述多个检测元件和上述第2检测部排列成二维网格状,且用于检测上述多个检测元件内的某波长分量的元件呈方格花纹状排列。
20、如权利要求15所述半导体器件,其特征在于,
上述第1检测部由多个将上述第1波长区分量进一步进行波长分离并检测的检测元件的组合形成,
上述第1检测部的上述多个检测元件和上述第2检测部排列成二维网格状,且,上述第2检测部呈方格花纹状排列。
CN2006101357581A 2005-07-21 2006-07-21 物理信息获取方法、物理信息获取装置和半导体器件 Active CN1971927B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005211002 2005-07-21
JP211002/05 2005-07-21
JP2006133412A JP4984634B2 (ja) 2005-07-21 2006-05-12 物理情報取得方法および物理情報取得装置
JP133412/06 2006-05-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210171533.7A Division CN102665083B (zh) 2005-07-21 2006-07-21 物理信息获取方法、物理信息获取装置和半导体器件

Publications (2)

Publication Number Publication Date
CN1971927A true CN1971927A (zh) 2007-05-30
CN1971927B CN1971927B (zh) 2012-07-18

Family

ID=38112628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101357581A Active CN1971927B (zh) 2005-07-21 2006-07-21 物理信息获取方法、物理信息获取装置和半导体器件

Country Status (2)

Country Link
JP (1) JP5187433B2 (zh)
CN (1) CN1971927B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075683A (zh) * 2009-11-20 2011-05-25 三星电子株式会社 数字图像处理设备和数字图像处理设备的拍摄方法
CN102202185A (zh) * 2010-03-24 2011-09-28 索尼公司 物理信息获取装置、固体摄像装置和物理信息获取方法
CN102375417A (zh) * 2010-08-20 2012-03-14 鸿富锦精密工业(深圳)有限公司 滤光片切换组件控制电路
CN102386199A (zh) * 2011-09-30 2012-03-21 上海宏力半导体制造有限公司 微镜头以及图像传感器
CN102572286A (zh) * 2010-11-19 2012-07-11 信泰伟创影像科技有限公司 摄影装置、摄影方法和程序
CN103561190A (zh) * 2013-11-05 2014-02-05 威海华菱光电股份有限公司 图像读取装置和系统
CN103597381A (zh) * 2011-06-06 2014-02-19 富士胶片株式会社 彩色滤光片、ccd传感器、cmos传感器、有机cmos传感器和固态图像传感器
CN105190374A (zh) * 2013-03-14 2015-12-23 富士胶片株式会社 固体摄像元件及其制造方法、红外光截止滤波器形成用硬化性组合物、照相机模块
CN105428377A (zh) * 2015-11-11 2016-03-23 武汉新芯集成电路制造有限公司 一种cmos影像传感器
CN105430360A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105594198A (zh) * 2013-10-02 2016-05-18 株式会社尼康 摄像元件以及摄像装置
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN107818997A (zh) * 2016-09-10 2018-03-20 奇景光电股份有限公司 图像传感器
CN108769502A (zh) * 2014-06-24 2018-11-06 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN114827479A (zh) * 2022-06-29 2022-07-29 深圳比特微电子科技有限公司 一种监控设备的工作模式切换方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015072987A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置
WO2015133130A1 (ja) 2014-03-06 2015-09-11 日本電気株式会社 映像撮影装置、信号分離装置および映像撮影方法
CN104980628B (zh) * 2014-04-13 2018-09-11 比亚迪股份有限公司 图像传感器和监控系统
CN104980667B (zh) * 2014-04-13 2018-11-09 比亚迪股份有限公司 图像传感器和监控系统
FR3026223B1 (fr) * 2014-09-22 2016-12-23 Photonis France Dispositif d'acquisition d'images bimode a photocathode.

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3742775B2 (ja) * 2002-02-21 2006-02-08 富士フイルムマイクロデバイス株式会社 固体撮像素子
JP2005109001A (ja) * 2003-09-29 2005-04-21 Nikon Corp 固体撮像素子用の光学フィルタおよびこれを備えた撮像装置
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075683A (zh) * 2009-11-20 2011-05-25 三星电子株式会社 数字图像处理设备和数字图像处理设备的拍摄方法
CN102202185B (zh) * 2010-03-24 2017-05-17 索尼半导体解决方案公司 物理信息获取装置、固体摄像装置和物理信息获取方法
CN102202185A (zh) * 2010-03-24 2011-09-28 索尼公司 物理信息获取装置、固体摄像装置和物理信息获取方法
CN102375417A (zh) * 2010-08-20 2012-03-14 鸿富锦精密工业(深圳)有限公司 滤光片切换组件控制电路
CN102375417B (zh) * 2010-08-20 2014-03-26 鸿富锦精密工业(深圳)有限公司 滤光片切换组件控制电路
CN102572286A (zh) * 2010-11-19 2012-07-11 信泰伟创影像科技有限公司 摄影装置、摄影方法和程序
CN103597381B (zh) * 2011-06-06 2016-07-20 富士胶片株式会社 彩色滤光片、ccd传感器、cmos传感器、有机cmos传感器和固态图像传感器
CN103597381A (zh) * 2011-06-06 2014-02-19 富士胶片株式会社 彩色滤光片、ccd传感器、cmos传感器、有机cmos传感器和固态图像传感器
CN102386199A (zh) * 2011-09-30 2012-03-21 上海宏力半导体制造有限公司 微镜头以及图像传感器
CN102386199B (zh) * 2011-09-30 2016-05-11 上海华虹宏力半导体制造有限公司 微镜头以及图像传感器
CN105190374A (zh) * 2013-03-14 2015-12-23 富士胶片株式会社 固体摄像元件及其制造方法、红外光截止滤波器形成用硬化性组合物、照相机模块
CN105594198B (zh) * 2013-10-02 2019-05-10 株式会社尼康 摄像元件以及摄像装置
CN105594198A (zh) * 2013-10-02 2016-05-18 株式会社尼康 摄像元件以及摄像装置
CN103561190A (zh) * 2013-11-05 2014-02-05 威海华菱光电股份有限公司 图像读取装置和系统
CN108769502A (zh) * 2014-06-24 2018-11-06 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN108769502B (zh) * 2014-06-24 2020-10-30 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN105988215A (zh) * 2015-02-15 2016-10-05 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN105428377A (zh) * 2015-11-11 2016-03-23 武汉新芯集成电路制造有限公司 一种cmos影像传感器
CN105430360A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN107818997A (zh) * 2016-09-10 2018-03-20 奇景光电股份有限公司 图像传感器
CN114827479A (zh) * 2022-06-29 2022-07-29 深圳比特微电子科技有限公司 一种监控设备的工作模式切换方法和装置

Also Published As

Publication number Publication date
JP2012075179A (ja) 2012-04-12
CN1971927B (zh) 2012-07-18
JP5187433B2 (ja) 2013-04-24

Similar Documents

Publication Publication Date Title
CN1971927B (zh) 物理信息获取方法、物理信息获取装置和半导体器件
CN102665083B (zh) 物理信息获取方法、物理信息获取装置和半导体器件
US8462238B2 (en) Camera design for the simultaneous capture of near-infrared and visible images
TWI266903B (en) Color filter array and solid imaging element
CN102202185B (zh) 物理信息获取装置、固体摄像装置和物理信息获取方法
CN101309429B (zh) 处理视频信号的设备和方法、成像设备
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US7511749B2 (en) Color image sensor having imaging element array forming images on respective regions of sensor elements
JP5070742B2 (ja) 情報取得方法、情報取得装置、半導体装置、信号処理装置
US6760475B1 (en) Colorimetric imaging system
US20050134698A1 (en) Color image sensor with imaging elements imaging on respective regions of sensor elements
JP4867448B2 (ja) 物理情報取得方法および物理情報取得装置
US20120327277A1 (en) Color filters and demosaicing techniques for digital imaging
TW200539690A (en) Image pickup device
JP2004228662A (ja) 撮像装置
JP5263373B2 (ja) 半導体装置および撮像装置
EP3450938B1 (en) An image sensor and an imaging apparatus
JPH0378388A (ja) カラー固体撮像素子
WO2001028224A9 (en) Colorimetric imaging system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant