具体实施方式
本发明的例示的实施方式的概要如下。
(1)本发明的一个形态的固体摄像元件,具备如下:光敏元件阵列,其在摄像面上以二维状排列多个单位区块,所述多个单位区块各自含有以2行2列排列的第一光敏元件、第二光敏元件、第三光敏元件、和第四光敏元件,并且在各单位区块中,所述第一光敏元件配置在第1行第1列,所述第二光敏元件配置在第2行第1列,所述第三光敏元件配置在第1行第2列,所述第四光敏元件配置在第2行第2列;分光要素阵列,其含有第一分光要素、和与所述第一分光要素的分光特性不同的第二分光要素,所述第一分光要素按照使所述第一分光要素的至少一部分与所述第一和第三光敏元件的至少一方对向的方式配置、且按照将入射的光根据波长分离到所述第一和第三光敏元件的排列方向的方式构成,所述第二分光要素按照使所述第二分光要素的至少一部分与所述第二和第四光敏元件的至少一方对向的方式配置、且按照将入射的光根据波长分离到所述第二和第四光敏元件的排列方向的方式构成;多个聚光元件,其分别在覆盖所述第一和第三光敏元件的区域设置,且按照向所述第一和第三光敏元件聚光的方式构成。
(2)在有的形态中,所述第一分光要素其配置方式为,与所述第一或第三光敏元件对置,且使不同的波长范围的光入射所述第一光敏元件和所述第三光敏元件,所述第二分光要素其配置方式为,与所述第二或第四光敏元件对置,且使不同的波长范围的光入射所述第二光敏元件和所述第四光敏元件。
(3)在项目(2)所述的固体摄像元件的有的形态中,所述第一分光要素使第一波长范围的光入射所述第三光敏元件、且使所述第一波长范围的光的互补色光入射所述第一光敏元件,所述第二分光要素使第二波长范围的光入射所述第二光敏元件、且使所述第二波长范围的光的互补色光入射所述第四光敏元件。
(4)在项目(1)所述的固体摄像元件的有的形态中,所述分光要素阵列还含有第三分光要素和第四分光要素,所述第一至第四分光要素按照分别与所述第一至第四光敏元件对向的方式配置、且按照使不同的波长范围的光入射所述第一至第四光敏元件的方式设计。
(5)在项目(4)所述的固体摄像元件的有的形态中,所述第一至第四分光要素具有:将入射的光分离成原色光和互补色光的特性,或将入射光分离成不同的3个波长范围的光的特性。
(6)在项目(4)或(5)所述的固体摄像元件的有的形态中,所述第一分光要素使第一波长范围的光入射所述第三光敏元件、且使所述第一波长范围的光的互补色光入射所述第一光敏元件,所述第三分光要素使第二波长范围的光入射所述第一光敏元件、且使所述第二波长范围的光的互补色光入射所述第三光敏元件。
(7)在项目(4)至(6)中任一项所述的固体摄像元件的有的形态中,所述第一分光要素使第一波长范围的光入射所述第一光敏元件、且使所述第一波长范围的光的互补色光入射所述第三光敏元件,所述第三分光要素使所述第一波长范围的光入射所述第一光敏元件、且使所述第一波长范围的光的互补色光入射所述第三光敏元件。
(8)在项目(5)至(7)中任一项所述的固体摄像元件的有的形态中,所述第二分光要素使第三波长范围的光入射所述第四光敏元件、且使所述第三波长范围的光的互补色光入射所述第二光敏元件,所述第四分光要素使所述第三波长范围的光入射所述第四光敏元件、且使所述第三波长范围的光的互补色光入射所述第二光敏元件。
(9)在项目(8)所述的固体摄像元件的有的形态中,所述第一波长范围是红、绿、蓝的波长范围的一个,所述第二波长范围是红、绿、蓝的波长范围的另一个,所述第三波长范围是红、绿、蓝的波长范围的剩余的一个。
(10)在项目(1)至(9)中任一项所述的固体摄像元件的有的形态中,所述多个聚光元件分别是在光入射侧具有曲面的柱面透镜。
(11)本发明的一个形态的摄像装置,具备如下:项目(1)至(10)中任一项所述的固体摄像元件;使像在所述固体摄像元件的摄像面形成的光学系统;基于从所述第一至第四光敏元件分别输出的第一至第四光电转换信号而生成彩色信号的信号处理部。
(12)在项目(11)所述的摄像装置的有的形态中,所述信号处理部生成:通过含有使从所述第一光敏元件输出的信号和从所述第三光敏元件输出的信号相加的加法运算的处理而得到的第一亮度信号、和通过含有使从所述第二光敏元件输出的信号和从所述第四光敏元件输出的信号相加的加法运算的处理而得到的第二亮度信号,并且基于所述第一亮度信号和所述第二亮度信号的差分结果来修正所述彩色信号。
(13)在项目(12)所述的摄像装置的有的形态中,还具备记录媒体,该记录媒体记录有系数k1、及表示修正系数k2与系数k3的相关关系的信息,所述系数k1规定所述聚光元件的聚光特性,所述修正系数k2表示入射到所述固体摄像元件的倾斜光的影响造成的所述系数k1的减少量,所述系数k3表示所述倾斜光的影响造成的所述第一和第二分光要素的分光特性的降低的程度。
(14)在项目(13)所述的摄像装置的有的形态中,所述信号处理部基于所述第一亮度信号和所述第二亮度信号的差分结果、所述系数k1、和表示所述相关关系的信息,修正所述彩色信号。
(15)在项目(12)至(14)中任一项所述的摄像装置的有的形态中,所述信号处理部通过使用了表示所述第一光电转换信号和所述第三光电转换信号的差分的第一差信号、和表示所述第二光电转换信号和所述第四光电转换信号的差分的第二差信号的信号运算,生成第一色差信号和第二色差信号,并使用所述第一亮度信号和所述第二亮度信号的差分结果,来修正所述第一色差信号和所述第二色差信号。
以下,具体地说明本发明的实施方式。
在专利文献5所公开的技术中,因为假定了使光垂直地入射摄像元件的摄像面的情形,所以将这一技术应用于实际的照相机时,由于倾斜光的影响,导致通过信号处理所生成的彩色信号中产生误差。例如由于加大光圈量导致图像的模糊的程度增加时,本来应该变成白色的被摄物体被着上红色这样的现象会发生。这一现象的起因在于,越是加大光圈的孔径,入射摄像元件的光中所占的倾斜光的比例越增加,入射各光敏元件的光的按波长范围的强度分布偏离预想。
本申请发明者们重新提出上述的课题,发现通过利用与专利文献5所公开的构成不同的光学系统和信号处理,能够解决这一课题。以下,一边参照图1、2A~2H,一边说明本发明的实施方式的基本原理。还有,在以下的说明中,将波长范围或色成分不同的光在空间上加以分离称为“分光”。
本发明的实施方式的固体摄像元件(以下,仅称为“摄像元件”。),具备:含有在摄像面上二维状排列的多个光敏元件(像素)的光敏元件阵列;和含有多个分光要素的分光要素阵列。图1是模式化地表示在固体摄像元件10的摄像面所形成的光敏元件阵列200和分光要素阵列100的一部分的立体图。分光要素阵列100按照与光敏元件阵列200对置的方式配置在光入射的一侧。还有,光敏元件2的排列、形状、尺寸等不限于该图的示例,也可以是公知的任意一种排列、形状、尺寸。另外,分光要素阵列100,为了方便而由四棱柱表示,但实际并不非要具有这样的形状,而是能够采取各种各样的构造。
就各光敏元件2而言,若接收光,则通过光电转换输出与接收到的光的强度(入射光量)相应的电信号(以下,称为“光电转换信号”或“像素信号”。)。在本发明的实施方式中,各光敏元件2接收经由分光要素阵列100而行进方向发生了变化的多个波长范围(色成分)的光。其结果是,各光敏元件2接到的光,具有与假定不存在分光要素时接收到的光不同的光谱分布(按波长范围的强度分布)。
以下,一边参照图2A~图2E,一边说明摄像元件10的基本构造。
图2A表示光敏元件阵列200的基本像素构成(单位区块)40的一例的俯视图。光敏元件阵列200具有在摄像面上二维状排列多个单位区块40的构造,多个单位区块40各自含有4个光敏元件2a、2b、2c、2d。在图示的例子中,在1个单位区块内使4个光敏元件以2行2列配置。另外,在同图中,4c是按照仅在垂直方向上聚光的方式构成的横型微柱透镜。该微柱透镜是在光入射的一侧具有曲面的柱面透镜,且在垂直方向上每隔1行配置。在此,图2A的左右方向称为“水平方向”,上下方向称为“垂直方向”。
图2B、2C分别是模式化地表示图2A的AA′线剖面、BB′线剖面的图。图2B、2C表示入射到摄像元件10的光透过分光要素阵列100时,由于色成分而导致行进方向发生变化,结果是各光敏元件接收到的光的光谱分布互不相同。在此,将在分光要素阵列100不存在的假定情况下各光敏元件接收到的光称为该光敏元件的“单元入射光”。1个单位区块所包含的光敏元件2a~2d接近时,能够认为这些光敏元件的单元入射光所包含的光的强度和光谱分布大体相同。
图2D、2E分别是模式化地表示图2A的CC′线剖面、DD′线剖面的图。入射到摄像元件10的光,经由微柱透镜4c,沿垂直方向(图2D中为左右方向)被会聚。关于垂直方向,并不是透过分光要素阵列100时由于色成分而导致行进方向发生变化。另外,入射到没有配置微柱透镜4c的区域的光,不会由于分光要素阵列100导致行进方向变化,而是直接直线传播。图2D、2E表示这样的光的入射情况。在此,微柱透镜4c其设计方式为,使垂直方向的宽度比邻接的光敏元件的间隔(像素间距)稍宽。其结果是,与不存在微柱透镜4c的情况相比,在光敏元件2a、2b中光接收量增加,反之在光敏元件2c、2d中光接收量减少。
首先,最初说明在没有微柱透镜4c、且朝向摄像元件10的入射光垂直地入射的假定情况下的各光敏元件接收到的光的强度(光量)。在此,使用标记表示光的强度。光敏元件的单元入射光的可视光成分的强度由标记“W”表示。本说明书中,单元入射光所包含的可视光成分大致区分为第一色成分、第二色成分、第三色成分。若将第一~第三色成分的强度分别表示为C1、C2、C3,则W=C1+C2+C3。
在以下的说明中,不只各色成分的强度,色成分本身也由C1、C2、C3表示。另外,除了各色成分以外的可视光的色成分称为该色成分的“互补色”,互补色的光称为“互补色光”。于是,第一色成分C1的互补色由C2+C3表示,第二色成分C2的互补色由C1+C3表示,第三色成分C3的互补色由C1+C2表示。以下,为了方便,有将色成分Cn(Cn为C1、C2、C3的任意一个)的互补色及其强度以Cn^表示的情况。第一~第三色成分的组合,代表性的是红(R)、绿(G)、蓝(B)这三原色的组合,但只要将可视光分为3个波长范围,则也可以是其他的色成分的组合。
在以上内容为前提下,说明本实施方式的分光要素阵列100的作用。如果在没有微柱透镜4c、光朝向摄像元件10垂直地入射摄像面的假定下,则分光要素阵列100,使从第一光敏元件2a的单元入射光(强度W)去除了第一色成分的互补色光(强度C1^)的光中加入第一色成分的光(强度C1)后的光入射第一光敏元件2a。另外,使从第二光敏元件2b的单元入射光(强度W)去除了第一色成分的光(强度C1)的光中加入第一色成分的互补色光(强度C1^)后的光入射第二光敏元件2b。此外,使从第三光敏元件2c的单元入射光(强度W)去除了第三色成分的光(强度C3)的光中加入第三色成分的互补色光(强度C3^)后的光入射第三光敏元件2c。另外,使从第四光敏元件2d的单元入射光(强度W)去除了第三色成分的互补色光(强度C3^)的光中加入第三色成分的光(强度C3)后的光入射第四光敏元件2d。在图2B~2E中,该情况下光敏元件2a~2d接收到的光的强度由标记表示。光敏元件2a~2d按照输出与光接收量所对应的光电转换信号(像素信号)的方式构成,因此通过这些信号间运算,能够得到表示C1、C2、C3的信号即彩色信号。
但是,实际上因为配置有微柱透镜4c,所以需要考虑微柱透镜4c的影响。配置有微柱透镜4c时,与没有微柱透镜4c的情况相比,向光敏元件2a、2b的入射光量增加,向光敏元件2c、2d的入射光量减少。若将这些入射光量的变化的比例设为k1(k1是满足0<k1<1的实数),则向光敏元件2a、2b的入射光量为(1+k1)倍,向光敏元件2c、2d的入射光量为(1-k1)倍。即,若以光敏元件阵列200整体进行考虑,则在第奇数行的像素排列部和第偶数行的像素排列部,入射光量发生差异。图2F表示这种情况下光敏元件2a~2d接收到的光。
在此,也需要考虑倾斜光的影响。若垂直方向的倾斜光发生,则相反微柱透镜4c造成的上述的入射光量差异变得缓和。若将其缓和的程度由标记k2(k2是满足0<k2<k1的实数)表示,则在光敏元件2a、2b中入射光量为(1+k1-k2)倍,在光敏元件2c、2d中入射光量为(1-k1+k2)倍。图2G表示在此情况下光敏元件2a~2d接收到的光。
此外,在水平方向的光敏元件间,也由于倾斜光造成的串扰的影响,光的混合增加,色的分离性降低。即,分光要素阵列200的图2B所示的C1光与C1^光的分离,和图2C所示的C3光与C3^光的分离变得不完全,其结果是,实际生成的彩色信号和期待的信号之间产生误差。图2H表示在考虑此影响时光敏元件2a~2d接收到的光。在此,k3是满足0<k3<1的实数,如后述是表示分光的缓和的程度的系数。
考虑以上的构成、微柱透镜4c和倾斜光发生的影响,对于本实施方式的信号处理进行说明。首先,假定微柱透镜4c和倾斜光发生的影响只对摄像的垂直方向造成影响。于是,光敏元件2a、2b分别接收以W-C1^+C1、W-C1+C1^的(1+k1-k2)倍表示的强度的光,光敏元件2c、2d分别接收以W-C3+C3^、W-C3^+C3的(1-k1+k2)倍表示的强度的光。各光敏元件输出与这些强度相应的光电转换信号(像素信号)。在此,使光敏元件2a~2d输出的光电转换信号分别为S2a~S2d,强度W所对应的信号为Ws,强度C1所对应的信号为C1s,强度C2所对应的信号为C2s,强度C3所对应的信号为C3s,此外强度C1^所对应的信号为C1^s(=C2s+C3s),强度C2^所对应的信号为C2^s(=C1s+C3s),强度C3^所对应的信号为C3^s(=C1s+C2s),Ws=C1s+C2s+C3s。于是,S2a~S2d能够分别由以下的式1~4表示。
(式1)
S2a=(1+k1-k2)(Ws-C1^s+C1s)=2(1+k1-k2)C1s
(式2)
S2b=(1+k1-k2)(Ws-C1s+C1^s)=2(1+k1-k2)C1^s
(式3)
S2c=(1-k1+k2)(Ws-C3s+C3^s)=2(1-k1+k2)C3^s
(式4)
S2d=(1-k1+k2)(Ws-C3^s+C3s)=2(1-k1+k2)C3s
若将信号S2a、S2b的差分设为D1,信号S2c、S2d的差分设为D2,则D1、D2分别由以下的式5、6表示。
(式5)D1=S2a-S2b=2(1+k1-k2)(C1s-C1^s)
(式6)D2=S2d-S2c=2(1-k1+k2)(C3s-C3^s)
在此,还要考虑微柱透镜4c和斜倾光发生对水平方向的影响。因为微柱透镜4c只在垂直方向聚光,所以不对水平方向造成影响。可是,关于倾斜的光发生的影响,如上述,在串扰的影响下,光的混合增加,色的分离性降低。即,由于这一影响导致上述D1、D2的绝对值减少。若其减少的程度由标记k3表示,则D1、D2分别由以下的式7、8表示。
(式7)D1=k3(S2a-S2b)=2k3(1+k1-k2)(C1s-C1^s)
(式8)D2=k3(S2d-S2c)=2k3(1-k1+k2)(C3s-C3^s)
还有,在式7、8中,使信号(S2a-S2b)、(S2d-S2c)为k3倍,相当于使式1~4中的C1s、C1^s、C3s、C3^s分别为k3倍。即,相当于使用以下的式9~式12代替式1~4。
(式9)
S2a=(1+k1-k2)(Ws-k3C1^s+k3C1s)=(1+k1-k2){(1-k3)Ws+2k3C1s}
(式10)S2b=(1+k1-k2)(Ws-k3C1s+k3C1^s)=(1+k1-k2){(1-k3)Ws+2k3C1^s}
(式11)S2c=(1-k1+k2)(Ws-k3C3s+k3C3^s)=(1-k1+k2){(1-k3)Ws+2k3C3^s}
(式12)S2d=(1-k1+k2)(Ws-k3C3^s+k3C3s)=(1-k1+k2){(1-k3)Ws+2k3C3s}
此外,根据C1^s=Ws-C1s,C3^s=Ws-C3s的关系,能够由式7、8分别得到以下的式13、14。
(式13)D1=2k3(1+k1-k2)(2C1s-Ws)
(式14)D2=2k3(1-k1+k2)(2C3s-Ws)
由式13、14表示的信号D1、D2,能够作为色差信号使用。
另一方面,通过S2a和S2b的加法运算,S2c和S2d的加法运算,以及S2a~S2d的加法运算的任意一个运算,如以下的式15~17所示这样,能够得到最大相当于单元入射光的强度W的4倍的信号。这些信号相当于入射光的全部在未损失下被光电转换后的信号,因此能够作为亮度信号利用。特别是如果将式17所示的信号作为亮度信号利用,则作为图像取得的灵敏度很理想。
(式15)S2a+S2b=2(1+k1-k2)Ws
(式16)S2c+S2d=2(1-k1+k2)Ws
(式17)S2a+S2b+S2c+S2d=4Ws
如果能够得到由式15~式17的任意一个运算所求得的亮度信号、和由式13、14所求得的2个色差信号,则通过矩阵运算,能够求得彩色信号C1s、C2s、C3s(例如RGB信号)。即,通过基于从光敏元件2a~2d输出的4个光电转换信号S2a~S2d的信号运算,能够计算出彩色信号。
在此,式13、14所表示的色差信号D1、D2受到微柱透镜4c和倾斜光发生的影响,但如果k1、k2、k3是可知的,则能够反过来求得没有这些影响时的信号。以下,说明这些系数求得方法的例子。k1是由微柱透镜4c的形状和配置所决定的参数,能够由光学设计求得。k2、k3是由倾斜光的影响所决定的参数,但因为都由倾斜光决定,所以有相关关系。关于k2,如果k1已知,则通过将信号S2a~S2d的值代人式15~17,便能够求得其值。关于k3,通过预先实验或摸似求得k2和k3的相关关系,能够根据利用式15~17而得到的k2的值决定。因为倾斜光的量依存于光学光圈值,所以k2和k3的相关关系,例如能够通过一边改变光学光圈值一边测量色变化的实验等,预先使之数据库化。也可能求得表示k2和k3的相关关系的函数替代预先数据库化。
根据本实施方式的摄像元件10,不使用吸收光的一部分的彩色滤光片,而能够使用分光要素通过信号运算得到色信息,在此基础上,即使由于倾斜光的发生导致向各光敏元件的入射光的串扰增加,也能够修正这一影响。其结果是,能够防止光的损失,能够提高摄像灵敏度,实现良好的色再现性。
还有,在图1和图2B、2C中,分光要素阵列100作为覆盖多个光敏元件的连续的要素描绘,但分光要素阵列100,可以是在空间上分离的多个分光要素的集合体。作为这样的分光要素,能够使用例如后述的高折射率透明构件和微棱镜等。本公开的分光要素阵列100,只要是能够得到上述的式1~4或式9~12所代表的光电转换信号,以哪种方式构成都可以,例如也可以使用全息元件等进行分光。
另外,在上述的例子中,分光要素阵列100,对于图2H中的第1行,将入射光分为C1光和其互补色光即C1^光,对于第2行,将入射光分为C3光和其互补色光即C3^光,但分光的方法并不限定为该例。以光敏元件2a~2d接收互不相同的光谱分布的光的方式构成分光要素阵列100即可。例如,光敏元件2a~2d分别输出以下的式18~21所示的信号S2a~S2d而构成分光要素阵列100也可。
(式18)S2a=(1+k1-k2)(Ws-k3C1s+k3C2s)
(式19)S2b=(1+k1-k2)(Ws-k3C2s+k3C1s)
(式20)S2c=(1-k1+k2)(Ws-k3C3s+k3C3s^)
(式21)S2d=(1-k1+k2)(Ws-k3C3s^+k3C3s)
输出这样的信号S2a~S2d时的具体例,在以下的实施方式1中说明。以下,一边参照图3至图8,一边说明更具体的实施方式。在以下的说明中,对共通或对应的要素附加相同的符号。
(实施方式1)
图3是表示第一实施方式的摄像装置的整体构成的方块图。本实施方式的摄像装置是数字式的电子照相机,且具备摄像部300、和基于从摄像部300送出的信号生成表示图像的信号(图像信号)的信号处理部400。还有,摄像装置可以只生成静止图像,也可以具备生成运动图像(动画)的功能。
摄像部300具备如下:用于成像被摄物体的光学透镜12;光学光圈50;光学滤光片11;将通过光学透镜12和光学滤光片11而成像的光信息,经由光电转换而转换成电信号的固体摄像元件10(图像传感器)。摄像部300还具备如下:发生用于驱动摄像元件10的基本信号、并且接收来自摄像元件10的输出信号并发送至信号处理部400的信号发生/接收部13;基于由信号发生/接收部13发生的基本信号驱动摄像元件10的元件驱动部14。光学透镜12是公知的透镜,可以是具有多个透镜的透镜群。光学滤光片11是:在用于减少因像素排列而发生的莫尔图形的水晶低通滤光片上使红外线除去用的红外截止滤光片合并组合后的部件。摄像元件10其代表性的是CMOS或CCD、且由公知的半导体制造技术制造。信号发生/接收部13和元件驱动部14,例如由CCD驱动器等的LSI构成。
信号处理部400具备如下:处理从摄像部300送出的信号而生成图像信号的图像信号生成部15;将在图像信号的生成过程中发生的各种数据加以存储的存储器30;将所生成的图像信号发送到外部的图像信号输出部16。就图像信号生成部15而言,能够通过使公知的数字信号处理机(DSP)等的硬件、和运行含有图像信号生成处理的图像处理的软件加以组合而被适当地实现。存储器30由DRAM等构成。存储器30记录从摄像部300送出的信号、并且暂时地记录由图像信号生成部15生成的图像数据和压缩的图像数据。这些图像数据经由图像信号输出部16被发送至未图示的记录媒体和显示部等。
还有,本实施方式的摄像装置,能够具备电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素,但其说明对于本实施方式的理解不是特别必要,因此省略。另外,以上的构成不过是一例,在除去摄像元件10和图像信号生成部15的构成要素中,能够适当组合使用公知的要素。
以下,说明本实施方式的固体摄像元件10。
图4是模式化地表示在曝光中透过透镜12的光入射摄像元件10的情形的图。在图4中,为了简单而省略了透镜12和摄像元件10以外的构成要素的记述。另外,透镜12一般能够由在光轴方向排列的多个透镜构成,但为了简单而作为单一的透镜描绘。在摄像元件10的摄像面10a上,配置有包含二维状排列的多个光敏元件(像素)的光敏元件阵列200。就各光敏元件而言,其代表性的是光电二极管,经由光电转换输出与入射光量对应的光电转换信号(像素信号)。透过透镜12、光学光圈50和光学滤光片11的光(可视光)入射到摄像面10a。一般而言,入射到摄像面10a的光的强度和按波长范围的入射光量的分布(光谱分布),根据入射位置而有所不同。另外,光学光圈50的光圈值越大,倾斜光越多;光圈值越小,倾斜光越少。
图5是表示本实施方式的像素排列的例子的俯视图。光敏元件阵列200,例如,如同图所示,具有在摄像面10a上以正方网格状排列的多个光敏元件。光敏元件阵列200由多个单位区块40构成,各单位区块40含有4个光敏元件2a、2b、2c、2d。各单位区块所包含的4个光敏元件2a~2d,如同图所示,相互靠近,但即使其分离,也可以通过适当地构成后述的分光要素阵列100而得到色信息。另外,各单位区块也可以含有5个以上的光敏元件。
按照与光敏元件阵列200对置(对向)的方式,在光入射的一侧配置有包含多个分光要素的分光要素阵列100。在本实施方式中,对于各单位区块所含的4个光敏元件,分别各设1个分光要素。
以下,说明本实施方式的分光要素。
本实施方式的分光要素,是利用在折射率不同的两种透光性构件的边界产生的光的衍射、而使入射光根据波长范围会朝向不同的方向的光学元件。这种类型的分光要素具有如下:由折射率相对高的材料形成的高折射率透明构件(芯部);由折射率相对低的材料形成的且与芯部的各个侧面相接的低折射率透明构件(包层部)。由于芯部和包层部之间的折射率差,导致透过两者的光之间产生位相差,因此发生衍射。该位相差根据光的波长而有所不同,因此可以使光根据波长范围(色成分)在空间上进行分离。例如,能够使第一色成分的光各有一半朝向第一方向和第二方向,使第一色成分以外的光朝向第三方向。另外,也可以使各不相同的波长范围(色成分)的光朝向3个方向。因为利用芯部和包层部的折射率差可以进行分光,所以在本说明书中,将高折射率透明构件称为“分光要素”。这样的衍射型的分光要素的详情,例如,被公开在专利第4264465号公报中。
具有以上这样的分光要素的分光要素阵列100,能够借助公知的半导体制造技术,通过运行薄膜的堆积和图案形成来制造。通过分光要素的材质(折射率)、形状、尺寸、排列图案等的适当设计,可以对各个光敏元件使希望的波长范围的光分离/统一地入射。其结果是,根据各光敏元件输出的光电转换信号的组,能够计算出需要的色成分所对应的信号。
以下,一边参照图6A~6D,一边说明本实施方式的摄像元件10的基本构造和各分光要素的作用。
图6A是表示摄像元件10的基本构造的俯视图。在各单位区块中,按照与4个光敏元件2a、2b、2c、2d各自对向的方式分别配置有分光要素1a、1b、1c、1d。具有这样的基本构造的多个图案在摄像面10a上反复形成。另外,微柱透镜4c在分光要素阵列100的上部沿垂直方向每隔1行而配置。在同图中,在分光要素1a、1b上配置有微柱透镜4c,该微柱透镜4c使其表面为凸状。
图6B、6C是分别表示图6A的A-A′线剖面和B-B′线剖面的图。如图示,摄像元件10具备如下:由硅等的材料构成的半导体基板7;在半导体基板7的内部所配置的光敏元件2a~2d;在半导体基板7的表面侧(光入射的一侧)所形成的配线层5和由低折射率透明构件所构成的透明层6a;在透明层6a的内部所配置的由高折射率透明构件构成的分光要素1a、1b、1c、1d。
图6A~6C所示的构造,能够由公知的半导体制造技术制作。图6A~6C所示的摄像元件10,具有使光从配线层5的一侧向各光敏元件入射的表面照射型的构造。但是,本实施方式的摄像元件10不限于这样的构造,也可以是从配线层5的相反侧接收光的背面照射型的构造。
分光要素1a、1b,如图6B所示,具有在光透过的方向上纵长的长方形状的截面,通过自身和透明层6a之间的折射率差而进行分光。分光要素1a,使黄(Ye)光入射对置的光敏元件2a,使蓝(B)光各有一半入射光敏元件2b和邻接的单位区块所包含的光敏元件(未图示)。在此,黄(Ye)光是由红(R)光和绿(G)光构成的光。另一方面,分光要素1b,使青(Cy)光入射对置的光敏元件2b,使R光各有一半入射光敏元件2a和邻接的其他的单位区块所含的光敏元件(未图示)。在此,青(Cy)光是由绿(G)光和蓝(B)光构成的光。在本实施方式中,以使分光要素1a、1b具有上述的分光特性的方式设计分光要素1a、1b的长度和厚度。还有,一般而言,入射光所包含的R光和G光的强度未必一致,因此Ye光未必是作为红和绿的混合色的目视为黄色的光。同样,一般而言,入射光所包含的G光和B光的强度也未必一致,因此Cy光也未必是作为绿和蓝的混合色的目视为青色的光。例如,单元入射光完全不包含B光时,Cy光是与G光同样地、目视为绿色的光。
通过使用这样的分光要素1a、1b,光敏元件2a从分光要素1a接收Ye光(W-B),从分光要素1b和邻接的单位区块所包含的分光要素也各接收一半R光。另外,光敏元件2b,从分光要素1b接收Cy光(W-R),从分光要素1a和邻接的单位区块所包含的分光要素(未图示)也各接收一半B光。
另外,分光要素1c、1d,也如图6C所示,具有在光透过的方向上纵长的长方形状的截面,通过自身和透明层6a之间的折射率差进行分光。分光要素1c,使洋红(M)光入射对置的光敏元件2c,使绿(G)光各有一半入射光敏元件2d和邻接的单位区块所包含的光敏元件(未图示)。在此,洋红(M)光是由红(R)光和蓝(B)光构成的光。另一方面,分光要素1d,使绿(G)光入射对置的光敏元件2d,使洋红(M)光各有一半入射光敏元件2c和邻接的其他的单位区块所包含的光敏元件(未图示)。在本实施方式中,以使分光要素1c、1d拥有上述的分光特性的方式设计分光要素1c、1d的长度和厚度。还有,R光和B光的强度未必一致,因此洋红光未必是作为红和蓝的混合色的目视为洋红色的光。例如,单元入射光完全不含B光时,M光是与R光同样地、目视为红色的光。
上述的分光要素1a~1d带来的分光的结果,如果无视微柱透镜4c的影响和伴随光学光圈50的孔径而来的倾斜光的影响,则光敏元件2a~2d,如图6B、6C所示,分别接收(W-B+R)、(W-R+B)、(W-G+M)、(W-M+G)所代表的强度的光。但是,实际上因为受到微柱透镜4c的影响、还有光学光圈50的孔径带来的倾斜光的影响,所以在光敏元件2a~2d中,有图6D所示的光入射。但是,如上述,k1是由微柱透镜4c的光学构造决定的系数,k2、k3是由倾斜光的影响决定的系数。在此,相当于红光、绿光、蓝光的强度的信号分别由Rs、Gs、Bs表示。另外,相当于青光的强度的信号Cs为Gs+Bs,相当于黄光的强度的信号Ys为Rs+Gs,相当于洋红光的强度的信号Ms为Rs+Bs,相当于白光的强度的信号Ws为Rs+Gs+Bs。于是,光敏元件2a~2d分别输出由以下的式22~25代表的光电转换信号2a~2d。
(式22)S2a=(1+k1-k2)(Ws-k3·Bs+k3·Rs)
(式23)S2b=(1+k1-k2)(Ws-k3·Rs+k3·Bs)
(式24)S2c=(1-k1+k2)(Ws-k3·Gs+k3·Ms)
(式25)S2d=(1-k1+k2)(Ws-k3·Ms+k3·Gs)
这些算式22~25,相当于在式18~21中C1s=Bs、C2s=Rs、C3s=Gs时的算式。图像信号生成部15(图3),通过使用了式22~25所示的光电转换信号的运算生成色信息。以下,一边参照图7,一边说明图像信号生成部15进行的彩色信息生成处理的例子。图7是表示本实施方式中的彩色信息生成处理的步骤的流程图。
就图像信号生成部15而言,首先,在步骤S10中,取得光电转换信号S2a~S2d。接着,在步骤S12中,通过(S2a-S2b)的运算生成信号2(1+k1-k2)k3(Rs-Bs),通过(S2c-S2d)的运算生成信号2(1-k1+k2)k3(Ms-Gs)。接下来,在步骤14中,对于这些差分信号进行加减运算,生成以下的式26、27所示的色差信号D11、D12。
(式26)
D11=(S2a-S2b)+(S2c-S2d)
=2(1+k1-k2)k3(Rs-Bs)+2(1-k1+k2)k3(Ms-Gs)
=2k3{(2Rs-Gs)-(k1-k2)(2Bs-Gs)}
(式27)
D12=(S2c-S2d)-(S2a-S2b)
=2(1-k1+k2)k3(Ms-Gs)-2(1+k1-k2)k3(Rs-Bs)
=2k3{(2Bs-Gs)-(k1-k2)(2Rs-Gs)}
接着,在步骤S16中,对于S2a和S2b进行加法运算,以及对于S2c和S2d进行加法运算,分别生成以下的式28、29所示的加算信号2(1+k1-k2)Ws和2(1-k1+k2)Ws。
(式28)S2a+S2b=2(1+k1-k2)Ws
(式29)S2c+S2d=2(1-k1+k2)Ws
接着,在步骤S18中,使用k1、式28、29所示的加算信号之间的差分结果、和预先计测的k2和k3的相关结果,修正色差信号D11、D12,生成色差信号2(2Rs-Gs)、2(2Bs-Gs)。在此,系数k1、和表示k2与k3的相关关系的数据库或函数被预先记录在存储器30等的记录媒体中。
接着,在步骤S20中,通过将像素信号S2a~S2d加以合计而生成表示单元入射光的强度的信号4(Rs+Gs+Bs)=4Ws,将其作为亮度信号。最后,在步骤S22中,根据2个色差信号和1个亮度信号,通过矩阵运算,得到RGB彩色信号即Rs、Gs、Bs。
图像信号生成部15,将以上的信号运算按光敏元件阵列200的单位区块40进行运行,生成表示R、G、B的各色成分的图像的信号(称为“彩色图像信号”。)。所生成的彩色图像信号,通过图像信号输出部16被输出到未图示的记录媒体和显示部。在此,根据单位区块40的摄像面上的位置而倾斜光的比例和入射方向有所不同,因此系数k1、k2、k3也可以根据单位区块40而设定为不同的值。通过根据单位区块40的位置而将这些系数设定为适当的值,能够进一步提高色再现性。
如此,根据本实施方式的摄像装置,通过使用了光电转换信号S2a~S2d的加减运算处理和使用了k1、k2、k3的彩色信号的修正处理,能够得到彩色图像信号。根据本实施方式的摄像元件10,因为不使用光吸收的光学元件,所以与使用彩色滤光片等的现有技术相比较,能够大幅地减少光的损失,而且,即使由于光学光圈等造成倾斜光的发生,也能够实现良好的色再现性。
如以上,在本实施方式的摄像元件10中,按照与光敏元件阵列200对置的方式配置以2行2列为基本构成的分光要素阵列100。在分光要素阵列100的上部每隔1行配置沿垂直方向聚光的微柱透镜4c。在分光要素阵列100中,在第1行第1列配置有将光分成蓝光和蓝光以外的分光要素1a。在第1行第2列配置有将光分成红光和红光以外的分光要素1b。在第2行第1列配置有将光分成绿光和绿光以外的分光要素1c。在第2行第2列配置有将光分成洋红光(即绿光以外)和洋红光以外(即绿光)的分光要素1d。这样的分光要素的排列图案在摄像面上反复形成,因此,即使光敏元件阵列200的单位区块40的选择方法按1行或1列改变,所得到的4个光电转换信号仍成为始终由式22~25所代表的4个信号的组合。即,通过一边将运算对象的像素块按1行和1列错开一边进行上述的信号运算,能够得到大体上只有像素数量的RGB各色成分的信息。这意味着,能够将摄像装置的分辨率提高至像素数的程度。因此,本实施方式的摄像装置,除了比现有的摄像装置有更高灵敏度以外,还可以生成高分辨率的彩色图像。此外,基于已知的系数k1、由信号处理得到的系数k2、和预先通过实验等求得的k2和k3的相关关系,使用由k2得到的系数k3修正彩色信号,由此也可以去除因倾斜光造成的串扰的影响。
还有,图像信号生成部15,也未必全部生成3个色成分的图像信号。也可以构成为,根据用途只生成1色或2色的图像信号。另外,也可以根据需要在信号处理的过程中进行各信号的增幅、合成、修正。
另外,虽然理想的是各分光要素严密地具有上述的分光性能,但这些分光性能有一些偏离也可。即,从各光敏元件实际输出的光电转换信号,也可以距式22~25所示的光电转换信号有一些偏离。即使各分光要素的分光性能偏离理想的性能时,根据偏离的程度来修正信号,也能够得到良好的色信息。
此外,本实施方式的图像信号生成部15进行的信号运算,也可以不由摄像装置自身运行,而是由其他的设备运行。例如,使接收从摄像元件10输出的光电转换信号的输入的外部的设备,运行规定本实施方式的信号运算处理的程序,由此也能够生成色信息。这种情况下,在摄像装置上也可以不设置运行上述的运算处理的图像信号生成部15。
还有,摄像元件10的基本构造不限于图6A~6C所示的构成。例如,以分光要素1a和分光要素1b交换的构成、或分光要素1c和分光要素1d交换的构成进行配置,都不会改变本实施方式的效果。另外,图6A所示的第1行的配置和第2行的配置也可以交换,即使分光要素1a、1b和分光要素1c、1d不是以沿着行方向排列的方式配置,而是以沿着列方向排列的方式配置,其有效性也不会改变。这种情况下,微柱透镜4c以在列方向上延长的方式形成即可。关于微柱透镜4c,在本实施方式中,虽然利用的是改变了其界面的曲率的柱面透镜,但并不限于此。例如,也可以是利用衍射效果的部件,只要是在光学机能上使入射光沿垂直方向会聚的光学元件,哪种都可以。在本说明书中,这样的光学元件称为“聚光元件”。
另外,分光要素1a~1d的分光特性,也可以与图6A~6C所示的特性不同。例如,分光要素1a~1d,也可以不是使一部分的色成分的光各有一半入射两侧的光敏元件,而是使该色成分的光入射一侧的邻接光敏元件。此外,分光要素1a~1d所分光的光的颜色不限定为上述的例子。如果使光敏元件2a~2d接收的光的光谱分布不同而构成分光要素阵列100,则通过该构成所对应的信号处理,也能够得到色信息。
在以上的说明,作为分光要素,使用的是利用2个构件的折射率差而进行分光的光学元件,但分光要素只要能够向各光敏元件入射期望的色成分的光,则什么样的都可以。例如,作为分光要素也可以使用微棱镜等。另外,也可以组合使用不同种类的分光要素。
(实施方式2)
接下来,一边参照图8A~8C,一边说明第二实施方式。本实施方式的摄像装置,与实施方式1的摄像装置比较,只有摄像元件10的分光要素的构成和信号处理不同,其他的构成要素相同。以下,以与实施方式1的摄像装置的差异点为中心进行说明,重复的点省略说明。
图8A是表示本实施方式的摄像元件10的基本构成的图。图8B是图8A的A-A’线剖面图,图8C是图8A的B-B’线剖面图。本实施方式的摄像元件10的分光要素的构成,如图8A~8C所示,在分光要素阵列100中,在第1行第1列配置有将光分成蓝光和蓝光以外的分光要素1a。在第2行第2列配置有将光分成红光和红光以外的分光要素1b。在第1行第2列和第2行第1列的光敏元件上没有配置分光要素。其结果是,如果无视微柱透镜4c和倾斜光的影响,则在光敏元件2a~2d中,如图8B、8C所示,分别有(W-B)、(W+B)、(W+R)、(W-R)所代表的强度的光入射。
但是,实际上因为存在微柱透镜4c和倾斜光的影响,所以在光敏元件2a~2d中入射图8D所示的光。其结果是,各光敏元件的信号S2a、S2b、S2c、S2d,在使用系数k1、k2、k3下,分别由下式30~33表示。
(式30)S2a=(1+k1-k2)(Ws-k3·Bs)
(式31)S2b=(1+k1-k2)(Ws+k3·Bs)
(式32)S2c=(1-k1+k2)(Ws+k3·Rs)
(式33)S2d=(1-k1+k2)(Ws-k3·Rs)
这种情况下,图像信号生成部15,如以下的式34、35所示,根据差分信号S2c-S2d和S2b-S2a,分别建立R系的彩色信号2k3(1-k1+k2)Rs、B系的彩色信号2k3(1+k1-k2)Bs。
(式34)S2c-S2d=2k3(1-k1+k2)Rs
(式35)S2b-S2a=2k3(1+k1-k2)Bs
接着生成以下的式36、37所示的加算信号S2c+S2d和S2b+S2a。
(式36)S2c+S2d=2(1-k1+k2)Ws
(式37)S2b+S2a=2(1+k1-k2)Ws
图像信号生成部15,根据已知的k1和式36、37求得系数k2,再根据预先测量的k2和k3的相关关系求得k3,在此基础上根据式34、35计算Rs和Bs。另外,作为亮度信号,取得由4个像素的信号的加法运算得到的信号S2a+S2b+S2c+S2d=4Ws。求得4Ws后,通过(4Ws/4)-Rs-Bs的运算,得到Gs。
如以上,根据本实施方式的摄像装置,通过使用了光电转换信号S2a~S2d的加减算处理和使用了k1、k2、k3的彩色信号的修正处理,能够得到彩色图像信号。由此,能够除去倾斜光的影响,因此相比以往,可以进行色再现性良好的摄像。
还有,在本实施方式中,配置方式为:使分光要素1a与光敏元件2a对置,使分光要素1b与光敏元件2d对置,但是配置方式也可以为:使分光要素1a与光敏元件2b对置,使分光要素1b与光敏元件2c对置。另外,各分光要素其构成也可以不是在水平方向上分光,而是在垂直方向上分光。这种情况下,微柱透镜2b以沿着垂直方向延长的方式设置即可。关于在实施方式1中说明的其他的变形例,也可以同样适用于本实施方式。
在上述的实施方式1、2中,各分光要素以与任意一个光敏元件对向的方式配置,但分光要素也可以是按照使其一部分位于多个光敏元件的边界上的方式配置。例如,在光敏元件2a、2b的边界上配置将入射光在水平方向上分离的第一分光要素,在光敏元件2c、2d的边界上配置将入射光在水平方向上分离的第二分光要素。作为这样的构成,第一和第二分光要素的分光特性也不同,作为结果是,如果以在光敏元件2a~2d使不同的光谱分布的光入射的方式构成,则能够通过信号处理生成色信息。
另外,各分光要素,也可以具有将入射光分离成不同的3个波长范围的光的特性,以之取代将入射光分离成原色(R、G、B)和互补色(Cy、Mg、Ye)和特性。例如也可以使用如图9所示的微棱镜这样,将入射光分离成C1、C2、C3这3种成分,使C1光入射对置的光敏元件,使C2光入射一侧的邻接光敏元件,使C3光入射另一侧的邻接光敏元件的分光要素。
产业上的可利用性
本公开的固体摄像元件和摄像装置,对于使用固体摄像元件的全部的照相机有效。例如,可以利用于数码照相机和数码摄像机等的民生用照相机和工业用的固体监控摄像机等。
符号说明
1a、1b、1c、1d 分光要素
2、2a、2b、2c、2d 摄像元件的光敏元件
4a、4b 微透镜
4c 微柱透镜
5 摄像元件的配线层
6a、6b 透明层
7 硅基板
9 固定基板
10 摄像元件
11 光学滤光片
12 光学透镜
13 信号发生/接收部
14 元件驱动部
15 图像信号生成部
16 图像信号输出部
17 反射红(R)光以外的多层膜滤光片(分色镜)
18 只反射绿(G)光的多层膜滤光片(分色镜)
19 只反射蓝(B)光的多层膜滤光片(分色镜)
20 遮光部
21 透光性的树脂
22 G光透过的多层膜滤光片(分色镜)
23 R光透过的多层膜滤光片(分色镜)
24 透射G光的有机颜料滤光片
25 透射R光的有机颜料滤光片
26 微透镜
27 金属层
30 存储器
40 光敏元件的单位区块
50 光学光圈
100 分光要素阵列
200 光敏元件阵列
300 摄像部
400 信号处理部