CN102177706B - 摄像装置和固体摄像元件 - Google Patents

Abstract

本发明提供一种摄像装置和固体摄像元件。固体摄像元件具备：像素阵列，其被分割成包括N个(N是2以上的整数)像素的多个单位像素块；和分别与各像素对应地配置的多个光透过部(30a、30b、30c、30d)。各光透过部被分割成M个(M是2以上的整数)带状区域，各区域具有独立设定的光透过率。光透过部(30a、30b、30c、30d)中的光透过率的排列图案互不相同。摄像装置具备在摄像面上使像在第一方向上移动的位置错开部，通过在移动前后进行像素信号的读出，从而生成分辨率比由像素间距规定的分辨率高的图像。

Description

摄像装置和固体摄像元件

技术领域

本发明涉及以子像素的精度提高图像的清晰度的摄像装置和固体摄像元件。

背景技术

近年，使用了CCD或CMOS等固体摄像元件(以下有时称作“摄像元件”)的数码照相机或数码摄像机的高功能化、高性能化受到关注。特别是，半导体制造技术的进步推进了固体摄像元件的像素结构的微细化。其结果，实现了固体摄像元件的像素和驱动电路的高集成化，摄像元件的像素数从100万像素左右上升到了1000万像素以上，多像素化迅速发展。另一方面，在多像素的固体摄像元件的制造工艺中，像素密度越高，制造工序会变得越复杂，并且生产品质也会降低。此外，像质检查所需的时间也会变长，其结果，成品率和生产率也会受到影响。

为了图像的高清晰度化，除了基于摄像元件的多像素化的方法外，还有基于针对由光学系统成像的图像使摄像元件的像素错开的所谓的像素错开技术的方法。像素错开技术大致分为两类技术。第一种像素错开技术是在固体摄像元件的摄像面内将排列为矩阵状的多个像素按每一行或每一列错开半个像素间距来配置的图像空间位置错开的像素错开。第二种像素错开技术是以机械方式使二维正方排列的固体摄像元件和光学系统中的至少一个微动的时间变动的像素错开。

专利文献1公开了基于图像空间位置错开的像素错开技术的基本原理的一例。专利文献1中，在使用了三个摄像元件的三板式彩色照相机中，应用了基于图像空间位置错开的像素错开技术。该彩色照相机通过采用使人类的辨识度高的绿色(G)的摄像元件的像素每隔一行在水平方向上错开1/2间距而得到的结构，提高了水平方向的分辨率。

专利文献2公开了除了在水平方向外还在垂直方向上错开像素的一例。在专利文献2的CCD摄像元件中，将相当于像素的光感知部的形状设为菱形，并配置成波形状。通过在水平方向和垂直方向上都使各像素错开像素的1/2间距来进行排列，从而提高了水平和垂直方向的分辨率。

关于时间变动的像素错开的技术，专利文献3公开了对摄像元件以机械方式使光学系统微动的一例。在专利文献3中，在摄像元件与透镜之间设有透光性的平行平板。通过使平行平板相对光轴摆动，从而使成像在摄像元件上的光学像微动，提高微动方向的分辨率。专利文献4公开了光学系统不动而是使摄像元件本身微动来提高分辨率的例子。在专利文献4公开的例子中，作为微动单元使用压电元件，使摄像元件微动像素的1/2间距来提高分辨率。

如上所述，现有的像素错开技术通过在水平和垂直方向上错开1/2间距来配置像素，或者以机械方式在水平和垂直方向上使摄像元件微动1/2间距，从而提高了分辨率。理论上，若光感知部的开口率为100％，则通过使像素错开1/2间距，则分辨率会提高为两倍。

专利文献1：特开昭58-137247号公报

专利文献2：特开昭60-187187号公报

专利文献3：特开昭63-284979号公报

专利文献4：特开昭64-69160号公报

根据现有的像素错开技术，虽然能够使分辨率提高为约两倍，但是更高的增加是不可能的。为了进一步提高分辨率，必须提高像素的配置密度。

发明内容

本发明的目的在于提供一种像素错开技术，该技术能够在不提高像素的配置密度的情况下，将分辨率提高至现有的像素错开技术无法实现的超过两倍的值。

本发明的摄像装置具备：固体摄像元件，其具有：像素阵列，该像素阵列在摄像面上包含沿着第一方向和与所述第一方向交叉的第二方向二维状排列的多个像素，并且该像素阵列被分割成分别包含N个像素的多个单位像素块，其中N是2以上的整数；和分别与各像素对应地配置的多个光透过部，各光透过部被分割成沿着所述第一方向排列的M个区域，各区域具有独立设定的光透过率，各单位像素块所包含的所述N个像素所对应的N个光透过部的光透过率的排列图案互不相同，其中M是2以上的整数；光学系统，其在所述固体摄像元件的摄像面上形成像；位置错开部，其使所述像相对于所述多个光透过部的相对位置在所述第一方向和所述第二方向中的至少一个方向上改变；和信号处理部，其基于从所述固体摄像元件的各像素输出的信号，生成分辨率比由所述像素阵列的所述第一方向上的像素间距规定的分辨率高的图像。

在某一实施方式中，所述光学系统具有光学低通滤波器，该光学低通滤波器降低由所述光学系统形成的像在所述第二方向上的分辨率，所述位置错开部使所述像相对于所述多个光透过部的相对位置在所述第一方向上改变。

在某一实施方式中，各单位像素块所包含的所述N个像素所对应的所述N个光透过部的光透过率的排列图案，是基于正交小波系数被决定的。

在某一实施方式中，所述光学系统包括透光性部件，该透光性部件具有相对于与光轴垂直的平面倾斜的表面，所述位置错开部通过使所述透光性部件在与所述光轴垂直的方向上移动，从而使所述像相对于所述多个光透过部的相对位置改变。

在某一实施方式中，各单位像素块所包含的N个像素所对应的N个光透过部中的至少N-1个光透过部，被设定为第一透过率或不同于所述第一透过率的第二透过率。

在某一实施方式中，N＝4，M＝4，在将所述第一透过率表示为“1”、将所述第二透过率表示为“-1”时，各单位像素块所包含的四个像素所对应的四个光透过部的光透过率的排列图案，分别是由“1、-1、1、-1”表示的第一图案或者所述第一图案的相反图案、由“-1、1、1、-1”表示的第二图案或者所述第二图案的相反图案、由“-1、-1、1、1”表示的第三图案或者所述第三图案的相反图案、以及将各区域的光透过率设定为比0大的第三透过率的第四图案。

在某一实施方式中，N＝4，M＝4，在将所述第一透过率表示为“1”、将所述第二透过率表示为“-1”时，各单位像素块所包含的四个像素所对应的四个光透过部的光透过率的排列图案，分别是由“1、-1、1、-1”表示的第一图案、由“-1、1、1、-1”表示的第二图案或者所述第二图案的相反图案、由“-1、-1、1、1”表示的第三图案或者所述第三图案的相反图案、以及所述第一图案的相反图案。

本发明的固体摄像元件具备：像素阵列，其在摄像面上包含沿着第一方向和与所述第一方向交叉的第二方向二维状排列的多个像素，该像素阵列被分割成分别包含N个像素的多个单位像素块，其中N是2以上的整数；和多个光透过部，分别与各像素对应地配置，各光透过部被分割成沿着所述第一方向排列的M个区域，各区域具有独立设定的光透过率，各单位像素块所包含的所述N个像素所对应的N个光透过部的光透过率的排列图案互不相同，其中M是N以上的整数。

(发明效果)

根据本发明的摄像装置和固体摄像元件，由于能够以子像素的精度获得像素信号，所以能够实现现有的像素错开技术以上的高分辨率。

附图说明

图1是表示本发明的实施方式1的摄像装置的示意结构的框图。

图2是表示本发明的实施方式1的透镜和固体摄像元件的配置的框图。

图3A是表示本发明的实施方式1的像素排列的一例的图。

图3B是表示本发明的实施方式1的像素排列的另一例的图。

图4(a)是表示本发明的实施方式1的固体摄像元件的ND滤波器的基本结构的图，(b)是表示像移动前后的信号分布的图，(c)是表示像素30b、30d的光透过率和像素信号的图，(d)是表示像素30a、30c的光透过率和像素信号的图。

图5是表示本发明的实施方式1的固体摄像元件的ND滤波器的基本结构的其他例的图。

图6是表示本发明的实施方式1的固体摄像元件的ND滤波器的基本结构的另一例的图。

图7(a)是表示本发明的实施方式2的固体摄像元件的ND滤波器的基本结构的图，(b)是表示像移动前后的信号分布的图，(c)是表示像素30b、30e的光透过率和像素信号的图，(d)是表示像在水平方向上错开了一个间距时的像素30a、30c的光透过率和像素信号的图，(e)是表示像在水平方向上错开了5/4间距时的像素30a、30c的光透过率和像素信号的图，(f)是表示像在水平方向上错开了3/2间距时的像素30a、30c的光透过率和像素信号的图。

图8(a)是表示本发明的实施方式4的固体摄像元件的ND滤波器的基本结构的图，(b)是表示像移动前后的信号分布的图，(c)是表示像素30b、30e的光透过率和像素信号的图，(d)是表示像素30a、30c的光透过率和像素信号的图。

图9A是Haar基的定标函数的图表。

图9B是Haar基的小波函数的图表。

符号说明：1-固体摄像元件；1a-固体摄像元件的摄像面；2-光学低通滤波器；3-透明玻璃板；4-光学透镜；5-信号产生/接收部；6-元件驱动部；7-光学系统驱动部；8-图像存储器部；9-视频信号生成部；10-视频接口部；11-光学系统；19a、19b、19c、19d-像素信号；20a、20b、20c、20d-像素；30a、30b、30c、30d、30e、30f、30g、30h、30i-ND滤波器(光透过部)；40-单位像素块；100-摄像部；200-影像信号处理部。

具体实施方式

以下，参照附图说明本发明的实施方式。在多个图中相同的要素上附加同一参照符号。

(实施方式1)

图1是表示本发明的第1实施方式的摄像装置的示意结构的框图。本实施方式的摄像装置是数码摄像机，具备摄像部100、基于从摄像部100送出的信号生成影像信号(视频信号)的影像信号处理部200。另外，本实施方式的摄像装置是摄像机，但也可以是仅获取静止图像的照相机。

摄像部100具备光学系统11、和通过光电变换将经过光学系统11而成像的光信息变换为电信号的固体摄像元件1(图像传感器)。光学系统11包括光学透镜4、由石英构成的光学低通滤波器2、厚度随着距端部的距离而变化的透明玻璃板3。透明玻璃板3构成为能够通过光学系统驱动部7而在垂直于光轴的方向上微动。摄像部100还具备：信号产生/接收部5，其产生用于驱动固体摄像元件1的基本信号，并且接收来自固体摄像元件1的输出信号，发送给影像信号处理部10；元件驱动部6，其基于由信号产生/接收部5产生的基本信号驱动摄像元件1。另外，元件驱动部6也可以组装在信号产生/接收部5中。

光学透镜4是公知的透镜，可以是具有多个透镜的透镜单元。光学低通滤波器2是用于降低因像素排列产生的波纹图案的光学元件。关于摄像元件1，典型的是CCD或CMOS传感器，是通过公知的半导体制造技术制造的。信号产生/接收部5和元件驱动部6例如由CCD驱动器等的LSI构成。光学系统驱动部7例如由公知的压电元件构成。

影像信号处理部200具备：处理从摄像部100送出的信号来生成视频信号的视频信号生成部9、保存由视频信号的生成过程产生的各种数据的图像存储器部8、和向外部送出所生成的视频信号的视频接口部10。视频信号生成部9可通过公知的数字信号处理器(DSP)等硬件和执行包括视频信号生成处理在内的图像处理的软件的组合来适当实现。在本实施方式中，视频信号生成部9和图像存储器部8包含在信号处理部中。图像存储器部8由DRAM等构成。图像存储器部8记录从摄像部100送出的信号，并且暂时记录由视频信号生成部9生成的图像数据、被压缩的图像数据。经由视频接口部10向未图示的记录介质或显示部等送出这些图像数据。

本实施方式的摄像装置具备电子快门、取景器(view finder)、电源(电池)、闪光灯等公知的结构要素，在本发明的理解中并不特别需要这些说明，因此省略说明。此外，以上的结构仅仅是一例，对于除了固体摄像元件1的结构要素，可以适当组合使用公知的要素。

图2是示意性表示曝光过程中透过了光学透镜4的光入射到摄像元件1的情形的图。在图2中，为了简化，省略记载了光学透镜4和摄像元件1以外的结构要素。此外，透镜4一般由在光轴方向上排列的多个透镜构成，为了简化，描绘为单一的透镜。在摄像元件1的摄像面1a上配置有包括排列成二维状的多个像素的像素阵列。各像素中典型的是包括光电二极管，输出对应于接收到的光量(受光量)的光电变换信号(像素信号)。透过了光学系统11的光入射到摄像面1a上。

图3A是表示本实施方式的像素排列的俯视图。如图3A所示，像素阵列200具有在摄像面1a上排列成正方格子状的多个像素。像素阵列200被分割成多个单位像素块40，各单位像素块40包括配置为两行两列的四个像素20a、20b、20c、20d。另外，本发明的像素排列可以不是图3所示的正方格子状的排列，例如可以是图3B所示的斜交型排列，也可以是其他排列。只要沿着第一方向和与第一方向交叉的第二方向二维状地排列有多个像素，则像素排列可以是任意的排列。在以下的说明中，以图3A的像素排列为前提，但是即使是图3B等的像素排列，也能通过适当变更后述的ND滤波器的方向和像的移动方向，得到同样的效果。在以下的说明中，使用图3A、3B所示的XY坐标。在本说明书中，为了便于说明，将X方向称作“水平方向”，将Y方向称作“垂直方向”。

根据以上的结构，入射光经过光学透镜4、光学玻璃板3、光学低通滤波器2，在固体摄像元件1的摄像面1a上成像，并在固体摄像元件1的各像素中进行光电变换。这里，光学低通滤波器2使入射光在图像的垂直方向上双折射1像素量，降低该方向的分辨率。在本实施方式中，固体摄像元件的像素阵列200以2×2像素为基本结构，与这些像素的每一个对置地配置了ND(Neutral Density)滤波器。分别分开配置各ND滤波器，但是也可以不将各ND滤波器分开而是作为一个滤波器层来与像素阵列200对置地配置。另外，在本发明中，只要与像素一一对应地设置多个光透过部即可。这里，“对应”表示与信号蓄积开始时相对的意思。在本实施方式中，各ND滤波器作为一个光透过部发挥作用。

图4是表示本实施方式的固体摄像元件1的基本像素结构和信号分布的图。如图4(a)所示，与开口率为100％的像素20a、20b、20c、20d一一对应地分别配置有ND滤波器30a、30b、30c、30d。ND滤波器30a～30d的每一个由具有水平方向的像素间距(a)的1/4宽度的四个区域构成。ND滤波器30a～30c的各区域是光透过率相对高的区域(表示为“淡”)和光透过率相对低的区域(表示为“浓”)的任一个。ND滤波器30a的光透过率的排列图案是从图4的左侧开始依次为“浓”、“淡”、“浓”、“淡”的带状图案。ND滤波器30b具有“淡”、“浓”、“浓”、“淡”的带状图案。ND滤波器30c具有“淡”、“淡”、“浓”、“浓”的带状图案。ND滤波器30d不具备带状图案，四个区域的光透过率相同。在本实施方式中，将“淡”部分的光透过率设为α(＞0)，将“浓”部分的光透过率设为β(＞0，但是比α小)，并将不具备带状图案的ND滤波器30d的光透过率设定为(α+β)/2。其结果，透过各ND滤波器的光量大致相同。

在这里，说明本实施方式中的ND滤波器的光透过率的排列图案。上述的浓淡图案基于由图9A所示的Haar基的定标函数u(t)和图9B所示的Haar基的小波函数v(t)构成的正交小波变换的系数。在本实施方式中，按每个单位像素块处理从四个像素输出的四个数据。若基于正交小波变换，则可通过数据组的加法运算或减法运算转换为其他数据组，或者可通过相同的处理返回到原始的数据组。在本实施方式中，若将“淡”和无条纹的区域设为1，将“浓”的区域表示为-1，则可将ND滤波器30a、30b、30d、30d图案成分分别表示为(-1，1，-1，1)、(1，-1，-1，1)、(1，1，-1，-1)、(1，1，1，1)。这些图案成分的正交性可通过与向量的内积相同的处理来确认。即，若将各ND滤波器考虑成四个成分构成的向量，则可知它们的内积为0，是正交的。

以下，说明本实施方式的拍摄时的动作。

若开始曝光，则首先经一定时间在各像素中蓄积与受光量对应的信号。所蓄积的信号由摄像元件1读出，经由信号产生/接收部5发送给图像存储器部8。接着，光学系统驱动部7使透明玻璃板3在与光轴垂直的方向(图像的水平方向)上微动，使形成在摄像面上的像在水平方向上移动1像素间距。在移动后的状态下，再次经一定时间在各像素中蓄积信号。所蓄积的信号再次由摄像元件1读出，并发送给图像存储器部8。其中，光学低通滤波器2会在图像的垂直方向上降低分辨率，但是不会影响到水平方向。

接着，参照图4(b)～(d)，说明被读出的像素信号。首先，关注ND滤波器30b、30d。由于光学低通滤波器2的影响，认为入射到ND滤波器30b、30d的光的量相同。

在图4(b)中示出了假设不存在ND滤波器时例示蓄积在像素20b、20d中的信号的水平方向的依存性的图表19a。其中，将表示入射到具有1像素间距的1/4宽度的各区域的光的量的信号记为X1、X2、X3、…、Xn。在图4(b)中还示出了例示像在水平方向上移动了1像素间距后蓄积在像素20a、20c中的信号的水平方向的依存性的图表19b。

以下，说明视频信号生成部9基于从各像素读出的像素信号进行的处理。

首先，第一，在静止状态下，经由ND滤波器30b、30d分别读出光电变换后的信号。如图4(c)所示，由于ND滤波器30b的两端的两个区域的透过率是α，内侧的两个区域的透过率是β，因此可将与ND滤波器30b对置的像素20b的信号Sb表示为α(X1+X4)+β(X2+X3)。同样，可将经由ND滤波器30d得到的信号Sb表示为(X1+X2+X3+X4)(α+β)/2。

第二，像向水平左方向移动1像素间距，经由ND滤波器30a、30c读出被光电变换后的像素信号。如图4(d)所示，将经由ND滤波器30a得到的信号Sa表示为α(X2+X4)+β(X1+X3)。同样，将经由ND滤波器30c得到的信号Sc表示为α(X1+X2)+β(X3+X4)。即，分别用以下的式1～式4表示上述信号Sa～Sd。

(式1)Sa＝α(X2+X4)+β(X1+X3)

(式2)Sb＝α(X1+X4)+β(X2+X3)

(式3)Sc＝α(X1+X2)+β(X3+X4)

(式4)Sd＝(X1+X2+X3+X4)(α+β)/2

接着，对这些信号进行以下的处理。首先，将Sd除以2(α+β)。接着，进行Sd与其他信号的减法运算，并将各结果除以2(α-β)。通过这些运算，获得由式5～式8分别表示的信号Y1、Y2、Y3、Y4。

(式5)Y1＝Sd/2(α+β)

(式6)Y2＝(Sc-Sd)/2(α-β)

(式7)Y3＝(Sd-Sa)/2(α-β)

(式8)Y4＝(Sb-Sd)/2(α-β)

其结果，可用以下的式9～式12表示Y1～Y4与X1～X4的关系。

(式9)Y1＝(X1+X2+X3+X4)/4

(式10)Y2＝(X1+X2-X3-X4)/4

(式11)Y3＝(X1-X2+X3-X4)/4

(式12)Y4＝(X1-X2-X3+X4)/4

将经由ND滤波器30a～30d得到的信号通过上述运算进行处理而得到的信号(Y1、Y2、Y3、Y4)称作小波变换后的信号。若对这些结果实施与上述相同的加减法运算，则能够计算出原始的信号(X1、X2、X3、X4)。即，通过以下的式13～式16所示的加减法运算，能够得到具有1像素间距的1/4的宽度的各区域的像素信号X1～X4。

(式13)X1＝Y1+Y2+Y3+Y4

(式14)X2＝Y1+Y2-Y3-Y4

(式15)X3＝Y1-Y2+Y3-Y4

(式16)X4＝Y1-Y2-Y3+Y4

另外，上述的信号运算处理是一例，只要能够求出信号X1～X4，并不限于上述的顺序，也可以通过任意的顺序进行处理。

如以上所述，根据本实施方式的摄像装置，通过利用与固体摄像元件1的像素一一对应地配置的、光透过率的排列图案互不相同的四种ND滤波器，实质上能够将水平方向的分辨率提高至四倍。四种ND滤波器中的三种ND滤波器，被分割成宽度为水平像素间距的1/4的四个区域。第一ND滤波器30a具有“浓”、“淡”、“浓”、“淡”的带状图案。第二ND滤波器30b具有“淡”、“浓”、“浓”、“淡”的带状图案。第三ND滤波器30c具有“淡”、“淡”、“浓”、“浓”的带状图案。第四ND滤波器30d不具备条纹状的图案，其透过率是均匀的。按照横切这些带状图案的方式，使像在水平方向上移动1像素间距，并在移动前后进行拍摄，从而能够得到具有1像素间距的1/4宽度的各区域的像素信号。即，由于能够以子像素的精度获得像素信号，所以起到可实现比现有技术更高的分辨率的效果。

另外，在本实施方式中，将各像素的开口率设成了100％，但是也可以比100％小。只要根据各像素的开口率修正信号，就能够得到同样的效果。

此外，本实施方式的各ND滤波器的光透过率的排列图案并不限于上述的图案。各ND滤波器的光透过率的排列图案也可以是与上述所示的图案相反的图案。这里，“相反”是指使透过率为α的“淡”区域和透过率为β的“浓”区域颠倒过来。例如，代替图4(a)所示的图案可以采用图5所示的图案。图5表示代替ND滤波器30a、30b、30c而分别配置了将浓淡颠倒过来的ND滤波器30e、30f、30g的结构。在采用该结构的情况下，在上述的信号运算处理中，只要将α和β颠倒过来就能得到同样的结果。在该例中，将三个ND滤波器浓淡颠倒过来，但是也可以是将一个或两个ND滤波器的浓淡颠倒过来的结构。

在ND滤波器与像素的对应中，在本实施方式中使一个像素对应了一个ND滤波器，但是也可以使多个像素对应一个ND滤波器。例如，可以使两个像素对应一个ND滤波器。图6表示对一个ND滤波器30h对应两个像素20a、20b的例子。在该例中，按照覆盖两个像素20a、20b的方式配置了ND滤波器30h。ND滤波器30h被分割成每一个区域在X方向上具有像素间距的1/2的宽度的四个区域。该ND滤波器30h的光透过率的排列图案表示为“浓”、“淡”、“淡”、“浓”。基于从两个像素20a、20b得到的两个像素信号，能够求出表示四个区域的亮度的信号。在该例中，X方向的分辨率是通常的分辨率的1/2。另外，在该例中，ND滤波器30h中的与像素20a对置的部分和与像素20b对置的部分分别起到不同的光透过部的作用。因此，ND滤波器30h构成为与像素20a对置的部分和与像素20b对置的部分成为不同的光透过率的排列图案。

此外，在本实施方式中，通过移动透明玻璃板3移动了光的像，但是也可以通过其它方法移动像。在本发明中，只要是相对于多个光透过部而言像的相对位置产生变化的结构，可以通过任意的方法来实现。例如，相对于光轴倾斜地配置厚度均匀的透明玻璃板，使该玻璃板微动也能够使像的位置错开。由此，通过使具有相对于与光轴垂直的平面倾斜的表面的透光性部件微动，能够得到同样的效果。此外，使像和摄像元件1固定，使所有的ND滤波器水平移动1像素间距，也能通过信号处理得到同样的效果。在使ND滤波器微动的结构中，例如，元件驱动部6具有使ND滤波器微动的机构。

在本实施方式中，为了使入射到各像素的光量大致相等，将第四ND滤波器30d的光透过率设定成(α+β)/2，但是并不需要限于这样的设定。只要第四ND滤波器30d的四个区域的光透过率不是0，无论设定为什么样的值，都能够通过信号运算得到同样的效果。

在本实施方式中，水平方向的分辨率提高至通常的四倍，但是由于使用光学低通滤波器2，因此垂直方向的分辨率会降低至通常的1/2。所以，为了抑制垂直方向的分辨率的降低，可以将垂直方向的像素间距设为通常的一半。由此，即使使用光学低通滤波器2，也能够使垂直方向的分辨率维持与通常的分辨率相同的程度。

(实施方式2)

接着，参照图7说明本发明的第二实施方式的摄像装置。本实施方式的摄像装置与实施方式1的摄像装置的不同点仅在于ND滤波器的结构，其他结构与实施方式1相同。以下，以与实施方式1的摄像装置的不同点为中心进行说明，省略说明重复的点。

图7是本实施方式的固体摄像元件1的基本像素结构和信号分布图。图7(a)表示与开口率为100％的像素一一对应地配置了带状图案的ND滤波器30a、30b、30c、30d的状态。在本实施方式中，部分变更了实施方式1(图4)的ND滤波器的结构，代替ND滤波器30d，与像素20d对置地配置了与ND滤波器30a相反样式的ND滤波器30e。此外，关于浓淡图案的光透过率，“浓”的部分设定为光透过率极其低(β≈0)、“淡”的部分设定为光透过率极其高(α≈1)。根据这样的结构，使各ND滤波器的整体透过光量大致相同。

以下，说明本实施方式的拍摄时的动作。

若开始用于拍摄的曝光，则透明玻璃板3相对于光轴在垂直方向(图像的水平方向)上微动，使形成在摄像面上的像在水平方向上微动。虽然光学低通滤波器2在图像的垂直方向上降低分辨率，但是不会影响到水平方向。在本实施方式中，像从静止状态分别移动到在水平方向上错开1像素间距的位置、错开5/4间距的位置、错开3/2间距的位置，每次从固体摄像元件1读出由光电变换生成的图像信号。

接着，参照图7(b)～(f)，说明读出的像素信号。在本实施方式中，将“浓”区域和“淡”区域的光透过率分别设为0％和100％。即，α＝1、β＝0。首先，关注ND滤波器30b、30e。由于光学低通滤波器2的影响，认为ND滤波器30b、30e上的光量相同。

图7(b)示出了例示假设不存在ND滤波器时蓄积在像素20b、30e中的信号的水平方向的依存性的图表19a。图7(b)还示出了分别例示像在水平方向上移动了1间距、5/4间距、3/2间距时蓄积在像素30a、30c中的信号的水平方向的依存性的图表19b、19c、19d。

以下，说明在视频信号生成部9中基于从各像素读出的像素信号进行的处理。

首先，第一，在静止状态下，分别经由ND滤波器30b、30e读出被光电变换后的信号。如图7(c)所示，将经由ND滤波器30b、30e得到的信号分别表示为(X1+X4)、(X1+X3)。第二，像在水平方向上移动1像素间距，经由ND滤波器30a、30c读出被光电变换的像素信号。如图7(d)所示，将此时经由ND滤波器30a、30c读出的信号分别表示为(X2+X4)、(X1+X2)。第三，像从静止状态在水平方向上移动5/4像素间距，经由ND滤波器1a、1c读出被光电变换后的像素信号。如图7(e)所示，将此时经由ND滤波器30a、30c读出的信号分别表示为(X3+X5)、(X2+X3)。第四，像从静止状态在水平方向上移动3/2像素间距，经由ND滤波器1a、1c读出被光电变换后的像素信号。如图7(f)所示，将此时经由ND滤波器30a、30c读出的信号分别表示为(X4+X6)、(X3+X4)。

在读出的信号中，不利用(X3+X5)和(X4+X6)，而是利用其他的信号。首先，通过经由ND滤波器30e得到的信号(X1+X3)、和像移动了1像素间距时经由ND滤波器30a得到的信号(X2+X4)的加法运算，计算(X1+X2+X3+X4)，并将其设为Y1(式17)。接着，进行由以下的式18～式20所表示的各信号间的减法运算。

(式17)Y1＝(X1+X2+X3+X4)

(式18)Y2＝(X1+X2)-(X3+X4)

(式19)Y3＝(X1+X3)-(X2+X4)

(式20)Y4＝(X1+X4)-(X2+X3)

通过这些运算得到的信号Y1、Y2、Y3、Y4若除以系数，则与实施方式1相同。将(Y1、Y2、Y3、Y4)称作小波变换后的信号。若对这些结果实施与上述相同的运算处理，则能够计算出原始的信号(X1、X2、X3、X4)。即，通过以下的式21～式24所示的运算处理，能够得到具有1像素间距的1/4的宽度的各区域的像素信号X1～X4。

(式21)X1＝(Y1+Y2+Y3+Y4)/4

(式22)X2＝((Y1+Y2)-(Y3+Y4))/4

(式23)X3＝((Y1+Y3)-(Y2+Y4))/4

(式24)X4＝((Y1+Y4)-(Y2+Y3))/4

另外，信号运算处理不限于上述的顺序，只要能够求出信号X1～X4，可以以任意的顺序进行处理。

如以上所述，根据本实施方式的摄像装置，通过利用与固体摄像元件1的像素一一对应地配置的、光透过率的排列图案互不相同的四种ND滤波器，实质上能够将水平方向的分辨率提高至四倍。各ND滤波器被分割成带状的间隔为水平像素间距的1/4的四个区域。第一ND滤波器30a具有“浓”、“淡”、“浓”、“淡”的带状图案。第二ND滤波器30b具有“淡”、“浓”、“浓”、“淡”的带状图案。第三ND滤波器30c具有“淡”、“淡”、“浓”、“浓”的带状图案。第四ND滤波器30d具有“淡”、“浓”、“淡”、“浓”的带状图案。以横切这些带状图案的形式，使像从初始位置开始在水平方向上错开1像素间距、5/4像素间距、3/2像素间距，并分别进行拍摄，从而能够得到具有1像素间距的1/4宽度的各区域的像素信号。即，由于能够以子像素的精度获得像素信号，所以起到可实现比现有技术更高的分辨率的效果。

另外，在本实施方式中，将“淡”区域的透过率设成了100％，将“浓”区域的透过率设成了0，但是只要浓淡之差足够大，上述运算处理就会大致成立，因此无需一定要设定为上述透过率。

本实施方式的各ND滤波器的光透过率的排列图案并不限于上述的图案。各ND滤波器的光透过率的排列图案也可以是与上述所示的图案相反的图案。但是，在本实施方式中，需要使ND滤波器30a和ND滤波器30e具有相反的关系。

此外，在本实施方式中，关于成像的微动也不限于使透明玻璃板3微动的方法，可以使用其他的方法。例如，相对于光轴倾斜地配置厚度均匀的透明玻璃，使该玻璃板微动也能够使像的位置错开。由此，通过使具有相对于与光轴垂直的平面倾斜的表面的透光性部件微动，能够得到同样的效果。此外，将像和摄像元件1固定，使所有的ND滤波器水平移动1像素间距，也能够得到同样的效果。

(实施方式3)

接着，说明本发明的第三实施方式的摄像装置。在本实施方式的摄像装置中，结构和信号读出处理与实施方式2的摄像装置相同，不同点在于计算出的信号。因此，以与实施方式2的摄像装置的不同点为中心进行说明，省略说明重复的点。

在本实施方式中，认为图像的特征是像素值的变化量，目的在于计算按每个1/4像素间距的交流信号。即，计算出将直流成分设为0时的各像素信号。因此，设Y1＝0，从而计算出X1～X4的信号。通过这样的处理，可得到没有受到直流成分的影响的像素信号。具体而言，若在式21～式24中设Y1＝0来计算各像素信号，则可得到以下的式25～式28所示的按每个1/4像素间距的交流信号X1～X4。

(式25)X1＝(Y2+Y3+Y4)/4

(式26)X2＝(Y2-Y3-Y4)/4

(式27)X3＝(Y3-Y2-Y4)/4

(式28)X4＝(Y4-Y2-Y3)/4

如以上所示，根据本实施方式的摄像装置，通过利用与固体摄像元件1的像素一一对应地配置的、光透过率的排列图案互不相同的四种ND滤波器，实质上能够将水平方向的分辨率提高至四倍。各ND滤波器被分割成带状的间隔为水平像素间距的1/4的四个区域。第一ND滤波器30a具有“浓”、“淡”、“浓”、“淡”的带状图案。第二ND滤波器30b具有“淡”、“浓”、“浓”、“淡”的带状图案。第三ND滤波器30c具有“淡”、“淡”、“浓”、“浓”的带状图案。第四ND滤波器30d具有“淡”、“浓”、“淡”、“浓”的带状图案。以横切这些带状图案的形式，使像从初始位置开始在水平方向上错开1像素间距、5/4像素间距、3/2像素间距，并对每一个进行拍摄。在本实施方式中，在信号处理中，将直流成分的信号设为0，从而能够得到具有1像素间距的1/4宽度的各区域的交流像素信号。其结果，对于交流成分而言，也能够起到可实现比现有技术更高的分辨率的效果。

(实施方式4)

接着，参照图8说明本发明的第4实施方式的摄像装置。与实施方式2的摄像装置相比，本实施方式的摄像装置的光透过部的各区域的排列图案与实施方式2相同，但是各ND滤波器的浓淡部中的光透过率、光的像的错开、以及信号处理方法不同。以下，以与实施方式2的摄像装置的不同点为中心进行说明，并省略说明重复的点。

关于ND滤波器的浓淡部的光透过率，与实施方式1同样地将“淡”部分的光透过率设定为α(＞0)、将“浓”部分的光透过率设定为β(＞0，但是比α小)。光的像的错开方式以及拍摄与实施方式1相同。即，形成在摄像面上的像从静止状态开始在水平方向上移动1像素间距，分别从固体摄像元件1读出在像移动前后被光电变换后的像素信号。

以下，参照图8说明读出的像素信号。图8是本实施方式的固体摄像元件1的基本像素结构和信号分布图。

在本实施方式中，首先，第一，在静止状态下，经由ND滤波器30b、30e分别读出被光电变换后的信号。如图8(c)所示，将经由ND滤波器30b得到的信号Sb表示为α(X1+X4)+β(X2+X3)。将经由ND滤波器30e得到的信号表示为α(X1+X3)+β(X2+X4)。第二，像在水平左方向上移动1像素间距，经由ND滤波器30a、30e读出被光电变换后的像素信号。如图8(d)所示，将经由ND滤波器30a得到的信号Sa表示为α(X2+X4)+β(X1+X3)。将经由ND滤波器30c得到的信号Sc表示为α(X1+X2)+β(X3+X4)。因此，分别用式1～式3表示信号Sa、Sb、Sc。用下式29表示信号Se。

(式29)Se＝α(X1+X3)+β(X2+X4)

其中，若通过式1和式25，对(X1+X3)和(X2+X4)解联立方程式，则可分别用以下的式30、31表示(X1+X3)和(X2+X4)。

(式30)(X1+X3)＝(αSe-βSa)/(α²-β²)

(式31)(X2+X4)＝(αSa-βSe)/(α²-β²)

并且，如以下的式32和式33所示，从式30和式31中，利用X1和其他项表示X3，且利用X2和其他项表示X4。

(式32)X3＝(αSe-βSa)/(α²-β²)-X1

(式33)X4＝(αSa-βSe)/(α²-β²)-X2

接着，将X3、X4代入式2和式3中，从而求出X1和X2。分别用以下的式34、式35表示X1、X2。并且，分别用以下的式36、式37表示X3、X4。

(式34)X1＝(-(α+2β)Sa+(α+β)(Sb+Sc)-βSe)/2(α²-β²)

(式35)X2＝((α+2β)Sa-(α+β)(Sb-Sc)+βSe)/2(α²-β²)

(式36)X3＝(αSa-(α+β)(Sb+Sc)+(2α+β)Se)/2(α²-β²)

(式37)X4＝((α-2β)Sa+(α+β)(Sb-Sc)-3βSe)/2(α²-β²)

由此，根据图8(a)所示的ND滤波器的结构，通过使像在水平方向上错开1像素间距，从而可得到与水平方向的像素间距为通常的1/4的图像相当的高精细的图像信号。另外，信号运算处理并不限于上述的顺序，只要能够求出信号X1～X4，可以以任意的顺序进行。

如上所述，根据本实施方式的摄像装置，通过利用与固体摄像元件1的像素一一对应地配置的、光透过率的排列图案互不相同的四种ND滤波器，实质上能够将水平方向的分辨率提高至四倍。各ND滤波器被分割成带状的间隔为水平像素间距的1/4的四个区域。第一ND滤波器30a具有“浓”、“淡”、“浓”、“淡”的带状图案。第二ND滤波器30b具有“淡”、“浓”、“浓”、“淡”的带状图案。第三ND滤波器30c具有“淡”、“淡”、“浓”、“浓”的带状图案。第四ND滤波器30d具有“淡”、“浓”、“淡”、“浓”的带状图案。以横切这些带状图案的形式，使像在水平方向上移动1像素间距，通过在移动前后进行拍摄，能够得到具有1像素间距的1/4宽度的各区域的像素信号。即，由于能够以子像素的精度获得像素信号，所以起到可实现比现有技术更高的分辨率的效果。

另外，在以上的实施方式1～4中，各ND滤波器被分割成在X方向上具有相等的宽度的四个带状区域，但是即使这些区域的宽度不同，也能够得到本发明的效果。在这些区域的宽度不同的情况下，只要考虑这些宽度之差引起的透过光量之差来修正各信号即可。

本发明的各光透过部的光透过率的排列图案并不限于由上述的实施方式1～4所示的ND滤波器的图案。只要能够求出表示入射到光透过部的各区域的光量的信号，各光透过部的光透过率的排列图案可以是任意的图案。此外，光透过部的区域数也并不限于四个。在本发明中，只要一个单位像素块包括N个(N是2以上的整数)像素，且将各光透过部分割为M个(M是2以上的整数)区域即可。

此外，在上述的各实施方式中，将各ND滤波器的各区域的光透过率设定成α、β、(α+β)/2中的任一个，但是本发明并不限于这样的例子。在本发明中，即使各光透过部的所有区域的光透过率不同，只要这些光透过率是已知的，就能够通过信号运算求出各区域的信号。

在上述的各实施方式中，通过由石英构成的光学低通滤波器2降低垂直方向的分辨率，使像在水平方向上错开，从而仅提高了水平方向的分辨率。这是为了削减使像错开的次数，如果使像在垂直方向上也微动，则也可以不使用光学低通滤波器2。即使是不使用光学低通滤波器2，而是在水平和垂直方向上移动像的结构，也能够得到与各实施方式相同的效果。并且，各光透过部除了在水平方向外，还可以被分割成沿着垂直方向排列的多个区域。此外，只要各光透过部的光透过率的排列图案为二维的图案，就能够实现水平和垂直方向的高分辨率。

(产业上的可利用性)

本发明的摄像装置和固体摄像元件在使用固体摄像元件的所有照相机中有效。例如，可利用于数字静止照相机、数字摄像机等民用照相机或产业用的固体监视照相机等。

Claims (8)

1.一种摄像装置，具备：

固体摄像元件，其具有：像素阵列，该像素阵列在摄像面上包含沿着第一方向和与所述第一方向交叉的第二方向二维状排列的多个像素，并且该像素阵列被分割成分别包含N个像素的多个单位像素块，其中N是2以上的整数；和分别与各像素对应地配置的多个光透过部，各光透过部包含沿着所述第一方向排列的M个中性密度滤波器即ND滤波器，各ND滤波器具有独立设定的光透过率，各单位像素块所包含的所述N个像素所对应的N个光透过部的光透过率的排列图案互不相同，其中M是2以上的整数；

光学系统，其在所述固体摄像元件的摄像面上形成像；

位置错开部，其使所述像相对于所述多个光透过部的相对位置在所述第一方向和所述第二方向中的至少一个方向上改变；和

信号处理部，其基于从所述固体摄像元件的各像素输出的信号，生成分辨率比由所述像素阵列的所述第一方向上的像素间距规定的分辨率高的图像。

2.根据权利要求1所述的摄像装置，其中，

所述光学系统具有光学低通滤波器，该光学低通滤波器降低由所述光学系统形成的像在所述第二方向上的分辨率，

所述位置错开部使所述像相对于所述多个光透过部的相对位置在所述第一方向上改变。

3.根据权利要求1或2所述的摄像装置，其中，

各单位像素块所包含的所述N个像素所对应的所述N个光透过部的光透过率的排列图案，是基于正交小波系数被决定的。

4.根据权利要求1或2所述的摄像装置，其中，

所述光学系统包括透光性部件，该透光性部件具有相对于与光轴垂直的平面倾斜的表面，

所述位置错开部通过使所述透光性部件在与所述光轴垂直的方向上移动，从而使所述像相对于所述多个光透过部的相对位置改变。

5.根据权利要求1或2所述的摄像装置，其中，

各单位像素块所包含的N个像素所对应的N个光透过部中的至少N-1个光透过部各自所包含的M个ND滤波器分别被设定为第一透过率或不同于所述第一透过率的第二透过率。

6.根据权利要求5所述的摄像装置，其中，

N＝4，M＝4，

在将所述第一透过率表示为“1”、将所述第二透过率表示为“-1”时，各单位像素块所包含的四个像素所对应的四个光透过部的光透过率的排列图案，分别是由“1、-1、1、-1”表示的第一图案或者所述第一图案的相反图案、由“-1、1、1、-1”表示的第二图案或者所述第二图案的相反图案、由“-1、-1、1、1”表示的第三图案或者所述第三图案的相反图案、以及将各ND滤波器的光透过率设定为比0大的第三透过率的第四图案。

7.根据权利要求5所述的摄像装置，其中，

N＝4，M＝4，

在将所述第一透过率表示为“1”、将所述第二透过率表示为“-1”时，各单位像素块所包含的四个像素所对应的四个光透过部的光透过率的排列图案，分别是由“1、-1、1、-1”表示的第一图案、由“-1、1、1、-1”表示的第二图案或者所述第二图案的相反图案、由“-1、-1、1、1”表示的第三图案或者所述第三图案的相反图案、以及所述第一图案的相反图案。

8.一种固体摄像元件，具备：

像素阵列，其在摄像面上包含沿着第一方向和与所述第一方向交叉的第二方向二维状排列的多个像素，该像素阵列被分割成分别包含N个像素的多个单位像素块，其中N是2以上的整数；和

多个光透过部，分别与各像素对应地配置，各光透过部包含沿着所述第一方向排列的M个中性密度滤波器即ND滤波器，各ND滤波器具有独立设定的光透过率，各单位像素块所包含的所述N个像素所对应的N个光透过部的光透过率的排列图案互不相同，其中M是2以上的整数。

Images