CN107736012B - 摄像装置和图像生成方法 - Google Patents

Abstract

通过使从光栅基片透射的光线的入射角度的检测变得容易，从而能够减少摄像装置的成本和耗电。摄像装置(101)包括：图像传感器(103)，或将在拍摄面上排列成阵列状的多个像素所获取到的光学像转换成图像信号并将其输出；调制器(102)，其设置在该图像传感器(103)的受光面上，对光的强度进行调制；进行从图像传感器(103)输出的图像信号的图像处理的图像处理部(106)。调制器(102)具有光栅基片(102a)、形成在靠近图像传感器(103)的受光面的光栅基片(102a)的背面侧的光栅图案(105)、和形成在与该背面相对的表面上的光栅图案(104)。第一光栅图案(104、105)各自由多个同心圆构成。调制器(102)利用光栅图案(105)对从光栅图案(104)透射的光进行强度调制并输出到图像传感器(103)。

Description

摄像装置和图像生成方法

技术领域

本发明涉及摄像装置，具体地涉及对摄像装置的高性能有效的技术。

背景技术

搭载在智能手机等上的数字摄像机需要薄型化。作为这种数字摄像机的薄型化技术，例如有不使用透镜而获取物体像的技术(例如参考专利文献1)。

该技术中，在图像传感器上贴附特殊的衍射光栅基片，根据透过该衍射光栅基片的光在图像传感器上产生的投影图案，通过逆问题计算求出入射光的入射角，来得到外界物体的像。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2014/0253781号说明书

发明内容

发明要解决的课题

上述专利文献1中，形成在贴附于图像传感器的基片上表面上的衍射光栅的图案为漩涡状等特殊的光栅图案。根据由该图像传感器接收到的投影图案，通过计算用于再生像的逆问题，来获得物体像，但存在计算该逆问题时的运算较复杂的问题。

如果运算复杂，自然存在处理时间变长、显示照片的时间也变长的问题。为了高速地进行运算处理而使用高性能的CPU等，但在这种情况下，存在发生数字摄像机的高成本化和耗电增加等的可能。

本发明的目的为提供如下技术，通过使透过光栅基片的光线的入射角度的检测变得容易，从而能够减少摄像装置的成本和耗电。

本发明的上述和其它目的以及新特征根据本说明书的记述和附图能够得以明了。

用于解决课题的技术方案

以下简单说明本申请中公开的发明的代表性部分的概要。

即，代表性的摄像装置具有图像传感器、调制器和图像处理部。图像传感器将在拍摄面上排列成阵列状的多个像素所获取到的光学像转换成图像信号并将其输出。调制器设置在图像传感器的受光面上，对光的强度进行调制。图像处理部进行从图像传感器输出的图像信号的图像处理。

此外，调制器具有光栅基片、第一光栅图案和第二光栅图案。第一光栅图案形成在靠近图像传感器的受光面的光栅基片的第一面上。第二光栅图案形成在与所述第一面相对的第二面上。

第一光栅图案和第二光栅图案各自由多个同心圆构成。调制器利用第一光栅图案对从第二光栅图案透射的光进行强度调制并将其输出到图像传感器。

特别地，所述第一和第二光栅图案中的多个所述同心圆各自由同心圆的间距相对于同心圆中心的基准坐标成反比例地变小的多个同心圆形成。在多个同心圆中，同心圆的间距相对于同心圆中心的基准坐标成反比例地变小。

发明效果

对通过在本申请中公开的发明中代表性的发明得到的效果简单地说明如下。

(1)能够缩短到获取物体像为止的处理时间。

(2)能够减少摄像装置的硬件成本。

附图说明

图1是表示实施方式1的摄像装置的结构的一个例子的说明图。

图2是表示图1的摄像装置的摄影的一个例子的说明图。

图3是表示图1的摄像装置所具有的图像处理电路进行图像处理的概要的流程图。

图4是表示倾斜入射平行光产生的从双面光栅基片的表面向背面的投影像发生面内位移的一个例子的说明图。

图5是说明双面光栅基片的光栅图案的轴一致时的莫尔条纹的生成与频谱的示意图。

图6是表示将表面侧的光栅图案和背面侧的光栅图案的轴错开而形成的双面光栅基片的一个例子的说明图。

图7是将光栅图案错开地配置的情况下的莫尔条纹的生成和频谱的示意图。

图8是表示垂直入射平面波和其它9个不同入射角的平面波总计10束光照射时的空间频谱图像的计算结果的示意图。

图9是表示垂直入射平面波和其它9个不同入射角的平面波总计10束光照射时的空间频谱图像的计算结果的俯视图。

图10是说明来自构成物体的各点的光与图像传感器所成的角的说明图。

图11是表示光栅图案横向错开的情况下的空间频谱的一个例子的说明图。

图12是表示光栅图案纵向错开的情况下的空间频谱的一个例子的说明图。

图13是表示实施方式3的摄像装置的结构的一个例子的说明图。

图14是表示图13的摄像装置所具有的图像处理电路进行图像处理的概要的流程图。

图15是说明成像的物体位于有限距离的情况下向表面侧的光栅图案的背面的投影被该光栅图案放大的说明图。

图16是表示实施方式4的摄像装置的结构的一个例子的说明图。

图17是表示实施方式5的双面光栅基片的结构的一个例子的说明图。

图18是表示实施方式6的便携信息终端的一个例子的外观图。

具体实施方式

在以下实施方式中，为了方便在有需要时分割成多个部分或者实施方式进行说明，但除了特别地明确说明的情况，它们之间并非相互无关，而是一方为另一方的部分或全部的变形例、细节、补充说明等关系。

此外，在以下实施方式中，在提及要素的数字等(包括个数、数值、量、范围等)的情况下，除了特别地明确说明的情况和从原理上明显地限定为特定数量的情况等，并不限定于该特定数量，可在特定数量之上或者之下。

进一步地，在以下的实施方式中，对于其结构要素(也包括单元步骤等)，除了特别明确说明的情况和原理上明显认为必须的情况等，其并非一定必须而无需明言。

同样地，在以下的实施方式中，提及结构要素等的形状、位置关系等时，除了特别明确说明的情况和原理上认为并非如此的情况等，实质上包含与该形状近似或类似的形状等。这对于上述数值和范围也同样。

此外，在用于说明实施方式的所有图中，对相同部件原则上附以相同记号，并省略其重复说明。

以下对实施方式详细地进行说明。

(实施方式1)

<摄像装置的结构例>

图1是表示本实施方式1的摄像装置101的结构的一个例子的说明图。

摄像装置101不使用成像的透镜来获取外界物体的图像，如图1所示，其由调制器102、图像传感器103和图像处理电路106构成。

调制器102与图像处理部103的受光面紧密接触并固定，由在光栅基片102a上分别形成光栅图案104、105的结构而构成。光栅基片102a例如由玻璃、塑料等透明材料构成。

在调制器102中，在光栅基片102a的表面形成有构成第二光栅图案的光栅图案104。此外，该光栅基片102a的表面为第二面。光栅图案104由越向外侧去则光栅图案的间隔即间距(pitch)与到中心的半径反比例地变得越窄的同心圆状光栅图案构成。

此外，在光栅基片102a的背面，即与图像传感器103的受光面接触一侧的面上，形成有构成第一光栅图案的光栅图案105。光栅基片102a的背面为第一面。

在该光栅图案105也与光栅图案104同样地由越向着外侧去光栅图案的间距与到中心的半径反比例地变得越窄的同心圆状光栅图案构成。

光栅图案104和光栅图案105例如通过半导体制程中所用的溅射法等蒸镀铝等而形成。通过蒸镀有铝的图案和未蒸镀铝的图案来产生浓淡。

此外，光栅图案104、105的形成并不限定于此，例如可通过喷墨打印机等的印刷而产生浓淡来形成。

对于从光栅图案104、105透射的光，光的强度因该光栅图案而被调制。透射的光由图像传感器103接收。图像传感器103例如由CCD(Charge CoupledDevice，电荷耦合器件)传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器等构成。

图像传感器103的表面上格子状地规则地配置有作为受光元件的像素103。该图像传感器103将像素103a接收到的光图像转换成作为电信号的图像信号。从图像传感器103输出的图像信号由作为图像处理部的图像处理电路106进行图像处理，并输出到显示屏107等上。

<摄像装置的摄影例>

图2是表示图1的摄像装置的摄影的一个例子的说明图。在该图2中展示了利用摄像装置101拍摄被拍摄体301并显示在显示屏107上的例子。

如图所示，对被拍摄体301进行拍摄时，调制器102的一面、具体地是形成有衍射光栅104的光栅基片102a的表面正对该被拍摄体301来进行拍摄。

<图像处理电路的图像处理例>

接着说明图像处理电路106的图像处理的概要。

图3是表示图1的摄像装置101所具有的图像处理电路106的图像处理的概要的流程图。

首先，针对从图像传感器103输出的莫尔条纹图像，对彩色的RGB各成分(Red，Green，Blue：红，绿，蓝)进行二维傅里叶变换(FFT，Fast Fourier Transform，快速傅里叶变换)运算，求出频谱(步骤S101)。

接着，取出步骤S101的处理得到的频谱的一侧频率数据后(步骤S102)，进行该频谱的强度计算(步骤S103)，从而获取图像。

然后，对所获得图像进行噪声去除处理(步骤S104)，接着进行对比度加强处理(步骤S105)等。之后，调整图像色平衡(步骤S106)，作为拍摄图像输出。

由上，结束图像处理电路106的图像处理。

<摄像装置的摄影原理>

接着说明摄像装置101的摄影原理。

首先，间距与到中心的半径成反比例地变小的同心圆状光栅图案104、105如下所述地定义。在激光干涉仪等中，假定为使接近平面波的球面波与用作参考光的平面波发生干涉的情况。

令距离作为同心圆中心的基准坐标的半径为r，令此处的球面波的相位为φ(r)时，利用决定波面曲率大小的系数β将其表示为：

[式1]

φ(r)＝βr²……(1)

球面波也用半径r的平方来表示是因为，由于是接近平面波的球面波，可以仅用展开项的最低次项来近似。使具有该相位分布的光与平面波发生干涉时，得到如下干涉条纹的强度分布。

[式2]

其为满足如下条件的半径位置上具有亮线的同心圆的条纹。

[式3]

φ(r)＝βr²＝2nπ(n＝0,1,2,...)……(3)

若令条纹的间距为p，则得到：

[式4]

可知间距相对于半径成反比例地变窄。

这种条纹被称为菲涅耳带片。具有与这样定义的强度分布成比例的透射率分布的光栅图案用作图1所示的光栅图案104、105。

如图4所示地，令平行光以角度θ0入射到两面形成有这种光栅图案的厚度t的调制器102上。令调制器102中的折射角为θ，在几何光学上，乘上表面光栅的透射率的光偏移δ＝t·tanθ后入射到背面，若假设两个同心圆光栅的中心一致地形成，则偏移δ来乘以背面的光栅的透射率。

此时可得到如下的强度分布。

[式5]

可知该展开式的第四项形成在两个光栅偏移的方向上直的等间隔的条纹图案重合的一个表面的区域。这种因条纹与条纹重合而在相对较低的空间频率上产生的条纹被称为莫尔条纹。

这样直的等间隔的条纹在通过检测图像的二维傅里叶变换所得到的空间频率分布中产生尖锐的峰。可根据该频率的值求出δ的值，即光线入射角θ。

对于这种整个面上同样地等间隔获得的莫尔条纹，根据同心圆的光栅配置的对称性可知会产生相同的间距而不依赖于偏移的方向。获得这种条纹是因为利用了菲涅耳带片形成光栅图案，可认为不可能通过除此之外的光栅图案来获得整个面同样的条纹。

通过第二项也可知产生了菲尼尔带板的强度被莫尔条纹调制后的条纹，由于两个条纹的积的频谱为各自傅里叶频谱的卷积，因此不能获得尖锐的峰。

如下所示地从(5)式仅提取出具有尖锐的峰的成分，

[式6]

则该傅里叶频谱如下所示。

[式7]

而这里F表示傅里叶变换的运算，u、v为x方向和y方向的空间频率坐标，带括号的δ为Delta函数。根据该结果可知，在检测图像的空间频谱中，莫尔条纹的空间频率的峰产生在u＝±δβ/π的位置上。

其情况在图5中表示。在图5中，从左到右分别表示光线与调制器102的配置图、莫尔条纹以及空间频谱的示意图。分别地，图5(a)表示垂直入射的情况，图5(b)表示光线从左侧以角度θ入射的情况，图5(c)表示光线从右侧以角度θ入射的情况。

形成在调制器102的表面侧的光栅图案104与形成在背面侧的光栅图案105的轴一致。在图5(a)中由于光栅图案104与光栅图案105的阴影一致，因此不产生莫尔条纹。

在图5(b)和图5(c)中，由于光栅图案104与光栅图案105的偏移相等，因此产生相同的莫尔条纹，空间频谱的峰的位置也一致，无法根据空间频谱判别光线的入射角是图5(b)的情况还是图5(c)的情况。

为了避免这一点，需要例如如图6所示地，预先使两个光栅图案104、105相对于光轴错开，使得对于垂直入射到调制器102的光线，两个光栅图案的阴影偏离地重叠。

令两个光栅的阴影相对于轴上的垂直入射平面波的相对偏移为δ0时，因入射角θ的平面波产生的偏移δ如下表示。

[式8]

δ＝δ₀+t tanθ……(8)

此时，入射角θ的光线的莫尔条纹的空间频谱的峰在频率的正侧为如下位置。

[式9]

令图像传感器的大小为S、图像传感器的x方向和y方向的像素数都为N时，快速傅里叶变换(FFT)得到的离散图像的空间频谱一般在－N/(2S)至+N/(2S)的范围得到。

由此，考虑到使正侧的入射角和负侧的入射角均等地受光，令垂直入射平面波(θ＝0)得到的莫尔条纹的频谱峰位置为原点(DC：直流成分)与例如+侧端的频率位置的中央位置，即为如下的空间频率位置是妥当的。

[式10]

因此，使两个光栅的相对的中心位置偏移为如下是妥当的。

[式11]

图7是说明将光栅图案104与光栅图案105错开地配置时的莫尔条纹的生成和频谱的示意图。

与图5同样地，左侧表示光线与调制器102的配置图，中央列表示莫尔条纹，右侧表示空间频谱。此外，图7(a)表示光线垂直入射的情况，图7(b)表示光线从左侧以角度θ入射的情况，图7(c)表示光线从右侧以角度θ入射的情况。

光栅图案104与光栅图案105预先错开δ0而配置。因此，图7(a)中也产生莫尔条纹，空间频谱中出现峰。

如上所述，设定该偏移量δ0使得峰的位置出现在原点向一侧的频谱范围的中央。此时，由于在图7(b)中是偏移δ进一步变大的方向，而在图7(c)中是偏移δ变小的方向，因此与图5不同，图7(b)与图7(c)的差别能够根据频谱的峰的位置进行判别。

该峰的频谱图像记为表示所谓的无限远的光束的亮点，即图1的摄像装置101得到的拍摄影像。

若令能接收的平行光的入射角的最大角度为θ_max，则通过

[式12]

由摄像装置101能接收的最大视角由下式给出。

[式13]

根据一般的使用透镜的成像的类推，考虑视角θ_max的平行光聚焦在图像传感器的一端并被接收，不使用透镜的摄像装置101的等效焦距可认为相当于：

[式14]

此外，如(2)式所示，光栅图案的透射率分布基本假定为正弦波特性，但作为光栅图案的基频成分如果有这种成分，则可考虑将光栅图案的透射率二值化，改变该透射率高的光栅区域和低的光栅区域的比率(duty)，增加透射率高的区域的宽度，提高透射率。

在以上的说明中，每一个中入射光线同时只有一个入射角度，但实际上由于摄像装置101起到摄像机的作用，因此必须假定有多个入射角度的光同时入射的情况。

这种多个入射角的光在入射到背面侧的光栅图案时已经有多个表面侧光栅的像重叠。如果它们相互产生莫尔条纹，则有可能成为阻碍与作为信号成分的光栅图案105之间的莫尔条纹的检测的噪声。

然而，实际上光栅图案104的像之间的重叠并不会产生莫尔像的峰，产生峰的仅为与背面侧的光栅图案105的重叠。

针对其理由说明如下。

首先，多个入射角的光线产生的表面侧的光栅图案104的阴影之间的重叠并非是积而是和，这点上有大的差异。对于一个入射角的光得到的光栅图案104的阴影与光栅图案105的重叠，通过作为光栅图案104的阴影的光强度分布乘以光栅图案105的透射率，得到从背面侧光栅图案105透射后的光强度分布。

与此相对，多个角度各异的入射到表面侧的光栅图案104的光得到的阴影的相互重叠由于是光的重叠，因此不是积，而是和。在和的情况下，如下所示，为在原来的菲涅耳带片的光栅分布上乘以莫尔条纹的分布后所得的分布。

[式15]

因此，该频谱用各自频谱重叠积分来表示。因此，例如莫尔的频谱单独具有尖锐的峰，实际上仅在该位置上产生菲涅耳带片的频谱的重影(ghost)。即不会在频谱中产生尖锐的峰。

因此，即使多个入射角的光入射，检测出的莫尔像的频谱始终仅为表面侧的光栅图案104与背面侧的光栅图案105的积的莫尔图像，只要光栅图案105单一，则对于一个入射角，检测出的频谱的峰仅为一个。

<摄影原理的确认>

以下，在图8和图9表示为了确认原理而进行的仿真的结果。图8是表示垂直入射平面波和其它9个不同入射角的平面波总计10束光照射时的空间频谱图像的计算结果的示意图。图9是表示垂直入射平面波和其它9个不同入射角的平面波总计10束光照射时的空间频谱图像的计算结果的俯视图。

两者都是在图像传感器103的传感器尺寸20mm、视野角θmax＝±70°、入射侧和出射侧光栅系数β＝50(rad/mm2)、δ0＝0.8mm、像素数1024×1024、调制器102的基片厚度1mm、基片折射率1.5时，垂直入射平面波、θx＝50°、θy＝30°的入射光、θx＝﹣30°、θy＝70°的入射光、θx＝10°、θy＝﹣20°的入射光、θx＝20°、θy＝30°的入射光、θx＝30°、θy＝﹣40°的入射光、θx＝﹣10°、θy＝40°的入射光、θx＝﹣20°、θy＝﹣30°的入射光、θx＝﹣30°、θy＝0°的入射光、θx＝40°、θy＝50°的入射光总计10束平面波入射时的频谱。

图8是频谱图像的黑白反转图像，图9是表示频谱图像的辉度的俯视图。由于原来的莫尔图像本身的光束间距较小，即使作为本说明书的附图展示也无法查看，故省略。

图中表示中心为DC成分、周边是±N/2S的空间频谱区域的全域。由于DC成分较大，因此了进行了掩蔽(masking)来除去，仅表示检测出的峰的成分。进一步地，由于原来频谱的峰宽度较窄，难以看到，因此加强了对比度。

此外，在图8中，用○记号包围该信号峰的位置来表示。图9的俯视图中，由于原图中绘图线必须经过峰才能表示，因此用施加网格尺寸(mesh size)的平滑滤波后的结果表示。

它们都表示基本上有10个峰夹着原点，能在正负两侧检测出共计20个峰。这种情况下，光栅图案的最外周的间距为约6μm左右，等效的焦距为12.4mm左右。

在此，利用图10示意性地说明到此为止说明了检测的平行光与来自实际物体的光的对应。

图10是对来自构成物体的各点的光相对于图像传感器构成的角度进行说明的说明图。

来自构成被拍摄体301的各点的光作为严格意义上的来自点光源的球面波，入射到图1的摄像装置101的调制器102和图像传感器103(以下在图10中称为光栅传感体基片)。

此时，在光栅传感体基片相对于被拍摄体301足够小的情况下或足够远的情况下，从各点照射到光栅传感体基片的入射角可看作是相同的。

根据从式(9)求出的莫尔空间频率变化Δu相对于微小角度变化Δθ在图像传感器的空间频率的最小分辨率1/S以下的关系，Δθ可看作平行光的条件为表示如下。

[式16]

由上，如果Δθ＜0.18°，则为20mm的传感器尺寸下距离被拍摄体6m能够实现的条件。

根据以上的结果的类推，可知能够通过本发明的摄像装置对无限远的物体成像。

以上，通过快速傅里叶变换(FFT)等简单的运算，能够获得外界的物体像。由此，能够缩短物体像获取的处理时间。

此外，由于不需要高性能的运算处理装置，能够减少摄像装置101的硬件成本并进一步地缩短运算处理时间，由此能够减少摄像装置101的耗电。

(实施方式2)

<概要>

在上述实施方式1中从摄像装置101输出的图像为纵长，但在本实施方式2中，针对输出图像为横长的情况进行说明。

在上述实施方式1中，如上所述，使光栅图案104与光栅图案105在图像传感器103的x(横)方向错开地形成。换而言之，在从图像处理电路106输出的长方形的图像的长边方向上错开而形成。

<光栅图案的形成例>

图11是表示光栅图案104、105横向错开的情况下的空间频谱的一个例子的说明图。

此时，图像传感器103的形状为正方形，其像素间距在x方向和y方向上都一样。这种情况下，如图11右侧所示，对于图像传感器的输出空间频谱，像在x、y两者的±N/S频率范围内左右分离地再现。

然而，若为图11中所示的例子，图像基本上限定在纵长的区域中。一般地，在数码摄像机等获取的图像其纵横比例如为3：2或4：3等横长的长方形。因此，适合横长的长方形的光栅图案104、105的配置期望为如图12所示。

图12是表示光栅图案104、105纵向错开的情况下的空间频谱的一个例子的说明图。

如图12所示，光栅图案104和光栅图案105在图像传感器的上下方向即图像传感器的y方向错开地形成。换而言之，光栅图案104和光栅图案105在从图像处理电路106输出的长方形的图像的短边方向上分别错开而形成。由此，图像传感器输出的空间频率空间中形成的图像如图12右侧所示地上下分离地形成。

通过以上，能够使从摄像装置101输出的图像为横长。由此，由于能够与一般的数码摄像机同样地获得图像，因此能够提高摄像装置101的通用性。

(实施方式3)

<概要>

在上述实施方式1、2的调制器102中，通过在光栅基片102a的表面和背面分别相互错开地形成相同形状的光栅图案104和光栅图案105，从莫尔条纹的空间频谱检测出入射的平行光的角度来构成像。

背面侧的光栅图案105为与图像传感器103紧密接触来对入射的光的强度进行调制的光学元件。因此，通过等效地考虑背面侧的光栅图案105的透射率来设定图像传感器的灵敏度，能够在处理图像中假想地生成莫尔条纹。

<摄像装置的结构例>

图13是表示本实施方式3的摄像装置101的结构的一个例子的说明图。

图13的摄像装置101与上述实施方式1的图1的摄像装置101不同的地方在于在光栅基片102a的背面侧不形成图1所示的光栅图案105的点。对于其他结构，由于与图1相同故省略说明。

通过采用图13的结构，能够在光栅基片102a中形成光栅图案的一个面。由此，能够减少调制器102的制造成本。

但在这种情况下，图像传感器103所具有的像素103a的间距必须小到能够足够再现光栅图案的间距的程度，或者光栅图案的间距必须大到能够用图像传感器103的像素间距再现的程度。

在光栅基片102a两表面形成光栅图案的情况下，不必一定要求能够用图像传感器103的像素103a来分辨光栅图案的间距，只需能够分辨其莫尔像即可。因此，能够独立于像素间距来决定光栅图案的间距。

但在通过图像传感器103再现光栅图案的情况下，光栅图案与图像传感器103的分辨率需要为同等。因此，图像处理电路106中设有用于对图像传感器103的输出图像生成莫尔条纹、相当于背面侧光栅图案105(图1)的强度调制电路106c。

<图像处理电路的图像处理例>

图14是表示图13的摄像装置101所具有的图像处理电路106进行的图像处理的概要的流程图。

该图14中的流程与上述实施方式1的图3的流程不同的地方在于步骤S201的处理。在步骤S201的处理中，通过上述的强度调制电路106c对从图像传感器103输出的图像生成相当于背面侧的光栅图案的莫尔条纹图像。

下面，由于图14的步骤S202～S208的处理与上述实施方式1的图3的步骤S101～S107的处理相同，因此这里省略说明。

这样，通过设置强度调制电路106c，能够获得与使背面侧的光栅图案105(图1)可变相同的效果，检测光也可以不一定必须是平行光。

<关于对焦>

图15是说明成像的物体位于有限距离的情况下向表面侧的光栅图案104的背面的投影被该光栅图案104放大的说明图。

如图15所示，在来自构成物体的点1301的球面波照射到背面侧的光栅图案104并且其阴影1302投影到下表面的情况下，投影到下表面的像被大致同样地被放大。

因此，仍然乘以针对平行光设计的背面侧的光栅图案(相当于图1的光栅图案105)的透射率分布会无法产生等间隔的直线状莫尔条纹。但如果根据同样地被放大的表面侧的光栅图案104的阴影来放大下表面的光栅，则相对于放大的阴影1302能够再次产生等间隔的直线状莫尔条纹。

由此，能够选择性地再现来自并不一定是无限远距离的点1301的光。由此，能够进行对焦，并非上述实施方式1所示的无限远的摄影，而是能够对焦到任意位置上进行摄影。

由上，能够提高摄像装置101的便利性。

(实施方式4)

在本实施方式4中，针对使图1的背面侧的光栅图案104可变的技术进行说明。

<摄像装置的结构例和动作例>

图16是表示实施方式4的摄像装置101的结构的一个例子的说明图。

图16的摄像装置101与上述实施方式1的图1的摄像装置101不同的点为在调制器102中新设液晶部108的点和新设焦点位置指定输入部109的点。此外，对于图16中的图像传感器103的结构，由于与图1相同，故省略说明。

液晶部108例如由在形成透明电极等的未图示的玻璃基片上设置同样未图示的液晶层的结构构成，以该液晶层被包夹在玻璃基片与光栅基片102a之间的方式形成。

在该液晶层中，显示任意的光栅图案1403，该光栅图案1403起到表面侧的光栅图案104的作用。在调制器102的光栅基片102a的背面侧与图1同样地形成有光栅图案105。

焦点位置指定输入部109例如为设置作为到被拍摄体的距离等的信息的焦点位置的输入部，连接到图像处理电路106。此外，图像处理电路106中设有液晶驱动电路106a和光栅图案生成电路106b。

光栅图案生成电路106b基于从焦点位置指定输入部109输入的焦点位置，生成最合适对焦的光栅图案。液晶驱动电路106a对玻璃基片上形成的透明电极施加电压来进行显示控制，使得在液晶部108的液晶层上显示光栅图案生成电路106b生成的光栅图案。

由于来自比无限远近的有限距离的点1301的光基本上为发散光，因此为了在背面上成为与背面侧的光栅图案105相同的大小，使表面侧的光栅图案104比光栅图案105显示得稍微缩小显示即可。

由上，能够进行更高速的对焦。

(实施方式5)

本实施方式5针对在双面光栅基片上形成的表面侧的光栅图案的其它例子进行说明。

<光栅图案的形成例>

图17是表示实施方式5的调制器102的结构的一个例子的说明图。

上述实施方式1中，调制器102的光栅图案104(图1)例如通过印刷或溅射法等形成，而在图17的调制器102中通过柱面透镜110构成。此外，对于光栅基片102a的背面侧的光栅图案105则与上述实施方式1的图1相同。

这种情况下，在调制器102的光栅基片102a的表面上以形成与图1的光栅图案104相同的图案的方式排列柱面透镜110而形成。柱面透镜110为面由圆筒面形成的透镜，在垂直方向上具有凸透镜的曲率，在水平方向上为无曲率的透镜。

这样，通过利用柱面透镜110形成光栅图案，能够大幅度地减少光量的损失。例如如上述实施方式1所述，由印刷图案来产生浓淡的光栅图案其光栅图案的印刷部分遮蔽了光，光量损失较大。

另一方面，在柱面透镜110的情况下，由于不遮蔽光，因此能够提高光利用效率。

由上，由于能够增大摄像装置101中的S/N比(Signal-to-Noise ratio，信噪比)，因此能够提高拍摄性能。

(实施方式6)

<便携信息终端的结构例>

在本实施方式6中针对利用上述实施方式5的摄像装置101构成的便携信息终端进行说明。

图18是表示实施方式6的便携信息终端200的一个例子的外观图。

便携信息终端200例如为智能手机等。此外，便携信息终端200并不限定于智能手机，例如可为平板电脑等内置有摄像机的便携式终端。

便携信息终端200中内置有摄像装置101。在该便携信息终端200的背面设有开口窗202，在便携信息终端200内部以使图16的调制器102接近开口窗202的方式设置。

此外，便携信息终端200的一个长边侧的侧面上设有调焦用旋钮201。该旋钮201相当于上述实施方式4的焦点位置指定输入部109。

通过旋转旋钮201来设定焦点位置，根据该设定的焦点位置，任意的光栅图案1403显示在图16的液晶部108的液晶层上。其结果是，能够拍摄位于任意距离上的物体的像。

摄像装置101能够根据上述实施方式1所示的式(14)伸长等效焦距。因此，能够令摄像装置101保持较薄而增大光圈。

在使用一般的透镜的智能手机用数码摄像机的情况下，为了减小信息便携设备的厚度，不得不缩小透镜的光圈。因此，焦距变短，像比较单调，没有虚化效果。

另一方面，通过摄像装置101，由于能够如上所述地增大光圈，能够获得漂亮的虚化。

通过以上，能够实现拍摄性能高的便携信息终端200。

以上基于实施方式对本发明者提出的发明具体地进行了说明，但本发明并不限定于上述实施方式，在不脱离其主旨的范围内可进行各种变更而无需明言。

此外，本发明并不限定于上述的实施例，而是包含了各种变形例。例如，上述实施例是为了对本发明简单易懂地说明而进行的详细说明，并非限定必须具备所说明的全部的结构。

此外，可将某实施例的结构的一部分替换成其它实施例的结构，或者可在某实施例中添加其它实施例的结构。另外，针对各实施例的结构的一部分，能够进行其它结构的追加、删除、替换。

附图标记说明

101 摄像装置

102 调制器

102a 光栅基片

103 图像传感器

103a 像素

104 光栅图案

105 光栅图案

106 图像处理电路

106a 液晶驱动电路

106b 光栅图案生成电路

106c 强度调制电路

107 显示屏

108 液晶部

109 焦点位置指定输入部

110 柱面透镜

200 便携信息终端

201 旋钮

202 开口窗。

Claims (15)

1.一种生成被拍摄体的图像而无需使用成像透镜的摄像装置，其特征在于，包括：

图像传感器，将由在受光面上排列的多个像素所接收的光转换成图像信号并将其输出；

调制器，其配置在所述图像传感器的受光面一侧，对光进行调制；和

进行从所述图像传感器输出的图像信号的图像处理的图像处理部，

所述调制器包括光栅基片、第一光栅图案和第二光栅图案，所述第一光栅图案形成在所述光栅基片的位于所述图像传感器的受光面一侧的第一面上，所述第二光栅图案形成在所述光栅基片的与所述第一面相对的第二面上，所述第一光栅图案和所述第二光栅图案各自由同心圆构成，通过所述第一光栅图案和所述第二光栅图案对入射的光进行调制，

调制后的所述光包含由所述第一光栅图案和所述第二光栅图案形成的莫尔条纹，

所述图像传感器接收被所述调制器调制后的光，

所述第一光栅图案和所述第二光栅图案各自的同心圆的间距随着从所述同心圆的中心向外侧去，而与到中心的半径反比例地变小。

2.如权利要求1所述的摄像装置，其特征在于：

所述图像处理部对从所述图像传感器输出的图像信号进行二维傅里叶变换来计算频谱。

3.如权利要求1所述的摄像装置，其特征在于：

所述第一光栅图案和所述第二光栅图案的各同心圆的中心位置彼此错开。

4.如权利要求3所述的摄像装置，其特征在于：

所述第一光栅图案和所述第二光栅图案的同心圆的中心位置在从所述图像处理部输出的图像的短边方向上彼此错开。

5.如权利要求1所述的摄像装置，其特征在于：

所述第一光栅图案和所述第二光栅图案中的一个通过将柱面透镜排列成图案而形成。

6.如权利要求1所述的摄像装置，其特征在于：

所述光栅基片是透明基片。

7.一种生成被拍摄体的图像而无需使用成像透镜的摄像装置，其特征在于，包括：

图像传感器、调制器和图像处理部，

所述调制器包括光栅基片、第一光栅图案和第二光栅图案，所述第一光栅图案形成在所述光栅基片的位于所述图像传感器的受光面一侧的第一面上，所述第二光栅图案形成在所述光栅基片的与所述第一面相对的第二面上，所述第一光栅图案和所述第二光栅图案各自由同心圆构成，通过所述第一光栅图案和所述第二光栅图案调制所述被拍摄体的光来形成包含莫尔条纹的光学像，

所述图像传感器接收由所述调制器形成的包含所述莫尔条纹的光学像并将其转换成图像信号而输出，

所述图像处理部对从所述图像传感器输出的所述图像信号实施包含二维傅里叶变换的图像处理来生成所述被拍摄体的图像，

所述第一光栅图案和所述第二光栅图案各自的同心圆的间距随着从所述同心圆的中心向外侧去，而与到中心的半径反比例地变小。

8.如权利要求7所述的摄像装置，其特征在于：

所述第一光栅图案的同心圆的中心位置与所述第二光栅图案的同心圆的中心位置错开。

9.如权利要求8所述的摄像装置，其特征在于：

所述第一光栅图案的同心圆的中心位置与所述第二光栅图案的同心圆的中心位置在从所述图像处理部输出的图像的短边方向上错开。

10.如权利要求7所述的摄像装置，其特征在于：

所述第二光栅图案通过将柱面透镜排列成图案而形成。

11.如权利要求7所述的摄像装置，其特征在于：

所述光栅基片是透明基片。

12.一种使用图像传感器来生成被拍摄体的图像而无需使用成像透镜的图像生成方法，其特征在于：

利用包括光栅基片、第一光栅图案和第二光栅图案的调制器，通过所述第一光栅图案和所述第二光栅图案对所述被拍摄体的光进行调制来形成具有莫尔条纹的光学像，其中，所述第一光栅图案形成在所述光栅基片的位于所述图像传感器的受光面一侧的第一面上，所述第二光栅图案形成在所述光栅基片的与所述第一面相对的第二面上，所述第一光栅图案和所述第二光栅图案各自由同心圆构成，

利用所述图像传感器接收由所述调制器形成的具有所述莫尔条纹的光学像，并将其转换成图像信号而输出，

利用图像处理部对从所述图像传感器输出的所述图像信号实施包含二维傅里叶变换的信号处理来生成所述被拍摄体的图像，

所述第一光栅图案和所述第二光栅图案各自的同心圆的间距随着从所述同心圆的中心向外侧去，而与到中心的半径反比例地变小。

13.如权利要求12所述的图像生成方法，其特征在于：

所述第一光栅图案的同心圆的中心位置与所述第二光栅图案的同心圆的中心位置错开。

14.如权利要求12所述的图像生成方法，其特征在于：

所述第一光栅图案的同心圆的中心位置与所述第二光栅图案的同心圆的中心位置在从所述图像处理部输出的图像的短边方向上错开。

15.如权利要求12所述的图像生成方法，其特征在于：

所述第二光栅图案通过将柱面透镜排列成图案而形成。

Images