CN110692233A - 摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质 - Google Patents

Abstract

本发明的目的在于提供一种不使用透镜便能够获取高画质的图像且对设计参数的制约低的摄像系统、及构成这种摄像系统的摄像装置及图像处理装置、图像处理装置中所使用的图像处理方法及用于使计算机实现图像处理方法的记录介质。根据本发明的一个方式所涉及的摄像装置，通过使用局部空间频率的相位不同的菲涅尔波带片获取第1、第2投影像，能够在包含摄像装置而构成的摄像系统中获取即重构高画质的图像。并且，无需考虑噪声成分的影响便能够选择设计参数即菲涅尔波带片的间距、面积、图像传感器的像素数、菲涅尔波带片与图像传感器的距离等，从而对设计参数的制约低。

Description

摄像装置、图像处理装置、摄像系统、图像处理方法及记录 介质

技术领域

本发明涉及一种摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质，尤其涉及一种在无透镜的状态下获取被摄体的图像的技术。

背景技术

近年来，在计算摄影学(Computational photography)领域中，基于编码孔径方式的无透镜成像备受瞩目。在该技术中，根据未成像的观测信息并通过计算得到成像图像来代替基于透镜等光学器件的成像，由此，能够超出至今为止的相机中的物理上的性能极限。

编码掩模方式的无透镜相机为如下方式：在图像传感器的前面放置描绘有花样的图案掩模，观测由来自物体的入射光形成的传感器面上的图案掩模的阴影，并通过数值计算来得到物体的成像图像。该方式原本是为了在伽马射线、X射线等在物理上难以制作成像透镜的波长区域中得到像而设计出的，从1960年代开始进行了研究。

图案掩模所必要的条件主要能够举出两点。(1)对不同的光的入射角需要成为线性独立的阴影(即，观测矩阵成为满秩)。(2)为了图像重构(计算观测矩阵的逆变换)而所需要的计算量少。关于(2)，当不采用任何方法时，若将像素数设为N，则需要N^2阶的乘法运算次数这样的庞大的计算量，因此为了避免此而设计出能够削减计算量的各种各样的图案的掩模形状。

最近，在下述非专利文献1中发表了通过将菲涅尔波带片用于掩模图案，能够仅通过简单的傅里叶变换来实现用于图像重构的计算。由此，计算量大大减少而成为N×log(N)阶，还能够实时拍摄动画。在编码孔径中利用菲涅尔波带片这本身并不是新颖的，在1961年的时点已被研究过，但在非专利文献1中利用了如下原理：通过对阴影与原始的图案掩模形状进行乘法运算，在位置偏离的菲涅尔之间产生的莫尔纹(差频)成分在画面内始终恒定。即，针对平面波的入射，平面波的波面(其中，波长由菲涅尔波带片来确定)直接记录在图像传感器上，因此能够通过简单的傅里叶变换来进行成像。另外，关于非专利文献1的技术，还通过非专利文献2进行了发表。

并且，已知有与非专利文献1、2相同地将菲涅尔波带片用于掩模图案的无透镜成像技术(参考专利文献1)。在专利文献1中，通过对来自被摄体的光入射到对置配置的2个格子图案(菲涅尔波带片)而形成的莫尔条纹进行傅里叶变换而重构被摄体的像。

以往技术文献

非专利文献

非专利文献1：Yusuke Nakamura、Takeshi Shimano、Kazuyuki Tajima、Mayu Sao、and Taku Hoshizawa(Hitachi，Ltd.)“Lensless Light-field Imaging with FresnelZone Plate”、影像信息媒体学会技术报告、vol.40，no.40，IST2016-51，pp.7-8，2016年11月

非专利文献2：“开发在动画摄影之后能够容易进行焦点调整的无透镜相机技术”、[online]、2016年11月15日、Hitachi，Ltd.、[2017年5月8日检索]、因特网(http://www.hitachi.co.jp/New/chews/month/2016/11/1115.html)

专利文献

专利文献1：WO2016/203573号公报

发明内容

发明要解决的技术课题

然而，在上述以往的技术(非专利文献1、2、专利文献1)中，如以下所说明，关于画质及设计参数存在问题。

＜使用实孔径的图像的重构＞

在实孔径的情况下，编码孔径(菲涅尔波带片)的图案I(r)由式(1)表示(参考图17的“摄影时掩模”)。

[数学式1]

I(r)＝cosβr²……(1)

I(r)的值越大，既定波段处的光的透射率就变得越大。r为距菲涅尔波带片的中心的距离，β(＞0)为确定图案的细度(间距)的常数。以下，为了避免负值，将考虑如式(2)附加偏移而落入于0至1的范围内的I2(r)。

[数学式2]

假定该编码孔径(菲涅尔波带片)从传感器面上仅分离距离d而配置(参考图16)。此时，若假定光(平行光)从距离无限远的点光源以入射角θ入射，则编码孔径(菲涅尔波带片F)的阴影(图16的阴影SD)仅平行移动Δr(＝d×tan θ)而投影在图像传感器上。平行移动的阴影S(r)由式(3)表示。

[数学式3]

I2(r)及S(r)本来是二维图像，并且是双变量函数，但在此为了简化而仅关注并考虑由包含中心和入射光源的平面切断的截面上的一维图像。但是，若如以下式(4)进行计算，则能够容易扩展到二维的情况。

[数学式4]

所摄影的阴影图像(投影像)在计算机上被图像复原(重构)而输出。在图像复原工艺中，阴影图像与未位置偏离的菲涅尔孔径图像(菲涅尔区图案)进行乘法运算。关于该内部乘法运算的函数，在此将考虑由以下式(5)表示的函数的情况。另外，将虚数单位设为j。

[数学式5]

Mr(r)＝I(r)＝cosβr²……(5)

Mr(r)为与I(r)相同的实变函数，但去除了偏移(直流成分)(图17的“内部乘法运算掩模”)。以往技术(上述非专利文献1、2及专利文献1)中的图像的重构相当于对实孔径的投影像相乘由实变函数Mr(r)表示的菲涅尔区图案的情况。

内部乘法运算后的图像由以下式(6)表示(图17的“乘法运算结果”)。

[数学式6]

关于对内部乘法运算图像(菲涅尔区图案)利用了Mr(r)的情况的乘法运算后图像Fr(r)，第1项为能够通过偏移校正等来去除的成分。第2项为重合的菲涅尔孔径之间的“差频”(由cosα、cosβ表示摄影时的孔径及重合的图案时，对应于cos(α-β)；参考图17的“原理”)被提取的莫尔干涉条纹。这与傅里叶变换的基底一致，因此通过适用傅里叶变换被变换为δ函数而成为“点”，从而成为有助于成像的成分。第3项相当于“和频”(对应于cos(α+β)；参考图17的“原理”)，其即使进行傅里叶变换也不会有助于成像并成为作为噪声而起作用的成分(参考图17的“备注”)。

对Fr(r)分别适当地适用偏移校正，将第1项被消去的状态的图像设为Fr2(r)。若对这些实际适用傅里叶变换，则将Fr(r)的傅里叶变换设为fr(k)时由式(7)表示。

[数学式7]

其中，ξ(k，β，Δr)是实数的多项式。通过对其取复数的绝对值而得到复原图像，但在fr(k)的情况下，第1项和第2项会产生关于原点对称的2点，因此具有成为点对称地重叠的复原图像的缺点。fr(k)的第3项作为噪声起作用，由于该项带来的影响而光学系统的传递函数MTF(Modulation Tran sfer Function：调制传递函数)不可能成为100％(这意味着即使不存在由图像传感器产生的噪声，MTF也不会成为100％)。但是，若加大β的值，则该噪声变小，因此通过加大β的值(设为细密的图案)，能够减轻影响。

另外，若关于二维的情况进行计算，则周边光量成为(cos θ)⁴，畸变成为2×β×d×tanθ(θ为视场角)。

将如以往技术(上述非专利文献1、2及专利文献1)对实孔径的投影像相乘由实变函数Mr(r)表示的内部乘法运算掩模(菲涅尔区图案)的情况的图像处理的例子示于图18的表中。例1为在大致正面(距离无限远)上存在点光源的情况，例2为在倾斜方向(距离无限远)上存在点光源的情况，例3为同时存在例1、例2的点光源的情况。在图18中，投影像由上述式(3)表示，内部乘法运算掩模由式(5)表示，乘法运算结果由式(6)表示，有用信号的傅里叶变换由式(7)表示。乘法运算结果为“总计＝有用信号+无用成分”，式(6)的第2项成为有用信号，第3项成为无用成分。若能够仅对乘法运算结果中的有用信号进行傅里叶变换，则如图18的“有用信号的傅里叶变换”的列子所示，点像被复原，但实际上存在无用成分，因此关于式(7)，如上所述，会产生关于原点对称的2点。

如上所述，为了避免由像的重叠所引起的画质的劣化，需要根据图像传感器的像素数、掩模距离(菲涅尔区图案与图像传感器的距离：上述d)适当地调整菲涅尔波带片的空间频率(上述β)，但设计参数因这些要求而大幅受限。并且，在专利文献1中，通过将重构的图像切出一半而显示来避免像的重叠，但若切出重构图像的一部分，则视场角(摄影范围)会变窄。

因此，以往的技术在无透镜成像中无法获取高画质的图像，并且，设计参数也大幅受限。

本发明是鉴于这种情况而完成的，其目的在于提供一种不使用透镜便能够获取高画质的图像且对设计参数的制约低的摄像系统。并且，本发明的目的在于提供一种构成该摄像系统的摄像装置、及图像处理装置、图像处理装置中所使用的图像处理方法及用于使计算机实现图像处理方法的记录介质。

用于解决技术课题的手段

为了实现上述目的，本发明的第1方式所涉及的摄像装置，其用于通过对由实部的图像和虚部的图像构成的复图像进行二维复傅里叶变换而重构空间区域的图像的摄像系统，所述摄像装置具备：第1摄像部，具有使来自被摄体的光入射的第1菲涅尔波带片和透射了第1菲涅尔波带片的第1投影像所入射的第1图像传感器，并且从第1图像传感器获取第1投影像；及第2摄像部，具有使来自被摄体的光入射且各区域中的局部空间频率的相位与第1菲涅尔波带片不同的第2菲涅尔波带片、和透射了第2菲涅尔波带片的第2投影像所入射的第2图像传感器，并且从第2图像传感器获取第2投影像，由第1摄像部获取的第1投影像及由第2摄像部获取的第2投影像用于生成复图像。摄像系统使用所获取的第1投影像及第2投影像来生成复图像。

在第1方式中，使用在各区域中的局部空间频率的相位不同的菲涅尔波带片来获取第1、第2投影像，由此在包含摄像装置而构成的摄像系统中，能够对由这些投影像生成的复图像进行复原(二维复傅里叶变换)而在宽视场角下获取(重构)高画质的图像。并且，无需考虑上述“和频”(噪声成分)的影响便能够选择设计参数(菲涅尔波带片的间距、面积、图像传感器的像素数、菲涅尔波带片与图像传感器的距离等)，从而对设计参数的制约低。

在菲涅尔波带片上因在各区域中的局部空间频率而以同心圆状重复透射被摄体光的区域和遮光的区域而形成条纹状的图案。并且，在第1方式及以下的各方式中，“菲涅尔波带片”包含被摄体光的透射率根据距中心的距离而连续地变化的波带片及对该波带片设定有透射率的阈值且透射率不连续地(透射或不透射)变化的波带片。

在第1方式中，第1、第2投影像可以使用第1、第2菲涅尔波带片来同时进行摄影，也可以依次切换第1、第2菲涅尔波带片来进行摄影。

根据第1方式，在第2方式所涉及的摄像装置中，第1菲涅尔波带片和第2菲涅尔波带片的局部空间频率的相位在70°以上且110°以下的范围内在正或负的方向上偏离。第2方式规定第1、第2菲涅尔波带片的优选的相位偏离的范围。在该范围内，进一步优选相位偏离接近90°。

根据第1或第2方式，在第3方式所涉及的摄像装置中，第1菲涅尔波带片和第2菲涅尔波带片排列配置于同一平面上。第3方式规定第1、第2菲涅尔波带片的配置的1个方式，由此，能够同时获取第1、第2投影像。另外，第3方式不仅包括第1、第2菲涅尔波带片配置于完全的同一平面上的情况，还包括配置第1、第2菲涅尔波带片的面根据所获取的图像的画质在所允许的范围内偏离的情况。

根据第1或第2方式，在第4方式所涉及的摄像装置中，还具备使从被摄体入射的光分支的分支光学部件，第1菲涅尔波带片和第2菲涅尔波带片分别使由分支光学部件分支的来自被摄体的光入射。第4方式规定第1、第2菲涅尔波带片的配置的另一方式，由此，能够同时获取第1、第2投影像。并且，在第1、第2菲涅尔波带片中不存在光轴的偏离，因此在第1、第2投影像中不会产生视差。

根据第1或第2方式，在第5方式所涉及的摄像装置中，第1菲涅尔波带片和第2菲涅尔波带片重合，且第1菲涅尔波带片使第1波段的光透射，第2菲涅尔波带片使与第1波段不同的第2波段的光透射，第1图像传感器和第2图像传感器为离散地配置有仅接收第1波段的第1投影像的第1受光元件组和仅接收第2波段的第2投影像的第2受光元件组的共用的图像传感器，第1摄像部及第2摄像部从共用的图像传感器将第1投影像和第2投影像分离获取。

第5方式规定第1、第2菲涅尔波带片的配置的又一方式，由此，能够同时获取第1、第2投影像。并且，在第1、第2菲涅尔波带片中不存在光轴的偏离，因此在第1、第2投影像中不会产生视差。另外，配置面积为与1个菲涅尔波带片及1个图像传感器相当的量即可，因此能够将摄像部小型化。另外，在第5方式中，例如通过将仅使第1、第2波段透射的滤色器分别配设于图像传感器的第1、第2受光元件组中，能够将第1、第2投影像分离接收。

为了实现上述目的，本发明的第6方式所涉及的图像处理装置具备：投影像输入部，输入第1至第5方式中的任一项所涉及的摄像装置所获取的第1投影像及第2投影像；复图像生成部，将所输入的第1投影像及第2投影像与预先设定的菲涅尔区图案相乘而生成复图像；及傅里叶变换部，对所生成的复图像进行二维复傅里叶变换而重构空间区域的图像。在第6方式所涉及的图像处理装置中，将菲涅尔区图案(内部乘法运算菲涅尔区图案)与第1至第5方式中任一项所涉及的摄像装置所获取的投影像相乘而生成复图像，并对所生成的复图像进行二维复傅里叶变换，因此能够根据所输入的投影像重构高画质的图像，并且，对设计参数的制约低。另外，在第6方式中，输入多个投影像(第1、第2投影像)，因此无论与投影像相乘的菲涅尔区图案为1种还是多种，均能够生成复图像。

在第6方式中，优选获取在获取第1、第2投影像时所使用的第1、第2菲涅尔波带片的局部空间频率的信息(间距)，并将所获取的信息用于图像的重构。

根据第6方式，在第7方式所涉及的图像处理装置中，复图像生成部使用放大率根据对焦的被摄体距离而不同的菲涅尔区图案来生成复图像。由菲涅尔波带片形成的投影像根据被摄体(光源)的距离而成为不同的大小，因此优选乘法运算的菲涅尔区图案的放大率也根据被摄体(光源)的距离而不同。如第7方式，通过使用放大率根据对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像，能够得到模糊少的清晰的图像。

根据第6或第7方式，在第8方式所涉及的图像处理装置中，菲涅尔区图案由第1菲涅尔区图案及第2菲涅尔区图案构成，所述第1菲涅尔区图案及第2菲涅尔区图案的各区域中的局部空间频率的相位在与第1菲涅尔波带片和第2菲涅尔波带片的局部空间频率的相位偏离的方向相反的方向上偏离，复图像生成部将所输入的第1投影像及第2投影像与第1菲涅尔区图案及第2菲涅尔区图案相乘而生成复图像。根据第8方式，能够重构成为噪声的“和频”的成分少且高画质的图像。另外，“局部空间频率的相位在相反方向上偏离”是指若第1、第2菲涅尔波带片的相位偏离为正的方向，则第1、第2菲涅尔区图案的相位偏离为负的方向，若第1、第2菲涅尔波带片的相位偏离为负的方向，则第1、第2菲涅尔区图案的相位偏离为正的方向。

根据第8方式，在第9方式所涉及的图像处理装置中，第1菲涅尔区图案和第2菲涅尔区图案的局部空间频率的相位在70°以上且110°以下的范围内在负或正的方向上偏离。第9方式规定第1、第2菲涅尔区图案的优选的相位偏离的范围。在该范围内，进一步优选相位偏离接近90°。

根据第8或第9方式，在第10方式所涉及的图像处理装置中，在第1菲涅尔区图案及第2菲涅尔区图案与第1菲涅尔波带片及第2菲涅尔波带片中，复共轭的关系成立。如对于第6方式在上面所述，第1、第2菲涅尔区图案为内部乘法运算菲涅尔区图案，对于菲涅尔波带片成为复共轭。根据第10方式，根据投影像与菲涅尔区图案的乘法运算结果能够取出“差频”的成分(是有助于成像的成分，不包含成为噪声的“和频”的成分)，从而能够得到高画质的图像。

为了实现上述目的，本发明的第11方式所涉及的摄像系统具备：第1至第5方式中任一项所涉及的摄像装置；及第6至第10方式中任一项所涉及的图像处理装置。根据第11方式，利用第1至第5方式中任一项所涉及的摄像装置和第6至第10方式中任一项所涉及的图像处理装置，不使用透镜便能够获取高画质的图像，且对设计参数的制约低。另外，在第11方式中，摄像装置可以固定于图像处理装置，也可以设为相对于图像处理装置能够进行更换。

为了实现上述目的，本发明的第12方式所涉及的图像处理方法包括：输入第1至第5方式中的任一项所涉及的摄像装置所获取的第1投影像及第2投影像的步骤；将所输入的第1投影像及第2投影像与预先设定的菲涅尔区图案相乘而生成复图像的步骤；及对所生成的复图像进行二维复傅里叶变换而重构空间区域的图像的步骤。根据第12方式，与第6方式相同地，能够获取高画质的图像，并且对设计参数的制约低。

根据第12方式，在第13方式所涉及的图像处理方法中，菲涅尔区图案由第1菲涅尔区图案及第2菲涅尔区图案构成，所述第1菲涅尔区图案及第2菲涅尔区图案的各区域中的局部空间频率的相位在与第1菲涅尔波带片和第2菲涅尔波带片的局部空间频率的相位偏离的方向相反的方向上偏离，在生成复图像的步骤中，将所输入的第1投影像及第2投影像与第1菲涅尔区图案及第2菲涅尔区图案相乘而生成复图像。根据第13方式，与第8方式相同地，能够重构成为噪声的“和频”的成分少且高画质的图像。

为了实现上述目的，本发明的第14方式所涉及的记录介质为记录有使计算机实现如下功能的图像处理程序的计算机可读代码的记录介质：输入第1至第5方式中的任一项所涉及的摄像装置所获取的第1投影像及第2投影像的功能；将所输入的第1投影像及第2投影像与预先设定的菲涅尔区图案(内部乘法运算菲涅尔区图案)相乘而生成复图像的功能；及对所生成的复图像进行二维复傅里叶变换而重构空间区域的图像的功能。根据第14方式，通过使计算机实现各功能，与第6方式相同地，能够重构高画质的图像，并且对设计参数的制约低。

根据第14方式，在第15方式所涉及的记录介质中，菲涅尔区图案由第1菲涅尔区图案及第2菲涅尔区图案构成，所述第1菲涅尔区图案及第2菲涅尔区图案的局部空间频率的相位在与第1菲涅尔波带片和第2菲涅尔波带片的局部空间频率的相位偏离的方向相反的方向上偏离，关于生成复图像的功能，将所输入的第1投影像及第2投影像与第1菲涅尔区图案及第2菲涅尔区图案相乘而生成复图像。根据第15方式，与第8方式相同地，能够重构成为噪声的“和频”的成分少且高画质的图像。

发明效果

如以上说明，根据本发明的摄像系统，不使用透镜便能够获取高画质的图像，且对设计参数的制约低。这种摄像系统能够由本发明的摄像装置及图像处理装置构成，在图像处理装置中能够使用本发明的图像处理方法及记录介质。

附图说明

图1是用于说明基于复数孔径的成像的原理的图。

图2是用于说明菲涅尔孔径的定义式的一般形式的图。

图3是表示第1实施方式所涉及的摄像系统的结构的框图。

图4是表示菲涅尔波带片的例子的图。

图5是表示第1实施方式中的菲涅尔波带片的图。

图6是表示相位不同的菲涅尔波带片的例子的图。

图7是表示图像处理部的结构的图。

图8是表示存储于存储部的图像及信息的图。

图9是表示第1实施方式所涉及的图像处理方法的流程图。

图10是表示使用放大率根据对焦的被摄体距离而不同的菲涅尔区图案的情况的图。

图11是表示基于以往技术及本发明的图像的重构例的图。

图12是表示第2实施方式所涉及的摄像系统的结构的框图。

图13是表示使来自被摄体的光通过光学部件分支并入射到第1、第2菲涅尔波带片中的情况的图。

图14是表示第3实施方式所涉及的摄像系统的结构的图。

图15是表示将改变了透射波长的菲涅尔波带片重合的情况的图。

图16是表示投影像平行移动而投影在图像传感器上的情况的图。

图17是用于说明基于实孔径的成像的原理的图。

图18是用于说明基于实孔径的成像的原理的另一图。

具体实施方式

以下，参考附图对本发明所涉及的摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质的实施方式进行说明。

＜本发明中的图像的复原＞

首先，对使用本发明中的复数的菲涅尔孔径(菲涅尔波带片)的图像的复原(重构)进行说明。在该情况下，编码孔径的图案(菲涅尔区图案)I(r)为式(8)的复变函数。

[数学式8]

以下，为了避免负值，将考虑如式(9)附加偏移而落入于0至1的范围内的I3(r)。

[数学式9]

实际上难以制作复数的孔径，因此需要对I3(r)的实部和虚部各自的编码孔径(图1的“摄影时掩模”的实数部和虚数部)获取阴影图像(投影像)而得到2通道的图像。与上述实孔径的情况(参考图16)相同地，掩模的阴影仅平行移动Δr(＝d×tanθ)而投影在图像传感器上。

[数学式10]

S(r)＝13(r-Δr)……(10)

本发明中，在图像复原中在计算机上进行乘法运算的图像(菲涅尔区图案)如下式以成为作为编码孔径的图案的I(r)的复共轭的方式选择为佳(参考图1的“内部乘法运算掩模”)。这是为了使虚部的符号反转而取出与阴影图像的差频。

[数学式11]

此时，乘法运算后图像如下式表示(参考图1的“乘法运算结果”)。

[数学式12]

在F(r)中，第1项为能够通过偏移校正来去除的成分。第2项为相当于“差频”的项，与傅里叶变换的基底一致，因此通过适用傅里叶变换被变换为δ函数而成为“点”，从而成为有助于成像的成分。应注意的是，在该情况下不会产生噪声项(和频)这一点(参考图1的“备注”)。这是因为，在实数的乘法运算中，通过三角函数的和差化积公式同时产生差频与和频这两者而成为噪声(参考图17的“原理”)，在复数彼此的乘法运算中，仅提取差频(参考图1的“原理”)。因此，理论上能够进行可达到MTF100％的摄像处理。

对F(r)分别适当地适用偏移校正，将第1项被消去的状态的图像设为F3(r)。若对这些实际适用傅里叶变换，则将傅里叶变换后的图像设为f(k)时如下表示。

[数学式13]

相位依赖于光的入射角而旋转，若对其取复数的绝对值，则能够确认对应于无限远光的到来而在δ函数(点)上成像。从入射光的角度光谱至成像图像为止的运算全部为线性，因此重合成立，由此能够说明图像的成像。

＜复孔径菲涅尔的优点＞

当如本发明使用复数的菲涅尔孔径时，原理上不产生噪声项，能够实现MTF100％。由于不产生噪声项，因此不存在像的重叠，不需要如上述专利文献1切出重构图像的一部分，因此能够以宽视场角获取高画质的图像。并且，在实孔径的情况下，需要调整β的值以免差频与和频的成分混合，但在复孔径的情况下，无需考虑和频的影响而能够自由地选择设计参数(β、面积、像素数、掩模距离)。在实数的情况下难以成像的参数设定中也能够进行成像。

＜菲涅尔孔径的定义式的一般形式＞

为了通过傅里叶变换能够进行图像复原，平行移动的阴影图案(投影像)与原图案(菲涅尔波带片)之间的差的空间频率在图像上的任意部位必须成为恒定值(若频率在所有画面内为相同值，则与傅里叶变换的基函数一致。)。为了满足此，掩模图案的相位函数Φ(r)需要在适用“相位→频率”和“位置错开”这2次的微分之后成为恒定值，因此相反地，可知通过进行2次积分，必须成为如式(14)的2次函数。

[数学式14]

I(r)＝e^jΦ(r)、φ(r)＝βr²+αr+γ……(14)

但是，一般而言，相位尽可能不前进时，掩模图案的空间频率较少即可，因此α＝γ＝0是合适的。

参考图2对这种一般形式导出的情况进行说明。若将图2的(a)部分所示的菲涅尔波带片的式的相位部分即图2的(d)部分的式对r进行微分，则如(e)部分所示成为y＝2βr。投影像的平行移动量如上所述为d×tanθ，因此差频(对应于有用信号、莫尔干涉条纹)如(c)部分所示成为y＝2βr-2β(r-d×tanθ)＝2β×d×tanθ，和频(对应于无用成分、噪声)如(f)部分所示成为y＝2βr+2β(r-d×tanθ)＝4βr-2β×d×tanθ。若(c)部分所示的“差频”成为常数，则能够通过傅里叶变换进行复原，因此若将y＝2β×d×tanθ对r进行2次积分，则可得到(b)部分及上述式(17)所示的一般形式。

＜第1实施方式＞

以下，对本发明的第1实施方式进行说明。

＜摄像系统的结构＞

图3是表示第1实施方式所涉及的摄像系统10(摄像系统)的结构的框图。摄像系统10具备摄像模块100(摄像装置)和摄像装置主体200(图像处理装置)。如后述，摄像系统10为通过对由实部的图像和虚部的图像构成的复图像进行二维复傅里叶变换而重构空间区域的图像的摄像系统。另外，摄像系统10能够适用于数码相机、智能手机、平板终端、监控摄像机等。

＜摄像模块的结构＞

摄像模块100包括摄像部110、120。摄像部110(第1摄像部)具备菲涅尔波带片112(第1菲涅尔波带片)及摄像元件114(第1图像传感器)，并且从摄像元件114获取来自被摄体的光透射菲涅尔波带片112而入射到摄像元件114而成的投影像(第1投影像)。菲涅尔波带片112在中心与摄像元件114的中心一致且与摄像元件114的受光面平行的状态下配置于摄像元件114的受光面侧。摄像部110具有光轴L1。

相同地，摄像部120(第2摄像部)具备菲涅尔波带片122(第2菲涅尔波带片)和摄像元件124(第2图像传感器)，并且从摄像元件124获取来自被摄体的光透射菲涅尔波带片122而入射到摄像元件124而成的投影像(第2投影像)。菲涅尔波带片122在中心与摄像元件124的中心一致且与摄像元件124的受光面平行的状态下配置于摄像元件124的受光面侧。摄像部120具有光轴L2。

如后述，菲涅尔波带片112和菲涅尔波带片122的在各区域中的局部空间频率的相位偏离，因该局部空间频率而以同心圆状重复透射被摄体光的区域和遮光的区域而形成条纹状的图案。并且，菲涅尔波带片112、122排列配置于同一平面上。在此，“配置于同一平面上”不仅包含菲涅尔波带片112、122配置于完全的同一平面上的情况，还包括配置菲涅尔波带片112、122的面根据所获取的图像的画质在所允许的范围内偏离(存在平行偏离、旋转偏离)的情况。

另外，摄像模块100可以固定于摄像装置主体200，也可以将其设为能够进行更换。并且，也可以将菲涅尔波带片112、122设为相对于摄像部110、120能够进行更换。如此，通过区分使用特性(大小、间距、相位、与图像传感器的距离等)不同的菲涅尔波带片，能够控制所获取的投影像的特性(视场角、深度(距离测定精度)等)来重构所期望的特性的图像。另外，在以下说明中，有时将菲涅尔波带片112、122记载为“FZP”(Fresnel Zone Plate)。

＜菲涅尔波带片的结构＞

图4的(a)部分是表示作为菲涅尔波带片112、122的例子的FZP1的图。在FZP1中，所入射的光的透射率根据距中心的距离而连续地变化，越是接近白色的区域(透射区域)，光的透射率越高，越是接近黑色的区域(遮光区域)，光的透射率越低。作为整体，透射区域和遮光区域交替地以同心圆状配置而形成上述条纹状的图案，这些透射区域及遮光区域构成菲涅尔波带片。同心圆的间隔随着从FZP1的中心朝向周边而变窄。这种同心圆状的图案(局部空间频率的变化)由上述式(8)、(9)等表示，将这些式中的同心圆的细度称为“间距”。间距由上述β的值来规定，若β小则成为稀疏的图案，若β大则成为细密的图案。在摄像模块100中设置存储器并预先存储间距的信息(β的值)，图像处理部210(信息输入部210D：参考图7)可以获取该信息而用于图像的重构。

FZP(菲涅尔波带片112、122)的光轴L1、L2(参考图3)为通过FZP及摄像元件114、124的中心且与FZP及摄像元件114、124的受光面垂直的轴。FZP靠近(例如，1mm左右)摄像元件114、124而配置，但根据FZP与摄像元件114、124的距离，因光的衍射而投影像变模糊，因此优选不过度分离。

图4的(b)部分是表示作为FZP的另一例的FZP2的图。FZP2是对FZP1的透射率设定阈值并将透射率超过阈值的区域设为透射率100％的透射区域(白色部分)，将阈值以下的区域设为透射率0％的遮光区域(黑色部分)的波带片，透射率根据距中心的距离而不连续地(0％或100％这2个阶段)变化。作为整体，透射区域和遮光区域交替地以同心圆状配置而形成上述条纹状的图案，这些透射区域及遮光区域构成菲涅尔波带片。如此，本发明中的“菲涅尔波带片”包含如FZP1的方式及如FZP2的方式，并且，与此对应地，本发明中的“菲涅尔区图案”也包含透射率连续地变化的图案及透射率不连续地变化的图案。另外，可以在如图4所示的菲涅尔波带片的周边部分设置遮光部(与遮光区域相同地为不透射光的区域)来防止不需要的光入射到摄像元件114、124的周边部分。

＜菲涅尔波带片的相位＞

菲涅尔波带片112例如能够设为图5的(a)部分所示的图案(中心处的局部空间频率的相位为0°)。并且，菲涅尔波带片122例如能够设为图5的(b)部分所示的图案(距离与菲涅尔波带片112相同，中心处的局部空间频率的相位在正的方向上偏离90°)。另外，复孔径由式(8)、(9)表示，实部、虚部分别成为cos(βr²)、sin(βr²)，因此菲涅尔波带片112、122(实部的图像用、虚部的图像用)的相位偏离最优选为π/2即90°，其次优选尽可能接近90°。然而，即使相位偏离不是90°，只要在正或负70°以上且110°以下的范围内，就能够重构清晰的图像。并且，将菲涅尔波带片112的中心处的局部空间频率的相位设为0°，但只要菲涅尔波带片112、122之间的相位的偏离满足上述条件，则菲涅尔波带片112的中心处的相位并不限定于0°。另外，°表示角度的单位。

＜菲涅尔波带片的例子＞

将相位不同的菲涅尔波带片的例子示于图6。图6的第1行从左依次表示中心处的相位分别为0°、10°、20°、30°、40°、50°的菲涅尔波带片的图案(局部空间频率的图案)。以下，第2行表示中心处的相位分别为60°、70°、75°、80°、90°、100°的菲涅尔波带片的图案。第3行表示中心处的相位分别为105°、110°、120°、130°、140°、150°的菲涅尔波带片的图案。第4行表示中心处的相位分别为160°、170°、180°、190°、200°、210°的菲涅尔波带片的图案。第5行表示中心处的相位分别为220°、230°、240°、250°、260°、270°的菲涅尔波带片的图案。第6行表示中心处的相位分别为280°、290°、300°、310°、320°、330°的菲涅尔波带片的图案。第7行表示中心处的相位分别为340°、350°、360°的菲涅尔波带片的图案。另外，关于与投影像相乘的菲涅尔区图案，相位与图案的关系也与图6的例子相同。

＜摄像元件的结构＞

摄像元件114、124为具有由在二维方向上(二维状)排列的光电转换元件构成的多个像素的图像传感器。可以在各像素上设置微透镜来提高聚光效率。并且，也可以在各像素上配设滤色器(例如红色、蓝色及绿色)以便能够重构彩色图像。

＜摄像装置主体的结构＞

摄像装置主体200具备图像处理部210、存储部220、显示部230及操作部240，并且根据摄像模块100所获取的投影像进行被摄体的图像复原等。

图7是表示图像处理部210的结构的图。图像处理部210具有投影像输入部210A(投影像输入部)、复图像生成部210B(复图像生成部)、傅里叶变换部210C(傅里叶变换部)、信息输入部210D(信息输入部)及显示控制部210E(显示控制部)。投影像输入部210A控制摄像模块100(摄像部110、120)而从摄像元件114、124分别获取来自被摄体的光入射到FZP而形成于摄像元件114、124中的第1、第2投影像。复图像生成部210B将第1、第2投影像与预先设定的菲涅尔区图案(后述)相乘而生成由实部的图像和虚部的图像构成的复图像。傅里叶变换部210C对复图像进行二维复傅里叶变换而重构空间区域的图像。信息输入部210D获取投影像的获取中所使用的菲涅尔波带片112、122的信息(间距的信息)。显示控制部210E进行投影像、复图像、重构图像等在显示部230的显示控制。在ROM210F(Read Only Memory：只读存储器)(非暂时性记录介质)中记录有用于执行本发明所涉及的图像处理方法的图像处理程序等用于使摄像系统10动作的各种程序的计算机可读代码。

上述图像处理部210的功能能够使用各种处理器(processor)来实现。在各种处理器中例如包含执行软件(程序)来实现各种功能的通用的处理器即CPU(CentralProcessing Unit：中央处理器)。并且，在上述各种处理器中还包含FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Dev ice：PD))。另外，ASIC(Application SpecificIntegrated Circuit：专用集成电路)等具有为了执行特定的处理而专用设计的电路结构的处理器即专用电路等也包含于上述各种处理器中。

各部的功能可以通过1个处理器来实现，也可以组合多个处理器来实现。并且，可以由1个处理器实现多个功能。作为由1个处理器实现多个功能的例子，第1，如以用户端、服务器等计算机为代表那样，有如下方式：以1个以上的CPU与软件的组合构成1个处理器，该处理器作为多个功能而实现。第2，如以系统级芯片(System On Chip：SoC)等为代表那样，有使用由1个IC(Integrated Circuit：集成电路)芯片实现系统整体的功能的处理器的方式。如此，关于各种功能，作为硬件结构，使用1个以上上述各种处理器来构成。

另外，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路(circuitry)。

在上述处理器或电路执行软件(程序)时，将所执行的软件(包含用于执行本发明所涉及的图像处理方法的图像处理程序)的处理器(计算机)可读代码预先存储于ROM210F(参考图7)等非暂时性记录介质中，由处理器参考该软件。也可以不在ROM210F中而在硬盘、各种光磁记录装置等非暂时性记录介质中记录代码。在使用软件进行处理时，例如将RAM(Random Access Memory：随机存取存储器)用作暂时性存储区域，并且，例如参考存储于EEPROM(Elec tronically Erasable and Programmable Read Only Memory：电可擦可编程只读存储器)中的数据。另外，在图7中省略RAM、EEPROM等器件的图示。

＜存储部的结构＞

存储部220由CD(Compact Disk：压缩磁盘)、DVD(Digital Versatile Disk：数字通用光盘)、硬盘(Hard Disk)、各种半导体存储器等非暂时性记录介质构成，将图8所示的图像及信息相互建立关联而进行存储。投影像220A为从摄像模块100获取的投影像(第1、第2投影像)。菲涅尔波带片信息220B为菲涅尔波带片112、122的局部空间频率的信息(包含β的值等间距信息)。菲涅尔波带片信息220B可以为从摄像模块100获取的信息，也可以为经由操作部240输入的信息。菲涅尔区图案信息220C为表示菲涅尔区图案的信息，优选对局部空间频率的相位不同的多个菲涅尔区图案进行记录。复图像220D为将菲涅尔区图案信息220C所表示的菲涅尔区图案与投影像(第1、第2投影像)相乘而生成的、由实部的图像和虚部的图像构成的复图像。重构图像220E为对复图像220D进行二维复傅里叶变换而得到的空间区域的图像。

＜显示部及操作部的结构＞

显示部230包含未图示的液晶显示器等显示装置而构成，显示投影像、复图像、重构图像等，并且还用于经由操作部240的指示输入时的UI(User Int erface：用户界面)用的画面显示。操作部240由未图示的键盘、鼠标、按钮等器件构成，用户能够利用这些器件来输入投影像获取指示、图像重构指示、对焦距离的条件、局部空间频率的信息(间距、相位)等。另外，可以将显示部230的显示装置由触摸面板构成，除了图像显示以外，还用作操作部240。

＜基于摄像系统的图像处理＞

对基于上述结构的摄像系统10的图像处理进行说明。图9是表示本实施方式所涉及的图像处理方法的流程的流程图。

＜投影像的输入＞

在步骤S100中，图像处理部210(投影像输入部210A)控制摄像模块100而从摄像元件114、124获取投影像。所获取的投影像为来自被摄体的光入射到菲涅尔波带片112、122而形成于摄像元件114、124中的投影像(第1、第2投影像)，这些投影像能够通过图像处理部210(投影像输入部210A)的控制来同时获取。当在摄像元件114、124中配设有滤色器时，在获取第1、第2投影像时，与在通常的数码相机中生成彩色图像时的去马赛克处理(也称为同步化处理)相同地，进行与滤色器的排列图案相对应的插值处理。由此，在各像素(受光元件)中生成不足的颜色的信号，在所有像素中得到各颜色(例如红色、蓝色及绿色)的信号。这种处理例如能够通过图像处理部210(投影像输入部210A)来进行。

＜局部空间频率的信息＞

在步骤S110中，图像处理部210(信息输入部210D)输入投影像获取中所使用的菲涅尔波带片112、122的局部空间频率的信息(菲涅尔波带片112、122的间距)。该信息可以从摄像模块100的未图示的存储器输入，也可以根据对操作部240的用户的操作来输入。并且，也可以由信息输入部210D分析并输入在步骤S100中获取的投影像。间距由上述式(8)、(9)等中的β的值规定，因此，具体而言，输入β的值即可。另外，当对已知的被摄体(例如，距离无限远的点光源)进行了摄影时，能够通过分析摄影图像来获取间距(β的值)。并且，也可以一边改变间距(β的值)一边重复进行图像的重构来求出可得到清晰的图像的值。

＜复图像的生成＞

在步骤S120中，图像处理部210(复图像生成部210B)将第1菲涅尔区图案与第1投影像相乘而生成实部的图像，并将第2菲涅尔区图案与第2投影像相乘而生成虚部的图像，由此生成由实部的图像和虚部的图像构成的复图像。在步骤S120中进行乘法运算的菲涅尔区图案能够使用存储于存储部220的图案(菲涅尔区图案信息220C)中的根据在步骤S110中输入的间距(β的值)而选择的图案。并且，也能够使用根据间距(β的值)而改变(根据需要可以放大或缩小)存储于存储部220的图案而得到的图案。图像处理部210(复图像生成部210B)将所生成的复图像作为复图像220D而存储于存储部220。

＜菲涅尔区图案的相位＞

当菲涅尔波带片112、122的中心处的局部空间频率的相位如图5分别为0°、90°时，第1、第2菲涅尔区图案的中心处的局部空间频率的相位分别能够设为0°、-90°。在该情况下，菲涅尔波带片的局部空间频率的相位的偏离为正的方向，菲涅尔区图案的局部空间频率的相位的偏离为与菲涅尔波带片相反的方向的负的方向。并且，与投影像相乘的菲涅尔区图案在与菲涅尔波带片之间复共轭的关系(相位偏离的大小相同，且偏离的方向为相反的方向)成立。即，如对于式(11)在上面所述，第1、第2菲涅尔区图案(内部乘法运算菲涅尔区图案)对于菲涅尔波带片112、122成为复共轭。由此，能够使虚部的符号反转而取出与投影像的差频。

通过图像处理部210(复图像生成部210B)将这些第1、第2菲涅尔区图案分别与第1、第2投影像相乘，可得到由实部的图像及虚部的图像构成的复图像。另外，复数的内部乘法运算掩模由式(11)表示，实部、虚部分别成为cos(βr²)、sin(βr²)，因此第1、第2菲涅尔区图案的相位偏离最优选为π/2即90°，其次优选尽可能接近90°。然而，若菲涅尔区图案的局部空间频率的相位的偏离在负或正(在与菲涅尔波带片112、122的相位偏离相反的方向上)70°以上且110°以下的范围内，则能够重构清晰的图像。另外，对将第1、第2菲涅尔区图案的中心处的局部空间频率的相位分别设为0°、-90°的情况进行了说明，但只要第1、第2菲涅尔区图案之间的相位的偏离满足上述条件，则第1、第2菲涅尔区图案的中心处的相位并不限定于0°、-90°。

在使用菲涅尔区图案时，可以将相位不同的多个菲涅尔区图案的数据作为菲涅尔区图案信息220C而预先存储于存储部220并选择使用所期望的图案，也可以由图像处理部210(复图像生成部210B)根据间距及相位的信息来生成所期望的图案。如上所述，各相位的菲涅尔区图案与图6的例子相同。这种菲涅尔区图案作为电子数据的菲涅尔区图案信息220C(内部乘法运算菲涅尔区图案)而存储于存储部220，因此能够迅速且容易进行所期望的图案的选择及生成。并且，不存在由以有体物形式保持与多个图案相对应的板(基板)而引起的装置的大型化、制作成本的增加、由多个图案之间的特性的偏差(包含制造时的偏差、经时变化、温度变化)而引起的画质的劣化等问题。

另外，在上述例子中，对使用多个菲涅尔区图案的情况进行了说明，由于本发明中使用复孔径(菲涅尔波带片112、122)，因此通过将单一的菲涅尔区图案乘以第1、第2投影像，也能够生成由实部的图像和虚部的图像构成的复图像来重构图像。

＜菲涅尔区图案的放大率＞

当被摄体(光源)存在于无限远方时，平行光入射到菲涅尔波带片112、122而形成于摄像元件114、124中的投影像成为与菲涅尔波带片112、122相同的大小，但当被摄体存在于有限距离内时，具有扩散的光入射，距离越近，投影像变得越大。因此，通过将放大率根据对焦的被摄体距离而不同的图案用作第1、第2菲涅尔区图案，能够得到在所期望的距离上对焦的图像。例如，将与被摄体距离相对应的多个图案作为菲涅尔区图案信息220C而预先存储于存储部220，能够读出并使用该多个图案。并且，也可以将1个菲涅尔区图案作为基准图案而预先存储，并根据被摄体距离以不同的放大率放大。在该情况下，能够将与距离无限大对应且与菲涅尔波带片相同的大小的图案作为基准。图10是表示菲涅尔区图案的放大率根据被摄体距离而不同的情况的图。

另外，可以一边改变放大率一边重复进行复图像的生成(步骤S120)及图像的重构(步骤S130)，并通过将重构的图像的对焦评价值(例如，设定在图像中的焦点评价区域中的亮度信号的积分值)设为最大来获取清晰的图像。

＜图像的重构＞

在步骤S130中，图像处理部210(傅里叶变换部210C)如上述式(13)对复图像进行二维复傅里叶变换而重构被摄体的图像(空间区域的图像)。图像处理部210(显示控制部210E)将重构的图像显示于显示部230(步骤S140)。并且，图像处理部210(傅里叶变换部210C)将重构的图像作为重构图像220E而存储于存储部220。

＜与以往技术的重构结果的比较＞

将基于第1实施方式的图像的重构结果与以往技术进行比较而示出。图11的(a)部分为如以往技术重构将实数的菲涅尔区图案与由实孔径(实数的菲涅尔波带片)获取的投影像相乘的结果而得到的图像。另一方面，图11的(b)部分为通过本发明的方法将复数的菲涅尔区图案与使用复孔径(复数的菲涅尔波带片)获取的投影像相乘而生成复图像并对该复图像进行二维复傅里叶变换而重构的图像。另外，在(b)部分的图像的重构时，将用于获取投影像的菲涅尔波带片的相位设为0°(实部)、90°(虚部)，将与投影像相乘的菲涅尔区图案的相位设为0°(实部)、-90°(虚部)(上述复共轭的关系成立)。

若比较图11的(a)部分、(b)部分的图像，则可知(a)部分的图像存在严重的像的模糊，难以判别被摄体，相对于此，(b)部分的图像几乎不存在像的模糊及重叠，不使用透镜便能够获取高画质的图像。并且，能够自由地选择设计参数(菲涅尔波带片/图案的β、面积、像素数、掩模距离)，在实数的情况(以往技术的情况)下难以成像的参数设定中也能够进行成像。并且，由于不存在像的重叠，因此无需切出重构图像的一部分，能够以宽视场角获取图像。

＜第2实施方式＞

图12是表示第2实施方式所涉及的摄像系统20的结构的框图。摄像系统20(摄像系统)由摄像模块102(摄像装置)及摄像装置主体200(图像处理装置)构成。摄像装置主体200的结构与第1实施方式相同，因此标注相同的参考符号并省略详细的说明。

摄像模块102与第1实施方式中的摄像模块100相同，具备摄像部110、120(第1摄像部、第2摄像部)及使从被摄体入射的光分支的半反射镜M1(分支光学部件)。如图12及图13所示，半反射镜M1使从被摄体入射的光分支而入射到菲涅尔波带片112、122中，并在摄像元件114、124上形成投影像。菲涅尔波带片112、122及第1、第2菲涅尔区图案的相位能够与上述第1实施方式相同地进行设定。

根据上述结构的摄像系统20，能够同时获取第1、第2投影像，并且在菲涅尔波带片112、122中光轴L3是共用的，因此在第1、第2投影像中不会产生视差。另外，在摄像系统20中，可以在摄像部120的光路中插入另一反射镜，并将摄像部110、120配置于同一面上，该反射镜反射由半反射镜M1分支的光并使其成为与透射了半反射镜M1的光平行的光而引导至摄像元件124。

摄像系统20中的图像处理(投影像的获取、复图像的生成、图像的重构等)能够与第1实施方式相同地实施(参考图9的流程图)。其结果，不使用透镜便能够获取高画质的图像，且对设计参数的制约也低。

＜第3实施方式＞

图14是表示第3实施方式所涉及的摄像系统30的结构的框图。摄像系统30(摄像系统)由摄像模块103(摄像装置)及摄像装置主体200(图像处理装置)构成。摄像装置主体200的结构与第1、第2实施方式相同，因此标注相同的参考符号并省略详细的说明。

摄像模块103具有摄像部131(第1摄像部、第2摄像部)，摄像部131具备菲涅尔波带片132、134(第1、第2菲涅尔波带片)和摄像元件136(第1图像传感器、第2图像传感器)。菲涅尔波带片132、134以将中心对齐的方式重合而具有共用的光轴L4，且菲涅尔波带片132使第1波段的光透射，菲涅尔波带片134使与第1波段不同的第2波段的光透射(参考图15)。例如，能够将第1波段的光设为红色波段，并将第2波段的光设为绿色波段。此时，通过将菲涅尔波带片132、134的相位错开，能够使第1、第2波段的光的透射区域不重叠。并且，为了不使每个波段的直至摄像元件136的间隔(上述d的值)因菲涅尔波带片132、134的厚度而变化，优选尽可能较薄地形成菲涅尔波带片132、134。

根据上述结构的摄像系统30，能够同时获取第1、第2投影像。并且，在菲涅尔波带片132、134中不存在光轴的偏离，因此在第1、第2投影像中不会产生视差。另外，摄像部131的配置面积为与1个菲涅尔波带片及1个摄像元件相当的量即可，因此能够将摄像部131小型化。

摄像元件136为离散地配置有仅接收第1波段的第1投影像的第1受光元件组和仅接收第2波段的第2投影像的第2受光元件组的、对于菲涅尔波带片132、134共用的图像传感器。在第1受光元件组中配设有使第1波段的光透射的滤色器(例如，红色滤色器)，在第2受光元件组中配设有使第2波段的光透射的滤色器(例如，绿色滤色器)。摄像部131能够从摄像元件136的第1、第2受光元件组将第1、第2投影像分别分离获取。在获取第1、第2投影像时，与在通常的数码相机中生成彩色图像时的去马赛克处理(也称为同步化处理)相同地，进行与滤色器的排列图案相对应的插值处理而在各像素(受光元件)中生成不足的第1或第2投影像的信号，在所有像素中得到第1、第2投影像的信号。这种处理例如能够通过图像处理部210(投影像输入部210A)来进行。

摄像系统30中的图像处理(投影像的获取、复图像的生成、图像的重构等)能够与第1、第2实施方式相同地实施(参考图9的流程图)。由此，不使用透镜便能够获取高画质的图像，且对设计参数的制约也低。

＜其他＞

以上，关于本发明的实施方式进行了说明，但本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内能够进行各种变形。

符号说明

10-摄像系统，20-摄像系统，30-摄像系统，100-摄像模块，102-摄像模块，103-摄像模块，110-摄像部，112-菲涅尔波带片，114-摄像元件，120-摄像部，122-菲涅尔波带片，124-摄像元件，131-摄像部，132-菲涅尔波带片，134-菲涅尔波带片，136-摄像元件，200-摄像装置主体，210-图像处理部，210A-投影像输入部，210B-复图像生成部，210C-傅里叶变换部，210D-信息输入部，210E-显示控制部，210F-ROM，220-存储部，220A-投影像，220B-菲涅尔波带片信息，220C-菲涅尔区图案信息，220D-复图像，220E-重构图像，230-显示部，240-操作部，F-菲涅尔波带片，L1-光轴，L2-光轴，L3-光轴，L4-光轴，M1-半反射镜，SD-阴影，S100～S140-图像处理方法的各步骤，d-距离，Φ-相位函数，θ-入射角。

Claims (15)

1.一种摄像装置，其用于通过对由实部的图像和虚部的图像构成的复图像进行二维复傅里叶变换而重构空间区域的图像的摄像系统，所述摄像装置具备：

第1摄像部，具有使来自被摄体的光入射的第1菲涅尔波带片和透射了所述第1菲涅尔波带片的第1投影像所入射的第1图像传感器，并且从所述第1图像传感器获取所述第1投影像；及

第2摄像部，具有使来自所述被摄体的光入射且各区域中的局部空间频率的相位与所述第1菲涅尔波带片不同的第2菲涅尔波带片、和透射了所述第2菲涅尔波带片的第2投影像所入射的第2图像传感器，并且从所述第2图像传感器获取所述第2投影像，

由所述第1摄像部获取的所述第1投影像及由所述第2摄像部获取的所述第2投影像用于生成所述复图像。

2.根据权利要求1所述的摄像装置，其中，

所述第1菲涅尔波带片和所述第2菲涅尔波带片的所述局部空间频率的相位在70°以上且110°以下的范围内在正或负的方向上偏离。

3.根据权利要求1或2所述的摄像装置，其中，

所述第1菲涅尔波带片和所述第2菲涅尔波带片排列配置于同一平面上。

4.根据权利要求1或2所述的摄像装置，其中，

还具备使从所述被摄体入射的光分支的分支光学部件，

所述第1菲涅尔波带片和所述第2菲涅尔波带片分别使由所述分支光学部件分支的来自所述被摄体的光入射。

5.根据权利要求1或2所述的摄像装置，其中，

所述第1菲涅尔波带片和所述第2菲涅尔波带片重合，且所述第1菲涅尔波带片使第1波段的光透射，所述第2菲涅尔波带片使与所述第1波段不同的第2波段的光透射，

所述第1图像传感器和所述第2图像传感器为离散地配置有仅接收所述第1波段的第1投影像的第1受光元件组和仅接收所述第2波段的第2投影像的第2受光元件组的共用的图像传感器，

所述第1摄像部及所述第2摄像部从所述共用的图像传感器将所述第1投影像和所述第2投影像分离获取。

6.一种图像处理装置，其具备：

投影像输入部，输入权利要求1至5中任一项所述的摄像装置所获取的所述第1投影像及所述第2投影像；

复图像生成部，将所述输入的所述第1投影像及所述第2投影像与预先设定的菲涅尔区图案相乘而生成所述复图像；及

傅里叶变换部，对所述生成的所述复图像进行二维复傅里叶变换而重构空间区域的图像。

7.根据权利要求6所述的图像处理装置，其中，

所述复图像生成部使用放大率根据对焦的被摄体距离而不同的所述菲涅尔区图案来生成所述复图像。

8.根据权利要求6或7所述的图像处理装置，其中，

所述菲涅尔区图案由第1菲涅尔区图案及第2菲涅尔区图案构成，所述第1菲涅尔区图案及所述第2菲涅尔区图案的各区域中的局部空间频率的相位在与所述第1菲涅尔波带片和所述第2菲涅尔波带片的所述局部空间频率的相位偏离的方向相反的方向上偏离，

所述复图像生成部将所述输入的所述第1投影像及所述第2投影像与所述第1菲涅尔区图案及所述第2菲涅尔区图案相乘而生成所述复图像。

9.根据权利要求8所述的图像处理装置，其中，

所述第1菲涅尔区图案和第2菲涅尔区图案的所述局部空间频率的相位在70°以上且110°以下的范围内在负或正的方向上偏离。

10.根据权利要求8或9所述的图像处理装置，其中，

在所述第1菲涅尔区图案及第2菲涅尔区图案与所述第1菲涅尔波带片及第2菲涅尔波带片之间，复共轭的关系成立。

11.一种摄像系统，其具备：

权利要求1至5中任一项所述的摄像装置；及

权利要求6至10中任一项所述的图像处理装置。

12.一种图像处理方法，其包括：

输入权利要求1至5中任一项所述的摄像装置所获取的所述第1投影像及所述第2投影像的步骤；

将所述输入的所述第1投影像及所述第2投影像与预先设定的菲涅尔区图案相乘而生成所述复图像的步骤；及

对所述生成的所述复图像进行二维复傅里叶变换而重构空间区域的图像的步骤。

13.根据权利要求12所述的图像处理方法，其中，

所述菲涅尔区图案由第1菲涅尔区图案及第2菲涅尔区图案构成，所述第1菲涅尔区图案及所述第2菲涅尔区图案的各区域中的局部空间频率的相位在与所述第1菲涅尔波带片和所述第2菲涅尔波带片的所述局部空间频率的相位偏离的方向相反的方向上偏离，

在生成所述复图像的步骤中，将所述输入的所述第1投影像及所述第2投影像与所述第1菲涅尔区图案及所述第2菲涅尔区图案相乘而生成所述复图像。

14.一种记录介质，其记录有使计算机实现如下功能的图像处理程序的计算机可读代码：

输入权利要求1至5中任一项所述的摄像装置所获取的所述第1投影像及所述第2投影像的功能；

将所述输入的所述第1投影像及所述第2投影像与预先设定的菲涅尔区图案相乘而生成所述复图像的功能；及

对所述生成的所述复图像进行二维复傅里叶变换而重构空间区域的图像的功能。

15.根据权利要求14所述的记录介质，其中，

所述菲涅尔区图案由第1菲涅尔区图案及第2菲涅尔区图案构成，所述第1菲涅尔区图案及所述第2菲涅尔区图案的所述局部空间频率的相位在与所述第1菲涅尔波带片和所述第2菲涅尔波带片的所述局部空间频率的相位偏离的方向相反的方向上偏离，

关于生成所述复图像的功能，将所述输入的所述第1投影像及所述第2投影像与所述第1菲涅尔区图案及所述第2菲涅尔区图案相乘而生成所述复图像。

Images