CN104471924B - 拍摄装置 - Google Patents

Abstract

拍摄装置具备：多个微型透镜，其配置为二维状；多个受光元件，其与多个微型透镜相对应而配置；图像合成部，其基于来自多个受光元件的信号，对拍摄光学系统的任意像面上的图像进行合成；和图像处理部，其从构成由图像合成部合成后的图像的像素的信号中去除其他像素的信号。

Description

拍摄装置

技术领域

本发明涉及拍摄装置。

背景技术

以往已知根据通过1次拍摄得到的数据而合成聚焦于任意像面的图像的拍摄装置。例如专利文献1所记载的拍摄装置，基于对通过拍摄光学系统入射到多个微型透镜的中心的光线进行受光的像素的输出值而合成图像数据。

现有技术文献

专利文献

专利文献1:日本特开2007-4471号公报

发明内容

发明要解决的课题

在现有技术中，存在如果为了提高合成图像数据的分辨能力而使假想像素的宽度比微型透镜的间距窄，则合成图像数据的对比度下降这一问题。

用于解决课题的技术方案

根据本发明的第1技术方案，一种拍摄装置具备：多个微型透镜，其配置为二维状；多个受光元件，其与多个微型透镜相对应而配置；图像合成部，其基于来自多个受光元件的信号，对拍摄光学系统的任意像面上的图像进行合成；和图像处理部，其从构成由图像合成部合成后的图像的像素的信号中去除其他像素的信号。

根据本发明的第2技术方案，在第1技术方案的拍摄装置中，优选：在来自与像素相对应的多个受光元件的信号和来自与其他像素相对应的多个受光元件的信号中，包含来自重复的受光元件的信号；图像处理部从来自与像素相对应的多个受光元件的信号中去除重复的其他像素的信号。

根据本发明的第3技术方案，一种拍摄装置，具备：多个微型透镜，其为了供透过了拍摄光学系统的光束入射而配置成二维状；多个受光元件，其与所述多个微型透镜分别相对应而配置于相应的微型透镜的后侧；图像合成部，其基于与所述多个微型透镜分别相对应的所述多个受光元件的输出，对所述拍摄光学系统的任意像面上的像的图像数据进行合成；傅立叶变换部，其对由所述图像合成部合成后的所述图像数据进行傅立叶变换；运算部，其进行用由所述傅立叶变换部产生的傅立叶变换的结果有效地除以表示入射到所述多个微型透镜的光束的光学扩展的点扩展函数的傅立叶像的除法运算；和傅立叶逆变换部，其对由所述运算部产生的所述除法运算的结果进行傅立叶逆变换，形成目的图像数据。

根据本发明的第4技术方案，在第3技术方案的拍摄装置中，优选：运算部，通过将基于点扩展函数的傅立叶像的维纳滤波应用于由傅立叶变换部产生的傅立叶变换的结果，由此对由傅立叶变换部产生的傅立叶变换的结果有效地进行除法运算。

根据本发明的第4技术方案，在第3或4技术方案的拍摄装置中，优选：点扩展函数的大小与1个微型透镜覆盖的区域的大小相等。

根据本发明的第6技术方案，在第5技术方案的拍摄装置中，优选：点扩展函数的要素数量与1个微型透镜覆盖的多个受光元件的数量相等。

根据本发明的第7技术方案，在第3～6中任一技术方案的拍摄装置中，优选：点扩展函数根据多个微型透镜的排列和图像合成部合成的像素的排列而确定。

发明效果

根据本发明，能够合成后同时兼备高对比度和高分辨能力的图像数据。

附图说明

图1是表示第1实施方式所涉及的数字相机的结构的图。

图2是拍摄单元100的立体图。

图3是示意性地表示拍摄透镜L1与拍摄单元100的剖视图。

图4是示意性地表示来自合成对象的像面上的光点的光束与拍摄单元100的剖视图。

图5是对于不互相同的像面上的光点P4与光点P5表示该光的扩展的示意图。

图6是从光轴方向观察拍摄元件13的拍摄面中的图5(b)所示的被25个微型透镜120所覆盖的部分的俯视图。

图7是对来自1个光点的光束入射于多个微型透镜120的情况下的、拍摄面上的各入射区域的确定方法进行说明的图。

图8是表示图5所示的像面S5中从光点P5的位置仅向左错开p的位置的光点P7的图。

图9是表示来自各光点的光束重合的样子的示意图。

图10是表示合成像素的输出分布的一例的图。

图11是表示PSF的一例的图。

图12是从光轴方向观察第2实施方式所涉及的微型透镜阵列12的俯视图。

图13是说明通过添加高通滤波来补充要下降的对比度的内容的概念图。

图14是表示用于实施变形例4的控制电路101A的结构的图。

具体实施方式

(第1实施方式)

本实施方式的数字相机，利用通过经由微型透镜阵列进行拍摄所获取的图像信号具有景深信息等波阵面信息这一情况，通过数值处理生成具有用户所希望的焦点位置的图像数据。经由拍摄透镜而入射的被拍摄体光束在微型透镜阵列附近成像。此时，与被拍摄体的位置相应地，光束成像的位置在拍摄透镜的光轴方向上不同，而且，如果被拍摄体为三维物体，则被拍摄体光束不成像于同一平面上。本实施方式的数字相机生成(合成)再现了在用户所希望的光轴方向上的成像位置成像的被拍摄体的像的图像数据。以下，将该生成的图像数据称为合成图像数据。合成图像数据看起来成像光学系统的焦点正好位于该成像位置(不是实际的成像位置而是用户所希望的位置)。因此，在以下的说明中，将该成像位置称为焦点位置。

而且，本实施方式的数字相机构成为，能够生成具有比微型透镜阵列所含的微型透镜的数量大的分辨率的合成图像数据。数字相机具备多个微型透镜，并且与各微型透镜相对应地具备多个拍摄像素(受光元件)。而且，数字相机，不但使用从与1个微型透镜相对应的拍摄像素输出的图像信号，还使用从与配置于其周边的微型透镜相对应的拍摄像素输出的图像信号，生成与合成图像数据的1个像素量的成像区域相应的合成图像信号，形成焦点位置可变的合成图像数据，使得其变为用户选择的焦点位置的合成图像数据。以下，详细进行说明。

图1是表示第1实施方式所涉及的数字相机的结构的图。数字相机1构成为，能够通过例如刺刀式的透镜装载机构等进行具有拍摄透镜L1的更换透镜2的装卸。数字相机1具备拍摄单元100、控制电路101、A/D转换电路102、存储器103、操作部112、显示器109、LCD驱动电路110以及存储卡接口111。拍摄单元100具备多个微型透镜120排列成二维状而成的微型透镜阵列12以及拍摄元件13。再者，在以下的说明中，Z轴被设定为与拍摄透镜L1的光轴平行，在与Z轴垂直的平面内X轴与Y轴被设定为互相垂直的方向。

拍摄透镜L1由多个光学透镜群构成，将来自被拍摄体的光束在其焦点面附近成像。在拍摄透镜L1设有调节入射光量的光圈11。再者，在图1中，为了便于说明，以1块透镜作为代表来表示拍摄透镜L1。在拍摄透镜L1的预定成像面附近，依次配置有微型透镜阵列12与拍摄元件13。拍摄元件13由具备多个光电转换元件的CCD和/或CMOS图像传感器构成。拍摄元件13对成像于拍摄面上的被拍摄体像进行拍摄，由控制电路101控制将与被拍摄体像相应的光电转换信号(图像信号)向A/D转换电路102输出。再者，对于拍摄单元100的详细情况，将后述。

A/D转换电路102是对拍摄元件13输出的图像信号进行模拟处理之后将其转换为数字图像信号的电路。控制电路101包括CPU和/或存储器等其他的周边电路。控制电路101读出预先存储于未图示的ROM等的控制程序并执行。通过该控制程序，控制电路101使用从构成数字相机1的各部分输入的信号进行预定的运算，发送针对数字相机1的各部分的控制信号，控制拍摄动作。另外，控制电路101，如后述那样基于与焦点位置输入按钮112a的操作相应地从操作部112输入的操作信号来确定合成图像数据的焦点位置。

控制电路101从功能上看具备图像合成部105、傅立叶变换部106、除法部107以及傅立叶逆变换部108。图像合成部105合成与拍摄透镜L1的预定焦点面不同的任意焦点面的合成图像数据。傅立叶变换部106对由图像合成部105合成后的合成图像数据进行傅立叶变换。除法部107有效地用傅立叶变换的结果除以后述的点扩展函数的傅立叶像。傅立叶逆变换部108对除法部107进行的除法运算的结果进行傅立叶逆变换，形成目的图像数据。再者，对于图像合成部105、傅立叶变换部106、除法部107以及傅立叶逆变换部108，将后述详细情况。

存储器103是为了暂时存储通过A/D转换电路102进行数字转换后的图像信号和/或、图像处理、图像压缩处理以及显示用图像数据形成处理的途中和/或处理后的数据所使用的易失性存储介质。存储卡接口111是可装卸存储卡111a的接口。存储卡接口111是与控制电路101的控制相应地将图像数据写入到存储卡111a、或读出记录于存储卡111a的图像数据的接口电路。存储卡111a为例如compact flash(注册商标)和/或SD卡等半导体存储卡。

LCD驱动电路110是基于控制电路101的命令而驱动显示器109的电路。显示器109包括液晶面板等，在再生模式下进行基于记录于存储卡111a的图像数据由控制电路101形成的显示数据的显示。另外，在显示器109显示用于设定数字相机1的各种动作的菜单画面。

操作部112接受用户的操作，将与操作内容相应的各种操作信号向控制电路101输出。操作部112包括焦点位置输入按钮112a、电源按钮、释放按钮、其他的设定菜单的显示切换按钮、设定菜单确定按钮等。焦点位置输入按钮112a由用户在输入合成图像数据的焦点位置y时操作。如果由用户操作焦点位置输入按钮112a并选择了焦点位置y，则操作部112向控制电路101输出包含该焦点位置y的操作信号。

接下来，使用图2所示的拍摄单元100的立体图对拍摄单元100的结构进行详细说明。拍摄单元100具有微型透镜阵列12与拍摄元件13。微型透镜阵列12具有在XY平面上按二维状排列成正方形的多个微型透镜120。拍摄元件13中，按与微型透镜120相对应的配置图案二维状地排列有对通过了各微型透镜120的光进行受光的光电转换元件130(以下，称为拍摄像素130)。拍摄元件13配置于从微型透镜阵列12仅离开微型透镜120的焦距f的位置。也就是，与该微型透镜120相对应的(被覆盖的)多个拍摄像素130，设置在从各微型透镜120仅离开该微型透镜120的焦距f的位置。

再者在图2中，仅图示了设置于微型透镜阵列12的多个微型透镜120和设置于拍摄元件13的多个拍摄像素130中的一部分。实际上，存在更多的微型透镜120以及拍摄像素130。例如，由1个微型透镜120覆盖大约100个左右的拍摄像素130，因此微型透镜阵列12具有数量为拍摄元件13所具有的拍摄像素130的数量的大约100分之1左右的微型透镜120。

如果例如拍摄透镜L1的焦距设为50毫米，则微型透镜120的焦距f为数百微米左右(拍摄透镜L1的焦距的100分之1左右)，所以如果从拍摄元件13观察，则拍摄透镜L1的所谓出射光瞳的位置相对于微型透镜120可以视为大致无限远。也就是，拍摄透镜L1的出射光瞳的位置与拍摄元件13的拍摄面能够设为光学上共轭。

图3是示意性地表示拍摄透镜L1与拍摄单元100的剖视图。在图3的左侧所示的拍摄透镜L1的预定成像面S1附近设置有微型透镜阵列12，在微型透镜120的焦点位置S2附近设置有拍摄元件13。

通过拍摄透镜L1而在微型透镜阵列12附近成像的被拍摄体像，由微型透镜阵列12所具备的各微型透镜120压缩、被卷积于拍摄元件13。例如，在拍摄透镜L1的像倍率为50分之1、即拍摄透镜L1使被拍摄体像按实际的50分之1的大小成像于预定成像面S1的情况下，如果从景深方向观察、则被拍摄体像按其平方即2500分之1的倍率成像。也就是，拍摄透镜L1使将位于三维空间的被拍摄体在景深方向上压缩所得的立体像成像于预定成像面S1。

图4是示意性地表示来自合成对象的像面上的光点的光束与拍摄单元100的剖视图。在图4中，考虑设置于合成对象的像面S3上的光点P1。从该光点P1朝向拍摄单元100的光的扩展角θ1，受到拍摄透镜L1的光瞳的大小(即拍摄透镜L1的F值)的限制。如果微型透镜120的F值与拍摄透镜L1的F值相同或比其小，则从该光点P1出射并入射到某一微型透镜120的光束不会扩展到由该微型透镜120覆盖的区域之外。

在这里，如图4所示，如果设为来自光点P1的光束入射到5个微型透镜120a～120e，则通过对入射到这些微型透镜120a～120e的光束30a～30e在拍摄面上的入射光量(拍摄像素群130a～130e的受光输出)进行积算，由此得到来自光点P1的由光瞳限制的所有辐射量。

如果对以上情况进行总结，则为了形成构成合成图像数据的特定的合成像素，只要计算与该合成像素的坐标相对应的拍摄面上的光截面的所有光量即可。图像合成部105为了进行该计算，首先(1)对于合成对象的像面上的某一个光点，确定来自该光点的光束将入射的微型透镜120，然后，(2)对于确定了的各微型透镜120，确定来自光点的光束将入射到哪个拍摄像素。

(1)为了对于合成对象的像面上的某一个光点确定来自该光点的光束将入射的微型透镜120，只要得知来自该光点的光束的扩展方向即可。如前所述，从光点扩展的光的角度能够根据拍摄透镜L1的光瞳来确定。在以下的说明中，假定拍摄透镜L1的F值与微型透镜120的F值相同。

图5(a)是对互不相同的像面上的光点P4与光点P5示意性地表示该光的扩展的剖视图，图5(b)是从拍摄透镜L1侧观察该光的扩展的俯视图。来自光点P4的光束扩展为正好1个量的微型透镜120的大小31而入射到微型透镜阵列12，所述光点P4存在于从微型透镜120仅离开微型透镜120的焦距f的位置的像面S4之上。

另一方面，如图5(a)、(b)分别所示，来自光点P5的光束扩展为超过1个量的微型透镜120的大小32，所述光点P存在于从微型透镜120仅离开微型透镜120的焦距f的2倍即2f的位置的像面S5之上。

如上所述，来自某一个光点的光束将入射的微型透镜120，能够基于从该光点到微型透镜120的距离(即从合成对象的像面到微型透镜120的距离)来确定。再者，实际上也需要考虑拍摄透镜L1的F值再来确定这些微型透镜120。例如，在拍摄透镜L1的F值比微型透镜120的F值大(拍摄透镜L1比微型透镜120暗)的情况下，来自光点的光束的扩展会变小。

图像合成部105接下来，(2)对于确定了的各微型透镜120，确定来自光点的光束将入射到哪个拍摄像素。例如如图5的光点P4那样，在光点位于从微型透镜120仅离开微型透镜120的焦距f的位置的情况下，圆形开口的光扩展到被其正下方的微型透镜120覆盖的整个区域。因此，在该情况下，只要选择由1个微型透镜120所覆盖的所有拍摄像素130即可。另外，在光点位于距离微型透镜120比焦距f近的位置的情况下，由于微型透镜120使光不收敛反倒扩展，但受到入射光束的扩展角的限制，所以其扩展停留在由1个微型透镜120所覆盖的区域。

另一方面，在光点位于比焦距f远的位置的情况下，来自光点的光束遍及多个微型透镜120而入射，所以需要从由多个微型透镜120覆盖的多个拍摄像素130中选择形成合成像素所需要的拍摄像素130。以下，对于光点位于比焦距f远的位置的情况，列举图5的光点P5、即光点位于从微型透镜120仅离开2f的位置的情况为例进行说明。

在光点位于仅离开2f的位置的情况下，如图5(b)所示，来自该光点的光束入射到将位于该光点正下方的微型透镜120和与其相邻的8个微型透镜120相加而成的合计9个微型透镜120。

图6是从光轴方向观察拍摄元件13的拍摄面中的、图5(b)所示的被25个微型透镜120所覆盖的部分的俯视图。再者在图6中，将图5(b)的各微型透镜120的位置重叠于拍摄元件13的拍摄面上并通过虚线进行图示。

来自图5(a)所示的光点P5的光束入射到图6所示的9个区域33a～33i。从图6可知，这些区域33a～33i具有将由1个微型透镜120覆盖的区域分割为9个的形状。这样，不论是哪一位置的光点，来自该光点的光束所入射的拍摄面上的区域的大小(光截面的大小)总是与由1个微型透镜120覆盖的区域的大小一致。

以下，使用图7，对如图6那样来自1个光点的光束入射到多个微型透镜120的情况下的、拍摄面上的各入射区域的确定方法进行说明。图7(a)是从光轴方向观察微型透镜阵列12的一部分的俯视图。控制电路101首先确定来自图7(a)的中央所图示的光点P6的光束扩展的范围。在这里，横跨9个微型透镜120a～120i的区域34为来自光点P6的光束扩展的范围。

接下来，如图7(b)所示，用各微型透镜120大小的方格对该区域34进行分割。在图7(b)中，用配置成与图7(a)所示的9个微型透镜120a～120i分别相对应且具有各微型透镜120的直径大小的正方形35a～35i的格子，对来自光点P6的光束扩展的区域34进行分割。

最后，如图7(c)所示，将分割出的各区域34a～34i分别配置于由对应的微型透镜120a～120i所覆盖的区域。各覆盖区域内的分割区域34a～34i的相对位置与图7(b)所示的9个正方形35a～35i的相对位置相同。例如，与3行3列地配置的正方形35a～35i中的左上角的正方形35a相对应的分割区域34a，配置于对应的覆盖区域36a的左上角。

如上所述，通过在将光点的高度设为h、将微型透镜120的焦距设为f、将微型透镜120的直径设为d时，用d/(h/f)的宽度的方格对来自该光点的光束扩展的区域进行分割，由此能够确定来自光点的光束将入射的拍摄像素。再者，(h/f)有时变为负的值，在该情况下有时光点位于比微型透镜120靠拍摄元件13侧的位置。

以上，列举了光点位于特定的微型透镜120的透镜中心轴上的例子，对合成像素的形成方法进行了说明，但该合成像素的形成方法也能够应用于光点位于这以外的位置的情况。如果仅合成微型透镜120的透镜中心轴上的光点，则所形成的合成图像数据的像素数量会受到微型透镜120的数量的限制，只能够形成低像素数的合成图像数据。因此，本实施方式的图像合成部105，通过在合成对象的像面上设定更多光点，对那些光点通过上述的合成方法来形成合成像素，由此形成更高像素数的合成图像数据。

图8是表示图5所示的像面S5中从光点P5的位置向左仅错开p的位置的光点P7的图。此时，光束的扩展的范围37也向左仅错开p，所以通过对于该错开的范围37与图7同样地设定分割区域，能够形成与光点P7相应的合成像素。例如对于1个微型透镜120，如果在纵横分别各错开d/4的位置而设定光点并对于每个光点进行合成像素的形成，则能够利用1个微型透镜120形成16个合成像素。在该情况下，合成图像数据就具有微型透镜120的数量的16倍的像素数。

但是，如上所述，在1个微型透镜120上设置多个光点而进行图像合成的情况下，1个拍摄像素130的输出就用于多个合成像素的形成。实际上，在合成对象的像面上三维地连续存在多个光点，来自这些光点的光重叠于拍摄元件13的拍摄面上。因此，在将某一个光点设置于微型透镜120上的情况下的、来自该光点的光束所入射的拍摄像素130的受光输出中，包含与来自该光点以外的光点的光束相对应的输出。

图9是表示来自各光点的光束重合的样子的示意图，图9(a)是合成对象的像面S4、微型透镜阵列12以及拍摄元件13在YZ平面上的剖视图，图9(b)是从光轴方向观察拍摄元件13的拍摄面的俯视图。在这里，考虑在从微型透镜120仅离开微型透镜120的焦距f的像面S4之上排成一列的5个光点P8～P12。

这5个光点P8～P12分别设置于彼此离开微型透镜120的宽度d的一半、即d/2的位置。具体地说，光点P8、P10、P12分别设定于不同的微型透镜120的中心轴上的位置，光点P9、P11设定于相邻的2个微型透镜120之间。此时，来自光点P8～P12的光束40～44分别重合而入射到拍摄元件13的拍摄面的区域45～49。

例如，来自光点P9的光束41入射到图9(b)所示的区域46，但该区域46与来自光点P8的光束40入射的区域45以及来自光点P10的光束42入射的区域47重合。也就是，在来自区域45与区域46的重合区域所相应的拍摄像素130的受光输出中，与来自光点P8的光束40相应的输出和与来自光点P9的光束41相应的输出重叠。

此时，如果将第i光点的真实强度设为ai，则与第i光点相对应的合成像素的输出Pi能够通过下式(1)计算。

[式1]

控制电路101将1个微型透镜120纵横各分割为4份，设置16个光点。在该情况下，对于横向并排的4个光点同样能够使用下式(2)计算合成像素的输出Pi。

[式2]

将此时的合成像素的输出分布示于图10。图10的纵轴为像素输出，横轴为像素位置。从图10可知，合成像素为表现出三角形的卷积积分的像素输出。根据这样的输出分布，能够求出表示微型透镜120上的来自光点的光束的扩展的点扩展函数(PSF)。

PSF根据多个微型透镜120的排列与图像合成部105合成的像素的排列来确定。在本实施方式中，PSF的大小设为与1个微型透镜120覆盖的区域的大小相等。另外，PSF的要素数设为与1个微型透镜120覆盖的多个拍摄像素130的数量相等。

再者，在图10中一维地图示了合成像素的输出分布，但在求PSF的情况下需要对其进行二维计算。即，通过不仅考虑来自左右的光点的光束的重叠还考虑来自周围的所有光点的光束的重叠而进行计算，能够求出PSF。

图11(a)是表示被导出的PSF的值的图，图11(b)是按3维坐标描绘PSF的图。在图11中，对于1个微型透镜120内的81个点示出了PSF的值。

除法部107使用如以上那样导出的PSF，解除图10所示的像素输出的重叠。像素输出的重叠能够如下式(3)那样表达。再者，在这里，为了简便而设为按一维所进行的表达。

[式3]

在上式(3)中，PSF(t)表示PSF，f(x)表示真实的光强度，i(x)表示重叠的像素输出。根据上述的方法PSF(t)是已知的，重叠的像素输出i(x)也是已知的，所以能够求出真实的光强度f(x)。在这里，如果对i(x)进行傅立叶变换，则上式(3)用PSF的傅立叶变换像PSF(u)与真实的光强度f(x)的傅立叶变换像F(u)的积来表示。即，i(x)的傅立叶变换像I(u)表示为如下式(4)。

[式4]

I(u)＝PSF(u)*F(u)···(4)

通过上式(4)，真实的光强度f(x)的傅立叶变换像F(u)能够表示为如下式(5)。

[式5]

F(u)＝I(u)/PSF(u)···(5)

函数i(x)、PSF(x)以及它们的傅立叶变换像I(u)、PSF(u)是已知的，所以能够通过上式(5)得到真实的光强度f(x)的傅立叶变换像F(u)。然后，如果对该傅立叶变换像F(u)进行傅立叶逆变换，则能够求出真实的光强度f(x)。

但是，如果实际进行该计算、求出真实的光强度f(x)，则因计算误差而产生的高频噪声在整个合成图像数据中显现，得不到清晰的图像。因此，本实施方式的除法部107，使用公知的维纳滤波来抑制该高频噪声。如果在上式(5)中应用维纳滤波，则变为如下式(6)那样。除法部107不通过上式(5)而通过下式(6)求出真实的光强度f(x)的傅立叶变换像F(u)，由此形成高频噪声得到抑制的清晰的合成图像数据。再者，在下式(6)中，PSF＊(u)意味着PSF(u)的复共轭。

[式6]

按图1所示的框图简单地对以上流程进行说明。从拍摄元件13输出的拍摄信号由A/D转换电路102转换为数字图像信号并存储于存储器103。合成对象的焦点位置与确定被拍摄景深的光圈值从操作部112被输入控制电路101中。图像合成部105合成所输入的焦点位置以及光圈值的二维图像。

另一方面，傅立叶变换部106根据微型透镜阵列12中的微型透镜120的排列和图像合成部105的合成像素的位置，确定与1个光点相对的点扩展函数(PSF)，对该PSF与由图像合成部105产生的合成图像进行傅立叶变换。除法部107如上式(6)那样，使用维纳滤波用由图像合成部105产生的合成图像的傅立叶像有效地除以PSF的傅立叶像，得到真实的光强度f(x)的傅立叶像F(u)。最后，傅立叶逆变换部108对该傅立叶像F(u)进行傅立叶逆变换，从原的合成图像数据得到改善后的目的图像数据。该图像为将微型透镜120中的入射光束的重叠解除后的对比度高的图像。

根据上述的第1实施方式的数字相机，可得到下面的作用效果。

(1)数字相机1具备：微型透镜阵列12，其由为供透过了拍摄透镜L1的光束入射而配置成二维状的多个微型透镜120构成；和拍摄元件13，其具有与多个微型透镜120分别相对应地配置于该微型透镜120的后侧的多个拍摄像素130。控制电路101具备：图像合成部105，其基于与多个微型透镜120分别相对应的多个拍摄像素130的输出，将拍摄透镜L1的任意像面上的像的图像数据合成；傅立叶变换部106，其对由图像合成部105合成的图像数据进行傅立叶变换；除法部107，其用傅立叶变换的结果有效地除以表示入射到多个微型透镜120的光束的光学扩展的点扩展函数的傅立叶像；和傅立叶逆变换部108，其对由除法部107产生的除法运算的结果进行傅立叶逆变换，形成目的图像数据。因为这样设置，所以能够合成同时兼备高对比度与该分辨能力的图像数据。

(2)除法部107，通过将基于点扩展函数的傅立叶像的维纳滤波应用于由傅立叶变换部106产生的傅立叶变换的结果，由此有效对由傅立叶变换部106产生的傅立叶变换的结果进行除法运算。因为这样设置，所以能够得到高频噪声得到抑制的清晰的图像。

(第2实施方式)

以下，利用附图对本发明的第2实施方式即数字相机进行说明。再者，对于与第1实施方式相同的部位标注与第1实施方式相同的符号，并省略说明。

图12是从光轴方向观察第2实施方式所涉及的微型透镜阵列12的俯视图。如图12所示，在本实施方式中使用构成蜂窝构造的六角形的微型透镜120。关于这样的形状的微型透镜120，其中也能够与第1实施方式同样地应用本发明。

再者，第1实施方式与微型透镜120的排列不同，所以在本实施方式中利用的PSF与第1实施方式的不同。其导出方法自身与第1实施方式的相同。也就是，对图10那样的来自周边光点的光束的重叠进行二维计算即可。

下面这样的变形也在本发明的范围内，也可以将变形例的一个或者多个与上述实施方式组合。

(变形例1)

上面对将本发明应用于透镜可更换的数字相机中的实施方式进行了说明，但本发明并不限定于这样的实施方式。例如在透镜一体型的相机等中也能够应用本发明。

(变形例2)

微型透镜120的排列以及形状并不限定于在第1以及第2实施方式中说明的那样。另外，对于拍摄元件13的拍摄面上的各拍摄像素的排列以及形状也是同样。例如，由各微型透镜120覆盖的拍摄像素130也可以按每个微型透镜120而分离。

(变形例3)

也可以不使用维纳滤波就求出真实的光强度f(x)。即，也可以将除法部107构成为不使用上式(5)而使用(4)来求出F(u)。

(变形例4)

在上述实施方式中，对于由图像合成部105合成后的合成图像，通过傅立叶变换部106、除法部107、傅立叶逆变换部108的处理，将由微型透镜120产生的入射光束的重叠解除，得以求出对比度高的图像。但是，也可以在合成前的图像的空间频率分量高的部分添加高通滤波，预先补充要下降的对比度。

以下，对于高通滤波对于合成前的原图像(不是合成图像)是否有效进行说明。

为了使说明简单，将图像设为位于微型透镜的焦点位置附近的像，将与其1维的位置相对的强度变化设为f(x)。如果将微型透镜的直径设为S，则光输出从该位置仅扩展开S，所以拍摄元件处的强度为f(x)/S。某一个拍摄元件面的位置x0为这样的光重叠的位置，所以能够表达为如下：

[式7]

可以认为该位置x0与相邻的像素的差与对该位置x0进行微分所得的值相应。

[式8]

该式的右边只是f(x)，所以使差值增大的高通滤波只使原图像f(x)的增益增大。因此，如果向拍摄元件的原图像导入高通滤波，则显示图像的对比度下降得到补充。

图13是对通过添加高通滤波而补充将下降的对比度的内容进行说明的概念图。如果是比微型透镜密度低的空间频率，则在合成图像的对比度上一般不会出问题。但是，如果是比微型透镜密度高的空间频率，则由于重叠的影响，合成图像的对比度会下降。因此，通过对合成前的原图像进行高通滤波处理，预先强调空间频率高的部分。由此，即使进行本申请那样的任意像面的图像合成，空间频率高的部分的对比度的下降也会得到补充。

图14是表示用于实施本变形例的控制电路101A的结构的图。控制电路101A由高通滤波部201与图像合成部105构成。将图1的控制电路101中的傅立叶变换部106、除法部107和傅立叶逆变换部108删除，取而代之设有高通滤波部201。图像合成部105与上述实施方式的图像合成部105相同，所以标注有相同的符号。

如果图像合成前的原图像数据从存储器103被输入到控制电路101A，则首先被输入到高通滤波部201并实施高通滤波处理。然后，被输入到图像合成部105，与上述实施方式同样，合成由操作部112所指示的焦点位置以及光圈值的二维图像。然后，输出合成后的合成图像。

如上所述，即使是对合成前的原图像进行高通滤波处理那样的简单的结构，也能够生成对比度的下降得到补充的合成图像。

只要无损本发明的特征，本发明就不限定于上述实施方式，对于在本发明的技术思想的范围内想到的其他的方式，也包含于本发明的范围内。

下面的优先权基础申请的公开内容作为引用而记入于此。

日本特许出愿2012年第156940号(2012年7月12日申请)

符号说明

1…数字相机、2…更换透镜、12…微型透镜阵列、13…拍摄元件、101…控制电路、105…图像合成部、106…傅立叶变换部、107…除法部、108…傅立叶逆变换部、120…微型透镜、130…拍摄像素、L1…拍摄透镜。

Claims (6)

1.一种图像处理装置，其中，具有：

图像生成部，其根据对多个微型透镜的每个微型透镜所设置的多个受光部的输出数据，生成被拍摄体的任意焦点面的图像；

校正部，其根据所述微型透镜的光学特性对供来自被拍摄体的第1区域以及第2区域的光入射的同一所述受光部的输出数据进行校正；和

控制部，其使所述图像生成部根据校正后的所述输出数据生成与所述第1区域以及所述第2区域相对应的所述图像的像素。

2.根据权利要求1所述的图像处理装置，其中：

在所述图像生成部生成的所述图像的像素数量比所述微型透镜的数量多。

3.根据权利要求1或2所述的图像处理装置，其中：

所述微型透镜的光学特性为表示入射到所述微型透镜的光束的光学扩展的特性。

4.根据权利要求3所述的图像处理装置，其中：

表示入射到所述微型透镜的光束的光学扩展的特性是表示入射到所述微型透镜的光束的光学扩展的点扩展函数。

5.根据权利要求4所述的图像处理装置，其中：

所述校正部具有：对由所述图像生成部生成的所述图像进行傅立叶变换的傅立叶变换部；用由所述傅立叶变换部产生的傅立叶变换的结果有效地除以所述点扩展函数的傅立叶像的运算部；和对由所述运算部产生的所述除法运算的结果进行傅立叶逆变换的傅立叶逆变换部。

6.一种拍摄装置，其中，

具有权利要求1至5中任一项所述的图像处理装置。