CN102870032B - 图像显示装置 - Google Patents

Abstract

图像显示装置具备：输入部，其输入根据从与不同的多个摄影用微透镜对应地排列的多个拍摄像素输出的多个图像信号而生成了一个像素数据的图像数据；生成部，其采用图像数据生成具有三维信息的显示用图像数据；显示部，其由多个显示像素二维状地排列而成，根据显示用图像数据，从多个显示像素出射光束；和微透镜阵列，其由将从多个显示像素出射的光束合成而形成三维像的多个微透镜二维状地排列而成。

Description

图像显示装置

技术领域

本发明涉及图像显示装置。

背景技术

现有技术中已知有通过积分式（积分照相术）显示立体像的显示装置（例如专利文献1）。

专利文献1:特开2008-216340号公报

发明内容

但是，现有的显示装置中，对作为三维图像摄影的图像进行投影显示，因此，为了作为正立像显示，存在必须采用折射率分布透镜等的问题。

根据本发明的第1形态，图像显示装置具备：输入部，其输入根据从与不同的多个摄影用微透镜对应排列的多个拍摄像素输出的多个图像信号而生成了一个像素数据的图像数据；生成部，其根据图像数据生成具有三维信息的显示用图像数据；显示部，其由多个显示像素二维状地排列而成，根据显示用图像数据，从多个显示像素出射光束；和微透镜阵列，其由将从多个显示像素出射的光束合成而形成三维像的多个微透镜二维状地排列而成。

根据本发明的第2形态，优选的是，在第1形态的图像显示装置中，多个微透镜分别与多个显示像素对应排列，生成部，以将从与多个微透镜对应排列的多个显示像素出射的光束合成而构成三维像的一个像素的方式，生成显示用图像数据。

根据本发明的第3形态，优选的是，在第2形态的图像显示装置中，生成部，以出射光束的多个显示像素的排列关系与一个像素数据所对应的多个拍摄像素的排列关系等效的方式，生成显示用图像数据。

根据本发明的第4形态，优选的是，在第3形态的图像显示装置中，生成部，以一个像素数据所对应的多个拍摄像素的排列关系与多个显示像素的排列关系成为相互点对称的方式，生成显示用图像数据。

根据本发明的第5形态，优选的是，在第1至第4形态的图像显示装置中，生成部，以三维像在微透镜的附近再现、三维像的深度（进深）方向的倍率与微透镜的排列面的方向的倍率相比被压缩的方式，生成显示用图像数据。

根据本发明的第6形态，优选的是，在第5形态的图像显示装置中，生成部，以深度方向的倍率成为微透镜的排列面的方向的倍率的平方的倍数的方式，生成显示用图像数据。

根据本发明的第7形态，优选的是，在第1至第6形态的图像显示装置中，生成部，以微透镜的伪光轴为基准将一个像素数据所对应的多个拍摄像素的排列关系标准化，生成显示用图像数据。

根据本发明的第8形态，优选的是，在第7形态的图像显示装置中，微透镜的F值比摄影用微透镜的F值大。

根据本发明的第9形态，优选的是，在第1至第8形态的图像显示装置中，还具备观察由微透镜形成的三维像的观察光学系统。

根据本发明的第10形态，优选的是，在第9形态的图像显示装置中，观察光学系统包括虚像透镜，虚像透镜配置为使得在虚像透镜和其焦点距离间形成三维像面。

根据本发明，可以将具有立体形状的被拍摄体的像在空中显示为立体像。

附图说明

图1是本发明的实施例的数字相机的构成的说明图。

图2是微透镜和拍摄元件的配置一例的示图。

图3是实施例中的微透镜和基点像素的位置关系的说明图。

图4是合成图像的生成原理的说明图。

图5是用于生成合成图像的积分（累计）区域和拍摄像素的关系的示图。

图6是输出用于对基点信号积分的图像信号的拍摄像素的位置关系的一例的示图。

图7是环带和微透镜的关系的一例的示图。

图8是实施例中的显示装置的构成的说明图。

图9是被分配了从拍摄像素输出的图像信号的显示像素的一例的示图。

图10是光点发出的光束由拍摄像素的受光面截取的光截面的说明图。

图11是微透镜和光截面的关系的说明图。

图12是微透镜和光截面的关系的说明图。

图13是在基点微透镜展开了区域分割时的光截面的说明图。

图14是光点相对于基点微透镜的伪光轴偏心时的分割区域的说明图。

图15是显示的空中像的深度的说明图。

图16是焦点位置和显示用像素的面的关系的示图。

具体实施方式

本实施例的数字相机构成为，可生成设定了任意焦点位置的图像数据。通过该数字相机对具有立体形状的被拍摄体摄影时，生成的图像数据包括与立体形状有关的信息（立体信息）。本实施例的数字相机可将这样的包括立体信息的图像数据对应的图像显示为用户可观察的三维立体像（空中像）。以下，详细说明。

图1是实施例的数字相机的构成的示图。数字相机1构成为，具有摄影透镜L1的交换透镜2可装卸。数字相机1具备拍摄单元100、控制电路101、A/D变换电路102、存储器103、操作部108、存储卡接口109及显示装置110。拍摄单元100具备多个微透镜120二维状排列而成的微透镜阵列12及拍摄元件13。另外，在以下说明中，z轴设定成与摄影透镜L1的光轴平行，在与z轴正交的平面内，x轴和y轴设定成相互正交的方向。

摄影透镜L1包括多个光学透镜组，使来自被拍摄体的光束在其焦点面附近成像。另外，为了便于说明，在图1中用一块透镜代表表示了摄影透镜L1。在摄影透镜L1的背后，在与光轴垂直的面内，2维状地顺序配置微透镜阵列12和拍摄元件13。拍摄元件13包括具有多个光电变换元件的CCD和/或CMOS图像传感器。拍摄元件13拍摄在拍摄面上成像的被拍摄体像，由控制电路101控制，将与被拍摄体像相应的光电变换信号（图像信号）向A/D变换电路102输出。另外，拍摄单元100的详细说明将后述。

A/D变换电路102是对拍摄元件13输出的图像信号进行模拟性处理后变换为数字图像信号的电路。控制电路101包括CPU和/或存储器以及其他周边电路。控制电路101根据控制程序，用从构成数字相机1的各部分输入的信号，进行预定运算，送出对数字相机1的各部分的控制信号，控制摄影工作。另外，如后述，控制电路101根据相应于光阑值输入按钮操作而从操作部108输入的操作信号，确定由用户选择的合成图像的光阑值。

控制电路101功能上具备图像积分（累计）部105、图像图形生成部106及显示控制部107。图像积分部105采用相应于光阑值输入按钮操作而确定的合成图像光阑值所对应的合成像素所属表，由图像信号生成合成图像数据。如后述，图像图形生成部106由利用图像积分部105生成的合成图像数据，作成显示用图像数据，以便在后述的显示装置110显示具有三维信息的空中像。显示控制部107控制显示装置110的驱动，向显示装置110输出由图像图形生成部106生成的显示用图像数据，使得在显示装置110显示具有对应的三维信息的空中像。另外，图像积分部105及图像图形生成部106的详细情况将后述。

存储器103是易失性存储介质，用于暂时地存储由A/D变换电路102数字变换后的图像信号和/或图像处理、图像压缩处理及显示用图像数据作成处理途中和/或处理后的数据。存储卡接口109是可装卸存储卡109a的接口。存储卡接口109是根据控制电路101的控制，向存储卡109a写入图像数据、读出存储卡109a中记录的图像数据的接口电路。存储卡109a是Compact flash（注册商标）和/或SD卡等半导体存储卡。

操作部108接受用户操作，向控制电路101输出与操作内容相应的各种操作信号。操作部108包括光阑值输入按钮、电源按钮、释放按钮、其他设定菜单的显示切换按钮、设定菜单确定按钮等。光阑值输入按钮在合成图像光阑值F输入时由用户操作。用户操作光阑值输入按钮来选择光阑值F后，操作部108向控制电路101输出操作信号。

显示装置110按照控制电路101的指令，在再现模式中根据存储卡109a记录的图像数据，进行由控制电路101作成的显示数据的显示。另外，显示装置110显示用于设定数字相机1的各种工作的菜单画面。另外，显示装置110详细说明将后述。

接着，详细说明拍摄单元100的构成。拍摄单元100如上所述具有微透镜阵列12和拍摄元件13。微透镜阵列12由二维状排列的多个微透镜120构成。拍摄元件13中，对通过了上述各微透镜120的光进行受光的像素排列130以与微透镜120对应的配置图形配置。各个像素排列130由二维状排列的多个光电变换元件131（以下，称为拍摄像素131）构成。

图2(a)表示在微透镜阵列12排列的微透镜120在XY平面的平面图。如图2(a)所示，微透镜阵列12在XY平面上，由例如形成为六角形的多个微透镜120蜂窝状排列而成。另外，图2(a)表示在微透镜阵列12设置的多个微透镜120中的部分微透镜120。图2(b)是摄影透镜L1的光轴方向（z轴方向）的、微透镜阵列12和拍摄元件13的位置关系的说明图。如图2(b)所示，拍摄元件13配置在按微透镜120的焦点距离f离开的位置。即，具有多个拍摄像素131的像素排列130设置在按与各像素排列130分别对应的微透镜120的焦点距离f离开的位置。另外，图2(b)中，表示了在微透镜阵列12设置的多个微透镜120和在拍摄元件13设置的多个像素排列130及多个拍摄像素131的一部分。

采用从具有上述构成的拍摄元件13输出的图像信号，图像积分部105作成合成图像数据。图像积分部105将与某微透镜120对应设置的像素排列130所包括的拍摄像素131中的预定的拍摄像素131（以下，称为基点像素132（图3））输出的图像信号（以下，称为基点信号）和与基点像素132对应的微透镜120及附近设置的微透镜120对应的像素排列130所包括的拍摄像素131输出的图像信号合成。结果，图像积分部105生成与1像素相当的合成图像信号。图像积分部105对与各微透镜120对应的基点像素全部进行上述处理，将生成的各个合成图像信号累加，生成合成图像数据。

图像积分部105如上所述地生成合成图像信号时，参照合成像素所属表。合成像素所属表表示：输出用于合成到基点信号的图像信号的拍摄像素131配置在哪个微透镜120对应的像素排列130的哪个位置。以下，说明图像积分部105采用拍摄像素131输出的图像信号来生成合成图像信号的处理。

图3表示与各微透镜120即各像素排列130对应设置的基点像素132。图3中，表示了多个微透镜120中的部分微透镜120，代表性表示了多个拍摄像素131中的基点像素132。图3中，基点像素132与微透镜120的伪光轴对应配置。另外，本实施例中，将伪光轴设为从摄影透镜L1的光瞳入射的光束的中心与微透镜120的主面的交点来说明。图3中，表示微透镜120的几何中心与伪光轴一致的情况。另外，以下说明中，将基点像素132对应的微透镜120称为基点微透镜121。

-合成图像信号的生成-

首先，说明图4(a)所示的被拍摄体的像在微透镜120的顶点成像时、即焦点面S存在于微透镜120顶点时的合成图像的生成原理。该场合的来自被拍摄体的光束r1～r7入射与微透镜120对应设置的像素排列130的拍摄像素131。图像积分部105通过对从图4(a)所示的拍摄像素131中的划斜线的拍摄像素131输出的图像信号积分，生成与合成图像数据的1像素相当的合成图像信号。图像积分部106通过对全部微透镜120对应的像素排列130进行该处理，生成合成图像数据。

接着，对于在某焦点面（成像面）成像的被拍摄体的像，说明生成合成图像信号时的原理。如图4(b)所示，焦点面S存在于从微透镜120的顶点离开的位置时，来自被拍摄体的光束r1～r5入射不同的多个微透镜120。因而，图像积分部105为了生成合成图像信号，必须还采用来自与基点微透镜121附近配置的微透镜120对应配置的拍摄像素131的图像信号。另外，图4(b)中，代表性表示了各光束r1～r5的主光线。

图像积分部105通过对根据合成图像的光阑值F确定的积分区域所包括的拍摄像素131输出的图像信号全部积分，生成与合成图像数据的1像素（合成图像的成像区域）相当的合成图像信号。另外，积分区域由直径为D的圆表示。积分区域的直径D采用根据光阑值输入按钮108a的操作所确定的光阑值（合成图像数据的光阑值）F和微透镜120的焦点距离f，通过以下的式（1）表示。

D＝f／F…（1）

图5表示积分区域Rs和拍摄像素131的关系。如上所述，图像积分部106对从表现为圆形区域的积分区域Rs覆盖的全部的拍摄像素131输出的图像信号积分。图5中，向输出要被积分的图像信号的拍摄像素131附上了斜线来表示。微透镜120是构成微透镜阵列12的一个透镜，因此，不能使积分区域Rs大于由微透镜120的排列所容许的各微透镜120的直径。从而，由合成图像数据容许的最大光阑值Fmax通过以下的式（2）表示。另外，式（2）中“s”表示拍摄像素131一边的大小。另外，合成图像数据中的最小光阑值Fmin成为微透镜120的F值。

Fmax＝f／s…（2）

通过图像积分部105对从包括基点像素132的像素排列130输出的图像信号积分所得的合成图像信号即积分值通过以下的式（3）表达。另外，式（3）中，P表示从拍摄像素131输出的图像信号的输出值。另外，式（3）中“i”表示合成图像的光阑值为F时的积分区域Rs覆盖的拍摄像素131，“0”表示与包括基点像素132的像素排列130对应配置的微透镜120即基点微透镜121。

如上所述，图像积分部105还采用从与在基点微透镜121的附近设置的微透镜120对应的像素排列130所包括的拍摄像素131输出的图像信号进行积分。即，图像积分部105对来自由合成图像的光阑值F确定的积分区域Rs覆盖的拍摄像素131的集合F{ｉ}所包括的全部的拍摄像素131即与包括基点微透镜121的附近的微透镜120对应配置的拍摄像素131的像素信号的输出值进行积分。该场合，输出值P由以下的式（4）表达。另外，式（4）中的“t”表示包括基点微透镜121的附近的微透镜120。

图6表示输出由图像积分部105生成一个合成图像信号时采用的图像信号的拍摄像素131与基点微透镜121及在附近相邻的微透镜120a～120f的关系。另外，图6中，对于不输出合成图像信号生成中采用的图像信号的拍摄像素131，省略显示。若将与图6所示的基点微透镜121相邻的微透镜120a～120f中分散的各拍摄像素131集合，则构成由图5所示的合成图像的光阑值F规定的区域即积分区域Rs覆盖的多个拍摄像素131。

图像积分部105进行上述处理来对图像信号积分时，输出累加到基点信号的图像信号的拍摄像素131配置在与哪一个微透镜120对应的像素排列130的哪个位置是重要的。因此，式（3）、（4）中“i”表示的拍摄像素131设置为与哪个微透镜120a～120f对应，即表示拍摄像素131的分散的表，作为合成像素所属表存储在预定存储区域。图像积分部105生成合成图像信号时，参照该合成像素所属表。另外，合成像素所属表设为由以下的式（5）表达。

t＝T_d(i)…（5）

以下，说明合成像素所属表的作成原理。

图10表示：在微透镜阵列12中，光点LP发出并由拍摄像素131的受光面截取的光束LF的光截面LFD。如图10所示，从光点LP扩散的光束LF通过其前级拍摄透镜L1，扩散角受到限制。因此，分别入射各微透镜120后的光束LF不会超出微透镜120的覆盖区域外（图10中，光截面LFDc、LFDe描绘为一部分超出覆盖区域外）。这也可以通过拍摄像素131的受光面与拍摄透镜L1的光瞳光学共轭来说明。经由拍摄透镜L1摄影时，微透镜120覆盖的区域中出现摄影光瞳像即光的边界，光束LF不入射其外侧。

以上述点为前提进行说明。图10的微透镜阵列12中，若对于向与光束LF的光截面LFDa～LFDe（总称为LFD）对应的拍摄像素131a～131e的入射光量积分，则可获得来自光点LP的光束LF中的限制到摄影透镜L1的光瞳的光束LF的所有辐射量。从而，图像积分部105对图像信号积分时，计算相对于光点LP的z轴方向的座标的拍摄像素131的受光元件面的光截面LFD即可。反之，若设置显示元件、从与光束LF的各光截面LFD对应的各个显示元件出射光，则必然存在按照与入射相同的方向前进的光束LF，因此“光点LP”成为光束LF的聚点。

如上所述，从光点LP扩散的光束LF的角度由摄影透镜L1的光瞳，即，拍摄透镜L1的F值确定。另外，如显示系统等那样不存在拍摄透镜L1的场合，由微透镜120的F值规定开口的最大(F的最小)。从而，若仅仅使用微透镜120的覆盖区域的中心部，则可限制开口。

用图11，通过在微透镜120上投影来自光点LP的光束LF的扩散，来说明几个或哪个微透镜120与某一光截面LFD对应。另外，图11中，为了便于说明，表示了微透镜120正方形排列的情况。另外，图11中，对从光点LP扩散的光束LF，表示了光点LP的z轴方向位置在微透镜120的焦点距离f的情况和在为其二倍的2f的情况。图11中，光点LP的位置为f时，光束LF的扩散用虚线表示，为2f时用单点划线表示。光点LP若位于微透镜120的焦点距离f的位置，则光束LP的扩散由微透镜120规定(光截面LFD设为圆，但是微透镜120若直到正方形端部为止光学有效，则成为正方形)，因此，光束LF入射一个微透镜120内。通过以上，确定与一个光点LP对应的微透镜120。

光点LP的位置在微透镜120的焦点距离f时，光束LF作为圆形开口的光扩散到该微透镜120的正下方的区域整体。因而，选择来自内切于正方形区域的圆的内部所包括的全部的拍摄像素131的图像信号即可。光点LP的位置的绝对值比焦点距离f小的场合，光束LF在微透镜120的正下方区域内不会聚地扩散。但是，入射光束LF的扩散角受到限制，因此，光截面LFD处在覆盖区域。

这里说明光点LP的位置在2f的情况。图12表示与该情况有关的微透镜120。如图12(a)所示，有关的微透镜120是自身即基点微透镜121和与其相邻的8个微透镜120。考虑微透镜120对开口的限制时，在图12(a)中的斜线表示的覆盖区域中存在光截面LFD。该场合，各微透镜120形成的光截面LFD成为由图12(b)的斜线表示的区域。

如图12(b)所示，将一个基点微透镜121的覆盖区域分割，向相邻的微透镜120分配。对分割后分配的覆盖区域（部分区域）积分时的整体区域成为一个微透镜120的开口区域。因此，不管哪个位置的光点LP，光截面LFD的整体区域的大小都相同，因此，对部分区域积分来算出整体区域的场合，确定各个部分区域所属的微透镜120即可。

图11中，表示了光点LP的位置和倍率即与基点微透镜121相邻的微透镜120的个数和关系，将其适用到假想的开口区域。本实施例中，采用下述方法：以按倍率缩小的微透镜120的排列分割开口区域，在由此定义的微透镜120中的相同位置配置开口区域片断。以下述情况为例说明：按倍率2缩小外切于开口区域的正方形，以微透镜120的排列分割开口区域（区域分割）。

图13表示在基点微透镜121展开上述区域分割时的光截面LFD。若根据倍率进行同样的区域分割，则可获得倍率、即相对于光点LP的光截面LFD的图形。具体地说，微透镜120的直径（微透镜的一边的大小）设为g时，用g/m宽度的格子分割开口区域。倍率可以用光点LP的高度（位置）y和微透镜的焦点距离f之比m＝y/f表达。比m也存在负符号。比m的符号为负的场合，光点LP与微透镜120相比，处于拍摄元件13侧。

上述例中，说明了光点LP在某微透镜120的透镜中心轴即伪光轴上存在的情况，但是实际上即使偏心，计算上也没有问题。若仅仅可在透镜中心上运算，则合成图像的二维分辨率等于微透镜120的个数，但是通常这是完全不够的。其理由是因为，微透镜120覆盖的拍摄像素131的数目若设为100，则合成图像的分辨率成为像素数目的1／100。因而，为了获得100万像素的合成图像，需要1亿个拍摄像素131。因而，设为进行偏心位置处的合成，在微透镜120内，多个光点LP可对应。

微透镜120的覆盖区域和微透镜120的个数的积大致等于拍摄像素131的全部像素数，因此，将在一个微透镜120内偏心的多个点分别设为基点进行合成的情况，等同于重叠使用来自拍摄像素131的图像信号。即，来自各偏心的光点LP的光束LF重叠存在于拍摄像素131上。但是，倍率为1倍时，该运算成为单纯的内插操作，对分辨率提高没有实质贡献。这表明若在微透镜120顶点附近成像，则光学的深度方向的信息丢失。

图14表示了与相对于基点微透镜121的伪光轴左偏心的光点LP相关的分割区域。说明从基点微透镜121（透镜直径设为g）的中心即伪光轴向图14的左方向偏心p、光点LP的高度（位置）为2f的情况。另外，图14中，点o1表示偏心的光点LP，点o2表示伪光轴。该场合，图13所示的微透镜120向图中右方向偏移p，若分割开口区域，则获得图14所示的场合的分割区域。

若将微透镜120分割为16个，若将透镜中心（伪光轴）的座标设为（0，0），相对于x轴y轴，分别进行-g/2、-g/4、0、g/4、g/2的位置的图形及其形成的分割区域及整体区域的积分，则可以对一个微透镜120获得16点的光点群。

-合成像素所属表的作成处理-

图像积分部105在对图像信号积分时，参照合成像素所属表。如上所述，该合成像素所属表特定：输出用于合成到基点信号的图像信号的拍摄像素131配置在与基点微透镜121及附近设置的微透镜120对应的像素排列130的哪个位置。

图像积分部105确定合成图像的焦点位置y和合成图像的光阑值F（景深）后，作成与输出用于合成到基点信号的图像信号的拍摄像素131有关的合成像素所属表。如上所述，来自与哪个微透镜120对应的哪个拍摄像素131的图像信号累加到基点信号，由合成图像的焦点位置确定。

图6(a)表示合成图像的焦点位置（焦点面）y相对于微透镜阵列12存在于被拍摄体侧的情况。另外，图6(b)表示合成图像的焦点位置（焦点面）y相对于微透镜阵列12存在于拍摄元件13侧的情况。如图6(a)及图6(b)所示，关于与微透镜120a对应的拍摄像素131，输出累加到基点信号的图像信号的拍摄像素131的配置相应于焦点面的位置而不同。其他的微透镜120ｂ～120f及基点微透镜121也同样不同。

以下，详细说明图像积分部105进行的合成像素所属表的作成处理。设合成图像的焦点面存在于离微透镜阵列12为距离y的位置，即焦点距离设为y。而且，从基点微透镜121通过第n个微透镜120的伪光轴的光束如以下的式（6）所示，入射离基点微透镜121的伪光轴为距离x的位置。另外，“d”表示各微透镜120的排列间距。

x＝fnd／y…（6）

若考虑拍摄像素131对由对应的微透镜120成像的光束进行受光，则合成图像的焦点位置y的来自被拍摄体的光中的在拍摄元件13的拍摄面由各微透镜120照射的光幅度l，通过以下的式（7）表达。

l＝fd／y…（7）

上述光幅度l在拍摄元件13的二维平面上，由幅度l的环状区域（以下，称为环带）表示。从而，在从基点微透镜121到在第n个位置配置的微透镜120中，由合成图像的光阑值F规定的光束入射由该环带l表示的区域内。如式（7）所示，合成图像的焦点位置y越大，环带l的幅度越小。

本实施例中，各个微透镜120在xy平面中的形状为图3所示的六角形，在微透镜阵列12上蜂窝状排列。图7表示在某合成图像的光阑值F对应的积分区域Rs中，n＝1时的环带l1及n＝2时的环带l 2。如图7所示，n＝1时的环带l1由基点微透镜121及微透镜120a～120f区分，分别形成部分区域Rpa～Rpg。即，各部分区域Rpa～Rpg分别由不同的微透镜120覆盖。从而，图像积分部105算出来自环带l1的各部分区域Rpa～Rpg所包括的拍摄像素131的图像信号的输出值Pi,s。同样，图像积分部105对积分区域Rs即全部环带l积分即可。

关于基点微透镜121及各微透镜120a～120f，与相邻的微透镜120的关系基本同样。从而，图像积分部105对于构成环带11的部分区域Rpa～Rpg各自所包括的各拍摄像素131，确定某拍摄像素131属于哪个部分区域Rp。

对于基点像素132，将包括输出被积分的图像信号的拍摄像素131的积分区域Rs的直径设为（D＝f／F）。另外，将各微透镜120在x轴方向（水平方向）的排列间距d、换言之是内切于六角形形状的各微透镜120各个的圆的直径，设为等于积分区域Rs的直径的最大值Dmax。而且，以微透镜120的假想弯曲面为基准，将合成图像的焦点位置（焦点距离）设为y。该场合，将微透镜阵列12中的各微透镜120的排列间距d设为投影倍率即f／y倍而在积分区域Rs上投影的区域，与通过各微透镜120分割环带1所成的部分区域Rp的各个相当。从而，图像积分部105使部分区域Rp所包括的拍摄像素131的位置和部分区域Rp所对应的微透镜120相对应，作成上述的式（5），作为基点像素132的合成像素所属表。另外，部分区域Rp对应的微透镜120的位置特定为，以基点微透镜121的位置为基准的相对位置。

参照上述合成像素所属表而生成的合成图像数据包括不同的焦点位置即具有立体形状的被拍摄体的立体信息。本实施例的数字相机1根据如上述生成的具有立体信息的合成图像数据，生成具有三维信息的二维显示用图像数据，在可显示三维图像的显示装置100显示与显示用图像数据对应的显示用图像。然后，用户经由显示装置100，将三维显示用图像观察为空中像。

参照图8，说明用于显示如上述生成的包括三维信息的显示用图像的显示装置110。图8是z轴方向的显示装置110的构成的示意图。如图8(a)所示，显示装置110具备显示器111、显示用微透镜阵列112、虚像透镜113。显示器111由例如具有背光源的液晶显示器和/或有机EL显示器等构成，具有二维状排列的多个显示像素排列114。这些多个显示像素排列114分别具有二维状排列的多个显示像素115。显示像素115由上述显示控制部107控制，如后述，与显示用图像数据对应地发光。

显示用微透镜阵列112由二维状排列的多个显示用微透镜116构成。显示用微透镜阵列112在z轴方向用户（观察者）侧，配置在从显示像素115离开显示用微透镜116的焦点距离f′的位置。另外，各显示用微透镜116按与多个显示像素排列114对应的配置图形配置。各显示用微透镜116使根据图像数据而从显示像素115出射的光在z轴方向的用户（观察者）侧的预定的像面成像。

虚像透镜113由例如大口径的菲涅耳透镜和/或利用衍射等的平面透镜构成，在xy平面上具有覆盖显示器111整面的大小。虚像透镜113配置在：用户通过观察虚像透镜113而可将显示器111显示的图像观察为虚像的位置。即，虚像透镜113配置在这样的位置：使得在z轴方向，上述显示用微透镜116形成的像面Q比虚像透镜113的焦点位置P靠内侧。换言之，以使得像面Q位于虚像透镜113到虚像透镜113的焦点位置P之间的方式，配置虚像透镜113。

如图8(b)所示，上述显示装置110的z轴方向上的显示用微透镜阵列112与显示像素115的位置关系，可看成等效于图4所示的拍摄单元100的z轴方向上的微透镜阵列12与拍摄像素131的位置关系。如图4(b)所示，来自某焦点位置S的被拍摄体光入射多个拍摄像素131后，图像图形生成部106以下述方式生成显示用图像数据：使得显示像素115以与图6(a)所示的拍摄像素131的入射光的排列图形同样的排列图形发光。该场合，如图8(b)所示，来自显示像素115的光束r1～r5经由显示用微透镜116在焦点位置S′成像。

关于合成图像数据的各像素的各个，式（5）表达的微透镜120与拍摄像素131的对应关系由显示用微透镜116和显示像素115再现后，从显示器111出射的光在与合成图像数据的各像素中不同的焦点位置S对应的焦点位置S′成像。结果，具有与合成图像数据的立体信息对应的三维信息的显示用图像形成为具有立体形状的空中像。该场合，空中像中，被拍摄体的实际深度方向的距离在保持其距离感不变的情况下，在显示用图像中缩小再现。即，空中像中，被拍摄体的实际距离的倒数被压缩。另外，图8(b)中也示出了来自显示像素115的光束r1～r5的主光线。

图像图形生成部106采用从各拍摄像素131输出的图像信号，生成与上述显示用图像对应的显示用图像数据。此时，图像图形生成部106根据合成像素所属表，确定以与某拍摄像素131输出的图像信号对应的强度发光的显示像素115。换言之，图像图形生成部106将从各拍摄像素131输出的图像信号分配到与拍摄像素131的配置位置对应配置的显示像素115。但是，来自显示像素115的光的行进方向与摄影时相反。从而，若将合成像素所属表所记录的微透镜120与拍摄像素131的位置关系原样不变地用作生成显示用图像数据时的位置关系，则观察的空中像的远近相反（逆转）。因而，图像图形生成部106在将合成像素所属表所记录的拍摄像素131按以基点微透镜121为中心而成点对称的位置即等效位置，分配显示像素115。其结果，摄影时的像面被观察为空中像。

首先，图像图形生成部106检测出多个显示用微透镜116中的一个显示用微透镜116对应的拍摄单元100的基点微透镜121。另外，表示显示用微透镜116与基点微透镜121的对应关系的数据预先在预定的记录区域存储。然后，图像图形生成部106参照检测出的基点微透镜121的合成像素所属表，检测出输出用于形成合成图像信号的图像信号的拍摄像素131和该拍摄像素131在拍摄元件13上的位置。

检测到拍摄像素131及其位置后，图像图形生成部106根据检测出的位置，检测分配来自拍摄像素131的图像信号的显示像素115相对于显示用微透镜116配置在哪个位置。然后，图像图形生成部106向检测到的显示像素115分配从拍摄像素131输出的图像信号。即，图像图形生成部106分配图9(b)所示的显示像素115a，作为要与来自图9(a)所示的拍摄像素131a的图像信号对应地发光的显示像素115。微透镜120及拍摄像素131间的排列与显示用微透镜116及显示像素115间的排列不能看成等效的场合，图像图形生成部106向下述显示像素115分配图像信号，该显示像素115配置在：标准化为相对于显示用微透镜116的伪光轴的相对位置的位置。结果，根据从多个显示像素115出射的光束r1～r5，构成显示用图像数据的一个像素数据。

另外，如上所述，显示装置110进行虚像显示。因而，图像图形生成部106以相对于合成图像数据而言按上下方向（y轴方向）反转的方式生成显示用图像数据。即，图像图形生成部106向配置在以显示用微透镜116的伪光轴为基准在上下方向（y轴方向）对称的位置的显示像素115分配来自拍摄像素131的图像信号。例如，图像图形生成部106将从图9(a)所示的拍摄像素131b输出的图像信号向图9(b)所示的显示像素115分配。

图像图形生成部106对全部的显示用微透镜116进行以上处理。如果向同一显示像素115分配从多个拍摄元件131输出的图像信号，则图像图形生成部106重叠相加多个图像信号。结果，图像图形生成部106生成显示用图像数据。图像图形生成部106将生成的显示用图像数据经由显示控制部107向显示装置110输出。

各显示像素115根据该显示用图像数据发光后，由显示用微透镜116根据三维信息，形成立体感的三维像面。该三维像面通过由虚像透镜113投影为预定大小，被用户观察为三维的空中画面。换言之，由显示器111和显示用微透镜116形成的三维像面光学地等效于由摄影透镜L1摄影立体的被拍摄体时的成像面。因此，在预定像面附近成像的立体被拍摄体的像通过虚像透镜113复原为三维空中像。结果，用户可以通过显示装置110立体地观察为三维空中像。

根据以上说明的实施例的数字相机1，可获得以下的作用效果。

（1）图像积分部105采用从拍摄元件13输出的图像信号，生成具有与多个焦点位置有关的信息的合成图像数据，图像图形生成部106根据合成图像数据，生成具有三维信息的显示用图像数据。显示器111的多个显示像素115二维状排列，多个显示像素115根据显示用图像数据，从多个显示像素出射光束。在显示用微透镜阵列112，将从多个显示像素115出射的光束合成而形成三维像的多个显示用微透镜116二维状排列，虚像透镜113构成为可观察通过显示用微透镜116形成的三维像。结果，可以不进行立体型和/或双凸透镜方式那样的利用右眼和左眼的视差形成的错觉的立体显示地，使得用户可以在画面上将具有立体形状的被拍摄体的像观察为三维空中像。从而，不是基于错觉，而是实际观察三维再现的空中像，因此，可以防止现有的立体图像的显示中成为问题的立体晕眩和/或对儿童视觉形成功能造成妨碍等生理方面的恶劣影响。而且，不用专用眼镜等就可观察，因此可长时间观察。

另外，采用全息方式的场合，显示的冗余度为1000：1以上，因此，例如为了再现具有10万像素的分辨率的立体像，显示器需要10亿像素以上的像素。相对地，本实施例的显示装置110中，可以以相对于图像分辨率的冗余度为100～1000倍程度的像素数显示三维空中像。而且，对作为三维图像被摄影的图像进行投影显示时，不必采用用于使之作为正立像显示的折射率分布透镜等构成，能以简易的构成再现三维空中像。

（2）多个显示用微透镜116分别与多个显示像素115对应排列，图像图形生成部106以下述方式生成显示用图像数据：使得三维像的一个像素由与多个显示用微透镜116对应排列的多个显示像素115出射的光束形成。换言之，图像图形生成部106以下述方式生成显示用图像数据：使得出射光束的多个显示像素115的排列关系等效于与合成图像数据的一个像素数据对应的多个拍摄像素131的排列关系。结果，通过将从各拍摄像素131输出的图像信号向对应的显示像素115分配，可以预先生成具有三维信息的显示用图像数据。

（3）虚像透镜113配置成，通过显示用微透镜116在虚像透镜113与其的焦点距离之间形成三维像面。从而，可以以简易的构成将由图像图形生成部106生成的二维显示图像用数据观察为三维空中像。

以上说明的实施例的数字相机1可如下地变形。

（1）根据由图像积分部105生成的合成图像数据，也可以取代在显示装置110显示图像图形生成部106生成的显示用图像数据，而在不同于数字相机1的外部的显示装置（例如个人计算机、电视机等）具备的监视器显示。该场合，外部的显示装置读入由数字相机1生成并在存储卡109a记录的合成图像数据。然后，显示装置采用读入的合成图像数据，进行与图像图形生成部105同样的处理，生成显示用图像数据，向监视器输出。

该场合，显示装置具备的监视器也与实施例的显示装置110同样，必须构成为可观察三维空中像。即，如图8所示，具备以下部分即可：多个显示像素二维状配置而成的显示器；用于使来自显示像素的光束成像的微透镜二维状地多个排列而成的微透镜阵列；用于使用户将由微透镜成像的三维像观察为虚像的虚像透镜。另外，显示装置从数字相机1读入多视点图像文件时，也可以采用例如LAN电缆和/或无线通信等接口。

（2）上述数字相机1和/或外部显示装置具有的显示器也可以不具备虚像透镜113。该场合，也与实施例同样地进行显示用图像数据的生成。但是，图像图形生成部106不进行以相对于合成图像数据按上下方向（y轴方向）反转的方式生成显示用图像数据的处理。此时显示的像面不是严格意义的三维像的再现。是与摄影时相同、在焦点附近由摄影透镜1压缩的像面的再现。关于距离和焦点距离的倒数，由于具有线性关系，因此，距离若远，则立体几乎不再现，相反，近的物体即使是相同深度，也可显著表现。在比实际的被拍摄体近的位置立体表现事物时，若考虑眼是光学装置，在其所处的像面展开，则表现的事物与实际的相比，深度应该被压缩。从而，显示装置110基于该考虑，如图15所示，在表现由单点划线表示的像面PL1时，在透镜阵列附近，如虚线所示，用压缩了像面PL1所得的像面PL2表示。像面PL1在不同于实际位置处呈现时，也可以相应地调整深度。

显示画面一般比进行摄影的数字相机1的拍摄元件131的拍摄面积大。例如数字相机1的拍摄元件尺寸若设为所谓实物尺寸（fullsize），则其大小为35×24（mm），不足通常为20英寸尺寸（40.6×30.5）的电视机的监视器的1/10。为方便起见即使设为10倍，如后述，若被拍摄体的摄影倍率设为1/20（50mm透镜、1m的位置）后直接拍摄，则倍率成为1/2。三维图像中，不同于二维显示，在按10倍距离显示10倍大小的被拍摄体、等倍且等距离显示以及按1/10的距离以1/10倍显示的各个情况中，显示内容显著不同。越往后的情况下，深度相对地越大，立体感相对地越强。

接着，说明显示的深度。由在显示装置110装备的显示用微透镜阵列112来压缩深度方向的高度。将输入部件即数字相机1的拍摄元件13的尺寸和显示器111的尺寸的比率设为k。以下，分为摄影倍率（被拍摄体的大小与被拍摄体像的大小之比）超过k倍的情况和在k倍以下的情况进行说明。

将摄影倍率设为n。摄影倍率超过k倍时，即，被拍摄体处于离数字相机1一定以上的位置时，被拍摄体以1/n倍的大小被拍摄元件13二维地取得，在显示器111上以k/n倍的大小显示。由于n>k，因此，被拍摄体显示得比实际小，即被看作是被拍摄体更靠近显示器111的显示面。本发明的显示装置110中，在显示用微透镜阵列112面的附近显示立体像。若到该显示面的距离设为d，到摄影时的被拍摄体的距离设为y，则深度方向的倍率由以下的式（8）表达。

显示的像为k/n倍，因此也可以换言之为(n/k)²倍。若摄影倍率设为50倍、显示器111的大小设为拍摄元件13的10倍，则深度方向的倍率为25倍，在深度方向为20cm的物体在数字相机1上成为80μm、在显示器111上成为8mm的像面高度。显示用微透镜阵列112的F值和数字相机1摄影时的微透镜阵列12的F值相等时，显示器111的尺寸成为10倍。因而，显示器111中，只能获得800μm程度的像面高度。

因而，增大显示用微透镜116的F值，获得匹配性。但是，数字相机1的微透镜120的F值为4时将显示用微透镜116的F值设为40是不现实的。从而，将显示用微透镜116设为例如F＝8、16左右的值。其结果，虽然空中像的深度的距离有些减少，但是立体感本身无损地被获得。这是因为，人的知觉中的立体感是相对的且定性的。

对显示用微透镜116的F值的增加与空中像的深度的增大相关这一情况进行说明。如图16的焦点位置和显示用像素115的面的关系所示，若光像的高度设为y，离显示用微透镜116的中心（伪光轴）的距离座标设为x，显示用微透镜116的间隔设为d，其焦点距离设为f，则由以下的式（9）表示的关系成立。

y／nd＝f／x…（9）

另外，n用整数表示相邻，n＝1表示相邻的显示用微透镜116，n＝2表示进一步相邻的显示用微透镜116。

上述的式（9）在数字相机1和显示装置110都同等有效。根据式（9）所示的关系，由显示器111再现的空中像的光像的高度y与显示用微透镜116的焦点距离f成比例。显示器111的尺寸相对于拍摄元件13的尺寸成为10倍的比率时，焦点距离f也成为10倍。因而，f值若相等，则以10倍的显示器111的尺寸，将10倍大小的空中像表现为10倍的高度y。从而，为了进一步强调高度y，将显示用微透镜116的焦点距离设为20倍、30倍等即可，即，将显示用微透镜116的F值设为2倍、3倍即可。

这里，说明倍率为n/k＞1时的情况。近处有被拍摄体时的立体感与远处时有些不同。在近处且倍率小的情况即接近摄影中，观察者不希望图像等倍。例如，若考虑蜜蜂的接近摄影像，则观察者不希望蜜蜂以实际大小在显示器111或空中立体显示。蜜蜂作为空中像显示时，以鸽子等的大小且处于稍微离开处，作为图像是自然的。其理由是，等倍显示时，观察者无法判别显示得小的蜂是虻还是蜂。而且，由于这样的事物也总是以扩大的图像被提供。

例如，通过等倍数字相机1，由50mm的摄影透镜L1摄影被拍摄体时，像面的深度为等倍，因此直接保存。该等倍保存的被拍摄体向上述10倍大小的显示器111输出后，在500mm的位置显示20cm大小的蜂。显示器111的观察位置若为1m，则观察者以4倍感知深度，因此立体感夸张。

如上所述，立体感因摄影的图像或者显示的图像的倍率而显著变化。但是，如上所述，人具有的深度感模糊，不是绝对值而是与对象的深度有关的顺序性，成为决定立体感的基准。本发明中，深度量的绝对值根据摄影倍率变化，但是相对的关系完全保持，因此可向观察者提供明确的立体感。另外，由于与完全提供立体像、通过视差获得立体感的立体方式从根本上不同，因此，对人的视觉的负担小，不会引起所谓的立体晕眩等现象。

另外，只要无损本发明的特征，本发明不限于上述实施例，在本发明的技术思想范围内考虑的其他形态也包括在本发明的范围中。说明中采用的实施例及变形例当然也可以分别适宜地组合。

以下的优先权基础申请的公开内容作为引用文献结合于此。

日本国专利申请2010年第137391号（2010年6月16日申请）

日本国专利申请2011年第130067号（2011年6月10日申请）

Claims (17)

1.一种图像显示装置，其特征在于，具备：

输入部，其输入根据从按每多个摄影用微透镜而配置有多个的拍摄像素输出的多个信号而生成的图像数据，上述多个摄影用微透镜供通过了拍摄光学系统后的来自被拍摄体的光入射；

生成部，其根据上述图像数据生成显示用图像数据；

显示部，其由多个显示像素二维状地排列而成，根据上述显示用图像数据，从上述多个显示像素出射光束；和

微透镜阵列，其按上述多个显示像素中的一部分的多个显示像素的每多个而设置有多个，由将从上述多个显示像素出射的光束入射的多个显示用微透镜二维状地排列而成，

上述生成部，以下述方式，生成上述显示用图像数据，该方式为：使得在从上述多个显示像素中的多个第1显示像素出射的分别通过了不同的显示用微透镜的多个光束交叉的、比上述微透镜阵列靠从上述多个显示像素出射光束侧的位置，生成三维像的一个像素；使得通过从上述多个显示像素中的不同于上述多个第1显示像素的多个第2显示像素出射的、分别通过了不同的显示用微透镜的多个光束，在比上述微透镜阵列靠显示部侧的位置，从上述微透镜阵列侧看到三维像的一个像素。

2.根据权利要求1所述的图像显示装置，其特征在于，

上述生成部，以出射上述光束的上述多个显示像素的排列关系与上述一个像素数据所对应的上述多个拍摄像素的排列关系等效的方式，生成上述显示用图像数据。

3.根据权利要求2所述的图像显示装置，其特征在于，

上述生成部，以上述一个像素数据所对应的上述多个拍摄像素的排列关系与上述多个显示像素的排列关系成为相互点对称的方式，生成上述显示用图像数据。

4.根据权利要求1所述的图像显示装置，其特征在于，

上述生成部，以上述三维像在上述显示用微透镜的附近再现，上述三维像的深度方向的倍率与上述显示用微透镜的排列面的方向的倍率相比被压缩的方式，生成上述显示用图像数据。

5.根据权利要求2所述的图像显示装置，其特征在于，

上述生成部，以上述三维像在上述显示用微透镜的附近再现，上述三维像的深度方向的倍率与上述显示用微透镜的排列面的方向的倍率相比被压缩的方式，生成上述显示用图像数据。

6.根据权利要求3所述的图像显示装置，其特征在于，

上述生成部，以上述三维像在上述显示用微透镜的附近再现，上述三维像的深度方向的倍率与上述显示用微透镜的排列面的方向的倍率相比被压缩的方式，生成上述显示用图像数据。

7.根据权利要求4所述的图像显示装置，其特征在于，

上述生成部，以上述深度方向的倍率成为上述显示用微透镜的排列面的方向的倍率的平方的倍数的方式，生成上述显示用图像数据。

8.根据权利要求5所述的图像显示装置，其特征在于，

上述生成部，以上述深度方向的倍率成为上述显示用微透镜的排列面的方向的倍率的平方的倍数的方式，生成上述显示用图像数据。

9.根据权利要求6所述的图像显示装置，其特征在于，

上述生成部，以上述深度方向的倍率成为上述显示用微透镜的排列面的方向的倍率的平方的倍数的方式，生成上述显示用图像数据。

10.根据权利要求1至9的任一项所述的图像显示装置，其特征在于，

上述生成部，以上述显示用微透镜的伪光轴为基准将上述一个像素数据所对应的上述多个拍摄像素的排列关系标准化，生成上述显示用图像数据。

11.根据权利要求10所述的图像显示装置，其特征在于，

上述显示用微透镜的F值比上述摄影用微透镜的F值大。

12.根据权利要求1至9的任一项所述的图像显示装置，其特征在于，

还具备观察由上述显示用微透镜形成的上述三维像的观察光学系统。

13.根据权利要求10所述的图像显示装置，其特征在于，

还具备观察由上述显示用微透镜形成的上述三维像的观察光学系统。

14.根据权利要求11所述的图像显示装置，其特征在于，

还具备观察由上述显示用微透镜形成的上述三维像的观察光学系统。

15.根据权利要求12所述的图像显示装置，其特征在于，

上述观察光学系统包括虚像透镜，上述虚像透镜配置为在上述虚像透镜和其焦点距离间形成上述三维像面。

16.根据权利要求13所述的图像显示装置，其特征在于，

上述观察光学系统包括虚像透镜，上述虚像透镜配置为在上述虚像透镜和其焦点距离间形成上述三维像面。

17.根据权利要求14所述的图像显示装置，其特征在于，

上述观察光学系统包括虚像透镜，上述虚像透镜配置为在上述虚像透镜和其焦点距离间形成上述三维像面。