CN104519334A - 立体图像显示装置、终端装置、立体图像显示方法及其程序 - Google Patents

Abstract

本发明涉及立体图像显示装置、终端装置、立体图像显示方法及其程序。一种显示与多个视点中的各视点相对应的图像的立体图像显示装置，包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板上、用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像的光线分离模块；观察者位置测量单元，其测量面向显示面的观察者的观察位置；相对位置计算单元，其基于测量结果计算所述观察者相对于所述立体图像显示面板的相对位置；以及图像生成处理单元，其与所述相对位置相对应地生成视点图像，并将所述视点图像输出到所述立体图像显示面板。

Description

立体图像显示装置、终端装置、立体图像显示方法及其程序

相关申请的交叉引用

本申请基于并要求2013年9月26日提交的日本专利申请No.2013-200197、以及2014年6月23日提交的日本专利申请No.2014-127895的优先权的权益，这两个申请的全文并入到本文供参考。

技术领域

本发明涉及一种立体图像显示装置。更具体地,本发明涉及显示与多个视点中的每一视点相对应的图像的立体图像显示装置、设有该立体图像显示装置的终端装置、立体图像显示方法、以及其程序。

背景技术

以往，具有这样一种立体图像显示装置：其能够通过提供朝向多个视点相互不同的图像并向观察者的左右眼投影不同视差的图像而无需使用眼镜来实现立体视觉。

作为采用这种装置的立体图像显示方法，已知一种方法：其将用于每个视点的图像数据加以合成并将其显示在显示单元上；利用由透镜或具有狭缝的屏障(遮光板)构成的光学分离模块使所显示的合成图像分离；以及将它们提供至观察者的每个视点。

作为这种光学分离模块，通常采用具有多个条状狭缝的视差屏障以及配置有在一个方向上具有透镜作用的柱面透镜的柱状透镜。

通过利用这种显示方法的立体图像显示装置，需要向观察者的左右眼分别投影适当视差的图像。因此，观察者能够适当地观察立体图像的空间区域(立体视觉区域)受到限制。因此，当观察者的左右眼的位置离开立体视觉区域时，由于视差图像相互重叠使得在视觉上识别双图像的串扰区域以及每个视差图像被颠倒地投影的反向视觉区域的存在，在视觉上无法识别适当的立体图像。

作为改善该问题的方法，具有检测观察者眼睛的位置并通过使用检测结果来执行视差图像的切换控制的方法，且已知一种显示装置，其通过采用该方法在串扰区域以及反向视觉区域中改善了立体图像的可见性(例如，日本专利公开H10-333091(专利文献1)、日本专利公开2011-215499(专利文献2)、日本专利公开2012-120194(专利文献3)、日本专利公开2012-60607(专利文献4)、以及日本专利公开2005-91447(专利文献5))。

专利文献1公开了这样的技术内容：在视差屏障的分辨率成倍的立体图像显示装置中，当观察者处于串扰区域或反向视觉区域时，执行视差屏障控制以及图像切换控制。另外，专利文献2中公开的显示装置包括：在背光源侧具有3D分辨率的四倍的清晰度的光源单元；以及用于控制光源单元的光源控制单元。该文献公开了这样的技术内容：光源控制单元根据观察者的位置来执行构成光源单元的光源的功能的切换控制。

即，专利文献1和2中公开了一种显示装置，通过具有超过显示面板的分辨率的光线分配模块，提供与检测到的观察者位置相应的不适感较少的图像。在这种显示装置中，增加根据显示面板与光线分配模块之间的关系所确定的装置视点的数量(即，视差图像被投影的区域的数量)，从而采取针对反向视觉的对策。

在专利文献3中公开的图像显示装置中，当检测到存在多个观察者时，通过关闭视差屏障功能并输出2D图像的技术，来抑制观察时感到的不适感。另外，在专利文献4中公开的立体图像显示装置中，通过根据观察者的位置控制视差量的技术来减轻不适感。

专利文献5公开了这样的技术内容：通过包括视差屏障而构成的波瓣控制模块执行立体视觉区域的切换控制，从而即使在不进行视点追踪(tracking)的情况下也能够通过使用旁波瓣来实现多视点。另外，在该立体表示装置中，通过视点追踪与基于波瓣控制模块的处理相组合的技术，减小观察者的一只眼位于主波瓣而另一只眼位于旁波瓣时的不适感。

然而，即使在根据上述各专利文献的显示装置中，采用了基于观察者两眼位置的检测结果来进行视差图像的切换控制，也存在以下的问题。

在专利文献1或2公开的显示装置中，需要具有显示面板2倍以上分辨率的高清晰光线分离模块。其引起构造或制造的成本增加。另外，虽然可以在装置视点数的范围内执行规定的图像处理，但是在超过该装置视点数的视角中，只能够看到重复的图像。

另外，专利文献3和4公开了采用可以在装置视点数内有效动作的结构的图像显示装置。即，没有采用用于抑制反向视觉区域中的画质下降的技术措施。因此，当观察反向视觉区域中的图像时，会存在不适感。另外，在专利文献5中，设置视差屏障作为波瓣控制模块，因此透过率低。

本发明的示例性目的是改善现有技术的缺陷，更具体地，提供生成并显示与观察者的位置相对应的有意义的视差图像的立体图像显示装置及终端装置。

发明内容

为了实现上述目的，立体图像显示装置采用以下结构，其包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧，用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像的光线分离模块；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；相对位置计算单元，所述相对位置计算单元基于测量结果计算所述观察者相对于所述立体图像显示面板的相对位置；以及图像生成处理单元，所述图像生成处理单元具有生成用于预先设定的J个视点(J＞N)的视点图像的功能，与所述相对位置相对应地生成根据构成所述N个视点的各视点的一个或更多的视点图像，并将所述视点图像输出到所述立体图像显示面板。

另外，根据本发明的终端装置采用以下结构，包括：显示与多个视点中的每一个视点相对应的图像的上述立体图像显示装置；以及将所述立体图像显示装置容纳在其内的壳体。

根据本发明的立体图像显示方法使用立体图像显示装置，所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧、用以朝向根据各像素的排列方向的由N个视点构成的多个视点分离来自各像素的视差图像的光线分离模块，其中，N为等于或大于2的自然数；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，所述方法的特征在于：所述观察者位置测量单元测量所述观察者的观察位置；所述显示控制器基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；所述显示控制器生成用于预先设定的J个视点的视点图像，其中J＞N；所述显示控制器从所生成的视点图像中指定根据所述相对位置的多个视点图像；以及所述显示控制器向所述立体图像显示面板输出所指定的多个视点图像。

另外，根据本发明的立体图像显示程序使用立体图像显示装置，所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧、用以朝向根据各像素的排列方向的由N个视点构成的多个视点分离来自各像素的视差图像的光线分离模块，其中，N为等于或大于2的自然数；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，所述程序使预先设置在所述显示控制器中的计算机作为以下模块发挥功能：观察者位置测量模块，所述观察者位置测量模块测量所述观察者的观察位置；观察者位置计算模块，所述观察者位置计算模块基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；以及图像生成处理模块，所述图像生成处理模块生成用于预先设定的J个视点(J＞N)的视点图像，从所生成的视点图像中指定根据所述相对位置的多个视点图像，以及向所述立体图像显示面板输出所指定的多个视点图像。

附图说明

图1是示出根据本发明的第一示例实施方式的立体图像显示装置的功能结构的框图；

图2是示出图1中公开的立体图像显示装置的结构例的示意图；

图3A和图3B示出了输入到图1公开的立体图像显示装置的各视点的像素中的两个视点的图像信息的示例，其中图3A是第一视点图像，图3B是第二视点图像；

图4是示出图3A和图3B所示的第一视点图像和第二视点图像的生成方法的示例的图；

图5是示出基于图1中公开的立体图像显示面板的光线分离的状态以及立体视觉区域的图；

图6是示出基于图1中公开的立体图像显示面板的光线分离的状态以及反向视觉区域的图；

图7A-图7F示出了输入到图1中公开的两个视点的立体图像显示面板中的图像信息的示例，其中，图7A是与第一视点图像相对应的图像，图7B是与第二视点图像相对应的图像，图7C是与第三视点图像相对应的图像，图7D是与第四视点图像相对应的图像，图7E是与第五视点图像相对应的图像，图7F是与第六视点图像相对应的图像；

图8是示出图7A-图7F所示的第一视点图像至第六视点图像的生成方法的示例的图；

图9A-图9C示出了与由立体图像显示面板进行的光线分离的状态与观察者的两眼位置之间的关联性有关的状态，其中，图9A是左眼位于第一视点区域50a且右眼位于第二视点区域50b的情况，图9B是左眼位于第一视点区域51b且右眼位于第二视点区域50a的情况，图9C是左眼位于第一视点区域51a且右眼位于第二视点区域51b的情况；

图10是图9C的放大图，示出了通过将第一视点区域分成四个区域所获得的各子区域的示例；

图11是示出基于图9公开的各立体视觉区域的、观察者的左右眼所在的视点区域与将被显示在第一视点区域和第二视点区域中的图像数据之间的对应关系的表；

图12是示出通过一般的六个视点的立体图像显示面板进行的光线分离的状态的图；

图13是示出通过根据第一示例性实施方式的三个视点的立体图像显示面板进行的光线分离的状态的图；

图14是示出输入到图13中的三个视点的立体图像显示面板、以及第二和第三示例性实施方式的立体图像显示面板中的图像数据的示例的图；

图15是示出如图13所示当观察者移动至x轴的负方向侧时左右眼分别所在的视点区域、与第一视点区域至第三视点区域的图像数据之间的关系的表；

图16是示出如图13所示当观察者移动至x轴的正方向侧时左右眼分别所在的视点区域、与第一视点区域至第三视点区域的图像数据之间的关系的表；

图17是示出通过根据第一示例性实施方式的四个视点的立体图像显示面板进行的光线分离的状态的图；

图18是示出如图17所示当观察者移动至x轴的负方向侧时左右眼分别所在的视点区域、与第一视点区域至第四视点区域的图像数据之间的关系的表；

图19是示出如图17所示当观察者移动至x轴的正方向侧时左右眼分别所在的视点区域、与第一视点区域至第四视点区域的图像数据之间的关系的表；

图20是示出图1中公开的立体图像显示装置的动作的流程图；

图21是示出通过根据第二示例性实施方式的两个视点的立体图像显示面板进行的光线分离的状态的图；

图22是示出图21公开的两个视点的立体图像显示面板的显示面的中心部分中的3D串扰特性的图；

图23是示出当观察者从图22公开的状态移动至x轴方向的负侧时左右眼所在的视点区域的图；

图24是示出基于图23公开的观察者位置的、左右眼分别所在的视点区域与第一视点区域以及第二视点区域的图像数据之间的关系的表；

图25是示出作为图23的比较例、在使用具有“d＜e(d：观察者的两眼间隔，e：与第一视点区域和第二视点区域有关的视点间距)”的关系的立体图像显示面板的情况下、观察者的左右眼所在的视点区域的图；

图26是示出基于图25中公开的观察者位置的、左右眼分别所在的视点区域与第一视点区域以及第二视点区域的图像数据之间的关系的表；

图27是示出通过根据第三示例性实施方式的四个视点的立体图像显示面板进行的光线分离的状态的图；

图28是示出当观察者移动至x轴的负方向侧时观察者与视点区域之间的关系的图；

图29是示出基于图28所示的观察者位置的、左右眼分别所在的视点区域与第一至第四视点区域的图像数据之间的关系的表；

图30是示出根据本发明的第四实施方式的立体图像显示面板的结构的示意图；

图31A和图31B示出由4原色构成的子像素以矩阵配置的像素的图，其中，图31A是示出由4×4个子像素构成的像素与透镜元件之间的配置关系的图，图31B示出了图31A中公开的像素和透镜元件以矩阵状配置的状态；

图32是示出处于图31A中所示的第一配置状态中的由4×4个子像素构成的像素和透镜阵列元件的图；

图33是示出在图32公开的由4×4个子像素构成的像素和透镜阵列元件顺时针旋转90°的情况下、输入图像与子像素(子像素组)之间的关系的图；

图34是示出通过使用与图31A中公开的由4×4个子像素构成的像素相对应的有源光线分离模块仅在一个方向上分离图像时的光线分离的图；

图35是示出与图34相对应的观察者的位置与3D串扰特性之间的关系的图；

图36是示出基于图35中公开的观察者位置的、左右眼分别所在的视点区域与第一视点区域以及第二视点区域的图像数据之间的关系的表；

图37A和37B示出与基于图31A中公开的由4×4个子像素构成的像素以及透镜阵列元件的关系有关的图，其中，图37A是示出在第一配置状态下的输入图像与子像素(子像素组)之间的关系的图，图37B是示出在第二配置状态下的输入图像与子像素(子像素组)之间的关系的图；

图38是示出输入到具有图37中公开的像素的2×2个视点的立体图像显示面板中的图像信息的示例的图；

图39是示出通过使用与图31A中公开的由4×4个子像素构成的像素相对应的有源光线分离模块向两个方向分离图像时的光线分离的图；

图40是示出基于图39中公开的观察者位置的、左右眼分别所在的视点区域与第一视点区域以及第二视点区域的图像数据之间的关系的表；

图41是示出包括根据本发明的第四示例性实施方式的立体图像显示装置的终端装置的示意图；

图42是示出根据本发明的第四示例性实施方式的立体图像显示装置的功能结构的框图；

图43是示出图42中公开的立体图像显示装置的动作的流程图；

图44是示出通过使用图2中公开的具有单向的光线分离模块的立体图像显示装置将与根据观察者的位置的两个方向中的每个方向相对应的图像提供给观察者的状态的图；

图45是与图44中公开的观察者的各位置相对应地，示出观察者的左右眼所在的视点区域与第一视点区域以及第二视点区域的图像数据之间的关系的表。

具体实施方式

(第一示例性实施方式)

参照图1至图20对根据本发明的立体图像显示装置的第一示例性实施方式进行说明。

(整体结构)

如图2所示，显示与多个视点中的各视点相对应的图像的立体图像显示装置1包括：设有能够拍摄可见光和红外线的摄像机并用于测量观察者100的位置的观察者位置测量单元45；基于从观察者位置测量单元45获得的测量结果来生成3D数据的显示控制器(图未示)；以及基于从显示控制器输出的3D数据和控制信号来分离图像并射出图像的立体图像显示面板10。

立体图像显示面板10包括：显示面板11，在该显示面板11中，分别至少包含用于显示第一视点图像的子像素和用于显示第二视点图像的子像素的多个像素以矩阵布置；以及设置在显示面板11的显示面侧并用于朝向各视点分离来自像素的视差图像的光线分离模块12。

光线分离模块12采用与设置在显示面板11上的各像素相对应的透镜15配置成阵列形式的结构，由此能够将用于各视点的图像向规定的不同位置分离。

通过这种结构，立体图像显示面板10能够朝向至少两个视点投影不同的图像，即能够直行光线分离。

关于光线分离的方向，如图2所示，将透镜15的配置方向(第一像素配置方向)定义为x轴，将与x轴正交并从显示面板11延伸到观察者100的方向定义为z轴，将与x轴和z轴两者正交的方向(第二像素配置方向)定义为y轴。另外，各轴的交点(原点)限定为位于立体图像显示面板10的中心。以下，也将其称作立体图像显示面板10的原点(显示面的中心)。该情况下，连结观察者100的左眼101和右眼102的直线大致平行于x轴。

观察者位置测量单元45被构成为：通过设置于其自身的摄像机来拍摄观察者100，并基于此测量观察者100的左眼101和右眼102的位置。

当观察者位置测量单元45测量两眼(左眼101和右眼102)的位置时，可以采用各种方法。

例如，可以采用以下方法：通过从利用可见光拍摄的图像中利用图案匹配来检测脸和眼的位置，测量x轴方向和y轴方向上的位置，并基于由测量结果导出的双眼之间的距离来测量z轴位置的方法；对观察者100照射红外线的正弦波光，并根据作为照射光的反射光的正弦波光到达摄像机的光飞行的时间差(相位差)测量z轴方向上的位置的称作TOF方法的方法等。

作为显示面板11，可以使用例如液晶显示元件、有机电致发光显示元件、电泳元件、或电致变色元件等各种各样的电气光学元件。

作为光线分离模块12，不仅可以使用例如柱状透镜、蝇眼透镜、或视差屏障的光学元件，而且可以使用例如具有折射率控制功能的液晶透镜或具有遮光控制功能的液晶屏障的电气光学元件。考虑到透过率，优选使用柱状透镜、蝇眼透镜、和液晶透镜。

首先，为了简化说明，对采用2个视点的立体图像显示面板作为立体图像显示面板10的情况进行说明。应当注意，N个视点的立体图像显示面板(N为等于或大于2的自然数)是指将向N个视点分离并射出具有立体显示用的视差的二维图像数据的立体图像显示面板。

图3A和图3B示出了被输入到立体图像显示面板10的各视点的像素中的两个视点的图像信息。图3A是第一视点图像60a，图3B是第二视点图像60b。

在各视点图像之间，骰子的“5”的面的大小和“3”的面的大小分别不同。即，如图3所示，采用在与第一视点图像60a相对应的图3A中“5”的面相对较大、在与第二视点图像60b相对应的图3B中“3”的面相对较大的结构。

接下来，图4示出了图3A和图3B所示的第一视点图像和第二视点图像的生成方法的示例。图4是与称作交叉法的图像拍摄方法有关的说明图。在此，第一视点用摄像机65a和第二视点用摄像机65b的各光轴之间的交点66被设定在通常的画面上、即屏幕表面上的再生位置上。另外，将该屏幕表面的水平方向定义为x轴、将与x轴正交的方向定义为y轴(图未示)，将与xy平面正交的方向定义为z轴，将交点66定义为各轴彼此相交的原点，x轴、z轴上的正负方向如图4所示。

应当注意，第一视点用摄像机65a和第二视点用摄像机65b的配置位置被设定为在y轴上取相同的值(设定为y坐标值相等：处于水平状态)。

在该状态下，通过利用第一视点用摄像机65a和第二视点用摄像机65b拍摄具有xyz值的三维信息的骰子的3D物体64，生成如图3A和图3B所示的图像。

在以这种方式拍摄和生成的各图像之间，如图3A和图3B所示，相互对应的点(对应点)的位置不同。即，图3A和图3B中的对应点(例如，骰子的各顶点)在两个图像中不同，该差异的大小是视差量。视差量的程度根据摄像机位置(x、z值)、摄像机视角、摄像机之间的距离、3D物体位置(z值)等进行确定。

接下来，图5示出通过立体图像显示面板10进行的光线分离的状态。其是当从y轴的正方向观察时的zx平面的剖视图。在图5中，将观察者100的左眼表示为“L”，将右眼表示为“R”。其在以下的各图中也是相同的。

通过上述的各视点用像素和光线分离模块12的组合，以第一视点区域50a、51a、52a…和第二视点区域50b、51b、52b…沿x轴方向交替地重复的方式使图像分离。

当将各第一视点区域(50a，51a，52a)定义为左眼用区域、将各第二视点区域(50b，51b，52b)定义为右眼用区域时，并假设向各第一视点区域投影第一视点图像60a(图3A和3B)、向各第二视点区域投影第二视点图像60b(图3A和3B)，则立体图像显示面板10被构成为形成立体视觉区域80，其中，当左眼101位于左眼用区域50a、右眼102位于右眼用区域50b时观察者100能够感知立体图像。

此处的观察者100处于与立体图像显示面板10分隔立体视觉区域为最大的最佳观察距离(最佳观看距离)OD的状态。

附图标记“e”表示最佳观察距离中的各视点区域之间的视点间距，图5示出了视点间距e与两眼之间的距离d相等的情况。另外，附图标记“1”、“2”分别相应于第一视点图像60a、第二视点图像60b。

类似地，立体图像显示面板10基于来自显示控制器的信号等，当观察者100的两眼对应于左用眼区域51a和右眼用区域51b时，形成立体视觉区域81，当观察者100的两眼对应于左眼用区域52a和右眼用区域52b时，形成立体视觉区域82。

应当注意，将包括从立体图像显示面板10的显示面中心(图像显示中心)垂直延伸的z轴的立体视觉区域80定义为主波瓣，将观察者100从主波瓣向x轴的正侧和负侧的各方向移动时出现的立体视觉区域81、82定义为旁波瓣。

另外，除了上述的两个立体视觉区域以外，还可以构造立体图像显示面板10，使得与观察者100的位置相对应的一个或多个旁波瓣分别出现在立体视觉区域81的x轴上的负方向侧、立体视觉区域82的x轴上的正方向侧。

在观察者100从主波瓣向旁波瓣移动的途中的区域中，如图6所示，观察者100处于反向视觉状态，其中，右眼用区域对应于观察者100的左眼101、左眼用区域对应于右眼102。因此，通过立体图像显示面板10，在其上形成反向视觉区域85。此时的观察者100处于左眼101感知第二视点图像60b(2)、右眼102感知第一视点图像60a(1)的状态。

然后，在图1中示出了根据第一示例性实施方式的立体图像显示装置1的各功能结构。如该框图所示，除了上述的显示面板11、光线分离模块12、观察者位置测量单元45外，立体图像显示装置1还包括具有用于驱动显示面板11的功能和用于控制光线分离模块12的功能的显示控制器24。

显示控制器24包括：相对位置计算单元40，其基于通过观察者位置测量单元45获得的测量结果(测量信息)来计算观察者100的左眼101和右眼102相对于立体图像显示面板10的相对位置；图像生成处理单元30，其基于来自相对位置计算单元40的位置信息(相对位置信息)来生成3D数据(视差图像)及控制信号；显示面板驱动电路(显示面板驱动单元)21，其基于来自图像生成处理单元30的3D数据来驱动显示面板11；以及图像分配控制电路(图像分配控制单元)22，其基于来自图像生成处理单元30的控制信号来控制光线分离模块12的动作。

更具体地，相对位置计算单元40具有这样的功能：基于来自观察者位置测量单元45的测量信息，计算表示观察者的左眼101相对于立体图像显示面板10的原点的相对位置的坐标值(x1，y1，z1)、以及表示观察者的右眼102相对于原点的相对位置的坐标值(x2，y2，z2)(参照图2)。另外，还可以将用于基于计算值来计算例如左眼101的视角θ1(＝atan(x1/z1))的功能结构设置于相对位置计算单元40。

图像生成处理单元30由以下部件构成：执行图像处理的算术计算器31；存储将要显示在显示面板11上的显示对象数据的数据累积单元32；存储算术计算器31的动作控制程序等的存储器33；以及调解与外部的信息交换的外部IF(接口)34。由于这些各结构部件有效地发挥功能，图像生成处理单元30能够根据从相对位置计算单元40接收到的信号，生成与各视点相对应的有意义的图像数据(3D数据)。

在存储器33中，除了算术计算器31的动作控制程序以外，还存储有与从相对位置计算单元40获得的左眼101和右眼102的相对位置有关的信息、与立体图像显示面板10的立体视觉区域有关的信息等。算术计算器31具有基于存储在存储器33中信息和从观察者位置测量单元45的传感器(图未示)适当获得的信息来判断观察者100的左右眼所位于的视点区域的功能(用于指定观察者的左右眼所在的视点区域的功能)。

当已读出存储在数据累积单元32中的显示对象数据的算术计算器31对该数据执行图像处理时，实现图像生成处理单元30中的图像数据的生成。当显示对象数据是包含深度信息的三维数据时，采用这样的优选的方法：算术计算器31对该三维数据实施渲染处理来生成具有视差的各视点用的二维图像数据(用于立体显示的3D数据)。

即，当生成用于立体显示的3D数据时，算术计算器31被构造为针对三维数据设定规定的视点数的虚拟摄像机，并且对它们分别实施渲染处理。例如，如图3A和3B所示的具有视差的各视点用的二维图像数据是通过利用算术计算器31对它们分别实施渲染处理而生成的，该算术计算器31针对三维数据设定了规定的视点数(在此，2个视点)的虚拟摄像机。

应当注意，对于通过图像生成处理单元30生成图像数据，优选使用基于包含深度信息的三维数据的方法。但是，也可以采用在数据累积单元32中存储预先实施了渲染处理的显示对象数据并将其选择性地读出的结构。

即，可以采用这样的方法：将与图3A和3B相对应的二维图像数据形式的显示对象数据预先累积到数据累积单元32中、并且算术计算器31根据立体显示或平面显示将图像数据选择性地读出。当采用这种方法时，不需要渲染处理。因此，可以采用与使用需要渲染处理的上述的生成方法的情况相比处理能力和计算速度更低的算术计算器31。这使得可以获得能够以低廉的成本构成图像生成处理单元30的优点。

另外，图像生成处理单元30根据从相对位置计算单元40接收的位置信息，生成3D数据，并将其输出到显示面板驱动电路21。另外，在输出3D数据时，图像生成处理单元30具有将与其同时生成的控制信号(用于使液晶透镜有效的信号)输出至图像分配控制电路22的功能。

显示面板驱动电路21具有生成用于驱动显示面板11所需的信号(同步信号等)的功能，图像分配控制电路22具有生成用于驱动光线分离模块12的信号的功能。

作为光线分离模块12，除了液晶透镜以外，还可以使用能够通过电信号来控制的有源元件，例如液晶屏障元件。

另外，作为光线分离模块12，也可以使用不能被电信号控制的静态元件，例如柱状透镜、蝇眼透镜、视差屏障、销孔。如此，不需要对显示控制器24设置图像分配控制电路22，因此可以通过结构的简化降低成本等。

同时，采用上述结构的图像生成处理单元30具有基于数据累积单元32内的显示对象数据来生成预先设定的J个视点(J＞N)的图像的功能。

由此，所述的内容可被总结如下。显示与多个视点中的每个视点相对应的图像的立体图像显示装置1包括：立体图像显示面板10，立体图像显示面板10包括排列有多个像素的显示面板11、以及设置在显示面侧并朝向根据各像素的排列方向(x轴方向)的多个(N个)视点分离来自各像素的视差图像的光线分离模块12；观察者位置测量单元45，观察者位置测量单元45测量面对显示面的观察者的观察位置；相对位置计算单元40，相对位置计算单元40基于测量结果计算观察者相对于立体图像显示面板10的相对位置；以及图像生成处理单元30，图像生成处理单元30具有用于生成预先设定的J个视点(J＞N)的视点图像的功能，并且生成与相对位置相对应的视点图像并将其向立体图像显示面板输出。

因此，图像生成处理单元30能够生成比2个视点大例如6个视点的图像。

在此，作为输入到根据第一示例性实施方式的2个视点的立体图像显示面板10的图像信息的示例，在图7A-7F中示出了6个视点的图像。图7A是第一视点图像61a，图7B是第二视点图像61b，图7C是第三视点图像61c，图7D是第四视点图像61d，图7E是第五视点图像61e，图7F是第六视点图像61f。

如图7A-7F所示，在各视点图像之间，骰子的“5”的面的大小和“3”的面的大小分别不同。即，具有在第一视点图像61a中“5”的面最大而在第六视点图像61f中“3”的面最大的特征。另外，采用从图7A至图7F“5”的面的大小逐渐减小而“3”的面的大小逐渐增大的结构。

接下来，图8示出了从图7A-7F所示的第一视点图像至第六视点图像的图像生成方法的示例。

基本上，与图4所示的结构内容相同，设置第一视点用摄像机65a、第二视点用摄像机65b、第三视点用摄像机65c、第四视点用摄像机65d、第五视点用摄像机65e、以及第六视点用摄像机65f，并通过第一至第六视点用摄像机(65a至65f)拍摄具有xyz值的三维信息的骰子的3D物体64，从而生成图7A至7F所示的图像。

另外，图7A-7F中，各对应点之间的位置的差异大小是各图像之间的视差量。

当观察者100移动到立体图像显示面板10的主波瓣的外侧时，图像生成处理单元30被构成为执行与根据观察方向的视点相对应的新图像的生成等。即，在生成如图7所示的6个视点的图像的情况下，图像生成处理单元30预先生成所有6个视点的图像并对其执行存储处理，并且可以与观察者的移动相对应地适当选择图像。可替换地，图像生成处理单元30可被构成为仅适当生成观察者位置附近的视点图像。

图9A至图9C中示出了当图像生成处理单元30以上述方式生成6个视点的图像时通过立体图像显示面板10进行的光线分离的状态。与上述的图5的情况同样地，其也是从y轴的正方向观察时的zx平面的剖视图(参照图2)。

图9A是示出图像生成处理单元30根据通过相对位置计算单元40获得的计算结果(位置信息)判断观察者100的左眼101存在于第一视点区域50a且右眼102存在于第二视点区域50b的场景的示例的图。

该情况下，图像生成处理单元30生成用于第一视点区域50a的第三视点图像61c(图7)的图像数据，并生成用于第二视点区域50b的第四视点图像61d(图7)的图像数据，将它们作为3D数据输出至显示面板驱动电路21。即，在此应用的“3”、“4”分别与第三视点图像60c、第四视点图像60d相对应。

由此，能够形成观察者100可以感知立体图像的立体视觉区域90。如图9A-9C所示，作为该情况下的主波瓣的立体视觉区域90形成在与作为参照图5所说明的主波瓣的立体视觉区域80大致一致的位置上。

类似地，图9B是图像生成处理单元30根据通过相对位置计算单元40获得的计算结果判断观察者100的左眼101存在于第二视点区域51b且右眼102存在于第一视点区域50a的场景的示例的图。

该情况下，图像生成处理单元30生成用于第二视点区域51b的第二视点图像61b(图7)的图像数据，并生成用于第一视点区域50a的第三视点图像61c(图7)的图像数据，将它们作为3D数据输出至显示面板驱动电路21。即，在此应用的“2”、“3”分别与第二视点图像61b、第三视点图像60c相对应。

由此，能够形成观察者100可以感知立体图像的立体视觉区域91。与上述的情况同样地，立体视觉区域91的位置与参照图6所说明的反向视觉区域85位置大致一致。

类似地，图9C是图像生成处理单元30根据通过相对位置计算单元40获得的计算结果判断观察者100的左眼101存在于第一视点区域51a且右眼102存在于第二视点区域51b的场景的示例的图。

该情况下，图像生成处理单元30生成用于第一视点区域51a的第一视点图像61a(图7)的图像数据，并生成用于第二视点区域51b的第二视点用图像61b(图7)的图像数据，将它们作为3D数据输出至显示面板驱动电路21。即，在此应用的“1”、“2”分别与第一视点用图像60a、第二视点用图像60b相对应。

由此，能够形成观察者100可以感知立体图像的立体视觉区域92。与上述的情况同样地，立体视觉区域92的位置与参照图5所说明的旁波瓣81的位置大致一致。

现在，图11示出了将立体视觉区域92、91、90以及根据与其相同的规则在x轴的正方向生成的两个立体视觉区域(参照图9A-9C)分别设定作为立体视觉区域A～E，观察者的左右眼所在的视点区域与将被显示在第一视点区域和第二视点区域中的图像数据之间的对应关系的表。

在图11中的备注栏中，示出了关于各立体视觉区域A～E的位置与图5以及图6所示的立体视觉区域(主波瓣和旁波瓣)以及反向视觉区域的位置的对应关系。

对于基于两个视点的图像数据在2个视点的立体图像显示面板10上显示图像，观察者100仅能够在主波瓣和旁波瓣中感知相同的视频视频，并在主波瓣与旁波瓣之间的区域中产生反向视觉。

同时，通过采用具有生成6个视点的图像的功能并基于各图像适当形成与观察者100相对应的立体视觉区域的上述的结构，即使在2个视点的立体显示的情况下，观察者100也能够在各立体视觉区域A～E中感知不同的视频。即，赋予运动视差，由此可以有助于提高立体画质中的临场感。

通常，作为采用了用于赋予运动视差的结构的立体图像显示装置，已知通过使用6个视点的立体图像显示面板来形成图12所示的立体视觉区域的装置。图12中的立体视觉区域92a～92e形成在与图11所示的立体视觉区域A～E相对应的位置上。另外，在此应用的“1”、“2”、“3”、“4”、“5”、“6”分别与第一视点图像60a、第二视点图像60b、第三视点图像60c、第四视点图像60d、第五视点图像60e、第六视点图像60f相对应。

这种一般的6个视点的立体图像显示面板在许多人观察图像的一些情况中有效。但是，这种装置需要被构成为始终在6个视点的空间中实现光线分离。因此，与2个视点的立体图像显示面板相比较，横向的3D分辨率降低到1/3。因此，当根据横向的分辨率下降来调节纵向的3D分辨率时，分辨率整体降到至1/9。这大幅降低了立体画质。

关于该点，根据参照图7至图11所说明的第一示例性实施方式的立体图像显示装置1具有用于生成6个视点的图像的功能，并通过使用各图像根据观察者100的位置适当地形成立体视觉区域，因此能够在不像上述那样降低分辨率的情况下有效地赋予运动视差。

虽然上面描述了使用2个视点的立体图像显示面板和6个视点的图像数据的立体图像显示的情况，但第一示例性实施方式的结构不限于此。即，可以采用使用2个视点的立体图像显示面板和10个视点的图像数据的组合、4个视点的立体图像显示面板和12个视点的图像数据的组合等的结构。在这种结构的情况下，也能够获得与上述相同的效果。

因此，当考虑立体图像显示面板和图像数据的组合并将立体图像显示面板的视点数定义为N(N为等于或大于2的自然数)时，根据第一实施方式的结构内容通常可以如下表示。

在以使主波瓣存在于朝向显示面的正面的方式构成的立体图像显示面板中，将输入到立体图像显示面板中的各视点的图像数据的数定义为J时，期望满足“J＞N”的关系，另外，满足“J＝s×N(s为等于或大于2的整数)”的关系。

应当注意，朝向显示面的正面是指当观察者100位于来自以图像显示中心为起点的显示面的法线(以下，称作显示法线)时的观察者100的方向。

如示出主波瓣的中心线和显示法线大致一致的状态的图5所示，设计为在偶数视点(N＝2，4，6，…)的大多数的情况下它们彼此大致一致。

同时，在奇数视点(第一邻接视点区域：N＝3，5，7，…)的情况下，主波瓣的中心线可以与显示法线一致，或者中心线可以相对于显示法线以与视点间距相对应的角度或比其小的角度偏移。

在后者的情况下，当主波瓣的中心线与显示法线之间大致形成的角度在规定的角度以内(如果最佳观察距离OD中的视点间距为e，则atan(e/OD)的角度以内)时，从主波瓣与旁波瓣之间的对称性的观点出发，期望将系数s的值设定为等于或大于3的奇数。这使得旁波瓣可以几乎左右彼此对称的出现。

同时，当主波瓣的中心线与显示法线之间形成的角度等于或大于规定的角度时，可以将系数s的值简单地设定为等于或大于2。不需要设定任何特殊的限定。

可以将系数s的值预先存储在图1所示的存储器33中，或者可以经由外部IF 34将指定的值作为系数s载入。

在任一情况中，图像生成处理单元30被构成为根据立体图像显示面板10的视点数N，基于系数s的值，生成J(＝s×N)个视点的图像。

另外，还可以在相对位置计算单元40或图像生成处理单元30上设置角度测量功能，该角度测量功能基于位置信息来测量主波瓣的中心线和显示法线之间形成的角度，并进一步在图像生成处理单元30上设置比较/设定功能，该比较/设定功能将所形成的角度与atan(e/OD)进行比较、当角度等于或小于atan(e/OD)时将系数s设定为等于或大于3的奇数。这使得旁波瓣能够在一定条件下几乎左右对称地出现。

对于图像的生成，具有下列各种方法：例如从存储在数据累积单元32中的三维多边形数据虚拟地配置视点数的摄像机并通过算术计算器31进行实时渲染的方法、根据CZ数据来生成视点数的图像的方法。

当生成图像时，图像生成处理单元30可以使用在各种方法之中预先设定的方法，或者可以根据使用环境和外部信号适当地选择方法。另外，还可以采用通过图像生成处理单元30预先生成J个视点的图像并将它们保存在数据累积单元32中的结构。

这使得能够在以较少的视点数维持高分辨率的同时将运动视差赋予多个视点。

另外，在视点数N为等于或大于3的情况下，可以根据观察者100的移动方向，更新将被输出到对象视点区域的图像数据。

在此，图13示出了当采用3个视点(视点数N＝3)的立体图像显示面板作为立体图像显示面板10时的光线分离状态与观察者的位置之间的关系。在图13中，作为与观察者的位置相对应地形成的视点区域，示出了作为第一视点区域的视点区域50a、51a、52a，作为第二视点区域的视点区域50b、51b、52b，以及作为第三视点区域的视点区域50c、51c、52c，作为观察者的位置，示出了位置110a和位置110b。

另外，图14中示出了经由图13中的3个视点的立体图像显示面板10向各视点区域输入的图像数据的示例。在图14中，作为各视点区域用的图像数据，示出了B1、B2、B3、B4、B5、B6、B7、B8、B9…,如图3和图7所示，在各视点图像之间，骰子的“5”的面的大小和“3”的面的大小分别不同。即，如图14所示，采用从B1向B9、“5”的面逐渐减小、“3”的面逐渐增大的结构。

图14所示的图像的生成方法与参照图8所说明的方法基本上相同。即，将根据图像数据的数量的各视点用摄像机设置为与x轴大致平行，且通过这些摄像机来拍摄3D物体以生成图像。

另外，图15和图16示出了，关于观察者从位置110a移动至位置110d的情况(图13：←)、以及观察者从位置110d移动至位置110a的情况(图13：→)这两种情况，观察者的左右眼所在的视点区域与输入到第一视点区域、第二视点区域、第三视点区域中的视差图像数据之间的关系。

图15是示出观察者从位置110a向x轴方向的负侧(左侧)移动的情况的表。

首先，将观察者位于位置110a的状态定义为(A)。在(A)的状态下，观察者的左眼所在的视点区域为50b，右眼所在的视点区域为50c。关于图像数据，图像数据B6被输入到视点区域50b，图像数据B7被输入到视点区域50c。图像数据B5或B8被输入到左右眼均不在的视点区域50a。

接下来，将观察者的左眼位于视点区域50a、右眼位于视点区域50b的状态定义为(B)，假设观察者从(A)的状态移动到(B)的状态。在(B)的状态下，图像数据B5被输入到视点区域50a，图像数据B6被输入到视点区域50b。虽然图15中没有示出，但是，如果观察者从(A)的状态移动至x轴方向的正侧(右侧)并且观察者的右眼所在的视点区域变为52a，则图像数据B8被输入到视点区域52a。

在(B)的状态下，即使在左右眼均不在的视点区域51c中维持图像数据B7的输入，似乎也不会有问题。

但是，在第一示例性实施方式中，显示控制器24采用以下结构：考虑从(A)向(B)的移动方向(左侧)、继续向相同方向移动引起观察者的左眼可能位于的视点区域51c中的图像数据预先切换为与(C)的状态相对应的图像数据B4。

更具体地，图像生成处理单元30具有图像数据切换处理功能(图未示)：基于来自相对位置计算单元40的按时间顺序的位置信息和来自观察者位置测量单元45内的传感器(图未示)的信息所示的观察者的移动方向，估计观察者的下一移动位置，并将与估计位置相对应的图像数据(视点图像)输出至显示面板驱动电路21。

即，在立体图像显示面板10朝向3个以上的视点(N≥3)分离视差图像的情况下，图像生成处理单元30利用图像数据切换处理功能，根据观察者的移动方向，选择用于观察者的左右眼均不在的视点区域的视点图像，并将其输出到立体图像显示面板10。在(B)的状态下，例如，将相对于视点区域50a的例如视点区域51c那样的关系的视点区域称作邻接视点区域。

与上述情况同样地，当观察者从(B)的状态移动至(C)的状态(观察者的左眼位于视点区域51c、右眼位于视点区域50a的状态)时，如图15所示,在(C)的状态下维持向观察者的左眼所在的视点区域51c输入图像数据B4的状态。

另外，通过考虑从(B)向(C)的移动方向，显示控制器24采用以下结构：用于观察者继续向相同方向移动引起观察者的左眼有可能位于的视点区域51b的图像数据预先切换为与(D)的状态相对应的图像数据B3。

显示控制器24还在下面的(D)、(E)的状态下重复这些处理动作。通过采用这种结构，即使在观察者的移动速度大的情况下，也能够呈现不适感的量极少的立体图像。

在图15中，带下划线的各图像数据是基于观察者的移动位置的估计结果进行切换处理后的图像数据。

图16示出观察者从位置110d向x轴方向的正侧(右侧)移动的情况。另外，在观察者位于位置110d的(E)的状态下，图像数据B3被输入到观察者的右眼所在的视点区域51b。

考虑从(E)向(D)的移动方向(右侧)，由继续向相同方向的移动引起观察者的右眼位于第一视点区域的状态是(C)的状态。因此，在第一示例性实施方式中，构成为当观察者从(E)的状态移动至(D)的状态时将用于第一视点区域(视点区域52a等)的图像数据预先切换成与(C)的状态相对应的图像数据B5。

当观察者从(D)的状态移动至(C)的状态时，维持向观察者的右眼所在视点区域50a输入图像数据B5的状态，并且在(C)的状态下也维持该状态。

考虑从(D)向(C)的移动方向(右侧)，由继续向相同方向移动引起观察者的右眼位于第二视点区域的状态是(B)的状态。因此，与上述的情况同样，构成为将用于第二视点区域(视点区域50b等)的图像数据预先切换为与(B)的状态相对应的图像数据B6。

类似地，在(B)的状态下，通过考虑从(C)向(B)的移动方向(右侧)，也构成为将由于继续向相同方向的移动引起观察者的右眼有可能位于的视点区域50c的图像数据预先切换为与(A)的状态相对应的图像数据B7。

即，在接下来的(B)、(A)的状态下显示控制器24也重复这样的处理动作。通过采用这种结构，即使在观察者的移动速度大的情况下，也能够呈现不适感的量极小的立体图像。

在图16中，带下划线的各图像数据也是基于观察者的移动位置的估计结果执行切换处理后的图像数据。

另外，理想地，期望通过参照图1等所说明的观察者位置测量单元45和相对位置计算单元40执行的处理所需的时间尽可能接近0。然而，实际上，对于数据传送、计算等，花费0.1秒以上。

在这种情况下，当基于来自相对位置计算单元40的信号(位置信息)输出来自图像生成处理单元30的图像数据时，观察者有可能没有停留在测量的位置。特别是当观察者的移动速度大时，观察者的左右眼可以位于所估计的视点区域外。因此，在最差的情况下，可能不能感知到规定的立体图像。

鉴于该问题，第一示例性实施方式采用以下结构：考虑观察者的移动方向而将预先选择的图像数据预先输入到对象视点区域，如上所述。因此，能够在不使立体可视性恶化的情况下对以很快速度进行移动的观察者赋予平滑的运动视差。

即，如对图像数据赋予下划线的图15和图16明确所示，在观察者移动之前，输入根据观察者的移动方向的有意义的图像数据。由此，即使在观察者的移动速度大的情况下，也能够呈现没有不适感的立体图像。

接下来，图17示出了当采用4个视点(视点数N＝4)的立体图像显示面板作为立体图像显示面板10时的光线分离状态与观察者之间的关系的示例。在图17中，作为与观察者的位置相对应地形成的视点区域，示出了作为第一视点区域的视点区域50a、51a、52a、作为第二视点区域的视点区域50b、51b、52b、作为第三视点区域的视点区域50c、51c、52c、以及作为第四视点区域的视点区域50d、51d、52d，作为观察者的位置，示出了位置111a和位置111b。

另外，与图13的情况同样地，参照图14说明经由立体图像显示面板10输入到各视点区域的视差图像数据。

图18和图19示出了对于观察者从位置111a移动至位置111d的情况(图17：←)、以及观察者从位置111d移动至位置111a的情况(图17：→)这两种情况，观察者的左右眼所在的视点区域与输入到第一、第二、第三、第四视点区域中的视差图像数据之间的关系。

图18是示出观察者从图17所示的位置111a向x轴方向的负侧(左侧)移动的情况的表。

首先，将观察者在位置111a的状态定义为(A)。在(A)状态下，观察者的左眼所在的视点区域为50b，右眼所在的视点区域为50c。关于图像数据，图像数据B6被输入到视点区域50b，图像数据B7被输入到视点区域50c。图像数据B5被输入到左右眼均不在的视点区域50a，图像数据B8被输入到视点区域50d。

即使在观察者从(A)移动至(B)的情况下，图像数据B5也持续地被输入到视点区域50a。即，与(A)的状态的情况相同地，图像数据B5被输入到在(B)的状态下观察者的左眼所在的视点区域50a。

另外，当观察者从(A)移动至(B)时，即使在左右眼均不在的视点区域51d和视点区域51c中维持图像数据B8和图像数据B7的输入，似乎也不会有问题。但是，与上述的3个视点的立体图像显示面板(图13)的情况相同地，采用以下结构：考虑从(A)向(B)的移动方向(左侧)，将由于观察者继续向相同方向的移动引起观察者的左眼有可能位于的视点区域51d中的图像数据预先切换为与(C)的状态相对应的图像数据B4。

另外，在根据第一示例性实施方式的采用4个视点的立体图像显示面板的立体图像显示装置1中，显示控制器24在上述切换处理的同时，根据从(A)向(B)的移动速度v1的大小，选择并切换用于由于进一步继续向相同方向的移动引起观察者的左眼可能位于的视点区域51c的图像数据。

在(B)的状态下，例如，将相对于视点区域50a的例如视点区域51d、51c那样的关系的视点区域分别称作第一邻接视点区域和第二邻接视点区域。

更具体地，图像生成处理单元30具有图像数据选择处理功能(图未示)：基于来自相对位置计算单元40的按时间顺序的位置信息和来自观察者位置测量单元45内的传感器(图未示)的与观察者的移动速度有关的信息，预先生成由于进一步继续移动引起观察者的眼可能位于的视点区域中的图像数据，并将与估计位置相对应的图像数据(视点图像)输出到显示面板驱动电路21。

即，在立体图像显示面板10朝向4个以上的视点(N≥4)分离视差图像的情况下，图像生成处理单元30利用图像数据选择处理功能，根据观察者的移动方向和移动速度，选择观察者的左右眼均不在的视点区域中的视点图像，并将其输出到立体图像显示面板10。

图像数据选择处理功能是通过将移动速度v1与预先设定的阈值vth比较来选择图像数据的功能。更具体地，构成为：当移动速度v1为阈值vth以下时(v1≤vth)时选择图像数据B7，当移动速度v1大于阈值vth时(v1＞vth)选择图像数据B3。

即，当移动速度v1为阈值vth以下时，维持图像数据B7，当移动速度v1大于阈值vth时，将图像数据切换为B3。

在图18中通过应用下划线所示，即使当观察者从(B)移动到(C)并进一步移动到(D)、(E)时，显示控制器24内的各结构部件也被构成为有效地发挥功能，从而执行相同的处理动作。由此，能够呈现与移动速度快的观察者相对应的没有不适感的立体图像。

图19是示出观察者从图17所示的位置111d向x轴方向的正侧(右侧)移动的情况的表。

首先，将观察者在位置111d的状态定义为(E)。在(E)的状态下，观察者的左眼所在的视点区域为51b，右眼所在的视点区域为51c。关于图像数据，图像数据B2被输入到视点区域51b，图像数据B3被输入到视点区域51c。图像数据B1和图像数据B4被分别输入到左右眼均不在的视点区域51a和视点区域51d。

当观察者从(E)移动至(D)时，图像数据B5从(E)的状态继续被输入到右眼所在的视点区域51d。

在这种移动时，与参照图18说明的情况相同，采用如下结构：考虑从(E)向(D)的移动方向(右侧)，将由于观察者继续向相同方向的移动引起观察者的左眼可能位于的视点区域50a中的图像数据预先切换为与(C)的状态相对应的图像数据B5的同时，根据从(E)向(D)的移动速度v2的大小，选择并切换由于观察者继续向相同方向的移动引起观察者的左眼可能位于的视点区域51b中的图像数据(图像数据选择处理功能)。

即，与上述的情况相同，显示控制器24被构成为：利用图像生成处理单元30内设置的图像数据选择处理功能(图未示)，在移动速度v2为阈值vth以下时(v2≤vth)维持图像数据B2，在移动速度v2大于阈值vth时(v2＞vth)，选择并切换至图像数据B6。

如图19中通过应用下划线所示，即使当观察者从(D)的状态移动到(C)的状态并进一步移动到(B)和(A)时，显示控制器24内的各结构部件被构成为有效地发挥功能，从而执行相同的处理动作。由此，能够呈现与移动速度快的观察者相对应的没有不适感的立体图像。

观察图18和图19，可以发现：根据观察者移动的方向，带下划线的图像数据(与带下划线的图像数据有关的视点区域)不同。这示出了第一示例性实施方式的立体图像显示装置1能够呈现根据观察者的移动方向和移动速度的灵活的图像数据。

如上所述，通过采用以下结构能够呈现不适感的量更小的立体图像：在观察者的移动速度大的情况下，不仅对于观察者的左眼移动至的下一个视点区域(第一邻接视点区域)，而且对观察者通过进一步的移动可能位于的再下一个视点区域(第二邻接视点区域)，预先输入相应的图像数据。

如上文参照图17等所说明的，根据观察者的移动方向和移动速度来选择图像数据的处理动作是当视点数N为等于或大于4时应用的结构内容。利用图像数据选择处理功能(图未示)选择并输入图像数据时的对象视点区域(所选择的输入对象区域)是将作为移动方向的左眼或右眼的视点区域作为起点的第一邻接视点、第二邻接视点、…、第(N－2)邻接视点。

即，在视点数N为4个以上(N≥4)的情况下，图像生成处理单元30通过利用图像数据选择处理功能，选择将观察者即将移动之前所在的视点区域作为起点的第一至第(N－2)邻接视点区域作为观察者的左右眼均不在的视点区域。

另外，虽然在至此的说明中使用了对于各视点区域使用一个图像数据的情况，但也可以对各视点区域使用两个以上的图像数据。

作为一个示例，说明针对2个视点的立体图像显示面板对各视点区域使用四个图像数据的情况。

在此，参照图6、图9、图14、以及作为图9C的放大图的图10，首先，对观察者100的位置在图9C的情况进行说明。

作为图9C的放大图的图10示出了将左眼所在的第一视点区域51a在x方向上分割成四个从而设置第一视点子区域51aa、51ab、51ac、51ad的状态。

根据观察者100的左眼从－x方向向+x方向(x轴的正方向)移动的位置，针对各第一视点子区域，显示从图14所示的图像数据B1、B2、B3、B4中选择的一个图像数据。

具体而言，当观察者100的左眼位于51aa时显示图像数据B1，当左眼位于51ab时显示图像数据B2，当左眼位于51ac时显示图像数据B3，当左眼位于51ad时显示图像数据B4。

类似地，将右眼所在的第二视点区域在x方向上分割成四个(图未示)，根据观察者100的右眼从－x方向向+x方向移动的位置，针对各第二视点子区域(图未示)，显示从图14所示的图像数据B5、B6、B7、B8中选择的一个图像数据。

这些图像数据B1至B8通过图1所示的图像生成处理单元30生成，并且图像生成处理单元30将它们作为3D数据输出到显示面板驱动电路21。

接下来，当观察者100移动到图9B所示的位置时，与上述的图9C的情况相同，针对左眼所在的第二视点区域51b的各子区域(图未示)，显示图14所示的图像数据B5、B6、B7、B8，针对右眼所在的第一视点区域50a的各子区域(图未示)，显示图14所示的图像数据B9、B10、B11、B12(B10及其以后没有示出)。

另外，当观察者100移动到图9A所示的位置时，与上述的图9C的情况相同，针对左眼所在的第一视点区域50a的各子区域(图未示)，显示图14所示的图像数据B9、B10、B11、B12(B10及其以后没有示出)，针对右眼所在的第二视点区域50b的各子区域(图未示)，显示图14所示的图像数据B13、B14、B15、B16(图未示)。

如上所述，在针对各视点区域使用四个图像数据的情况下，将四个图像数据视作一个图像数据组(例如，图14中被利用虚线的矩形包围的图像数据)。由此，能够实现以下的处理内容：当视点数N为3个视点时，根据观察者100的移动方向，切换图像数据组，当视点数N为4个视点以上时，根据观察者100的移动方向和移动速度，切换图像数据组。由此，能够呈现由观察者100的运动引起的不适感被大幅缓和的立体图像。

虽然在此示出了将四个图像数据视作一个图像数据组的例子，但根据第一示例性实施方式的立体图像显示装置1不仅限于此。即，可以采用以下结构：将第一视点区域至第四视点区域的各视点区域分割成四个得到的区域视作明显的视点区域，根据观察者100的移动方向和移动速度选择并切换被适当地显示在明显的视点区域上的图像数据。由此，能够呈现对于观察者的运动大幅缓和不适感的立体图像。

随着用于各视点区域的图像数据的数量增加，能够获得非常平滑的运动视差。当图像数据的数量增加时，期望相应地增加显示控制器24内的数据累积单元32和存储器33的容量，从而使算术计算器31的处理能力高速化。

例如，在2个视点的立体图像显示面板中，针对各视点区域使用20个图像数据的情况下，即使仅考虑主波瓣及其两侧的旁波瓣，也能够获得与120个视点的立体图像显示面板相当的运动视差。

应当注意，120个视点的立体图像显示面板的3D分辨率通常为2个视点的立体图像显示面板的1/60，因此3D画质严重下降。

然而，通过第一示例性实施方式的这种结构，能够如上所述同时实现高的3D分辨率和平滑的运动视差。

(动作说明)

接下来，基于图20所示的流程图简单地说明参照图1至图19所说明的立体图像显示装置1的动作内容。

首先，观察者位置测量单元45通过使用设置在其自身的摄像机来测量观察者100的位置，并且将测量结果输出(图20：S101)。

然后，相对位置计算单元40基于从观察者位置测量单元45获取的测量结果，计算左眼101和右眼102相对于预先设定在立体图像显示面板10上的基准点(在此，图像显示中心)的相对位置，并输出计算结果(位置信息)(图20：S102)。

然后，图像生成处理单元30基于从相对位置计算单元40获取的位置信息，生成并输出3D数据和控制信号(图20：S103)。

在此，采用3个视点的立体图像显示面板时的图像生成处理单元30基于与观察者的移动方向有关的信息，估计观察者的下一移动位置，与估计位置相对应地生成观察者的两眼均不在的视点区域的图像数据，并将图像数据输出到显示面板驱动电路21(图像数据切换处理功能)(图20：S103)。

另外，采用4个视点的立体图像显示面板时的图像生成处理单元30基于与观察者的移动速度有关的信息，预先生成观察者的两眼均不在的视点区域的图像数据，并将图像数据输出到显示面板驱动电路21(图像数据切换处理功能)(图20：S103)。

接下来，显示面板驱动电路21基于从图像生成处理单元30获取的3D数据来驱动显示面板，图像分配控制电路22根据来自图像生成处理单元30的控制信号来控制光线分离模块12的动作(图20：S104)。

还可以将上述的步骤S101至S104(图20)中的每个步骤的执行内容程序化，并且使一系列的各控制程序通过计算机实现。

(第一示例性实施方式的效果等)

在第一示例性实施方式中，采用用于扩大根据装置结构所确定的视点数的结构。由此，能够在不降低分辨率的情况下赋予运动视差。

另外，通过根据观察者的移动方向和移动速度进行图像控制的立体图像显示装置，能够提供具有更小量的不适感的立体图像。

另外，即使采用小的视点数的立体图像显示面板时，也能够如上所述适当地进行使用多个视点图像的图像切换处理。因此，能够以高分辨率投影具有平滑的运动视差的立体图像。

另外，由于相对位置计算单元40基于来自观察者位置测量单元45的测量结果来计算观察者的两眼中的每一个的相对位置，并且图像生成处理单元30基于计算结果来生成并输出有意义的图像和控制信号，因此，根据第一示例性实施方式的立体图像显示装置能够生成并显示与观察者的位置相对应的有意义的视差图像。

作为根据本发明的示例性优点，本发明尤其能够提供生成并显示与观察者的位置相对应的有意义的视差图像的立体图像显示装置和终端装置。

(第二实施方式)

参照图21至图26对根据本发明的图像显示装置的第二示例性实施方式进行说明。对于与上述的第一示例性实施方式相同的结构部件等，使用相同的附图标记。

首先，图21示出了通过根据第二示例性实施方式的2个视点的立体图像显示面板10进行的光线分离的状态。与上述的图5等的情况相同，图21是从y轴的正方向观察时的zx平面的剖视图(参照图1)。

当将观察者的两眼之间的间隔定义为d(通常为d＝65mm)、将第一视点区域和与其邻接的第二视点区域之间的视点间距定义为e时，通常，为了确保2个视点的立体图像显示面板中的规定的立体视觉区域，认为需要满足“d≤e”的关系。以其作为前提构成各部件。

然而，如图21所示，在此的2个视点的立体图像显示面板10的特征在于：作为观察者的两眼之间的距离的d与第一视点区域50a和邻接的第二视点区域50b或51b之间的视点间距e之间的关系满足“d＞e”。其他的结构内容与上述的第一示例性实施方式的图9A的状态相同。

为了在3D串扰方面说明视点间距，图22中示出了显示面的中心部分中的3D串扰特性。在这种情况下，横轴是最佳观察距离(OD：参照图5)中的x轴方向，纵轴是3D串扰的值(3D串扰值)。

在第二示例性实施方式中，将横轴定义为x轴方向的大小(x轴方向的距离)，与3D串扰特性有关的横轴可构成为示出利用x轴的大小相对于最佳观察距离的正切计算出的视角。

3D串扰被定义为相对于左右眼中的每一只眼的另一只眼的图像的泄漏混合量。因此，100％串扰的状态是指左眼图像和右眼图像以1：1的比率混合的状态。另外，视点间距与3D串扰为100％的点之间的x轴范围相等，因此在图22中使用相同的附图标记“e”表示。

当3D串扰的值增大时，立体感消失，有可能对观察者产生疲劳感和其他的不适感。因此，期望将串扰的值(串扰量)设为预先设定的基准值CT1以下。通常，该基准值CT1被设定为10％以下。另外，当将其设定为5％以下时，能够更有效地缓解上述问题。

另外,在由基准值CT1限定的视野范围内，图22示出了将低3D串扰范围定义为f、将高3D串扰范围定义为c的其一部分。

当观察者的左右眼进入低3D串扰范围f时，观察者100能够视觉识别良好的立体图像。

用实线表示的70a和72a分别相当于图21所示的第一视点区域50a和52a，用虚线表示的70b和71b分别相当于图21所示的第二视点区域50b和51b。

当两眼之间的间隔d的值超过视点间距(e+f)的值时，观察者100无法视觉识别立体图像，这意味着所谓的立体视觉区域不存在。

因此，第二示例性实施方式被构成为满足“(e+f)＞d＞e”的关系。

图23示出了当观察者从图22所示的(A)的状态移动到x轴方向的负侧时、即从(A)的状态按顺序移动到(B)、(C)、(D)所示的各状态时观察者的左右眼所在的视点区域(包括串扰区域)。

另外，图24示出了观察者的左右眼所在的视点区域与第一视点区域以及第二视点区域的图像数据之间的对应关系。在此，示出了使用图7所示的图像数据的情况。

另外，作为比较例，图25和图26示出了使用满足“d＜e”的关系的立体图像显示面板的情况下的与上述相同的对应关系等。

图21、或图24和图26的图像数据栏(括号内)所示的“2“、“3”、“4”分别与第二视点图像60b、第三视点图像60c、第四视点图像60d相对应。另外，在图24和图26中的视点区域栏(括号内)中，示出了观察者的两眼分别所在的范围(低3D串扰范围：f，高3D串扰范围：c)。

将图23与图25比较，在观察者的位置为(A)或(D)的情况下左右眼两者处于进入低3D串扰区域的状态，在观察者的位置为(B)或(C)的情况下左右眼中的一者进入低3D串扰区域而另一者进入高3D串扰区域的状态，这两点是一致的。

然而，当观察者从(A)移动至(B)时，在如第二示例性实施方式所示的“d＞e”的情况(图23)下，从左眼产生高3D串扰区域，在如比较例中的“d＜e”的情况(图25)下，从右眼产生高3D串扰区域，这点是不同的。

这对于观察者从(B)移动至(C)的情况也是相同的。

在(B)或(C)的情况中，向第一视点区域和第二视点区域投影的图像数据是基于观察者移动前的状态，根据移动后的观察者的左右眼的哪只眼存在于低3D串扰区域f来确定的。即，在这种状态下，显示控制器24被构成为通过优先考虑位于低3D串扰区域f的眼的感知来选择图像数据(图像数据优先选择功能)。

例如，如图24所示，在(A)的情况下，左眼存在于作为第一视点区域的70a，右眼存在于作为第二视点区域的70b。作为图像数据，作为第三视点图像的60c被投影到第一视点区域，作为第四视点图像的60d被投影到第二视点区域。

当观察者从该状态移动至(B)的状态时，左眼存在于第一视点区域70a和第二视点区域71b混合的高3D串扰区域c，右眼存在于作为第二视点区域的70b。在该情况下，如上所述，优先考虑右眼的感知，使得显示控制器24针对第二视点区域使用作为与(A)的状态相同的第四视点图像的60d，针对第一视点区域也使用与(A)的状态相同的第三视点图像60c。

然后，当观察者从(B)移动至(C)时，左眼存在于作为第二视点区域的71b，右眼存在于第一视点区域70a和第二视点区域70b混合的高3D串扰区域c。在这种情况下，如上所述，优先考虑左眼的感知，由此显示控制器24将用于第二视点区域的图像切换为与(B)的状态不同的第二视点图像60b，同时针对第一视点区域继续使用第三视点图像60c。

第二视点图像的切换处理是考虑观察者向x轴负方向的移动的处理。即，其是当观察者到达(D)的状态时与在第一视点区域中维持的第三视点图像60c之间形成立体视觉区域(用于避免反向视觉状态)的处理。

由此，当观察者从(C)移动至(D)并且左眼存在于作为第二视点区域的71b、右眼存在于第一视点区域70a时，能够在第一视点区域和第二视点区域中原样地使用与(C)的状态相同的视点图像。

即，第二示例性实施方式被构成为在观察者从(A)移动至(D)时在第二视点区域中仅进行一次图像数据的切换。

图26所示的情况也是相同的。即，当观察者从(A)移动至(B)时，左眼存在于作为第一视点区域的70a，右眼存在于第一视点区域70a和第二视点区域71b混合的高3D串扰区域c。因此，优先考虑左眼的感知，由此针对第一视点区域使用与(A)的状态相同的第三视点图像60c，针对第二视点区域也使用与(A)的状态相同的第四视点图像60d。

接下来，当观察者从(B)移动到(C)移动时，左眼存在于第一视点区域70a和第二视点区域71b混合的高3D串扰区域c，右眼存在于作为第一视点区域的70a。因此，优先考虑右眼的感知，执行以下的考虑到观察者向x轴负方向的移动的切换处理：用于第二视点区域的图像被切换为第二视点图像60b，针对第一视点区域原样地使用第三视点图像60c。

如上所述，在满足“d＞e”(第二示例性实施方式)和满足“d＜e”(比较例)的两个情况中，当观察者从(B)移动至(C)时，在一个视点区域中切换图像数据。

另外，在“d＝e”的情况下，图26中的(B)和(C)的状态混合。因此，当观察者从(A)的状态移动至该状态时，左右眼均存在于高3D串扰区域，当观察者进一步移动时，直接迁移到(D)的状态。

即，在(B)+(C)的状态下，左右眼都不会进入低3D串扰区域。因此，具有不适感的图像被瞬时输入，因此使用采用满足“d＝e”的结构的立体图像显示面板不认为是优选的。

如上所述，通过使用第二示例性实施方式的结构，在“d＞e”的情况下，可以以与“d＜e”的情况相同的方式执行图像切换处理。因此，当x轴的可见范围的大小恒定时，能够设置更多的视点区域，由此能够呈现平滑的运动视差。

(第二示例性实施方式的效果等)

在第二示例性实施方式中，立体图像显示面板被构成为：考虑到低3D串扰范围f和高3D串扰范围c的存在，相邻的视点区域之间的视点间距e比观察者的两眼之间的距离d小。即，通过使用小间距，能够实现有意义的光线分离，由此，即使具有两个视点，也能够呈现平滑的运动视差。

其他的结构和动作与上述的第一示例性实施方式相同，由此产生的其他的作用效果也相同。特别地，在针对各视点区域使用两个以上的图像数据的情况下，能够呈现更平滑的运动视差。

(第三示例性实施方式)

参照图27和图29说明根据本发明的图像显示装置的第三示例性实施方式。

第三示例性实施方式的特征在于，对3个视点以上的立体图像显示面板采用以下结构：当视点数为N(N为等于或大于2的自然数)、各视点间距为e、观察者的两眼之间的距离为d时，“e×(N–2)≦d≦e×(N–1)”的关系成立。应当注意，对于与上述的第一示例性实施方式相同的结构部件等，使用相同的附图标记。

首先，作为本发明的第三示例性实施方式的示例，图27示出了通过4个视点的立体图像显示面板10进行的光线分离的状态。

如图27所示，在立体图像显示面板10的显示面侧，存在用于输出用于4个视点的图像数据的区域，该区域由第一视点区域50a、51a、52a…，第二视点区域50b、51b、52b…，第三视点区域50c、51c、52c…，以及第四视点区域50d、51d、52d…构成。

另外，主波瓣90由50a、50b、50c、50d构成，旁波瓣91由51a、51b、51c、51d构成，旁波瓣92由52a、52b、52c、52d构成。

与在第一实施方式中所说明的情况相同，观察者的左眼存在于旁波瓣91并且右眼存在于主波瓣90的情况是反向视觉区域。

在图27所示的4个视点(N＝4)的情况下，上述“e×(N－2)≤d≤e×(N－1)”的关系为“2e≤d≤3e”的关系。

接下来，图28中示出了观察者的位置与各视点区域之间的关系，在此将对观察者从位置112a移动至位置112d的情况进行说明。

首先，当观察者在位置112a时，观察者的左眼存在于第一视点区域50a，观察者的右眼根据上述的“e×(N－2)≤d≤e×(N－1)”的关系，存在于第三视点区域50c或第四视点区域50d。

作为被输入到该情况下的各视点的图像数据，采用在第一示例性实施方式中参照的图14所示的图像数据。

图29是示出在观察者从位置112a向位置112d依次移动的情况下观察者的左右眼所在的视点区域与用于各视点区域的图像数据之间的对应关系的表。

如图29所示，在观察者在位置112a的(A)的状态下，针对第一视点区域50a使用图像B5，针对第二视点区域50b使用图像B6，针对第三视点区域50c使用图像B7，针对第四视点区域使用图像B8。

因此，在该状态下能够视觉识别良好的立体图像。

接下来，对观察者的左眼移动到旁波瓣91的第四视点区域51d的情况(图29所示的(B)的状态)进行研究。在该状态下，观察者的右眼存在于第二视点区域50b或第三视点区域50c。这相当于上述的反向视觉区域。因此，第三示例性实施方式采用如下的结构：显示控制器24基于观察者位置测量信息，将用于第四视点区域51d的图像从B8切换为B4。通过采用这种切换处理，也能够对位于该位置的观察者提供良好的立体图像。

类似地，对观察者的左眼移动到旁波瓣91的第三视点区域51c的情况(图29所示的(C)的状态)进行研究。在该状态下，观察者的右眼存在于第一视点区域50a或第二视点区域50b。

这相当于上述反向视觉区域。因此，显示控制器24被构成为基于观察者位置测量信息，将用于第三视点区域51c的图像从B7切换为B3。通过采用这种切换处理，对存在于该位置的观察者，也能够提供良好的立体图像。

类似地，对观察者的左眼移动到旁波瓣91的第二视点区域51b的情况(图29所示的(D)的状态)进行研究。在该状态下，观察者的右眼存在于第四视点区域51d或第一视点区域50a。该区域相当于旁波瓣91或反向视觉区域。在这种情况下，为了使观察者视觉识别更好的立体图像，显示控制器24被构成为基于观察者位置测量信息将用于第二视点区域51b的图像从B6切换为B2。

如上所述，通过采用基于观察者位置测量信息进行图像切换处理的结构，即使是视点数少的多视点型立体图像显示装置，通过抑制分辨率下降，也能够获得平滑的运动视差。

(第三示例性实施方式的效果等)

如上所述，利用根据第三示例性实施方式的立体图像显示装置，即使是视点数少的多视点型立体图像显示装置，通过抑制分辨率下降，也能够获得平滑的运动视差。

其他的结构和动作与上述第一示例性实施方式的结构和动作相同，将要产生的其他的作用效果也相同。特别地，在针对各视点区域使用两个以上的图像数据的情况下，能够呈现平滑的运动视差。

(第四示例性实施方式)

参照图30至图43对立体图像显示装置的第四示例性实施方式进行说明。在上述的第一至第三示例性实施方式中，示出了对单观察方向以光学方式分离图像从而对观察者投影视差图像的情况。然而，在第四示例性实施方式中，采用对两个观察方向以光学方式分离图像从而对观察者投影视差图像的结构。

在此，对与上述的第一示例性实施方式相同的结构部件等，使用相同的附图标记。

(整体结构)

图30示出根据第四示例性实施方式的立体图像显示面板210的框图的示例。

该立体图像显示面板210包括：像素(图未示)以矩阵配置的显示面板211；以及与显示面板211的显示面侧上的各像素相对应地设置的光线分离模块250。

立体图像显示面板210能够在x轴方向为水平方向的第一配置状态、y轴方向为水平方向的第二配置状态这两个状态中的每个状态下提供立体图像显示。另外，此处的水平方向被定义为与连接观察者的左眼和右眼的直线大致平行的方向，在下文的说明中也是相同的。

将在下面描述的图42所示的显示控制器25、立体图像显示面板210、显示面板211、以及光线分离模块250的具体例与在第一示例性实施方式中所说明的结构内容(显示控制器24、立体图像显示面板10、显示面板11、以及光线分离模块12)相同。

图31示出了设置在显示面板上的像素221和构成光线分离模块(透镜阵列)250的透镜阵列元件251的配置关系的示例。

如图31A所示，由4×4个子像素形成的像素221由红色的子像素234、蓝色的子像素235、绿色的子像素236、以及白色的子像素237这四个原色构成。

另外，一个像素221中具备的4×4个子像素被设置为：各原色在x轴方向和y轴方向都不会重叠。

在此，通过将作为红色的子像素234的R1、R2、R3、R4，作为蓝色的子像素235的B1、B2、B3、B4，作为绿色的子像素236的G1、G2、G3、G4，以及作为白色的子像素237的W1、W2、W3、W4如图31A所示地配置，由此各原色不会彼此重叠。

图31B示出了图31A所示的像素221配置成矩阵的状态。构成透镜阵列250的各透镜阵列元件251被配置在与各像素221相对应的位置上。因此，立体图像显示面板210能够将光分配到x轴方向和y轴方向两者的4个视点的方向。

像素221和透镜阵列元件251分别与x轴方向和y轴方向平行地以相同的间距配置。

通常，通过使用自然数M和作为M的倍数的N(等于或大于2的自然数)，能够将根据图31所示的第四示例性实施方式的子像素和像素的结构表示如下。

当使用由M原色构成的子像素时，构成各像素的子像素数为N的平方(N个视点×N个视点)，并且N除以M的余数为0。另外，在各像素内，对于两个光线分离方向的相邻的子像素不是相同颜色。另外，在各像素内，对于两个光线分离方向的相同颜色子像素的存在概率对于所有的M原色都是相同的。

另外，子像素在两个光线分离方向上的配置间距相等。

在图31中示出了由4×4个子像素构成一个像素的情况。但是，该结构不仅限于此。例如，由3×3个子像素构成的像素配置成矩阵的显示面板等也能够同样适用。

另外，虽然使用RGBW(红色、绿色、蓝色、白色)的原色来说明4×4个子像素，但颜色不限于此。例如，也可以取代RGBW，使用RGBY(红色、绿色、蓝色、黄色)、CMYW(青色、品红色、黄色、白色)等。除此以外，也可以使用荧光色、珍珠色、干涉色作为原色。

在图31A所示的由4原色构成的4×4个子像素的结构中，可以使用在上述的第一示例性实施方式中所参照的图14所示的图像数据。

接下来，参照示出第一配置状态中的子像素结构的图32，说明输入图像与子像素之间的关系。

在此，图31中所示的像素221作为由以下部分构成的结构而发挥功能：配置有子像素W4、G4、B4、R4的子像素组241；配置有子像素B3、R3、G3、W3的子像素组242；配置有子像素G2、W2、R2、B2的子像素组243；以及配置有子像素R1、B1、W1、G1的子像素组244。

即，在使用如图14所示的输入图像的情况下，首先，与第五视点图像B5相对应的信号被输入到子像素组241，与第六视点图像B6相对应的信号被输入到子像素组242，与第七视点图像B7相对应的信号被输入到子像素组243，与第八视点图像B8相对应的信号被输入到子像素组244。

此时，由于所有的子像素组241至子像素组244由4原色构成，因此能够获得不会产生像素内的各视点图像之间的显示色数差的效果。

接下来，关于从图32所示的第一配置状态顺时针旋转90°后的第二配置状态下的子像素结构，参照图33说明各视点图像与子像素之间的关系。

在图33中，与图32的情况相同，与第五视点图像B5相对应的信号被输入到子像素组245，与第六视点图像B6相对应的信号被输入到子像素组246，与第七视点图像B7相对应的信号被输入到子像素组247，与第八视点图像B8相对应的信号被输入到子像素组248。

如上所述，在各像素内在x轴方向和y轴方向上生成同数的视差图像(视点图像)，并且在各视点图像内颜色不同的子像素的数相等。由此，在第一配置状态和第二配置状态下都能够同等地实现有意义的立体视觉。

另外，根据这种结构，无论视点数如何，能够使第一配置状态和第二配置状态的3D分辨率相同。

另外，由于如上述的一般的表示，视点数N为M色的倍数，因此，能够抑制色波纹的产生。应当注意，“色波纹”是指当观察者在配置方向上晃动视角时感知到各色的不均。当产生“色波纹”时，显示质量大幅下降。

作为光线分离模块250，可以使用静态光学元件和有源光学元件两者。然而，优选使用有源光学元件，诸如在x轴方向和y轴方向上能够分离光线的液晶透镜元件或液晶屏障元件等。

另外，如图34所示，通过采用以下结构：对于图32所示的子像素组的构成例，各透镜阵列元件251仅在作为光线分离方向的x轴方向(zx平面上的各方向)进行光线分离，而在与其正交的y轴方向(yz平面上的各方向)不进行光线分离，可以避免颜色裂纹而不依赖于分离角。图34所示的状态相当于上述的第一配置状态。

在x轴方向上光线分离后的各区域如下所述。即，50a、51a(图未示)和52a是与子像素组241相对应的第一视点区域，50b、51b(图未示)和52b是与子像素组242相对应的第二视点区域，50c、51c、和52c(图未示)是与子像素组243相对应的第三视点区域，50d、51d、和52d(图未示)是与子像素组244相对应的第四视点区域。

另外，主波瓣由50a、50b、50c、50d构成。51a、51b、51c、51d的组合或52a、52b、52c、52d的组合相当于旁波瓣。y轴方向上所示的光线59a、59b、59c、59d如图所示地不被分离。

另外，在y轴方向为水平方向的第二配置状态(与图33所示的子像素组的构成例对应)中也同样地，以仅在y轴方向进行光线分离、在x轴方向上不进行光线分离的方式构成各透镜阵列元件251。

因此，根据第四示例性实施方式的结构，在两种配置状态中可以避免颜色裂纹而不依赖于分离角。另外，可以抑制随着分离角变大、色波纹倾向于显著化的不良情况。即，该结构是用于提高视觉可视性的有效手段。

接下来，作为观察者从位于图34所示的位置113a的状态沿x轴方向移动的状况，图35中示出了立体图像显示面板210的显示面的中心部分中的3D串扰特性。

与3D串扰特性有关的细节与参照上述的第二示例性实施方式中的图23等说明的内容相同。另外，70a和72a分别相当于图34中所示的第一视点区域50a和52a，70b相当于图34中所示的第二视点区域50b，70c和71c分别相当于图34中所示的第三视点区域50c和51c，70d和71d分别相当于图34中所示的第四视点区域50d和51d。

在图35中，与图23的情况相同，横轴取最佳观察距离中的x轴方向，纵轴取3D串扰的值。同样地，可以将与3D串扰特性有关的横轴表示为通过x轴的值相对于最佳观察距离的正切计算出的视野角度。

在此，图36示出了如图35的(A)至(D)所示观察者向x轴的负方向依次移动的情况下的、观察者的左右眼所在的视点区域与用于第一视点区域至第四视点区域的图像数据之间的对应关系。作为将要使用的图像数据，采用上述的第一示例性实施方式中的图14所示的图像数据。

如图36所示，当观察者从位置113b移动至位置113c时，即观察者从主波瓣进入反向视觉区域时，显示控制器24在接收到来自已经检测到当时的观察者位置的观察者位置测量单元45的测量结果时切换图像数据。

第四示例性实施方式采用当观察者达到(C)的状态时切换用于四个视点区域的所有图像数据的处理。因此，即使当观察者通过(D)的状态进一步向x轴的负方向移动时，在观察者进入下一反向视觉区域之前不需要切换图像数据。

当观察者从位置113a移动至位置113b或者从位置113c移动至位置113d时，如图36所示，不进行图像数据的切换。

另外，还可以通过图37所示的子像素组构成配置在显示面板上的各像素，并且通过使用它们使观察者感知立体视觉。

在图37A中，图31所示的像素221由以下部分构成：配置有子像素W4、B3、G4、R3的子像素组241’；配置有子像素G2、R1、W2、B1的子像素组242’；配置有子像素B4、G3、R4、W3的子像素组243’；以及配置有子像素R2、W1、B2、G1的子像素组244’。同样地，在图37B中，其由以下部分构成：配置有子像素G2、R1、W2、B1的子像素组245’；配置有子像素R2、W1、B2、G1的子像素组246’；配置有子像素W4、B3、G4、R3的子像素组247’；以及配置有子像素B4、G3、R4、W3的子像素组248’。

即，图37A示出了第一配置状态下的像素221内的子像素以及相应的透镜元件251，图37B示出了通过使第一配置状态顺时针旋转90°而将y轴方向设定为水平方向的第二配置状态下的各结构。

另外，图38示出了在第四示例性实施方式中采用的输入到各子像素的图像信息的示例。

在图38中，A1至A9、B1至B9、C1至C9、D1至D9(横向排列的各图像)是水平视差相互不同的图像。例如，如A1、B1、C1、D1的纵向排列的各图像(带有不同字母但相同数字的图像)分别是竖直视差相互不同的图像。

图38中所示的图像数据的重要的特征是纵向排列的四个视点图像(A至D)中的骰子的“1”的面的大小的差异。然而，在应用数字1至9的各视点图像之中，与上述的图14等的情况相同，骰子的“5”的面的大小和“3”的面的大小各不相同。

图38中所示的图像的生成方法与参照图8所说明的方法基本上相同。即，将根据图像数据的数量的各视点用摄像机与x轴和y轴大致平行地配置，且利用这些摄像机对3D物体进行摄像来生成图像。

在此，参照图37A和图38说明第一配置状态下的各视点图像和子像素之间的关系。

在采用图38中所示的输入图像的情况下，例如，与图像B5相对应的信号被输入到图37A的子像素组241’，与图像B6相对应的信号被输入到子像素组242’，与图像C5相对应的信号被输入到子像素组243’，与图像C6相对应的信号被输入到子像素组244’。即，与图38中的被虚线包围的各图像相对应的信号被分别输入到子像素组241’、子像素组242’、子像素组243’、子像素组244’。

由此，可以显示水平2个视点和竖直2个视点总共4个视点的图像。此时，由于所有的子像素组241’至244’由4原色构成，因此不产生像素内的各视点图像之间的显示色数差。

接下来，参照图37B和图38，说明第二配置状态下的各视点图像与子像素之间的关系。与图37A的情况相同，与图像B5相对应的信号被输入到子像素组245’，与图像B6相对应的信号被输入到子像素组246’，与图像C5相对应的信号被输入到子像素组247’，与图像C6相对应的信号被输入到子像素组248’。

根据该结构，无论视点数如何，都能够使第一配置状态和第二配置状态下的3D分辨率相同。即，由于一个像素内的子像素组的规则性，在第一配置状态和第二配置状态下，视点数变得相同。由此，在各配置状态下能够实现相同的立体视觉。

基于上述的内容，假设原色数为M；水平视差显示中的视点数为N(N为等于或大于2的自然数)；水平/竖直视差显示中的水平视点数和竖直视点数为L；水平/竖直视差的总视点数为J(＝L×L)；水平/竖直视差显示中的子像素组的每个方向的子像素数为K，则与其有关的关系一般表示如下。

应当注意，视点数N为仅水平视差显示的情况的视点数，其相当于像素内的每个方向的子像素数。

首先，当作为原色数M的平方根的为整数时，当不是整数时，K＝M。例如，在M＝1、4、9的情况下，为整数，因此K＝1、2、3。在M＝2、3的情况下，不是整数，因此K＝2、3。

接下来，每个方向的水平视点数和竖直视点数L表示为“L＝N/K(其中，L是等于或大于2的自然数)”。例如，在图31所示的像素221的情况下，“L＝4/2＝2”。如上所述，在水平/竖直视差显示中，采用如下的结构：每个方向的水平视点数和竖直视点数L成为水平/竖直视差显示中的子像素组的每个方向的子像素数K的倍数。由此，能够获得在显示图像上不产生色波纹的效果。

接下来，图39示出了图37A所示的第一配置状态下的x轴方向和y轴方向的光线分离的状况。在图39中，x轴方向是水平方向，y轴方向是竖直方向。

另外，本文采用用于在第一方向和第二方向上同时分离光线的光线分离模块250，因此在水平方向和竖直方向都赋予视差。

图39关于在第一方向和第二方向上都赋予视差的结构，示出了观察者移动到水平方向(x轴方向)上的位置114a、位置114b、位置114c等的情况、以及观察者移动到竖直方向(y轴方向)上的位置115a、位置115b、位置115c、位置115d等的情况的状态。

第一视点区域由作为来自子像素组241’的出射光的水平方向50a和竖直方向55a构成，第二视点区域由作为来自子像素组242’的出射光的水平方向50b和竖直方向55a构成，第三视点区域由作为来自子像素组243’的出射光的水平方向50a和竖直方向55b构成，第四视点区域由作为来自子像素组244’的出射光的水平方向50b和竖直方向55b构成。

水平方向上的主波瓣是观察者的左眼位于50a、右眼位于50b的一个区域。同时，在竖直方向上，具有观察者的两眼均位于55a或55b的两个主波瓣。应当注意，将与55a有关的区域定义为主波瓣1，将与55b有关的区域定义为主波瓣2，将与56b有关的区域定义为旁波瓣1，将与54a有关的区域定义为旁波瓣2。

图40示出了当关于各观察者位置(参照图39)观察者的左右眼位于各视点区域时，将哪个图像数据(参照图38)输入到各视点区域(各子像素组)的对应关系。

通常，当针对2×2个视点的立体图像显示面板使用4个视点的图像数据时，在水平方向上的主波瓣和旁波瓣中仅感知相同视频，并且在主波瓣与旁波瓣之间产生反向视觉。在这种情况下，同样地，虽然在竖直方向上不产生反向视觉，但是在主波瓣1与旁波瓣1或者主波瓣2与旁波瓣2之间分别仅感知相同视频。

同时，通过使用第四示例性实施方式的结构，如图40所示，即使是2×2个视点的立体图像显示，也能够使观察者在立体视觉区域A1、A2、A3…、B1、B2、B3…、C1、C2、C3…、D1、D2、D3…中感知到不同的视频。即，在水平和竖直方向上都赋予运动视差，这能够有助于提高立体画质的临场感。

应当注意，在竖直方向上没有两眼视差，还可以采用竖直方向上的分离角(视点间距)比水平方向的分离角(视点间距)的值小的结构。

如上所述，在使用有源的光线分离模块250的情况下，在第四示例性实施方式中，可以采用如下结构：例如，如图34所示的情况，对第一配置状态仅在x轴方向上分离光线，在y轴方向上不分离光线，并且可以采用如下结构：如图39所示的情况，在水平方向和竖直方向上都赋予视差，并且在x轴方向和y轴方向上同时分离光线。

如上所述，在采用将竖直方向上的分离角设定为小于水平方向上的分离角的结构的情况下，将示出在竖直方向上分离光线的状态的透镜253(图39)的透镜能力(折射力)设计为比示出在水平方向上分离光线的状态的透镜252(图39)的透镜能力小。

图41示出了安装有上述的根据第四示例性实施方式的立体图像显示装置1的终端装置300的示例。即，终端装置300由立体图像显示装置1、以及将装置1容纳在其中的壳体310构成。立体图像显示装置1设有能够在沿着x轴方向和y轴方向的方向上分离光线的液晶透镜元件(图未示)作为光线分离模块250，如上所述。

因此，将参照图42说明安装有根据第四示例性实施方式的立体图像显示装置1的终端装置300的结构。

相对于在第一示例性实施方式中说明的结构，将检测单元150加入此处的立体图像显示装置1，该检测单元150用于检测当终端装置300移动时引起的移位。即，检测单元150是用于识别终端装置300相对于观察者而言是水平放置还是竖直放置的结构。

检测单元150由传感器构成，该传感器检测终端装置300移动时产生的移位。应该注意，由检测单元150检测到的终端装置300的移位是倾斜角的变化和移动量。例如，在使用诸如加速度传感器或地磁传感器的传感器作为检测单元150的情况下，可以基于重力加速度和地磁来计算倾斜角的变化和移动量。即，检测单元150包括倾斜角检测模块151，该倾斜角检测模块151用于检测倾斜角的变化和移动量，由此检测立体图像显示面板10与观察者之间的位置关系。

另外，检测单元150将作为由倾斜角检测模块151产生的检测结果的与倾斜角有关的信息(移位信息)发送到图像生成处理单元30。

即，图像生成处理单元30被构成为：根据从在上述第一示例性实施方式中也示出的相对位置计算单元40获取的测量结果和来自检测单元150的信号(移位信息)，将根据终端装置300的水平方向和观察者位置的图像数据输出到显示面板驱动电路21。

当输出3D数据时，如参照图32和图33所说明的，对于第一配置状态和第二配置状态，与各视点相对应的子像素改变。因此，图像生成处理单元30被构成为将与该变化相对应的图像数据输出到显示面板驱动电路21。

与输出到显示面板驱动电路21同步，图像生成处理单元30构造成为当终端装置300处于图32所示的第一配置状态或图33所示的第二配置状态时，根据各配置状态，向图像分配控制电路22发送用于使光线分离模块250(液晶透镜)在x轴方向和y轴方向上有效的命令信号。

另外，对如第一示例性实施方式所示的仅在水平方向上进行N视点展开的情况(以下，称作水平N视点展开)、以及如第四示例性实施方式所示的在水平方向和竖直方向上分别进行L视点(L＝N/K)(总计J个视点)展开的情况(以下，称作水平/竖直J视点展开)进行选择时，图像生成处理单元30内的外部IF34被构成为有效地发挥功能。例如，可以采用如下结构：利用该结构，通过外部IF 34接收通过来自观察者的指令等从外部输出的选择信号，并且图像生成处理单元30基于选择信号内包含的信息来生成图像数据。

因此，基于该示例性实施方式的图像生成处理单元30的图像数据生成方法是通过在第一示例性实施方式中所说明的生成方法中附加根据从外部接收的选择信号来改变虚拟摄像机的位置的方法而获得的方法。

即，算术计算器31在水平N视点展开的情况下仅在水平方向上针对N个视点设定虚拟摄像机，并且在水平/竖直J视点展开的情况下，在水平方向和竖直方向上针对L视点(总计L×L个视点：J个视点)设定虚拟摄像机。同时，算术计算器31被构成为在各个情况下实施渲染处理由此生成图像数据。

另外，在水平N视点展开的情况下，当N＝2时，可以使用在第二示例性实施方式中描述的“(e+f)＞d＞e”的关系。当N≥3时，可以使用在第三示例性实施方式中描述的“e×(N－2)≤d≤e×(N－1)”的关系。

与在各实施方式中描述的内容相同，当满足该关系时，利用第四示例性实施方式的结构，能够在确保规定的立体可见性的同时提供运动视差优秀的立体图像显示装置。

另外，在图37所示的水平/竖直J视点展开的情况下，当J＝2(针对水平视差方向，2×2个视点)时，可以使用在第二示例性实施方式中描述的“(e+f)＞d＞e”的关系。当J≥3时，可以使用在第三示例性实施方式中描述的“e×(J－2)≤d≤e×(J－1)”的关系。由此，能够在确保规定的立体可见性的同时，提供运动视差优秀的立体图像显示装置。

对于竖直视差方向，可以使用比水平视差方向小的视点间距。由此，可以进一步减小色波纹并赋予平滑的运动视差。其他的动作与第一示例性实施方式的动作相同。

(动作说明)

接下来，可以参照图43所示的流程图，简要地说明根据第四示例性实施方式的立体图像显示装置1和终端装置300的动作内容。

已检测到终端装置300的移位的检测单元150将作为其检测结果的移位信息输出到图像生成处理单元30(图43：S201)。

另外，观察者位置测量单元45使用设置在其内部的摄像机来测量观察者100的位置，并将测量结果输出到相对位置计算单元(图43：S202)。

接下来，相对位置计算单元40基于从观察者位置测量单元45获取的测量结果，计算左眼101和右眼102相对于预先设定在立体图像显示面板10上的基准点(在此为图像显示中心)的相对位置，并输出计算结果(位置信息)(图43：S203)。

接下来，图像生成处理单元30基于来自检测单元150的移位信息和来自相对位置计算单元40的位置信息，生成并输出3D数据和控制信号(图43：S204)。

接下来，显示面板驱动电路21基于从图像生成处理单元30获取的3D数据驱动显示面板，并且图像分配控制电路22根据来自图像生成处理单元30的控制信号来控制光线分离模块12的动作(图43：S205)。

为了方便，按照在图43中应用的编号的顺序(S201至S205)对动作进行说明。然而，根据第四示例性实施方式的立体图像显示装置1的动作内容不仅限于该顺序。另外，还可以将各上述步骤S201至S205(图43)的执行内容程序化，并且使一系列的各控制程序通过计算机来实现。

(第四示例性实施方式的效果等)

根据第四示例性实施方式的立体图像显示装置采用以下结构：利用该结构，在各像素内在x轴方向和y轴方向生成相同数量的视差图像，在各视点图像内颜色不同的子像素的数目相等。因此，在通过有源光线分离模块在水平方向或竖直方向上赋予视差的情况、以及对这两个方向即水平方向和竖直方向同时赋予视差的情况两者中，能够使第一和第二配置状态下的3D分辨率相同。

另外，以各像素中视点数N为原色数M的倍数的方式设计第四示例性实施方式中的各像素，因此能够抑制色波纹的产生。另外，虽然在第四示例性实施方式中将从第一配置状态顺时针旋转90°而将y轴方向设定为水平方向的状态描述为第二配置状态，但是第二配置状态不仅限于此。例如，即使在通过使第一配置状态逆时针旋转90°而将y轴方向设定为水平方向的状态下，各结构部件也能够有效地发挥功能，因此，能够也获得与本文所述的第二配置状态的效果相同的作用效果。

其他的结构和动作与上述的第一示例性实施方式的结构和动作相同，其所产生的其它作用效果也相同。特别在针对各视点区域使用两个以上的图像数据的情况下，能够对水平视差、竖直视差两者呈现更平滑的运动视差。

(第五示例性实施方式)

虽然在上述的第四示例性实施方式中描述了通过朝向两个观察方向以光学方式分离图像而向观察者投影视差图像的结构例，但是这种结构内容还可以应用于第一至第三示例性实施方式的结构。

因此，在第五示例性实施方式中，参照图44和图45说明将朝向两个观察方向以光学方式分离图像的构成内容应用于第一示例性实施方式的结构而获得的立体图像显示装置。

根据第五示例性实施方式的立体图像显示装置的整体结构与图1和图2所示的立体图像显示装置1的结构内容相同，因此，在以下的说明中，方便地参照各图。因此，对与第一示例性实施方式相同的结构部件等使用相同的附图标记，并省略重复的说明。

设置在立体图像显示装置1内的立体图像显示面板10包括：显示面板11，在该显示面板11中，至少包含用于显示第一视点图像的子像素和用于显示第二视点图像的子像素的像素排列成阵列；以及光线分离模块12，该光线分离模块12设置在显示面板11的显示面侧，以用于朝向各视点分离来自上述像素的视差图像。

如图2所示，光线分离模块12具有与设置在显示面板11上的各像素相对应的透镜15排列成阵列形式的结构。即，其具有在各像素的排列方向中的一个方向(光线分离方向：图44的x方向)上分离光线的结构。

在此，将与连接观察者的左眼和右眼的直线相平行的方向定义为水平方向，并假定光线分离方向(x方向)与该水平方向大致平行的情况。因此，光线分离方向也称作水平方向。而且，将在显示面板11的显示面内(与该显示面平行的平面内)与水平方向(x方向)垂直的方向定义为竖直方向(图44的y方向)。该竖直方向是上述各像素的排列方向中的另一方向。

在立体图像显示面板10上，由第一视点子像素261和第二视点子像素262构成的像素263、以及设置在与像素263相对应的位置上并构成光线分离模块12的透镜15的多个组合以矩阵配置，它们分别被构成为能够分离光线。

图44是从图2所示的结构中提取出的视图，其示出了包含用于2个视点的子像素的像素的附近。具体地，图44示出了像素263和透镜15的组合。另外，图44示出了通过使用单方向的光线分离模块12来呈现与根据观察者的位置的两个方向中的每个方向对应的图像的状态的示例。

通过上述组合，以来自子像素组261的出射光所传播到的第一视点区域50a、51a(图未示)、52a、…、以及来自子像素组262的出射光所传播到的第二视点区域50b、51b、52b(图未示)、…沿着x轴方向交替地重叠的方式，对图像进行分离。

另外，图44还示出了在这样的图像分离空间中观察者移动到水平方向(x轴方向)上的位置114a、位置114b、位置114c、…的情况的状态、以及观察者移动到竖直方向(y轴方向)上的位置115a、位置115b、位置115c、位置115d、…的情况的状态的示例。

在该情况中，水平方向上的主波瓣是观察者的左眼位于50a、右眼位于50b的一个区域。同时，由于在竖直方向上没有透镜效果，因此不存在例如主波瓣或旁波瓣的图像分离空间。

接下来，图45示出了相对于各观察者位置(参照图44)观察者的左右眼位于各视点区域时、将哪个图像数据(参照图38)输入到各视点区域(各子像素组)的对应关系。

如上所述，即使是仅在2个视点的水平方向上分离图像的立体图像显示面板(在竖直方向上不分离图像的立体图像显示面板)，通过适当切换并显示与观察者的竖直方向的位置相对应的摄像机撮像图像，能够呈现与观察者的水平/竖直方向的移动相对应的有意义的图像。

具体地，如图45所示，通过在竖直位置115a上应用图像数据A1、A2、A3…，在竖直位置115b上应用B1、B2、B3…，在竖直位置115c上应用C1、C2、C3…，在竖直位置115d上应用D1、D2、D3…，即使当观察者在竖直方向上移动时，也能够使观察者适时地感知不同的视频。其结果，在水平和竖直方向都赋予运动视差，这可以有助于提高立体画质的临场感。

另外，如图1所示，根据第五示例性实施方式的立体图像显示装置1包括：测量观察者的位置的观察者位置测量单元45；基于测量结果计算观察者相对于立体图像显示面板10的相对位置的相对位置计算单元40；以及基于由此计算出的相对位置信息执行视差图像的生成等的图像生成处理单元30。

应当注意，利用相对位置计算单元40计算出的相对位置信息包含观察者在水平方向和竖直方向上的位置信息。因此，图像生成处理单元30能够基于相对位置信息来生成考虑到观察者在竖直方向上的移动的图像。即，通过由图像生成处理单元30经由显示面板驱动电路21向显示面板11输出所生成的图像，能够实现上述图像的切换处理。

基于水平方向上的摄像机撮像位置之间的间隔来确定水平方向上的图像切换角度(例如，图38中的A1、A2、A3…之间的切换角度)，同样地，基于竖直方向上的摄像机撮像位置之间的间隔来确定竖直方向上的图像切换角度(例如，图38中的A1、B1、C1、D1…之间的切换角度)。

通过使图像切换角度比视点间距充分小，能够获得极其平滑的运动视差。在这种情况下，特别期望根据图像切换角度来增大显示控制器24内的数据累积单元32和存储器33的容量，并使算术计算器31的处理能力高速化。

虽然本文基于第一示例性实施方式的结构内容说明了对水平和竖直方向都赋予运动视差，但是，如上所述，通过第二示例性实施方式和第三示例性实施方式的构成内容，利用相同的方法，也可以实现在水平和竖直方向都赋予运动视差的结构。

(第五示例性实施方式的效果等)

如上所述，第五示例性实施方式采用了以下结构：光线分离模块12具有在各像素的排列方向中的一个方向(X方向)上分离光线的结构；图像生成处理单元30在立体图像显示面板10的显示面内生成与关于上述的一个方向所垂直的方向(y方向)的观察者的位置相对应的图像，并将其输出到立体图像显示面板10。因此，能够将根据观察者的竖直方向的位置的摄像机撮像图像呈现给观察者。

即，即使是仅在2个视点的水平方向上分离图像的立体图像显示面板，通过采用第五示例性实施方式，也能够呈现根据观察者的竖直方向的位置的摄像机撮像图像。因此，能够在水平方向和竖直方向都赋予运动视差，这能够提高立体图像的临场感。

另外，通过基于观察者的位置测量信息使用比视点间距充分小的图像切换角度的图像数据，即使在较少视点数的多视点型立体图像显示装置中，也能够抑制分辨率下降，并获得平滑的运动视差。

其他的结构和动作与上述的各实施方式的结构和动作相同，由此产生的其他的作用效果也相同。

上述的各实施方式示出了立体图像显示装置、终端装置、立体图像显示方法、及其程序的优选的具体例，可以对其进行各种技术上的优选的限定。但是，只要没有记载特别地限定本发明，本发明的技术范围不限于这些模式。

关于上述示例性实施方式的新的技术内容总结如下，本发明不一定限于此。

补充注释1：第一示例性实施方式(J＝s×N)

一种立体图像显示装置，包括：

立体图像显示面板，所述立体图像显示面板包括：配置有多个像素的显示面板；以及光线分离模块，所述光线分离模块设置在所述显示面板的显示面侧，用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像；

观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；

相对位置计算单元，所述相对位置计算单元基于测量结果计算所述观察者相对于所述立体图像显示面板的相对位置；以及

图像生成处理单元，所述图像生成处理单元具有生成用于预先设定的J个视点(J＞N)的视点图像的功能，与所述相对位置相对应地生成根据构成所述N个视点的各视点的一个或更多的视点图像，并将所述视点图像输出到所述立体图像显示面板。

补充注释2：第一示例性实施方式(J＝s×N)

如补充注释1所述的立体图像显示装置，其中：

视点数N和视点数J满足J＝s×N(系数s为等于或大于2的自然数)的关系(在所述N个视点与J个视点之间存在J＝s×N(系数s为等于或大于2的自然数)的关系)。

补充注释3：第一示例性实施方式(旁波瓣几乎横向对称；s为等于或大于3的奇数)

如补充注释2所述的立体图像显示装置，其中：

所述立体图像显示面板具有波瓣形成功能，所述波瓣形成功能形成包含显示法线的立体视觉区域作为主波瓣，且形成与主波瓣相邻的立体视觉区域作为旁波瓣，所述显示法线是以图像显示中心为起点的来自所述显示面的法线，

假设立体可见范围最大的最佳观察距离为OD，并且所述OD处的各视点区域之间的视点间距为e，则在所述主波瓣的中心线与所述显示法线之间所形成的角度等于或小于atan(e/OD)的情况下，将所述系数s预先设定为等于或大于3的奇数；以及

所述图像生成处理单元基于所设定的系数s来生成用于所述J个视点的视点图像。

补充注释4：第一示例性实施方式(旁波瓣几乎横向对称；s为等于或大于3的奇数)

如补充注释2所述的立体图像显示装置，其中：

所述立体图像显示面板具有波瓣形成功能，所述波瓣形成功能形成包含显示法线的立体视觉区域作为主波瓣，且形成与主波瓣相邻的立体视觉区域作为旁波瓣，所述显示法线是以图像显示中心为起点的来自所述显示面的法线；

所述图像生成处理单元具有基于位置信息来计算所述主波瓣的中心线与所述显示法线之间所形成的角度的功能，且假设立体可见范围最大的最佳观察距离为OD并且在所述OD处的各视点区域之间的视点间距为e，则当所计算的角度为等于或小于“atan(e/OD)”时，将所述系数s预先设定为等于或大于3的奇数。

补充注释5：第一示例性实施方式(选择根据移动方向的图像数据；N≥3)

如补充注释1至4中任一项所述的立体图像显示装置，其中：

当所述视点数N为等于或大于3(N≥3)时，所述图像生成处理单元基于所述观察者的移动方向，选择用于所述观察者的左右眼均不在的视点区域的视点图像，并向所述立体图像显示面板输出所选择的视点图像。

补充注释6：第一示例性实施方式(选择根据移动方向的图像数据；N≥3)

如补充注释1至4中任一项所述的立体图像显示装置，其中：

所述图像生成处理单元包括这样的图像数据切换处理功能：当所述视点数N为等于或大于3(N≥3)时，基于来自相对位置计算单元的按时间顺序的位置信息中所示的所述观察者的移动方向，估计所述观察者的下一移动位置，并向所述立体图像显示面板输出与所估计的位置相对应的视点图像。

补充注释7：第一示例性实施方式(选择根据移动方向和移动速度的图像数据；N≥4)

如补充注释1至4中任一项所述的立体图像显示装置，其中：

当所述视点数N为等于或大于4(N≥4)时，所述图像生成处理单元基于所述观察者的移动方向和移动速度，选择用于所述观察者的左右眼均不在的视点区域的视点图像，并向所述立体图像显示面板输出所选择的视点图像。

补充注释8：第一示例性实施方式(选择根据移动方向和移动速度的图像数据；N≥4)

如补充注释1至4中任一项所述的立体图像显示装置，其中：

所述图像生成处理单元包括这样的图像数据切换处理功能：当所述视点数N为等于或大于4(N≥4)时，基于来自所述相对位置计算单元的按时间顺序的位置信息中所示的所述观察者的移动方向，估计观察者的下一个移动位置，并且向所述立体图像显示面板输出与所估计的位置相对应的视点图像。

补充注释9：第一示例性实施方式(选择根据移动方向和移动速度的图像数据；N≥4)

如补充注释7或8所述的立体图像显示装置，其中：

作为所述观察者的左右眼均不在的视点区域，所述图像生成处理单元选择将观察者移动前所在的视点区域作为起点的第一相邻视点区域至第N－2相邻视点区域。

补充注释10：第二示例性实施方式(2个视点的情况下的视点间距)

如补充注释1至4的任一项所述的立体图像显示装置，其中：

所述立体图像显示面板被构造成为：当所述视点数N为2(N＝2)时，立体可见范围最大的最佳观察距离处的各视点区域之间的视点间距比所述观察者的两眼之间的距离小。

补充注释11：第二示例性实施方式(考虑串扰区域)

如补充注释10所述的立体图像显示装置，其中：

所述立体图像显示面板被构成为满足“(e+f)＞d＞e”的关系，其中，所述视点间距为e，两眼之间的距离为d，等于或小于预先设定的3D串扰值的视点区域的范围为f。

补充注释12：第二示例性实施方式(考虑串扰区域)

如补充注释1至4中任一项所述的立体图像显示装置，其中：

所述立体图像显示面板被构成为满足“(e+f)＞d＞e”的关系，其中，立体可见范围最大的最佳观察距离处的各视点区域之间的视点间距为e，所述观察者的两眼之间的距离为d，等于或小于预先设定的3D串扰值的视点区域的范围为f。

补充注释13：第三示例性实施方式(多视点中的视点间距)

如补充注释1至9中任一项所述的立体图像显示装置，其中：

在所述视点数N为等于或大于3、立体可见范围最大的最佳观察距离处的各视点区域之间的视点间距为e、所述观察者的两眼之间的距离为d的情况下，所述立体图像显示面板被构成为满足“e×(N－2)≤d≤e×(N－1)”的关系。

补充注释14：第四示例性实施方式(纵/横3D)

如补充注释1至13中任一项所述的立体图像显示装置，其中：

所述各像素包括M种(M为等于或大于1的自然数)的原色分色后的N×N个(N为等于或大于2的自然数)子像素，并且所述像素在所述显示面板上配置成矩阵；

所述光线分离模块包括光学元件，所述光学元件将来自根据所述视差图像的所述各像素的出射光分配至沿着所述像素的排列的第一方向和第二方向；

所述光学元件与所述各像素相对应地配置成矩阵；

在所述各像素内相互相邻的所述子像素具有相互不同的颜色；

所述子像素的排列间距在所述第一方向和第二方向上是均一的；以及

在所述各像素内，对所述第一方向和第二方向，显示相同数量的所述视差图像，颜色不同的子像素的数量在所述视差图像内相等。

补充注释15：第四示例性实施方式(检测单元)

如补充注释14所述的立体图像显示装置，

还包括检测单元，所述检测单元检测包括所述显示面板的所述装置的主体的移位，其中，

所述图像生成处理单元具有基于所述相对位置和来自所述检测单元的移位信息来生成所述视点图像的功能。

补充注释16：第四示例性实施方式(水平和竖直方向上的显示)

如补充注释15所述的立体图像显示装置，其中：

所述检测单元具有判断处于第一配置状态还是第二配置状态的功能，在所述第一配置状态中，作为与连接所述观察者的左眼和右眼的直线相平行的方向的水平方向与所述第一方向平行，在所述第二配置状态中，所述水平方向与所述第二方向平行；并且

所述图像生成处理单元，

在所述M的平方根为整数的情况下，将所述N除以所述所得到的商(L)视作所述水平方向及竖直方向中的视点数，并生成具有用于根据所述第一方向和第二方向中的每一方向的视点数的视差的图像，以及

在作为原色数的M的平方根为不是整数的情况下，将所述N除以所述M得到的商(L)视作所述水平方向和与所述水平方向正交的竖直方向中的视点数，并生成具有用于根据所述第一方向和第二方向中的每一方向的视点数的视差的图像。

补充注释17：第四示例性实施方式(水平方向视点间距＞竖直方向视点间距)

如补充注释14至16中任一项所述的立体图像显示装置，其中：

当所述第一方向和所述第二方向中的任一者处于沿着所述水平方向的状态，其中，所述水平方向为与连接所述观察者的左眼和右眼的直线相平行的方向，所述第一方向和所述第二方向中的另一者处于沿着与所述水平方向垂直的所述竖直方向的状态时，

所述立体图像显示面板被构造成为所述水平方向上的视差间距比所述竖直方向上的视差间距大。

补充注释18：第五示例性实施方式等

如补充注释1至13中任一项所述的立体图像显示装置，其中：

所述光线分离模块具有在所述各像素的排列方向中的一个方向(x方向：光线分离方向)上分离光线的结构；

所述图像生成处理单元生成根据关于所述各像素的排列方向中的其他方向(在所述显示面内与所述一个方向垂直的方向：y方向)的所述观察者的位置的图像，并向所述立体图像显示面板输出所述图像。

补充注释19：第一至第四示例性实施方式

一种终端装置，包括：

如补充注释1至18中任一项所述的立体图像显示装置；以及

将所述立体图像显示装置容纳在内的壳体。

补充注释20：

一种使用立体图像显示装置的立体图像显示方法，

所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧，用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像的光线分离模块；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，其中：

所述观察者位置测量单元测量所述观察者的观察位置；

所述显示控制器基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；

所述显示控制器生成用于预先设定的J个视点(J＞N)的视点图像；

所述显示控制器从所生成的视点图像中指定根据所述相对位置的多个视点图像；以及

所述显示控制器向所述立体图像显示面板输出所指定的多个视点图像。

补充注释21：

一种使用立体图像显示装置的立体图像显示方法，

所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧，用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像的光线分离模块；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，其中：

所述观察者位置测量单元测量所述观察者的观察位置；

所述显示控制器基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；

所述显示控制器从预先设定的J个视点(J＞N)中基于所述相对位置指定图像出射用的多个视点；以及

所述显示控制器生成根据所指定的多个视点的视点图像并向所述立体图像显示面板输出所述图像。

补充注释22：

一种使用立体图像显示装置的立体图像显示程序，

所述立体图像显示装置包括：

所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧、用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像的光线分离模块；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，且所述程序使预先设置在所述显示控制器中的计算机作为以下模块发挥功能：

观察者位置测量模块，所述观察者位置测量模块测量所述观察者的观察位置；

观察者位置计算模块，所述观察者位置计算模块基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；以及

图像生成处理模块，所述图像生成处理模块生成用于预先设定的J个视点(J＞N)的视点图像，从所生成的视点图像中指定根据所述相对位置的多个视点图像，以及向所述立体图像显示面板输出所指定的多个视点图像。

补充注释23：

一种使用立体图像显示装置的立体图像显示程序，

所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧、用以朝向根据各像素的排列方向的由N个视点构成的多个视点(N为等于或大于2的自然数)分离来自各像素的视差图像的光线分离模块；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，且所述程序使预先设置在所述显示控制器中的计算机作为以下模块发挥功能：

观察者位置测量模块，所述观察者位置测量模块测量所述观察者的观察位置；

观察者位置计算模块，所述观察者位置计算模块基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；以及

图像生成处理模块，所述图像生成处理模块从预先设定的J个视点(J＞N)中基于所述相对位置指定图像出射用的多个视点，生成根据所指定的多个视点的视点图像并向所述立体图像显示面板输出所述图像。

工业适用性

根据本发明的立体图像显示装置能够应用于显示图像的各种显示装置。

Claims (17)

1.一种立体图像显示装置，包括：

立体图像显示面板，所述立体图像显示面板包括：配置有多个像素的显示面板；以及光线分离模块，所述光线分离模块设置在所述显示面板的显示面侧，用以朝向根据各像素的排列方向的由N个视点构成的多个视点分离来自各像素的视差图像，其中，N为等于或大于2的自然数；

观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；

相对位置计算单元，所述相对位置计算单元基于测量结果计算所述观察者相对于所述立体图像显示面板的相对位置；以及

图像生成处理单元，所述图像生成处理单元具有生成用于预先设定的J个视点的视点图像的功能，其中，J＞N，且所述图像生成处理单元与所述相对位置相对应地生成根据构成所述N个视点的各视点的一个或更多的视点图像，并将所述视点图像输出到所述立体图像显示面板。

2.根据权利要求1所述的立体图像显示装置，其中，

视点数N和视点数J满足J＝s×N的关系，其中，系数s为等于或大于2的自然数。

3.根据权利要求2所述的立体图像显示装置，其中，

所述立体图像显示面板具有波瓣形成功能，所述波瓣形成功能形成包含显示法线的立体视觉区域作为主波瓣，且形成与主波瓣相邻的立体视觉区域作为旁波瓣，所述显示法线是以图像显示中心为起点的来自所述显示面的法线，

假设立体可见范围最大的最佳观察距离为OD，并且所述OD处的各视点区域之间的视点间距为e，则在所述主波瓣的中心线与所述显示法线之间所形成的角等于或小于atan(e/OD)的情况下，将所述系数s预先设定为等于或大于3的奇数；以及

所述图像生成处理单元基于所设定的系数s来生成用于所述J个视点的视点图像。

4.根据权利要求1所述的立体图像显示装置，其中，

当所述视点数N为等于或大于3时，所述图像生成处理单元基于所述观察者的移动方向，选择用于所述观察者的左右眼均不在的视点区域的视点图像，并向所述立体图像显示面板输出所选择的视点图像。

5.根据权利要求1所述的立体图像显示装置，其中，

当所述视点数N为等于或大于4时，所述图像生成处理单元基于所述观察者的移动方向和移动速度，选择用于所述观察者的左右眼均不在的视点区域的视点图像，并向所述立体图像显示面板输出所选择的视点图像。

6.根据权利要求5所述的立体图像显示装置，其中，

作为所述观察者的左右眼均不在的视点区域，所述图像生成处理单元选择将所述观察者移动前所在的视点区域作为起点的第一相邻视点区域至第N－2相邻视点区域。

7.根据权利要求1所述的立体图像显示装置，其中，

所述立体图像显示面板构成为：当所述视点数N为2时，立体可见范围最大的最佳观察距离处的各视点区域之间的视点间距比所述观察者的两眼之间的距离小。

8.根据权利要求7所述的立体图像显示装置，其中，

所述立体图像显示面板被构成为满足“(e+f)＞d＞e”的关系，其中，所述视点间距为e，所述两眼之间的距离为d，等于或小于预先设定的3D串扰值的视点区域的范围为f。

9.根据权利要求1所述的立体图像显示装置，其中，

在所述视点数N为等于或大于3、立体可见范围最大的最佳观察距离处的各视点区域之间的视点间距为e、所述观察者的两眼之间的距离为d的情况下，所述立体图像显示面板被构成为满足“e×(N－2)≤d≤e×(N－1)”的关系。

10.根据权利要求1所述的立体图像显示装置，其中，

所述各像素包括M种原色分色后的N×N个子像素，并且所述像素在所述显示面板上配置成矩阵，其中，M为等于或大于1的自然数，N为等于或大于2的自然数；

所述光线分离模块包括光学元件，所述光学元件将来自根据所述视差图像的所述各像素的出射光分配至沿着所述像素的排列的第一方向和第二方向；

所述光学元件与所述各像素相对应地配置成矩阵；

在所述各像素内相互相邻的所述子像素具有相互不同的颜色；

所述子像素的排列间距在所述第一方向和第二方向上是均一的；以及

在所述各像素内，对所述第一方向和所述第二方向，显示相同数量的所述视差图像，颜色不同的子像素的数量在所述视差图像内相等。

11.根据权利要求10所述的立体图像显示装置，

还包括检测单元，所述检测单元检测包括所述显示面板的所述装置的主体的移位，其中，

所述图像生成处理单元具有基于所述相对位置和来自所述检测单元的移位信息来生成所述视点图像的功能。

12.根据权利要求11所述的立体图像显示装置，其中：

所述检测单元具有判断处于第一配置状态还是第二配置状态的功能，在所述第一配置状态中，作为与连接所述观察者的左眼和右眼的直线相平行的方向的水平方向与所述第一方向平行，在所述第二配置状态中，所述水平方向与所述第二方向平行；并且

所述图像生成处理单元，

在作为原色数的所述M的平方根为整数的情况下，将所述N除以所述所得到的商L视作所述水平方向及与所述水平方向正交的竖直方向中的视点数，并生成具有用于根据所述第一方向和第二方向中的每一方向的视点数的视差的图像，以及

在所述M的平方根不是整数的情况下，将所述N除以所述M得到的商L视作所述水平方向和所述竖直方向中的视点数，并生成具有用于根据所述第一方向和第二方向中的每一方向的视点数的视差的图像。

13.根据权利要求10所述的立体图像显示装置，其中：

当所述第一方向和所述第二方向中的任一者处于沿着水平方向的状态，其中，所述水平方向为与连接所述观察者的左眼和右眼的直线相平行的方向，所述第一方向和所述第二方向中的另一者处于沿着与所述水平方向垂直的所述竖直方向的状态时，

所述立体图像显示面板被构成为所述水平方向上的视差间距比所述竖直方向上的视差间距大。

14.根据权利要求1所述的立体图像显示装置，其中：

所述光线分离模块具有在所述各像素的排列方向中的一个方向上分离光线的结构；

所述图像生成处理单元生成根据关于所述各像素的排列方向中的其他方向的所述观察者的位置的图像，并向所述立体图像显示面板输出所述图像。

15.一种终端装置，包括：

根据权利要求1所述的立体图像显示装置；以及

将所述立体图像显示装置容纳在内的壳体。

16.一种使用立体图像显示装置的立体图像显示方法，

所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧、用以朝向根据各像素的排列方向的由N个视点构成的多个视点分离来自各像素的视差图像的光线分离模块，其中，N为等于或大于2的自然数；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，其中：

所述观察者位置测量单元测量所述观察者的观察位置；

所述显示控制器基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；

所述显示控制器生成用于预先设定的J个视点的视点图像，其中J＞N；

所述显示控制器从所生成的视点图像中指定根据所述相对位置的多个视点图像；以及

所述显示控制器向所述立体图像显示面板输出所指定的多个视点图像。

17.一种使用立体图像显示装置的立体图像显示方法，

所述立体图像显示装置包括：立体图像显示面板，所述立体图像显示面板包括配置有多个像素的显示面板、以及设置在所述显示面板的显示面侧、用以朝向根据各像素的排列方向的由N个视点构成的多个视点分离来自各像素的视差图像的光线分离模块，其中，N为等于或大于2的自然数；观察者位置测量单元，所述观察者位置测量单元测量面向所述显示面的观察者的观察位置；以及显示控制器，所述显示控制器根据测量结果来生成所述视差图像，其中：

所述观察者位置测量单元测量所述观察者的观察位置；

所述显示控制器基于测量结果来计算所述观察者相对于所述立体图像显示面板的相对位置；

所述显示控制器从预先设定的J个视点中基于所述相对位置指定图像出射用的多个视点，其中J＞N；以及

所述显示控制器生成根据所指定的多个视点的视点图像并向所述立体图像显示面板输出所述图像。