CN105828060A - 立体显示装置及视差图像校正方法 - Google Patents

Abstract

本发明涉及立体显示装置及视差图像校正方法。在组合3D显示器和空间成像装置的结构中，具有空中悬浮图像中出现3D正视区域和3D逆视区域的问题。一种立体显示装置包括：裸眼立体显示器，其基于与两视点对应的输入图像，将各不相同的图像投影到在第一方向上排列的观察者的左眼和右眼；平板状的空间成像装置，其包括在相互正交的第一反射面和第二反射面上反射从物体发射的光的多个光反射装置，空间成像装置将从裸眼立体显示器射出并入射到入射面的光从射出面射出到观察者侧；以及图像处理单元，其在将一个输入图像投影的图像中混合有将另一输入图像投影的图像的情况下，将与两视点对应的输入图像的深度视差和跃出视差颠倒的逆视区域所对应的部分互换。

Description

立体显示装置及视差图像校正方法

技术领域

本发明涉及生成通过在空中形成三维图像所得到的空中悬浮图像的立体显示装置及该立体显示装置中视差图像的校正方法。

背景技术

作为使观察者识别立体图像的方法，通常，使用基于利用左眼和右眼的位置差的双眼视差的立体图像显示方法。该方法是使左眼和右眼视觉识别各不相同的二维图像而在脑中根据观察方法之间的差异识别三维立体图像的立体图的原理的应用。作为立体图像的显示方法，具有使用眼镜的方式和不使用眼镜的裸眼方式。作为裸眼方式，具有根据观察者的视点数的两眼式、多眼式等。

为了使用通常的平板显示器等二维显示器基于裸眼方式显示立体图像，使用这样的方法：在二维显示器中设置显示左眼用图像和右眼用图像的像素，在二维显示器和观察者之间配置其中设有柱面透镜的柱状透镜或其中设有狭缝状的遮光图案的视差屏障等光学单元，并且屏幕上的左眼用图像和右眼用图像在空间上分离，以便分别被左眼和右眼视觉识别。

在上述的技术中，虽然在二维显示器的屏幕上立体显示图像，但是，物体如同悬浮在空中地对图像进行显示的技术也已经被开发。例如，基于体积扫描法的三维图像的立体显示方法被提出，其利用凸透镜或凹面镜等成像光学系统，相对于成像光学系统的光轴倾斜配置二维显示器，通过镜像扫描使相对于光轴倾斜的二维图像移动，通过与二维图像的移动同步地在二维显示器上进行显示物体的剖面图像的显示而形成三维图像。

然而，在上述的方法中，由于使用凸透镜或凹面镜作为成像光学系统，由于凸透镜或凹面镜的像差，发生图像的失真，因此，不能准确地再现显示物体的形状。对于该问题，提出了使用包括分别由两个镜面构成的多个二面角反射器的光学器件等实镜视频成像光学系统作为成像光学系统的方法。

图1是示意性地表示日本专利申请特开No.2012-163702中公开的三维空中视频显示装置的透视图。图2A是示意性地表示作为日本专利申请特开No.2012-163702的实镜视频成像光学系统的二面角反射器阵列的平面图，图2B是部分A的局部放大图。例如，在日本专利申请特开No.2012-163702中，如图1、图2A和图2B所示，公开了一种三维空中视频显示装置，其中，将至少两个在相对于成为对称面的一个几何平面的面对称位置上能够形成投影物的实像的实镜视频成像光学系统对齐配置，与成像光学系统相对应地配置投影物，并将作为配置在相对左侧的上述的实镜视频成像光学系统之一的右眼用成像光学系统所形成的相应的投影物的实镜视频、以及作为配置在相对右侧的上述实镜视频成像光学系统之一的左眼用成像光学系统所形成的相应的投影物的实镜视频显示为在相同的位置上重叠。

图3是示意性表示根据日本专利申请特开No.2013-080227的体积扫描型三维空中视频显示装置的透视图。图4A和图4B是示意性表示根据作为日本专利申请特开No.2013-080227的实镜视频成像光学系统的二面角反射器阵列的成像方式的图。在日本专利申请特开No.2013-080227中，如图3、图4A和图4B所示，一种体积扫描型三维空中视频显示装置被公开，其包括：实镜视频成像光学系统，其能够在相对于成为对称面的一个几何平面的面对称位置上形成投影物的实像作为镜视频；显示器，其配置在对称面的下面侧并包括将视频显示为投影物的显示面；以及驱动单元，其使显示器动作而进行包括垂直于显示面的方向的分量的运动，通过与根据驱动单元的显示器的动作同步地改变显示在显示面上的视频，在设置于对称面的上面侧的空间中形成视频作为立体视频。

如上所述，通过将二维显示器与图2A和图2B或图4A和图4B所示的实镜视频成像光学系统91组合，并且通过如日本专利申请特开No.2012-163702配置与视点相对应的二维显示器，或者如日本专利申请特开No.2013-080227使二维显示器移动，能够显示空中悬浮图像。然而，在日本专利申请特开No.2012-163702中公开的结构中，如图1所示，需要用于显示与视点数相对应的投影物92的二维显示器，且在日本专利申请特开No.2013-080227中公开的结构中，如图3所示，需要使二维显示器94移动的驱动单元95。因此，具有装置的尺寸变大的问题。

对于该问题，可考虑将上述的实镜视频成像光学系统等的空间成像装置与在二维显示器上配置有柱状透镜等光学单元的显示器(所谓的裸眼式3D显示器)组合来显示空中悬浮图像的方法。然而，在这种结构的情况下，产生在空中悬浮图像中3D正视区域(3D物体的深度被正确地显示的区域)和3D逆视区域(3D物体的深度颠倒的区域)交替出现这样的新问题。

发明内容

本发明是考虑上述的问题作出的，其主要目的是提供能够避免在将裸眼式3D显示器和空间成像装置组合的结构中在空中悬浮图像中出现3D正视区域和3D逆视区域这样的问题的立体显示装置及视差图像校正方法。

根据本发明的一个方面，提供一种立体显示装置，包括：裸眼立体显示器，所述裸眼立体显示器基于与两视点相对应的输入图像，将各不相同的图像投影到在第一方向上排列的观察者的左眼和右眼；平板状的空间成像装置，所述平板状的空间成像装置包括在相互正交的第一反射面和第二反射面上反射从物体发射的光的多个光反射装置；以及图像处理单元，所述图像处理单元在将一个输入图像投影的图像中混合有将另一输入图像投影的图像的情况下，将所述与两视点相对应的输入图像的深度视差和跃出视差颠倒的逆视区域所对应的部分互换，并将得到的图像输出到所述裸眼立体显示器，其中，所述空间成像装置将从所述裸眼立体显示器射出并入射到入射面的光从射出面射出到观察者侧，其中，所述裸眼立体显示器包括主瓣和副瓣，所述主瓣为通过显示面的中心的法线附近的正面的立体观察区域，以及所述副瓣为在所述主瓣的所述第一方向上的外侧上设置的立体观察区域。

根据本发明的一个方面，提供一种使用立体显示装置的视差图像校正方法，所述立体显示装置包括：裸眼立体显示器，所述裸眼立体显示器基于与两视点相对应的输入图像，将各不相同的图像投影到在第一方向上排列的观察者的左眼和右眼；以及平板状的空间成像装置，所述平板状的空间成像装置包括在相互正交的第一反射面和第二反射面上反射从物体发射的光的多个光反射装置，所述裸眼立体显示器包括主瓣和副瓣，所述主瓣为通过显示面的中心的法线附近的正面的立体观察区域，以及所述副瓣为所述主瓣的在所述第一方向上的外侧上设置的立体观察区域，所述空间成像装置将从所述裸眼立体显示器射出并入射到入射面的光从射出面射出到观察者侧。使用所述立体显示装置的所述视差图像校正方法包括：在将一个输入图像投影的图像中混合有将另一输入图像投影的图像的情况下，判断是否存在深度视差和跃出视差颠倒的逆视区域；在所述逆视区域存在的情况下，将所述与两视点相对应的输入图像的、与所述逆视区域相对应的部分互换；并将得到的图像输出到所述裸眼立体显示器。

根据本发明的立体显示装置及视差图像校正方法，能够避免在将3D显示器和空间成像装置组合的结构中在空中悬浮图像中出现3D正视区域和3D逆视区域这样的问题。

其理由是设置处理输入图像的图像处理单元，图像处理单元通过分析输入图像提取产生逆视的视差图像区域，并进行控制使得提取的视差图像区域的左眼用图像和右眼用图像互换并输入到3D显示器。

附图说明

图1是示意性表示日本专利申请特开No.2012-163702中公开的三维空中视频显示装置的透视图；

图2A是示意性地表示作为日本专利申请特开No.2012-163702的实镜视频成像光学系统的二面角反射器阵列的平面图，图2B是部分A的局部放大图；

图3是示意性表示根据日本专利申请特开No.2013-080227的体积扫描型三维空中视频显示装置的透视图；

图4A和图4B是示意性表示根据作为日本专利申请特开No.2013-080227的实镜视频成像光学系统的二面角反射器阵列的成像方式的图；

图5是表示以往的立体显示装置的结构的透视图；

图6是表示以往的立体显示装置中输入图像和由观察者视觉识别的图像之间的关系的图；

图7是表示以往的立体显示装置中的逆视的图；

图8是表示根据本实施方式的立体显示装置的结构的透视图；

图9是表示根据本实施方式的立体显示装置中包括的3D显示器的结构的剖视图；

图10是表示根据本实施方式的立体显示装置中包括的3D显示器的结构的俯视图；

图11是表示3D显示器和成像单元的配置例的透视图；

图12是表示当使用柱状透镜作为3D显示器的光学单元时形成的立体观察区域的光路图；

图13是将成像单元配置在3D显示器的中心线上并改变成像单元和柱状透镜之间的间隔D的情况的例子；

图14A至图14E是表示图13所示的结构中柱状透镜和成像单元之间的间隔与捕获图像之间的对应关系的图；

图15是将成像单元相对于3D显示器的中心线偏向右侧(右眼侧)配置并改变成像单元和柱状透镜之间的间隔D的情况的例子；

图16A至图16E是表示图15中所示的结构中柱状透镜和成像单元之间的间隔与捕获图像之间的对应关系的图；

图17是表示图15中所示的各捕获图像的结构的图；

图18是将成像单元相对于3D显示器的中心线偏向左侧(左眼侧)配置并改变成像单元和柱状透镜之间的间隔D的情况的例子；

图19A至图19E是表示图18中所示的结构中柱状透镜和成像单元之间的间隔与捕获图像之间的对应关系的图；

图20是表示根据3D显示器视觉识别的各图像的图；

图21A和图21B是表示3D显示器中的跃出视差的示意图；

图22A、图22B和图22C是表示立体显示装置中的逆视的图；

图23是表示根据本发明的第一实施方式的立体显示装置的图像处理单元的结构的示例的框图；

图24是表示根据本发明的第一实施方式的立体显示装置中使用的视差图像校正方法的流程图；

图25A、图25B和图25C是表示根据本发明的第一实施方式的立体显示装置中使用的视差图像校正方法的示意图的示例；

图26A、图26B和图26C是表示根据本发明的第一实施方式的立体显示装置中使用的视差图像校正方法的示意图的另一示例；

图27是表示根据本实施方式的图像处理单元的构成例的框图；

图28是表示根据本实施方式的立体图像的处理方法的流程图；

图29A、图29B和图29C是表示根据本发明的第二实施方式的立体显示装置中使用的视差图像校正方法的示意图；

图30A、图30B和图30C是表示根据本发明的第二实施方式的立体显示装置中使用的视差图像校正方法的示意图；

图31A和图31B是表示根据本发明的第三实施方式的3D显示器的结构的示意图；

图32是表示根据本发明的第三实施方式的3D显示器的功能的图；

图33是表示根据本发明的第三实施方式的3D显示器的功能的图；

图34A和图34B是表示根据本发明的第三实施方式的子像素的结构的具体例；

图35是表示根据本发明的第三实施方式的3D显示器的功能的图；

图36A至图36E是表示图31A和图31B中所示的结构中柱状透镜和成像单元之间的间隔与捕获图像之间的对应关系的图；

图37A、图37B和图37C是表示立体显示装置中的逆视的图；

图38A、图38B、图38C是表示根据本发明的第三实施方式的立体显示装置中使用的视差图像校正方法的示意图；

图39是表示根据本实施方式的立体显示装置的结构的透视图；

图40A、图40B和图40C是表示根据观察者的移动的Px的值的图；

图41是表示作为随着观察者的移动观察的视觉识别图像和逆视区域的图；

图42是表示根据本发明的第四实施方式的立体显示装置的图像处理单元和视点位置检测单元的构成例的框图；

图43是表示根据本发明的第四实施方式的立体显示装置中使用的视差图像校正方法的流程图；以及

图44是表示根据本发明的第四实施方式的立体显示装置中使用的视差图像校正方法的流程图。

具体实施方式

[第一实施方式]

如上所述，通过在二维显示器中设置显示左眼用图像和右眼用图像的像素、并通过使用柱状透镜或视差屏障等光学单元将左眼用图像和右眼用图像分配到观察者的左右眼来显示立体图像的3D显示器20已被开发。另外，为了显示物体如同悬浮在空中那样的图像，还开发出将二维显示器和实镜视频成像光学系统等空间成像装置组合得到的三维空中视频显示器。

然而，由于以往的三维视频显示装置通过设置与视点相对应的二维显示器或者使二维显示器移动来形成空中悬浮图像。因此，需要与视点数相对应的二维显示器或者使二维显示器移动的驱动单元，因此，具有装置的尺寸变大的问题。

对于该问题，如图5所示，可考虑通过将3D显示器20和上述的实镜视频成像光学系统等的空间成像装置组合来形成空中悬浮图像的方法。但是，本申请的发明人进行研究的结果，发现根据该方法产生在空中悬浮图像中交替出现3D正视区域和3D逆视区域的新问题。

换言之，在这种结构的情况下，需要将3D显示器20和空间成像装置之间的距离设置得极小使得从3D显示器20射出的光入射到空间成像装置。因此，从相邻的柱面透镜发出的光束被投影，对于图6所示的输入图像，投影到左右眼的视觉识别图像是左眼用图像和右眼用图像的重复。另外，基本上，在插设一个反射光学系统的情况下，产生在深度方向上颠倒的颠倒图像。其结果，如图6所示，投影到中央区域的图像(主瓣图像)左右置换，如图7所示，发生在空中悬浮图像中3D正视区域和3D逆视区域交替出现的问题。

因此，根据本发明的一个实施方式，对于要输入到3D显示器20的图像，进行将产生逆视的视差图像区域的左眼用图像和右眼用图像互换的图像处理。更具体而言，基于观察者的视线方向和空间成像装置的法线方向所形成的角度、空间成像装置和观察者之间的距离、3D显示器20和空间成像装置之间的距离、空间成像装置的光学特性等，提取深度视差和跃出视差颠倒的逆视区域，并将左眼用图像和右眼用图像的、与逆视区域相对应的部分的图像互换。

以这种方式，能够避免将三维显示器和空间成像装置组合的情况下3D正视区域和3D逆视区域交替出现的问题。

为了更详细地说明本发明的上述的实施方式，将参照图8至图26对根据本发明的第一实施方式的立体显示装置及视差图像校正方法进行说明。图8是示出根据本实施方式的立体显示装置的结构的透视图。图11至图20是表示通过3D显示器20视觉识别的图像的图。

如图8所示，根据本实施方式的立体显示装置10由3D显示器20、空间成像装置30、图像信号输入单元40以及图像处理单元50构成。虽然图未示，但是，根据需要，在立体显示装置10的预定位置上配置用于检测空间成像装置30和观察者之间的间隔的单元(例如，摄像机等)。

3D显示器20是使立体图像被裸眼视觉识别的裸眼立体显示器，并由液晶显示装置等显示面板、以及柱状透镜或视差屏障等光学单元(在本实施方式中，柱状透镜)构成。显示面板具有显示左眼用图像的左眼用像素和显示右眼用图像的右眼用像素在第一方向上交替排列的结构。柱状透镜具有与显示面板相对的面是平面、另一面为半圆柱状的柱面透镜排列在第一方向上的结构。下面将对该3D显示器20进行详细说明。

空间成像装置30是通过将显示在3D显示器20上的立体图像在空间中成像来形成空中悬浮图像的装置。空间成像装置30例如通过设置多个分别由两个垂直的镜面形成的光学装置(在第一反射面上反射光、在第二反射面上反射光并使光通过的光反射装置，第二反射面与第一反射面成对，配置在与第一反射面的高度不同的高度，并设置为与第一反射面交叉)而得到。作为该空间成像装置30，例如，可使用日本专利申请特开No.2012-163702和No.2013-080227中公开的实镜视频成像光学系统中的任一者。例如，可通过在平板上竖立大约100μm的高度的剖面为四角形的柱、使用其侧面中的两个正交的面作为镜子或者在大约100μm的厚度的平板的面内形成矩形孔、和使用其两个内壁面作为镜面，来形成具有两个垂直的镜面的该结构。

在图8所示的情况中，空间成像装置30具有将由两个垂直的镜面形成的光学装置配置在与该两个镜面垂直的平面上(换言之，柱或孔形成为与平板的主面垂直)的结构，因此，空间成像装置30的平面被记载为相对于3D显示器20的显示面以预定的角度倾斜。但是，在柱或孔形成为相对于平板的主面的法线倾斜的情况下，空间成像装置30的平面可设置为与3D显示器20的显示面平行。

图像信号输入单元40是将显示面板的像素中显示的左眼用图像和右眼用图像输出到图像处理单元50的装置。左眼用图像和右眼用图像可以是使用摄像机从两个视点捕获的捕获图像(与两个视点相对应的图像)，或者从一个视点使用摄像机捕获的捕获图像和表示与图像的各像素相对应的3D物体的深度信息的深度图像的集合。该情况下，可构成为：基于捕获图像和深度图像，生成从虚拟配置在三维空间中的虚拟摄像机的位置捕获而得到的虚拟视点图像，并将捕获图像和虚拟视点图像输出到图像处理单元50。

图像处理单元50是如下的装置：分析从图像信号输入单元40输出的图像(与两视点相对应的捕获图像或者与一视点相对应的捕获图像和虚拟视点图像的集合)；提取产生逆视的区域(视差图像区域)；进行图像处理以将视差图像区域的输入图像左右颠倒(将左眼用图像和右眼用图像互换)；并将图像处理后的图像数据输出至3D显示器20。图像处理单元50可以是独立于3D显示器20的装置，或者可以内置在3D显示器20中。下面将对这种图像处理单元50进行详细说明。

首先，为了使根据本实施方式的立体显示装置10容易理解，将对3D显示器20的结构和动作进行说明。在本说明书中，为了便于说明，将如下设定XYZ正交坐标系。X轴方向是将在下面描述的左眼用像素24L和右眼用像素24R反复排列的方向。+X方向是从右眼用像素24R朝向左眼用像素24L的方向。Y轴方向是下述的柱面透镜29a的纵向方向。Z轴方向是与X轴方向和Y轴方向两者都正交的方向。+Z方向是从配置有左眼用像素24L或右眼用像素24R的面朝向柱状透镜29(朝向观察者)的方向。

图9是表示根据本实施方式的立体显示装置中包含的3D显示器20的结构的剖视图。图10是表示根据本实施方式的立体显示装置中包含的3D显示器20的结构的俯视图。如图9和图10所示，3D显示器20包括使用液晶分子作为光电装置的显示面板21、以及作为光学单元的柱状透镜29。

显示面板21是包括薄膜晶体管(TFT)的有源矩阵型显示面板，形成有TFT的TFT基板24和相对的基板26在它们之间空出微小的间隙地彼此面对，并且在该间隙中设置有液晶层25。在TFT基板24中，分别由一个左眼用像素24L和一个右眼用像素24R形成的作为显示单元的像素对以矩阵方式设置。液晶层25例如被构成为透射型的扭曲向列(TN)模式。TFT基板24配置在显示面板21的－Z方向侧，相对的基板26配置在+Z方向侧。另外，在TFT基板24的－Z方向侧粘贴第一光学膜23，在相对的基板26的+Z方向侧粘贴第二光学膜27。柱状透镜29通过粘结层28固定于第二光学膜27的+Z方向侧，并在第一光学膜23的－Z方向侧配置背光源22。

在TFT基板24的内侧的面上、换言之+Z方向侧的面上，配置有沿行方向、换言之X轴方向延伸的多个栅极线G(在图中，G1至G5)。另外，在TFT基板24的相同的面上，配置有沿列方向、换言之Y轴方向延伸的多个数据线D(在图中D1至D7)。在被栅极线G和数据线D包围的各区域中形成有像素(左眼用像素24L或右眼用像素24R)，通过配置在栅极线G和数据线D之间的交点附近的TFT驱动像素。在图10中，为了明确像素与栅极线G及数据线D之间的连接关系，例如，将与栅极线G3和数据线D2连接的像素表示为P32。

TFT基板的结构不限于如图10所示栅极线G沿X轴方向延伸、数据线D沿Y轴方向延伸的配置，但也可以采用数据线D沿X轴方向延伸、栅极线G沿Y轴方向延伸的配置。作为显示面板21，例如，可以采用液晶显示装置以外的显示装置，例如有机电致发光(EL)装置、量子点装置和场发光装置等各种显示装置中的任一种。另外，显示面板21的驱动方法不限于使用TFT等的有源矩阵型，也可以是无源矩阵型。

柱状透镜29是多个柱面透镜29a以一维方式排列的透镜阵列。柱面透镜29a是半圆柱状的凸部沿一个方向延伸的一维透镜。柱面透镜29a的排列方向设置为由左眼用像素24L及右眼用像素24R形成的像素对重复排列的方向、换言之X轴方向，并且一个柱面透镜29a被构成为与一个像素对相对应。

柱面透镜29a仅在与其延伸方向正交的方向上具有透镜效果。具有这种透镜效果的方向与左眼用像素24L及右眼用像素24R重复排列的方向一致。其结果，柱面透镜29a作为能够将从左眼用像素24L射出的光和从右眼用像素24R射出的光向各不相同的方向分离的光束分离单元起作用。以这种方式，柱状透镜29能够将各显示单元的左眼用像素24L显示的图像和各显示单元的右眼用像素24R显示的图像向各不相同的方向分离。柱面透镜29a的焦距设定为柱面透镜29a的主点、换言之透镜的顶点和像素面、换言之配置有左眼用像素24L或右眼用像素24R的面之间的距离。

柱状透镜29可构成为在与显示面板21面对的面上配置透镜面。光学单元不限于柱状透镜29，而可以使用复眼透镜、视差屏障或棱镜片等能够分离光的各种光学装置中的任一种。作为光学单元，例如，可利用使用液晶的梯度折射率(GRIN)透镜、将具有透镜效果的凹凸基板和液晶分子组合的液晶透镜、使用液晶的切换视差屏障等。

接下来，将使用由成像单元获得的捕获图像，说明从具有上述结构的3D显示器20射出并入射到观察者的眼中的光的情形。图11是表示3D显示器20和成像单元80的配置例的透视图。在图11中，一并示出观察者的左眼的位置60和观察者的右眼的位置61。在此，为了便于说明，左眼用像素24L和右眼用像素24R设为具有沿柱面透镜29a的纵向方向延伸的条状，并排列在X轴方向上。

如图11所示，成像单元80配置在捕获3D显示器20的显示面的位置上。作为这种成像单元80，使用图像处理用透镜系统、通常的视频摄像机、数码摄像机等。成像单元80固定于显示面板21的显示面附近在3D显示器20的+Z方向上的焦点对准的位置中。成像单元80的成像中心81与3D显示器20的中心20a一致，理想地，优选位于该中心20a附近、左眼用像素24L和右眼用像素24R之间。

图12是表示使用柱状透镜29作为3D显示器20的光学单元时形成的立体观察区域的光路图。

在显示面板21中，在X轴方向上依次配置有左眼用像素24L(L1～L3)、(C1～C3)及(R1～R3)、以及右眼用像素24R(L1～L3)、(C1～C2)及(R1～R3)。柱面透镜29L与左眼用像素24L(L1～L3)和右眼用像素24R(L1～L3)相对应，柱面透镜29C与左眼用像素24L(C1～C3)和右眼用像素24R(C1～C2)相对应，柱面透镜29R与左眼用像素24L(R1～R3)和右眼用像素24R(R1～R3)相对应。

在图12中，光路1L1、2L1及3L1表示从左眼用像素24L(L1～L3)射出并被柱面透镜29L折射的光的光路，光路1L2、2L2及3L2表示从右眼用像素24R(L1～L3)射出并被柱面透镜29L折射的光的光路。另外，光路1C1、2C1及3C1表示从左眼用像素24L(C1～C3)射出并被柱面透镜29C折射的光的光路，光路1C2及2C2表示从右眼用像素24R(C1～C2)射出并被柱面透镜29C折射的光的光路。同样地，光路1R1、2R1及3R1表示从左眼用像素24L(R1～R3)射出并被柱面透镜29R折射的光的光路，光路1R2、2R2及3R2表示从右眼用像素24R(R1～R3)射出并被柱面透镜29R折射的光的光路。

在光路上行进的实际的光相对于该光路在顺时针方向或逆时针方向具有预定角度的宽度。在包括光路1L1、1C1及1R1的交点的区域中形成有左眼用图像区域62，在包括光路1L2、1C2及1R2的交点的区域中形成有右眼用图像区域63。左眼用图像区域62及右眼用图像区域63成为能够形成立体观察的立体视觉识别范围。因此，当左眼的位置60位于左眼用图像区域62、右眼的位置61位于右眼用图像区域63时，观察者能够准确地视觉识别立体图像。

将立体视觉识别范围最大(换言之，左眼用图像区域62和右眼用图像区域63之间在X轴方向上的距离最大)的位置与柱状透镜29的位置之间的距离设为最佳立体视觉识别距离Dop，将左右眼的Y轴方向和左眼用图像区域62及右眼用图像区域63交叉的位置与柱状透镜29的位置之间的距离设为最大立体视觉识别距离Dmax及最小立体视觉识别距离Dmin。

在此，当着眼于柱面透镜29L时，有助于左眼用图像区域62和右眼用图像区域63的形成的光仅是从左眼用像素24L(L1)和右眼用像素24R(L1)射出的光(1L1、1L2)。其被定义为一次光。另外，将从作为左眼用像素24L(L1)或右眼用像素24R(L1)的相邻像素的左眼用像素24L(L2)或右眼用像素24R(L2)射出并被柱面透镜29L折射的光(2L1、2L2)定义为二次光。同样地，将从作为左眼用像素24L(L1)或右眼用像素24R(L1)的第二相邻像素的左眼用像素24L(L3)或右眼用像素24R(L3)射出并被柱面透镜29L折射的光(3L1、3L2)定义为三次光。同样地，对于与柱面透镜29C或柱面透镜29R相关的光，一次光有助于左眼用图像区域62及右眼用图像区域63的形成。

由图12的光路图可知，当观察者和柱状透镜29之间的间隔比最小立体视觉识别距离Dmin短时，从显示面板21的左右侧射出的二次光或三次光等高次光的影响显著化。

接下来，将对成像单元80和柱状透镜29之间的间隔D改变时获得的捕获图像进行说明。在图13、图15及图18中，为了容易理解光路，仅记载了一次光的光路。

图13是将成像单元80配置在3D显示器20的中心线上并改变成像单元80和柱状透镜29之间的间隔D的情况的例子。图14A至图14E是表示图13所示的结构中柱状透镜和成像单元之间的间隔与捕获图像之间的对应关系的图。该情况下，当间隔D为最佳立体视觉识别距离Dop附近时，如图14A和图14B所示，成像单元80所捕获的图像中，左侧是左眼用像素24L的输入图像，右侧是右眼用像素24R的输入图像。相对于此，当间隔D逐渐减小时(例如，当间隔为最佳立体视觉识别距离Dop的1/3左右)，如图14C所示，由于二次光的影响，在捕获图像的左侧出现右眼用像素24R的输入图像，在右侧出现左眼用像素24L的输入图像。当间隔D进一步减小时(例如，当间隔为最佳立体视觉识别距离Dop的1/4左右)，如图14D和图14E所示，由于三次光的影响，在捕获图像的左侧出现左眼用像素24L的输入图像，在右侧出现右眼用像素24R的输入图像。换言之，随着成像单元80和柱状透镜29之间的间隔D相对于最佳立体视觉识别距离Dop变小，由于二次光或三次光等高次光的影响，捕获图像成为左眼用像素24L的输入图像和右眼用像素24R的输入图像的重复。

图15是将成像单元80相对于3D显示器20的中心线偏向右侧(右眼侧)配置并改变成像单元80和柱状透镜29之间的间隔D的情况的例子。图16A至图16E是表示图15所示的结构中柱状透镜和成像单元80之间的间隔与捕获图像之间的对应关系的图。该情况下，当间隔D在最佳立体视觉识别距离Dop附近时，如图16A所示，成像单元80所捕获的图像仅是右眼用像素24R的输入图像。当间隔D进一步减小并成为最佳立体视觉识别距离Dop的1/2左右时，如图16B所示，在捕获图像的两侧出现左眼用像素24L的输入图像。当间隔D进一步减小并成为最佳立体视觉识别距离Dop的1/3到1/4左右时，如图16C和图16D所示，由于二次光的影响，在捕获图像的两侧出现右眼用像素24R的输入图像。另外，当间隔D进一步减小并成为最佳立体视觉识别距离Dop的1/4左右或更小时，如图16E所示，由于三次光的影响，在捕获图像的左侧出现左眼用像素24L的输入图像。

形成这种捕获图像的原因在于一次光和高次光混合而形成捕获图像，所述一次光构成包括通过3D显示器20的显示面的中心的法线的作为正面立体观察区域的主瓣，所述高次光构成相对于主瓣布置在X轴方向的外侧的作为立体观察区域的其他瓣(副瓣)。图17是表示图15所示的各捕获图像的结构的图。例如，如图17所示，无论成像单元80和柱状透镜29之间的间隔D如何，都根据构成主瓣的一次光捕获右眼用像素24R的输入图像，但是，随着间隔D减小，由于构成其他瓣的高次光的影响，左眼用像素24L的输入图像被大量捕获。其结果，在间隔D为最佳立体视觉识别距离Dop(例如，600mm)的情况下，捕获图像仅是基于构成主瓣的一次光的右眼用像素24R的输入图像。但是，在间隔D为0.5×Dop(例如，300mm)的情况下，捕获图像是将基于构成主瓣的一次光的右眼用像素24R的输入图像和基于构成其他瓣的高次光的两侧的左眼用像素24L的输入图像合成得到的图像，捕获图像具有在中央配置右眼用像素24R的输入图像并在其两侧配置左眼用像素24L的输入图像的结构。另外，在间隔D为0.33×Dop(例如，200mm)或0.28×Dop(例如，170mm)的情况下，基于构成其他瓣的高次光的左眼用像素24L的输入图像偏向中央，因此捕获图像具有在中央配置右眼用像素24R的输入图像、在右眼用像素24R的输入图像的两侧配置左眼用像素24L的输入图像、并在左眼用像素24L的输入图像的两侧配置右眼用像素24R的输入图像的结构。另外，在间隔D为0.23×Dop(例如，140mm)的情况下，基于构成其他瓣的高次光的左眼用像素24L的输入图像进一步偏向中央，并且在更外侧出现左眼用像素24L的输入图像，由此捕获图像具有左眼用像素24L的输入图像和右眼用像素24R的输入图像重复三次布置的结构。

图18是成像单元80相对于3D显示器20的中心线偏向左侧(左眼侧)配置并改变成像单元80和柱状透镜之间的间隔D的情况的例子。图19A至图19E是表示图18所示的结构中柱状透镜和成像单元80之间的间隔与捕获图像之间的对应关系的图。该情况下，当间隔D为最佳立体视觉识别距离Dop附近时，如图19A所示，成像单元80所捕获的图像仅是左眼用像素24L的输入图像。当间隔D进一步减小并成为最佳立体视觉识别距离Dop的1/2左右时，如图19B所示，在捕获图像的两侧出现右眼用像素24R的输入图像。当间隔D进一步减小并成为最佳立体视觉识别距离Dop的1/3～1/4左右时，如图19C和图19D所示，由于二次光的影响，在捕获图像的两侧出现左眼用像素24L的输入图像。另外，当间隔D进一步减小并成为最佳立体视觉识别距离Dop的1/4左右或更小时，如图19E所示，由于三次光的影响，在捕获图像的左侧出现右眼用像素24R的输入图像。

图20是表示图19A至图19E中所示的捕获图像的结构的图。该情况下，如图20所示，无论成像单元80和柱状透镜29之间的间隔D如何，根据构成主瓣的一次光，捕获左眼用像素24L的输入图像，但是，随着间隔D减小，由于构成其他瓣的高次光的影响，右眼用像素24R的输入图像被大量捕获。其结果是，捕获图像具有将图17所示的左眼用像素24L的输入图像和右眼用像素24R的输入图像互换的结构。

换言之，当成像单元80和柱状透镜29之间的间隔D减小时，由于高次光的影响，捕获图像具有左眼用像素24L的输入图像和右眼用像素24R的输入图像重复配置的结构，当成像单元80的位置偏离3D显示器20的中心线时，根据偏离，基于构成主瓣的一次光的图像和基于构成其他瓣的高次光的图像变化。

接下来，将对空间成像装置30与3D显示器20组合的情况进行说明。在下面，设空间成像装置30具有用作二面角反射器的柱或孔形成为相对于平板的主面的法线倾斜的结构，设空间成像装置30的平面配置成与3D显示器20的显示面平行。

图21A和图21B是表示3D显示器20中跃出视差的示意图。在此，在如图21B的左侧所示在显示面板21的左眼用像素24L中显示具有星形形状的物体71配置在中央的略右侧的输入图像，且如图21B的右侧所示在右眼用像素24R中显示具有星形形状的物体71配置在中央的略左侧的输入图像的情况下，如图21A所示，形成使具有星形形状的物体71被视觉识别为如同跃出到空中的跃出视差。相对于此，例如，如图22A所示，在空间成像装置30配置在D＝0.5×Dop的位置上的情况下，由虚拟配置在空间成像装置30的位置上的虚拟摄像机捕获的图像基于图17和图20如图22B所示。在此，由于空间成像装置30是反射光学系统，并且从空间成像装置30射出的光束为与入射方向相同的方向，观察者看到的图像被左右颠倒。其结果，观察者看到的图像如图22C所示，在由左眼视觉识别的图像的中央配置有右眼用像素24R的输入图像，在由右眼视觉识别的图像的中央配置有左眼用像素24L的输入图像。换言之，产生跃出视差成为深度视差的所谓的逆视。

如上所述，根据本申请的发明人的考察，可确定：在将3D显示器20和空间成像装置30组合的情况下产生逆视。因此，在本实施方式的立体显示装置10中，设置图像处理单元50，进行使产生从图像信号输入单元40输入的输入图像的逆视(深度视差和跃出视差颠倒)的区域左右颠倒(将产生逆视的区域的左眼用图像和右眼用图像互换)的图像处理，并将图像处理后的图像数据输出至3D显示器20。

图23是表示根据本发明的第一实施方式的立体显示装置10的图像处理单元50的构成例的框图。如图23所示，该图像处理单元50由视差图像校正单元51和区域参数存储单元56构成，视差图像校正单元51由视差图像区域提取单元52和图像数据互换单元53构成。

视差图像校正单元51的视差图像区域提取单元52从图像信号输入单元40获得与两视点相对应的捕获图像、或者与一视点相对应的捕获图像和虚拟视点图像的集合，并基于构成主瓣的一次光的角度(眼观察空间(EVS)角度)、3D显示器20与空间成像装置30之间的距离、空间成像装置30与观察者之间的距离、空间成像装置30的宽高比(例如，二面角反射器的开口宽度和开口高度之比)等预定的条件，提取产生逆视(深度视差和跃出视差颠倒)的区域(视差图像区域)。

例如，当EVS角度、3D显示器20和空间成像装置30之间的距离、或者空间成像装置30和观察者之间的距离减小时，左眼用图像和右眼用图像的重复像素数增多。另外，在3D显示器20和空间成像装置30之间的距离、或者空间成像装置30和观察者之间的距离在预定范围外的情况下，主瓣图像不出现在左右眼的视觉识别图像的中央。在3D显示器20和空间成像装置30之间的距离以及空间成像装置30和观察者之间的距离在预定的范围外的情况下，主瓣图像也不出现在左右眼的视觉识别图像的中央。另外，根据空间成像装置30的宽高比，左眼用图像和右眼用图像的位置或重复像素数变化。因此，将这些条件存储在区域参数存储单元56中，当从图像信号输入单元40获得输入图像时，从区域参数存储单元56读出条件，基于读出条件中的至少一个条件，指定产生逆视的区域，并将指定的区域提取作为视差图像区域。换言之，基于上述预定的条件，确定主瓣图像的位置和大小，基于主瓣图像的位置和大小，可确定产生逆视的区域，因此，基于主瓣图像的位置和大小提取视差图像区域。

EVS角度、以及空间成像装置30和观察者之间的距离随着观察者的位置而变化。因此，可构成为：摄像机安装于立体显示装置10，图像处理单元50从适当的摄像机获得对观察者进行成像而得到的图像，从捕获图像提取特征点，检测两眼的位置，基于两眼的位置及间隔等来指定EVS角度以及空间成像装置30和观察者之间的距离，并将指定的信息存储在区域参数存储单元56中。在此，作为预定的条件，虽然例示了EVS角度、3D显示器20和空间成像装置30之间的距离、空间成像装置30和观察者之间的距离、以及空间成像装置30的宽高比这四个条件，但是也可以利用显示面板21的特性(例如，像素尺寸、像素间距或者像素排列结构)、或者柱状透镜29的特性(例如，柱面透镜29a的形状、间距、焦点距离、像差或材质)等其他的条件。另外，在此，虽然将空间成像装置30的宽高比例示作为与空间成像装置30的特性有关的预定的条件，但是也可以使用构成空间成像装置30的二面角反射器的反射镜表面粗糙度、反射镜组装精度、反射率等。

视差图像校正单元51的图像数据互换单元53从输入图像指定与由视差图像区域提取单元52提取的视差图像区域相对应的左眼用图像和右眼用图像，在左眼用图像和右眼用图像的边界位置实质上相互一致的情况下，生成将图像互换所得到的图像数据并将生成的图像数据输出到3D显示器20。

区域参数存储单元56是存储器等存储单元，并存储视差图像区域提取单元52提取视差图像区域时参照的预定的条件。

视差图像区域提取单元52和图像数据互换单元53可被构成为硬件，或者通过在图像处理单元50中设置包括中央处理单元(CPU)和只读存储器(ROM)或随机存取存储器(RAM)等存储器的控制单元、并使用CPU将存储在ROM中的程序展开到RAM中并执行该程序，控制单元可作为视差图像区域提取单元52和图像数据互换单元53发挥功能。

图24是表示根据本发明的第一实施方式的立体显示装置10中使用的视差图像校正方法的流程图。图25A、图25B和图25C是表示根据本发明的第一实施方式的立体显示装置10中使用的视差图像校正方法的示意图的示例。将参照图24的流程图和图25A至图25C的概念图说明使用具有上述结构的图像处理单元50的视差图像校正方法。

首先，视差图像区域提取单元52从图像信号输入单元40获得输入图像(与两视点相对应的捕获图像、或者与一视点相对应的捕获图像和虚拟视点图像的集合)(S101)。在此，如图25A所示，设在主瓣图像中产生逆视。

接下来，视差图像区域提取单元52从区域参数存储单元56获得预定的条件，并基于预定的条件来提取视差图像区域(S102)。在此，主瓣图像的区域被提取作为视差图像区域。

接下来，图像数据互换单元53将视差图像区域的左眼用图像和右眼用图像互换(S103)。例如，如图25B所示，在输入图像的左眼用图像由图像L_A、图像L_B及图像L_C构成、右眼用图像由图像R_A、图像R_B及图像R_C构成的情况下，将左眼用图像的主瓣图像R_B和右眼用图像的主瓣图像L_B互换。

然后，图像数据互换单元53将通过将视差图像区域的左眼用图像和右眼用图像互换得到的图像数据输出到3D显示器20，3D显示器20基于图像数据在显示面板21上显示图像(S104)。在此，由于产生逆视的主瓣的左眼用图像和右眼用图像被互换，因此，如图25C所示，观察者能够视觉识别所有的区域成为3D正视区域的空中悬浮图像。

在上述的描述中，对左右各输入图像由包括左图像、中央图像和右图像的三个图像构成的情况进行了说明，但该描述同样也可应用于由多个区域构成左右各输入图像的情况。图26A、图26B和图26C是表示在根据本发明的第一实施方式的立体显示装置10中使用的视差图像校正方法的示意图的另一示例。例如，如图26A至图26C所示，在左右各输入图像由五个图像构成的情况下，当如图26A所示、视差图像区域提取单元52基于上述的预定的条件将位于中央的主瓣图像的区域和位于两端的副瓣图像的区域提取作为视差图像区域，并如图26B所示，图像数据互换单元53将输入图像的左眼用图像的图像R_A、R_C及R_E和右眼用图像的图像L_A、L_C及L_E互换，并将结果图像输出到3D显示器20，如图26C所示，观察者能够视觉识别所有的区域成为3D正视区域的空中悬浮图像。

以这种方式，通过从输入图像中提取产生逆视的视差图像区域并将与视差图像区域相对应的左眼用图像和右眼用图像互换，能够避免在空中悬浮图像中3D正视区域和3D逆视区域交替出现的问题。

根据本实施方式的立体显示装置10可应用于对3D物体进行单色显示的情况和对3D物体进行彩色显示的情况中的任一者。在对3D物体进行彩色显示的情况下，通过将构成显示面板21的相对的基板26设置作为彩色滤光片(CF)基板，能够实现彩色显示。该情况下，可采用将在具有柱面透镜29a的透镜效果的方向(X轴方向)上排列的一对像素设为同色、并将在柱面透镜29a的纵向方向(Y轴方向、换言之每行)上周期地变色的结构，或者可采用使X轴方向和Y轴方向颠倒的结构。另外，取代设置CF，例如，通过能够以红色(R)/绿色(G)/蓝色(B)各单色发光的光源构成背光源22、并与R/G/B的发光时间相符地以预定的灰度显示期望的像素(所谓的分时驱动)，能够实现彩色显示。

[第二实施方式]

接下来，将参照图27至图30说明根据本发明的第二实施方式的立体显示装置及视差图像校正方法。图27是表示根据本实施方式的图像处理单元的构成例的框图。图28是表示根据本实施方式的立体图像的处理方法的流程图。图29A至图29C是表示在根据本发明的第二实施方式的立体显示装置10中使用的视差图像校正方法的示意图。图30A、图30B以及图30C是表示根据本发明的第二实施方式的立体显示装置10中使用的视差图像校正方法的示意图。

在上述的第一实施方式中，虽然将视差图像区域的左眼用图像和右眼用图像互换，但是，在图像和替换图像的深度(或跃出)状态彼此不同的情况下、或者在替换图像和与该图像相邻的图像之间的接合处深度(或跃出)不自然地变化、或者主瓣图像的深度(或跃出)小的情况下，存在不能充分表示立体效果的情况。另外，根据空间成像装置的特性，存在这样的情况：在各图像的边界部附近图像混合的区域(3D串扰区域)大、并且在具有视差的情况下视觉识别双重图像。因此，在本实施方式中，通过使用输入图像的深度信息，调整输入图像的视差量(左眼用图像和右眼用图像的像素的偏移量)使空中悬浮图像被适当地显示。

该情况下，虽然立体显示装置10的结构与图8至图10所示的第一实施方式的结构相同，但如图27所示，在图像处理单元50的视差图像校正单元51中，除视差图像区域提取单元52和图像数据互换单元53以外，还设有深度信息提取单元54和视差量调整单元55。

在图像信号输入单元40基于与一视点相对应的捕获图像和深度图像生成虚拟视点图像的情况下，深度信息提取单元54从图像信号输入单元40，除获得与一视点相对应的捕获图像和虚拟视点图像以外，还获得深度图像，并基于深度图像提取3D物体的各部分的深度信息。另一方面，在深度信息提取单元54从图像信号输入单元40获得与两视点相对应的捕获图像的情况下，通过将与两视点相对应的捕获图像进行相互比较，提取3D物体的各部分的深度信息。在此，深度图像表示与在存在3D空间的视点位置处捕获的捕获图像的各像素相对应的物体和视点位置之间的距离。

视差量调整单元55基于由深度信息提取单元54提取的深度信息，调整输入图像(与一视点相对应的捕获图像和虚拟视点图像或与两视点相对应的捕获图像)的视差量。此时，视差量调整单元55从区域参数存储单元56读出EVS角度、3D显示器20与空间成像装置30之间的距离、空间成像装置30和观察者之间的距离、以及空间成像装置30的宽高比等预定的条件，并参照该预定的条件来确定如何调整视差量。例如，通过将左眼用图像和右眼用图像互换，存在在替换图像和与该图像相邻的图像之间的接合处在图像的左侧和右侧之间深度或跃出不自然地变化的情况。该情况下，通过将图像的两端部分(相邻的图像的边界附近的部分)的视差量构成为比边界附近的部分以外的部分的视差量小，使图像的连接顺畅。在主瓣图像的深度或跃出的程度小的情况下，存在不能充分获得3D物体的立体效果的情况。在这种情况下，通过将主瓣图像(与逆视区域相对应的部分的图像)的视差量构成为比主瓣图像以外的图像的视差量大，强化3D物体的立体效果。另外，存在通过空间成像装置在图像的边界部附近处3D串扰区域增大，并且双重图像被视觉识别的情况。该情况下，与上述同样地，通过将图像的两端部分(相邻的图像的边界附近的部分)的视差量构成为小或为零，双重图像不能很容易地被视觉识别。

视差图像区域提取单元52从视差量调整单元55获得视差量已被调整的图像(与一视点相对应的捕获图像和虚拟视点图像、或者与两视点相对应的捕获图像)，从区域参数存储单元56读出EVS角度、3D显示器20和空间成像装置30之间的距离、空间成像装置30和观察者之间的距离、或者空间成像装置30的宽高比等预定的条件，并基于预定的条件内的至少一个条件提取产生逆视的区域(视差图像区域)。

与第一实施方式相同，由于EVS角度、以及空间成像装置30和观察者之间的距离随着观察者的位置而变化，因此可构成为：将摄像机安装于立体显示装置10，图像处理单元50从适当的摄像机获得通过对观察者进行成像而得到的图像，从捕获图像中提取特征点，检测双眼的位置，基于双眼的位置、间隔等，指定EVS角度以及空间成像装置30和观察者之间的距离，并将所指定的信息存储到区域参数存储单元56中。在此，作为预定的条件，可利用显示面板21的特性或柱状透镜29的特性等任何其他的条件。另外，作为与空间成像装置30的特性有关的预定的条件，可利用构成空间成像装置30的二面角反射器的反射镜表面粗糙度、反射镜组装精度、反射率等。

图像数据互换单元53从输入图像指定与由视差图像区域提取单元52提取的视差图像区域相对应的左眼用图像和右眼用图像，在左眼用图像和右眼用图像的边界位置基本上一致的情况下，生成将图像互换所得到的图像数据，并将生成的图像数据输出到3D显示器20。

深度信息提取单元54、视差量调整单元55、视差图像区域提取单元52以及图像数据互换单元53可构成作为硬件，或者通过在图像处理单元50中设置包括CPU以及ROM或RAM等存储器的控制单元，并使用CPU将存储在ROM中的程序展开到RAM中、并执行该程序，控制单元能够作为深度信息提取单元54、视差量调整单元55、视差图像区域提取单元52及图像数据互换单元53发挥功能。与上述的第一实施方式相同，通过使用形成有彩色滤光片的相对的基板26、或者能够发出R/G/B的单色光的背光源22，能够在根据本实施方式的3D显示器20的显示面板21中进行彩色显示。

参照图28的流程图和图29A至图30C的概念图，将说明使用具有上述结构的图像处理单元50的视差图像校正方法。

首先，深度信息提取单元54从图像信号输入单元40获得输入图像(与一视点相对应的捕获图像、虚拟视点图像以及深度图像的集合、或者与两视点相对应的捕获图像)(S201)。然后，深度信息提取单元54基于深度图像或与两视点相对应的捕获图像的处理结果，提取3D物体的各部分的深度信息(S202)。

接下来，视差量调整单元55基于由深度信息提取单元54提取的深度信息和从区域参数存储单元56获得的预定的条件，调整输入图像(与一视点相对应的捕获图像信号和虚拟视点图像信号、或者与两视点相对应的捕获图像)的视差量(S203)。例如，在想要改善替换图像和与该图像相邻的图像之间的连接的情况下，如图29B所示，图像的边界附近的部分的视差量被调整得比边界以外的部分的视差量小。另外，在期望充分表现3D物体的深度或跃出的情况下，如图29C所示，主瓣图像的视差量被调整得比主瓣图像以外的各图像的视差量大。另外，在想要减小双重图像被视觉识别的缺点的情况下，图像的边界附近的部分的视差量被调整得小。例如，在3D串扰少的情况下，如图30B所示，图像的边界附近的部分的视差量被调整得比边界以外的部分的视差量小。另一方面，在3D串扰显著的情况下，如图30C所示，图像的边界的视差量被调整为零。

接下来，视差图像区域提取单元52获得由视差量调整单元55调整后的与一视点相对应的捕获图像和虚拟视点图像。另外，视差图像区域提取单元52从区域参数存储单元56获得预定的条件。然后，视差图像区域提取单元52基于此提取视差图像区域(S204)。在此，主瓣图像的区域被提取作为视差图像区域。

接下来，图像数据互换单元53将视差图像区域的左眼用图像和右眼用图像互换(S205)。例如，如图29A、图30A所示，在输入图像的左眼用图像由L_A、L_B及L_C构成、右眼用图像由R_A、R_B及R_C构成的情况下，将左眼用图像的主瓣图像R_B和右眼用图像的主瓣图像L_B互换。

然后，图像数据互换单元53向3D显示器20输出将视差图像区域的左眼用图像和右眼用图像互换得到的图像数据，并且3D显示器20基于该图像数据在显示面板21上显示图像(S206)。

在上述的说明中，虽然示出左右各输入图像由包括左图像、中央图像以及右图像的三个图像构成的情况，但是该说明同样也可应用于左右各输入图像由多个区域构成的情况。

以这种方式，在基于深度图像调整视差量之后，通过将与视差图像区域相对应的左眼用图像和右眼用图像互换，能够适当地显示空中悬浮图像，由此能够提高立体显示装置10的利用价值。

[第三实施方式]

接下来，将参照图31A至图38C对根据本发明的第三实施方式的立体显示装置及视差图像校正方法进行说明。

在上述的第一实施方式中，如图10所示，构成柱状透镜29的柱面透镜29a配置成延伸方向和与延伸方向正交并具有透镜效果的方向与排列有像素的Y方向和X方向平行。然而，根据本发明，可以使用柱面透镜的排列方向相对于像素的排列旋转配置的3D显示器20。以下，将进行详细说明。

图31A和图31B是表示根据本发明的第三实施方式的3D显示器20的结构的示意图。图32是表示根据本发明的第三实施方式的3D显示器20的功能的图。图33是表示根据本发明的第三实施方式的3D显示器20的功能的图。图31A和图31B显示在本实施方式中使用的3D显示器20。如图31A和图31B所示，所排列的柱面透镜29a的延伸方向和排列有显示面板21的像素124的Y轴方向之间形成角度α。

如图31A和图31B所示，显示面板21通过在X方向和Y方向上排列多个像素124而构成。显示面板21按照构成柱状透镜29的柱面透镜29a的配置，使像素124用作左眼用像素24L和右眼用像素24R，由此向观察者提供立体显示。例如，在图31A所示的3D显示器20中，如图32所示，在图31B的3D显示器20中，如图33所示，基于所配置的柱面透镜29a的光束分离特性，将像素124用作左眼用像素24L和右眼用像素24R。另外，图32和图33中所示的像素125是从像素输出的光束可通过柱面透镜29a被分离到观察者的右眼侧和左眼侧这两个方向的像素。这些像素125可用作左眼用像素24L和右眼用像素24R，使得显示面板内的像素的总数相同，可用作显示相邻的左眼用像素24L和相邻的右眼用像素24R之间的中间亮度的像素，或者可设置为非显示像素(黑显示)。在图31A至图33中，虽然为了便于说明像素图示为单一的单元，但也可以使用各像素124由多个子像素构成的显示面板，以用于彩色显示。

图34A和图34B是表示根据本发明的第三实施方式的子像素的结构的具体例。图34A和图34B表示像素124分别由多个子像素构成的具体例。图34A是将各像素124在X方向上分割成三个子像素、并配置子像素126、子像素127、子像素128的例子。图34B是将各像素124在Y方向上分割成三个子像素、并配置子像素126、子像素127、子像素128的例子。在图34A和图34B中，虽然示出了以下的例子：配置有在X轴方向上延伸的多个栅极线G(Gy，Gy+1，…)、在Y轴方向上延伸的多个数据线D(Dx，Dx+1…)，在被栅极线G和数据线D包围的区域中形成各像素，由配置在栅极线G和数据线D之间的交点附近的TFT驱动子像素，但是数据线D可设置为在X轴方向上延伸，栅极线G可设置为在Y轴方向上延伸。虽然各像素124由三个子像素构成，但像素124可由多个子像素构成。

如上所述，在各像素124由多个子像素构成的情况下，图32和图33中所示的像素125可设置为根据所配置的柱面透镜29a的光束分离特性，以子像素为单位，用作左眼用像素24L或右眼用像素24R。以下，将说明柱面透镜29a相对于像素排列旋转配置时的光学特性，但是，为了便于说明，参照从图32中省略像素125得到的图35。

通过将图31A中所示的3D显示器20的像素124如图35所示配置成用作左眼用像素24L和右眼用像素24R，可向观察者提供立体显示。例如，可参照图9的相同的剖视图说明沿图35中所示的线B-B’剖开的XZ面的剖面，因此可参照图5说明从线B-B’上的左眼用像素24L或右眼用像素24R射出、被柱面透镜折射并向观察者行进的光的光路。虽然可参照沿图9的具有Y方向上的与线B-B’不同位置的线A-A’或线C-C’剖开的剖面进行说明，但是左眼用像素24L或右眼用像素24R按照旋转角α配置，因此与沿线B-B’剖开的剖面相比，左眼用像素24L或右眼用像素24R的位置在沿线A-A’剖开的剖面中沿-X方向偏移，并在沿线C－C’剖开的剖面中沿+X方向上偏移。因此，图5所示的光路也根据Y方向上的位置偏移。因此，旋转角α对视觉识别的图像也具有影响。

旋转角α对所视觉识别的图像的影响与第一实施方式相同，利用使用成像单元捕获的捕获图像进行说明。

图36A至图36E是表示图31A和图31B所示的结构中柱状透镜和成像单元之间的间隔与捕获图像之间的对应关系的图。换言之，当将根据本实施方式的3D显示器20和成像单元80与图11中所示的根据第一实施方式的配置同样地进行配置时捕获捕获图像。如图36A至图36E所示，如在第一实施方式中所述在图13中所示的例子，示出了将成像单元80配置在3D显示器20的中心线上并改变成像单元80和柱状透镜29之间的间隔D的情况的例子，捕获图像与图13中所示的根据第一实施方式的捕获图像相对应。该情况下，当根据该实施方式的间隔D在最佳立体视觉识别距离Dop附近时捕获的捕获图像如图36A和图36B所示，与第一实施方式相同，在左侧包括左眼用像素24L的输入图像，在右侧包括右眼用像素24R的输入图像。但是，捕获图像具有根据旋转角α从Y轴倾斜角度β的中央边界线129。边界线相对于Y轴的倾角β理想上与旋转角α相同。但是，当安装柱状透镜29时的位置偏离理想位置时，根据安装位置偏移，倾角从旋转角α偏移。

当间隔D逐渐减小时，与第一实施方式同样地，如图36C所示，由于二次光的影响，在捕获图像的左侧出现右眼用像素24R的输入图像，在右侧出现左眼用像素24L的输入图像。然后，当间隔D进一步减小时，如图36D和图36E所示，由于三次光的影响，在捕获图像的左侧出现左眼用像素24L的输入图像，在右侧出现右眼用像素24R的输入图像。换言之，与图14A至图14E中所示的根据第一实施方式的情况相同，随着成像单元80和柱状透镜29之间的间隔D比最佳立体视觉识别距离Dop进一步减小，由于二次光或三次光等高次光的影响，通过左眼用像素24L的输入图像和右眼用像素24R的输入图像的重复而形成捕获图像。

另外，关于在第一实施方式中说明的、将成像单元80相对于3D显示器20的中心线偏向右侧(右眼侧)配置、并改变成像单元80和柱状透镜29之间的间隔D的情况(图15)、以及将成像单元80相对于3D显示器20的中心线偏向左侧(左眼侧)配置、并改变成像单元80和柱状透镜29之间的间隔D的情况(图18)的捕获图像，与上述相同，除左眼用像素24L的输入图像和右眼用像素24R的输入图像之间的边界线129具有从Y轴的倾角β以外，是相同的，因此不再进行说明。

接下来，对将图31A所示的根据本实施方式的3D显示器20与空间成像装置30组合的情况进行说明。以下，设空间成像装置30具有用作二面角反射器的柱或孔形成为相对于平板的主面的法线倾斜的结构，将空间成像装置30的平面设为与3D显示器20的显示面平行地配置。

与第一实施方式相同，如图21B的左侧所示，当在左眼用像素24L中显示星形的物体71配置在中央的略右侧的输入图像、并如图21B的右侧所示，在右眼用像素24R中显示星形的物体71配置在中央的略左侧的输入图像的情况下，形成使星形的物体71如同在空中跃出一样被视觉识别的跃出视差。

相对于此，例如，如图37A所示(与第一实施方式的图22A至图22C中所示的情况相同)，当在D＝0.5×Dop的位置上配置空间成像装置30的情况下，被虚拟配置在空间成像装置30的位置上的虚拟摄像机捕获的图像如图37B所示。在此，由于空间成像装置30是反射光学系统，并且从空间成像装置30射出的光束处于与入射方向相同的方向，观察者看到的图像被左右颠倒。其结果，观察者看到的图像如图37C所示，并如在第一实施方式中所述，产生跃出视差成为深度视差的所谓的逆视。

以这种方式，在将根据本实施方式的3D显示器20与空间成像装置30组合的情况下，与第一实施方式同样地，也产生逆视。

根据本实施方式的立体显示装置10的结构除3D显示器20的结构不同以外，与第一实施方式的结构相同。换言之，图31A和图31B中所示的3D显示器20配置于图8中。因此，与第一实施方式相同，设置图像处理单元50，进行使发生从图像信号输入单元40输入的输入图像的逆视的区域左右颠倒的图像处理，并将图像处理后的图像数据输出到3D显示器20。

作为图像处理单元50的结构，可应用与第一实施方式的结构相同的结构，因此不再进行详细说明。关于根据本实施方式的视差图像校正方法，将参照作为根据第一实施方式的流程图的图24以及图38A至图38C的示意图进行说明。

首先，视差图像区域提取单元52从图像信号输入单元40中获得输入图像(与两视点相对应的捕获图像、或者与一视点相对应的捕获图像和虚拟视点图像的集合)(S101)。在此，如图38A所示，设在主瓣图像中产生逆视。此时，3D正视区域和3D逆视区域之间的边界线与第一实施方式不同，根据图36A所示的倾角β，具有倾角γ。倾角γ理想地与倾角β相同。但是，根据空间成像装置的特性(二面角反射器的反射镜表面粗糙度、反射镜组装精度、反射率等)，在立体显示装置的显示图像和空中悬浮图像之间产生尺寸偏差，存在产生与倾角β的偏差的情况。

接下来，视差图像区域提取单元52从区域参数存储单元56获得预定的条件，并基于预定的条件提取视差图像区域(S102)。在此，作为视差图像区域，提取主瓣图像的区域。作为用于区域提取的边界线的参数，虽然可使用旋转角α或倾角β，但是，优选将实际用于立体显示装置的3D显示器20和空间成像装置30组合从而从空中悬浮图像实际测量的倾角γ的应用。

接下来，图像数据互换单元53将视差图像区域的左眼用图像和右眼用图像互换(S103)。例如，如图38B所示，在输入图像的左眼用图像由图像L_A、图像L_B及图像L_C构成、右眼用图像由图像R_A、图像R_B及图像R_C构成的情况下，将左眼用图像的主瓣图像R_B和右眼用图像的主瓣图像L_B互换。

然后，图像数据互换单元53向3D显示器20输出将视差图像区域的左眼用图像和右眼用图像互换得到的图像数据，3D显示器20基于该图像数据在显示面板21上显示图像(S104)。在此，由于产生逆视的主瓣的左眼用图像和右眼用图像被互换，因此，如图38C所示，观察者能够视觉识别所有的区域成为3D正视区域的空中悬浮图像。

在上述的说明中，虽然示出了左右各输入图像由包括左图像、中央图像、以及右图像的三个图像构成的情况，但是，如在第一实施方式中参照图26A至图26C所述，该说明同样也可适用于左右各输入图像由多个区域构成的情况。

根据第二实施方式的图像处理单元可应用于根据本实施方式的立体显示装置，在第二实施方式中说明的视差图像校正方法也可应用于该装置。

与第一实施方式和第二实施方式相同，由于EVS角度以及空间成像装置30和观察者之间的距离随着观察者的位置而变化，因此，可构成为：将摄像机安装于立体显示装置10，图像处理单元50从适当的摄像机中获得通过对观察者进行成像而得到的图像，从捕获图像中提取特征点，检测双眼的位置，基于双眼的位置及间隔等指定EVS角度以及空间成像装置30和观察者之间的距离，并将所指定的信息存储在区域参数存储单元56中。在此，作为预定的条件，可利用显示面板21的特性或柱状透镜29的特性等任何其他的条件。另外，作为与空间成像装置30的特性有关的预定的条件，可利用构成空间成像装置30的二面角反射器的反射镜表面粗糙度、反射镜组装精度、反射率等。

以这种方式，通过从输入图像中提取产生逆视的视差图像区域，并将与视差图像区域相对应的左眼用图像和右眼用图像互换，能够避免在空中悬浮图像中3D正视区域和3D逆视区域交替出现的问题。

作为本实施方式中使用的显示面板21，可使用液晶显示装置、有机电致发光(ElectroLuminescence，EL)装置、量子点装置以及场发射装置等各种显示装置中的任一种。另外，显示面板21的驱动方法不限于使用TFT等的有源矩阵方式，而可以是无源矩阵方式。

[第四实施方式]

接下来，将参照图39至图44，说明根据本发明的第四实施方式的立体显示装置及视差图像校正方法。

图39是表示根据本实施方式的立体显示装置的结构的透视图。图40A、图40B和图40C是表示根据观察者的移动的Px的值的图。图41是表示根据观察者的移动观察的视觉识别图像和逆视区域的图。图42是表示根据本发明的第四实施方式的立体显示装置的图像处理单元、视点位置检测单元的构成例的框图。

如图39所示，根据本实施方式的立体显示装置130由以下部件构成：3D显示器20；空间成像装置30；图像信号输入单元140；图像处理单元150；以及作为用于检测空间成像装置30和观察者之间的位置关系的单元的视点位置检测单元160。

作为3D显示器20，可使用在第一实施方式和第三实施方式中说明的任一显示器，因此不再进行详细说明。在下面，为了便于说明，将说明在本实施方式中使用根据第一实施方式的3D显示器20的例子。

图39表示来自空中悬浮图像的法线，将观察者能够适当地立体观察空中悬浮图像的法线上的距离用Lp表示。另外，与X轴平行的轴上的观察者的左眼位置60和右眼位置61之间的中点用Px表示。接下来，参照从正上方观察图39中所示的空中悬浮图像和观察者的图40A至图40C，说明观察者保持与空中悬浮图像的距离Lp的同时进行移动的情况的Px的值。如图40B所示，将观察者相对于空中悬浮图像位于中心位置时的Px的值设为零。另外，如图40A所示，将观察者移动到左侧的情况下的Px的值设为负，并且如图40C所示，将观察者移动到右侧的情况下的Px的值设为正。使用该Px，将观察位置VPx定义为下式。

VPx＝Px/Lp……式(1)

接下来，将说明观察者在与X轴平行的轴上移动的情况的视觉识别图像。图41是表示向3D显示器20的右眼用像素和左眼用像素输入各不相同的图像时观察者随着与图39中所示的X轴平行地进行移动观察的视觉识别图像、和逆视区域的图。在此，作为观察位置的值，使用利用式(1)计算的VPx的值。

例如，当VPx＝0时，左眼视觉识别图像与在第一实施方式中参照图25B说明的图像相同，并在中央部视觉识别产生逆视的主瓣的右眼用图像，并在水平方向上的两端视觉识别副瓣的左眼用图像。另外，当VPx＝0时，作为右眼的视觉识别图像，在中央部视觉识别产生逆视的主瓣的左眼用图像，在水平方向上的两端视觉识别副瓣的右眼用图像。

当观察者向右侧移动时，产生逆视的主瓣图像也向右侧移动，在两端识别的副瓣图像也向右侧移动。此时，如根据第一实施方式的图17和图20所示，主瓣的图像(根据一次光的图像)和副瓣的图像(根据高次光的图像)在X方向上反复出现，因此，主瓣图像再次出现在设置在主瓣图像的左侧的副瓣图像的更左侧。更具体而言，当VPx＝+0.022时，左眼的视觉识别图像从左端依次是主瓣的右眼用图像、副瓣的左眼用图像、主瓣的右眼用图像、副瓣的左眼用图像。另外，右眼的视觉识别图像从左端依次是主瓣的左眼用图像、副瓣的右眼用图像、主瓣的左眼用图像、副瓣的右眼用图像。因此，当VPx＝+0.022时，逆视区域除出现在VPx＝0的逆视区域移动到右侧的区域以外，还出现在左端。换言之，当观察者改变观察位置时，如图41所示，视觉识别图像变化，因此逆视区域也变化。

以这种方式，由于根据观察者的位置、产生逆视的位置变化，因此，在根据本实施方式的立体显示装置130中，通过进一步设置视点位置检测单元160，获得根据观察者的位置的逆视区域，并且，对于从图像信号输入单元40输入的输入图像，进行使该获得的逆视区域左右颠倒(将产生逆视的区域的左眼用图像和右眼用图像互换)的图像处理，并将图像处理后的图像数据输出到3D显示器20。

如图42所示，该视点位置检测单元160由观察者成像单元161和双眼位置检测单元162构成。另外，如图42所示，图像处理单元150由视差图像校正单元51、区域参数存储单元164以及相对位置计算单元163构成。

观察者成像单元161是为了测量从视点位置检测单元160到观察者的双眼的三维坐标而捕获观察者的图像的单元，可以使用可见光摄像机、可见光摄像机和红外线摄像机的组合、或者多个摄像机。

双眼位置检测单元162基于由观察者成像单元161得到的图像数据，计算观察者双眼的三维坐标。计算方法根据观察者成像单元161而不同。例如，在仅一台可见光摄像机的情况下，基于捕获图像内包括的人脸的特征点，计算双眼的位置，并利用人脸的大小计算距离。在可见光摄像机和红外线摄像机的组合的情况下，基于由可见光摄像机捕获的捕获图像内包括的人脸的特征点，计算双眼的位置，并基于具有发光图案的红外光的捕获图像计算距离，或者使用测量发射的红外光的返回时间的方式(飞行时间(timeofflight，TOF)方式：光的飞行时间)对距离进行计算。在使用多个摄像机的情况下，基于捕获图像内包括的人脸的特征点计算双眼位置，并基于三角法计算距离。

如上所述计算出的从视点位置检测单元160到观察者双眼的测量值被输入到相对位置计算单元163。相对位置计算单元163基于获得的测量值和立体显示装置130的视点位置检测单元160的设计位置等设计参数，计算空中悬浮图像和观察者之间的位置关系(图39中所示的距离Lp及双眼中心位置Px)，并将计算结果输出到区域参数存储单元。所输出的空中悬浮图像和观察者之间的位置关系被存储在区域参数存储单元164中。

根据本实施方式的视差图像校正单元51与第一实施方式相同，由视差图像区域提取单元52和图像数据互换单元53构成。

视差图像校正单元51的视差图像区域提取单元52从图像信号输入单元40获得与两视点相对应的捕获图像、或者与一视点相对应的捕获图像和虚拟视点图像的集合，并从区域参数存储单元164读取空中悬浮图像和观察者之间的位置关系(图37A至图37C中所示的距离Lp、及双眼中心位置Px)、3D显示器20和空间成像装置30之间的距离、以及空间成像装置30的宽高比等预定的条件，并基于预定的条件内的至少一个条件提取产生逆视的区域(视差图像区域)。例如，如图41所示，提取根据观察位置的逆视区域。

根据观察者的位置而变化的EVS角度以及空间成像装置30和观察者之间的距离可基于由视点位置检测单元160和相对位置计算单元163计算出的空中悬浮图像和观察者之间的位置关系进行计算。可将相对于这些观察者位置的变化率存储到区域参数存储单元164中。在此，作为预定的条件，可利用显示面板21的特性或柱状透镜29的特性等任何其他的条件。另外，作为与空间成像装置30的特性有关的预定的条件，也可以利用构成空间成像装置30的二面角反射器的反射镜表面粗糙度、反射镜组装精度、反射率等。

图像数据互换单元53从输入图像中指定与由视差图像区域提取单元52提取的视差图像区域相对应的左眼用图像和右眼用图像，并生成将图像互换得到的图像数据，并将生成的图像数据输出到3D显示器20。例如，指定图41所示的左眼用输入图像的逆视区域图像和右眼用输入图像的逆视区域图像，生成将图像互换得到的图像数据，并将生成的图像数据输出到3D显示器20。

在本实施方式中，上述根据本实施方式的结构以外的结构与第一实施方式的结构相同，因此不再对其进行详细说明。

图43是表示根据本发明的第四实施方式的立体显示装置10中使用的视差图像校正方法的流程图。将参照图43的流程图，说明使用图39和图42所示的视点位置检测单元160及图像处理单元150的视差图像校正方法。

首先，图像处理单元150从图像信号输入单元40获得输入图像(与两视点相对应的捕获图像、或者与一视点相对应的捕获图像和虚拟视点图像的集合)(S401)。接下来，视点位置检测单元160从由观察者成像单元161捕获的图像中通过双眼位置检测单元162检测观察者双眼位置(S402)。图像处理单元150基于由视点位置检测单元160检测到的双眼位置，通过使用相对位置计算单元163计算空中悬浮图像和观察者之间的位置关系(距离Lp、双眼中心位置Px)，并将位置关系输出到区域参数存储单元164(S403)。在观察者不在捕获范围内因此不能计算空中悬浮图像和观察者之间的位置关系的情况下，可以将之前计算出的位置关系、或者理想的位置关系输出到区域参数存储单元164。

接下来，视差图像区域提取单元52从区域参数存储单元164中获得包括观察者的位置关系的预定的条件，并基于此提取视差图像区域(S404)。在此，作为视差图像区域，如图41所示，提取根据观察者的位置而发生变化的逆视区域。接下来，对于在S401中获得的输入图像，将所提取的逆视区域中的左眼用图像和右眼用图像互换(S405)。例如，将图41中所示的左眼用输入图像的逆视区域图像和右眼用输入图像的逆视区域图像互换。

然后，图像数据互换单元53向3D显示器20输出将视差图像区域的左眼用图像和右眼用图像互换所得到的图像数据，3D显示器20基于该图像数据，将图像显示在显示面板21上(S406)。在此，由于产生逆视的左眼用图像和右眼用图像被互换，因此观察者能够视觉识别所有的区域成为3D正视区域的空中悬浮图像。

在上述的说明中，虽然使用图41的例子，示出了在VPx＝0时左右各输入图像由包括左图像、中央图像以及右图像的三个图像构成的情况，但如在第一实施方式中所说明的，该说明同样也可应用于左右各输入图像由多个区域构成的情况。

以这种方式，通过检测观察者的位置、根据观察者的位置从输入图像中提取产生逆视的视差图像区域、并将与视差图像区域相对应的左眼用图像和右眼用图像互换，在观察者移动的情况下，也能够避免在空中悬浮图像中交替出现3D正视区域和3D逆视区域的问题。

虽然使用根据第一实施方式的3D显示器20说明了根据本实施方式的立体显示装置，但是也可以使用根据第三实施方式的3D显示器20。在使用根据第三实施方式的3D显示器20的情况下，形成逆视区域的边界线可构成为具有与3D显示器20的特性相符的倾斜度。

可以将本实施方式中说明的、检测观察者的位置、根据观察者的位置从输入图像中提取产生逆视的视差图像区域的处理应用于第二实施方式。

该情况下的流程图示于图44中。

本发明不限于上述实施方式，在不背离本发明的主旨的情况下，可适当变更其结构或控制。

本发明可用于生成在空中形成3D图像而得到的空中悬浮图像的立体显示装置、立体显示装置中使用的视差图像校正方法、视差图像校正程序、以及记录该视差图像校正程序的记录介质。

Claims (18)

1.一种立体显示装置，包括：

裸眼立体显示器，所述裸眼立体显示器基于与两视点相对应的输入图像，将各不相同的图像投影到在第一方向上排列的观察者的左眼和右眼；

平板状的空间成像装置，所述平板状的空间成像装置包括在相互正交的第一反射面和第二反射面上反射从物体发射的光的多个光反射装置；以及

图像处理单元，所述图像处理单元在将一个输入图像投影的图像中混合有将另一输入图像投影的图像的情况下，将所述与两视点相对应的输入图像的深度视差和跃出视差颠倒的逆视区域所对应的部分互换，并将得到的图像输出到所述裸眼立体显示器，

其中，所述空间成像装置将从所述裸眼立体显示器射出并入射到入射面的光从射出面射出到观察者侧，以及

其中，所述裸眼立体显示器包括主瓣和副瓣，所述主瓣为通过显示面的中心的法线附近的正面的立体观察区域，以及所述副瓣为所述主瓣的在所述第一方向上的外侧上设置的立体观察区域。

2.根据权利要求1所述的立体显示装置，还包括检测所述观察者的视点位置的视点位置检测单元，

其中，在所述将一个输入图像投影的图像中混合有所述将另一输入图像投影的图像的情况下，所述图像处理单元根据由所述视点位置检测单元检测到的所述观察者的视点位置将与所述逆视区域相对应的部分互换，并将所述得到的图像输出到所述裸眼立体显示器。

3.根据权利要求2所述的立体显示装置，其中，

所述视点位置检测单元包括：

观察者成像单元，所述观察者成像单元捕获所述观察者的图像；以及

双眼位置检测单元，所述双眼位置检测单元从捕获图像中检测双眼的位置，

所述立体显示装置还包括相对位置计算单元，所述相对位置计算单元基于由所述双眼位置检测单元检测到的所述双眼的位置，指定所述空间成像装置和所述观察者之间的位置关系，并且

在所述将一个输入图像投影的图像中混合有所述将另一输入图像投影的图像的情况下，所述图像处理单元根据所指定的位置关系将与所述逆视区域相对应的部分互换，并将所述得到的图像输出到所述裸眼立体显示器。

4.根据权利要求1至3中任一项所述的立体显示装置，其中，所述图像处理单元包括：

视差图像区域提取单元，所述视差图像区域提取单元基于预定的条件提取所述逆视区域；以及

图像数据互换单元，所述图像数据互换单元将与所述逆视区域相对应的部分的图像互换。

5.根据权利要求4所述的立体显示装置，其中，所述逆视区域的边界线相对于所述裸眼立体显示器中包括的像素的排列方向具有角度。

6.根据权利要求4或5所述的立体显示装置，其中，所述图像处理单元还包括：

深度信息提取单元，所述深度信息提取单元基于所述与两视点相对应的输入图像，提取显示对象物的各部分的深度信息；以及

视差量调整单元，所述视差量调整单元基于所述预定的条件，调整所述与两视点相对应的输入图像的视差量。

7.根据权利要求6所述的立体显示装置，其中，所述视差量调整单元将与所述逆视区域相对应的部分的图像和与该图像相邻的图像之间的边界附近的部分的视差量设置得比所述边界附近的部分以外的部分的视差量小。

8.根据权利要求6所述的立体显示装置，其中，所述视差量调整单元将与所述逆视区域相对应的部分的图像的视差量设置得比与所述逆视区域相对应的部分以外的部分的图像的视差量大。

9.根据权利要求4至8中任一项所述的立体显示装置，其中，所述预定的条件包括由所述观察者的视线方向和所述空间成像装置的法线方向形成的角度、所述裸眼立体显示器和所述空间成像装置之间的距离、所述空间成像装置和所述观察者之间的距离、以及所述空间成像装置的光学特性中的至少一者。

10.一种使用立体显示装置的视差图像校正方法，所述立体显示装置包括：

裸眼立体显示器，所述裸眼立体显示器基于与两视点相对应的输入图像，将各不相同的图像投影到在第一方向上排列的观察者的左眼和右眼；以及

平板状的空间成像装置，所述平板状的空间成像装置包括在相互正交的第一反射面和第二反射面上反射从物体发射的光的多个光反射装置，

所述裸眼立体显示器包括主瓣和副瓣，所述主瓣为通过显示面的中心的法线附近的正面的立体观察区域，以及所述副瓣为所述主瓣的在所述第一方向上的外侧上设置的立体观察区域，以及

所述空间成像装置将从所述裸眼立体显示器射出并入射到入射面的光从射出面射出到观察者侧，

使用所述立体显示装置的所述视差图像校正方法包括：在将一个输入图像投影的图像中混合有将另一输入图像投影的图像的情况下，判断是否存在深度视差和跃出视差颠倒的逆视区域；在所述逆视区域存在的情况下，将所述与两视点相对应的输入图像的、与所述逆视区域相对应的部分互换；并将得到的图像输出到所述裸眼立体显示器。

11.根据权利要求10所述的使用立体显示装置的视差图像校正方法，还包括：

检测所述观察者的视点位置；以及

在所述将一个输入图像投影的图像中混合有所述将另一输入图像投影的图像的情况下，根据所检测到的观察者的视点位置，判断是否存在所述逆视区域；在所述逆视区域存在的情况下，根据所检测到的观察者的视点位置指定所述逆视区域；将与所指定的逆视区域相对应的部分互换；并将所述得到的图像输出到所述裸眼立体显示器。

12.根据权利要求11所述的使用立体显示装置的视差图像校正方法，还包括：

捕获所述观察者的图像；

从捕获图像中检测双眼的位置；

基于所检测到的双眼的位置，指定所述空间成像装置和所述观察者之间的位置关系；并且

在所述将一个输入图像投影的图像中混合有所述将另一输入图像投影的图像的情况下，根据所指定的位置关系将与所述逆视区域相对应的部分互换并将所述得到的图像输出到所述裸眼立体显示器。

13.根据权利要求10至12中任一项所述的使用立体显示装置的视差图像校正方法，还包括：

基于预定的条件提取所述逆视区域；以及

将所述与两视点相对应的输入图像内的、与所述逆视区域相对应的部分的图像互换。

14.根据权利要求13所述的使用立体显示装置的视差图像校正方法，其中，

所述逆视区域的边界线相对于所述裸眼立体显示器中包括的像素的排列方向具有角度。

15.根据权利要求13或14所述的使用立体显示装置的视差图像校正方法，还包括：

在提取所述逆视区域之前，基于所述与两视点相对应的输入图像，提取显示对象物的各部分的深度信息；以及

基于所述预定的条件，调整所述与两视点相对应的输入图像的视差量。

16.根据权利要求15所述的使用立体显示装置的视差图像校正方法，还包括：将与所述逆视区域相对应的部分的图像和与该图像相邻的图像之间的边界附近的部分的视差量设置得比所述边界附近的部分以外的部分的视差量小。

17.根据权利要求15所述的使用立体显示装置的视差图像校正方法，还包括：将与所述逆视区域相对应的部分的图像的视差量设置得比与所述逆视区域相对应的部分以外的部分的图像的视差量大。

18.根据权利要求13至17中任一项所述的使用立体显示装置的视差图像校正方法，其中，所述预定的条件包括由所述观察者的视线方向和所述空间成像装置的法线方向形成的角度、所述裸眼立体显示器和所述空间成像装置之间的距离、所述空间成像装置和所述观察者之间的距离、以及所述空间成像装置的光学特性中的至少一者。