CN102160388A - 三维显示设备和方法及程序 - Google Patents

Abstract

当显示图像用于三维观看时，在三维图像的端部提供自然外观。三维处理单元(30)将三维处理应用于由成像单元(21A，21B)获取的第一和第二图像(G1，G2)，以及显示控制单元(28)在监视器(20)上显示由三维处理产生的三维显示图像，用于三维观看。修正单元(31)修正第二图像(G2)的端部的图像部分以便修正包含当执行三维显示时看起来从监视器(20)的显示面向前飞出的部分的区域处的立体效果，以便该部分的立体效果变为逐渐与显示面齐平。三维处理单元(30)将三维处理应用于第一图像(G1)和修正后的第二图像(G2)。

Description

三维显示设备和方法及程序

技术领域

本发明涉及三维显示设备以及用于三维显示多个图像以允许图像的立体观看的方法，以及用于使计算机执行三维显示方法的程序。

背景技术

已知三维地显示图像的组合来通过利用图像间的视差提供立体观看。可以通过用布置于不同位置的一个以上照相机拍摄同一被摄体的一张以上图像以及通过利用包含在图像中的被摄体图像间的视差三维地显示图像，来实现立体观看。

具体地，如果通过用裸眼平行观看来实现立体观看，能够通过并排布置图像来实现三维显示。此外，可以通过组合图像，例如通过改变多个图像的颜色诸如变成红和蓝并重叠该多个图像，或通过提供具有不同偏光方向的多个图像并重叠该多个图像，实现三维显示。在这些情形中，能通过使用图像分离玻璃，诸如红蓝玻璃或偏光玻璃，以便提供为经眼睛的自动对焦功能获得的三维观看显示的图像的融合视图(彩色立体系统(anaglyph system)、偏光滤波器系统)，实现立体观看。

此外，可以通过在诸如视差屏障系统或柱镜光栅式系统的、允许立体观看的三维显示器上显示图像，来实现立体观看，而不使用偏光玻璃等等。在这种情况下，通过交替地布置图像的垂直条，实现三维显示。此外，已经提出了用于通过使用图像分离玻璃或将光学元件附着在液晶显示器上，在改变来自左右图像的光束的方向的同时交替地显示左右图像，来提供三维显示的方法(扫描背光系统)。

此外，已经提出了包括为上述三维显示用于拍摄图像的一个以上成像单元的复眼相机。这种复眼相机包括三维显示监视器，以及由通过成像单元获取的图像生成用于三维显示的三维图像。能够在三维显示监视器上显示所生成的三维图像用于三维观看。

通过从不同视点拍摄被摄体，获得用于三维显示的图像，因此，各个图像包含其端部处未包含在其他图像中的区域。例如，在使用两个图像G1和G2执行三维显示的情况下，如图22所示，图像G1中的区域A51未出现在图像G2中，以及图像G2中的区域A52未出现在图像G1中。当为三维观看显示这些图像时，即使各个图像的端部处的人看起来从显示面向前飞出，由于人的一部分未出现在图像G2中，人的立体效果在三维图像的左端部突然消失并且二维地显示人的左半部分。这导致三维图像的端部的非常不自然的外观。

为解决这一问题，已经提出了一种方法，其中，当图像的一个包含当立体观看时看起来向前飞出的物体的完整信息且其他图像不包含该物体的完整信息，由此不能实现三维显示时，屏蔽这个图像，例如，以去除该物体的信息的一部分，由此实现三维显示(见日本未审专利公开号No.8(1996)-065715，在此称为专利文献1)。还提出了另一种方法，当显示包含一个以上物体的图像用于三维观看时，改变物体的立体效果(见日本未审专利公开号No.2005-065162，在此称为专利文献2)。

然而，在专利文献1中公开的方法中，尽管解决了不能显示物体用于三维观看的情形，但该方法仅在特定物体上有效，以及在该特定物体的前面或后面出现的其他物体的立体效果突然消失。由此，如果三维图像具有图像看起来从显示面向前飞出的立体效果，观看该图像的观看者感觉该三维图像非常不自然。

发明内容

鉴于上述情形，本发明旨在当显示用于三维观看的图像时在三维图像的端部处提供自然外观。

根据本发明的三维显示设备包括：三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像，以生成三维图像；显示装置，用于至少执行三维图像的三维显示；以及修正装置，用于在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正所述多个图像中的至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平，其中，三维处理装置将三维处理应用于修正后的图像。

当修正了所有图像时，在此的“修正后的图像”是指所有修正后的图像，以及当仅修正一个或一些图像时，在此的“修正后的图像”是指包括修正后的图像和除修正后的图像外的未修正图像的图像。

在根据本发明的三维显示设备中，修正装置可以修正至少一个图像来修正图像的端附近的区域的视差，以便朝图像的端部逐渐减少视差。

在根据本发明的三维显示设备中，修正装置可以在图像的周围的至少一部分设置预定范围的端部区域，以及可以修正图像的端部区域中的相应像素间的视差，以便朝图像的端逐渐减小视差。

“在图像的周围的至少一部分设置预定范围的端部区域”在此是指将端部区域设置在图像的上、下、左和右部的至少一个处。最好将端部区域设置在图像的整个周围，即上、下、左和右部的全部。然而，端部区域可以仅设置在左右部，或仅设置在上下部。

在根据本发明的三维显示设备中，修正装置可以通过基于视差使图像中用作基准的基准图像的端部区域的图像部分变形，以及利用端部区域的变形后的图像部分修正除端部区域外的图像部分，修正至少一个图像。

在这种情况下，修正装置可以在除基准图像外的图像中搜索对应于在图像中用作基准的基准图像的端部区域内距离基准图像的端最远位置处的基准像素的点，基于基准像素和对应于基准像素的相应点间的视差使由基准像素和基准图像的端之间排布的像素形成的像素区域变形，以及将另一图像中的相应点用作基准使用变形后的像素区域来修正所述另一图像。

在根据本发明的三维显示设备中，修正装置可以通过基于视差使图像中的至少一个的端部区域的图像部分变形，修正至少一个图像。

在这种情况下，修正装置可以：在除基准图像外的图像中，搜索第一相应点以及第二相应点，所述第一相应点是对应于在离基准图像的端最远位置处的基准像素的点，而所述第二相应点是对应于图像中用作基准的基准图像的端部区域内位于基准图像的端处的端像素的点；以及基于基准像素和第一相应点间的视差以及端像素和第二相应点间的视差，使由另一图像中的第一相应点和第二相应点间排布的像素所形成的像素区域变形。

根据本发明的三维显示方法用于与三维显示设备一起使用，该三维显示设备包括三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像以生成三维图像，以及显示装置，用于至少执行三维图像的三维显示，该方法包括：在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平；以及将三维处理应用于修正后的图像。

可以以使计算机执行本发明的三维显示方法的程序的形式，提供本发明。

根据本发明的三维处理设备包括：三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像，以生成三维图像；以及修正装置，用于在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分处的立体效果，以便端部的至少该部分看起来与显示面齐平，其中，三维处理装置将三维处理应用于修正后的图像。

根据本发明的三维处理方法是将用于三维显示的三维处理应用于其间具有视差的多个图像以生成三维图像的三维处理方法，该方法包括：在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分处的立体效果，以便端部的至少该部分看起来与显示面齐平；以及将三维处理应用于修正后的图像。

可以以使计算机执行本发明的三维处理方法的程序的形式，提供本发明。

根据本发明，在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正多个图像中的至少一个图像来修正在端部的至少一部分处的立体效果，以便端部的至少该部分看起来与显示面齐平；以及将三维处理应用于修正后的图像。因此，当三维图像的端部具有看起来从显示面向前飞出的立体效果时，朝图像的端逐渐减少图像的立体效果。因此，即使当多个图像的各个在其周围包含在其他图像中不可见的区域时，该区域中的立体效果也不会突然消失，由此在三维图像的端部提供自然外观。

附图说明

图1是示出应用根据本发明的第一实施例的三维显示设备的复眼相机的内部结构的示意框图，

图2是示出成像单元的结构的图示，

图3是示出当显示用于三维观看的第一和第二图像时的立体效果的图示，

图4是示出端部区域设置于第一图像中的状态的图示，

图5是用于说明第一实施例中的右区域中的相应点的搜索的图示，

图6是示出相应点间的视差连同第二图像的图示，

图7是用于说明第一实施例中的右区域的覆写处理的图示，

图8是用于说明第一实施例中的右区域的覆写处理的另一图示，

图9是用于说明第一实施例中的修正处理的结果的图示，

图10是用于说明在第一实施例中的下区域中的相应点的搜索的图示，

图11是示出相应点间的视差连同第一图像的图示，

图12是用于说明第一实施例中的下区域的覆写处理的图示，

图13是用于说明第一实施例中的下区域的覆写处理的另一图示，

图14是用于说明第一实施例中的修正处理的结果的图示，

图15是示出在第一实施例中执行的过程的流程图，

图16是用于说明第二实施例中的右区域中的相应点的搜索的图示，

图17是用于说明第二实施例中的右区域的覆写处理的图示，

图18是用于说明第二实施例中的下区域的相应点的搜索的图示，

图19是用于说明第二实施例中的下区域的覆写处理的图示，

图20是用于说明第二实施例中变形区域中的像素与变形前的区域中的像素间的对应关系的图示，

图21是用于说明第二实施例中变形区域中的像素与变形前的区域中的像素间的对应关系的另一图示，

图22是示出用于三维显示的多个图像的图示。

具体实施方式

在下文中，将参考附图描述本发明的实施例。图1是示出应用根据本发明的第一实施例的三维显示设备的复眼相机的内部结构的示意框图。如图1所示，根据第一实施例的复眼相机1包括两个成像单元21A和21B、成像控制单元22、图像处理单元23、压缩/解压缩单元24、帧存储器25、介质控制单元26、内部存储器27和显示控制单元28。将成像单元21A和21B放置成能用预定基线长度和辐辏角拍摄被摄体。在此假定垂直方向中的成像单元21A和21B的位置相同。

图2示出成像单元21A和21B的结构。如图2所示，成像单元21A和21B分别包括聚焦透镜10A和10B、变焦透镜11A和11B、光圈光阑12A和12B、快门13A和13B、CCD 14A和14B、模拟前端(AFE)15A和15B以及A/D转换单元16A和16B。成像单元21A和21B进一步包括用于驱动聚焦透镜10A和10B的聚焦透镜驱动单元17A和17B以及用于驱动变焦透镜11A和11B的变焦透镜驱动单元18A和18B。

聚焦透镜10A和10B用来在被摄体上聚焦，以及能够通过均由马达和马达驱动器形成的聚焦透镜驱动单元17A和17B沿光轴方向移动。聚焦透镜驱动单元17A和17B基于通过稍后所述的、由成像控制单元22执行的AF处理获得的聚焦后的焦点位置数据，控制聚焦透镜10A和10B的运动。

变焦透镜11A和11B用来实现变焦功能，以及能够通过均由马达和马达驱动器形成的变焦透镜驱动单元18A和18B沿光轴方向移动。变焦透镜驱动单元18A和18B在包含在输入单元34中的变焦杆的操作下基于在CPU 33获得的变焦数据，控制变焦透镜11A和11B的运动。

基于通过由成像控制单元22执行的AE处理获得的光圈值数据，由光圈光阑驱动单元(未示出)调整光圈光阑12A和12B的光圈直径。

快门13A和13B是机械快门，并且根据通过AE处理获得的快门速度由快门驱动单元(未示出)驱动。

CCD14A和14B的各个包括光电面，在其上二维地排列很多个光接收元件。被摄体的光图像在各个光电面上进行对焦并经受光电转换以获得模拟成像信号。此外，由规则排列的R、G和B滤色器形成的滤色器被设置在各个CCD 14A、14B的前面。

AFE 15A和15B处理从CCD14A和14B馈给的模拟成像信号以便从该模拟成像信号去除噪声，以及调整该模拟成像信号的增益(该操作在下文中称为“模拟处理”)。

A/D转换单元16A和16B将已经经受AFE15A和15B的模拟处理的模拟成像信号转换成数字成像信号。由成像单元21A和21B获取的数字图像数据表示的图像分别称为第一图像G1和第二图像G2。

成像控制单元22包括AF处理单元和AE处理单元(未示出)。当半按包括在输入单元34中的释放按钮时，成像单元21A和21B获取初步图像。然后，AF处理单元基于初步图像确定用于透镜10A和10B的对焦区域和焦距，以及将信息输出到成像单元21A和21B。AE处理单元基于由初步图像的亮度值计算的亮度估计值确定光圈值和快门速度，以及将信息输出到成像单元21A和21B。

作为用来通过AF处理检测焦点的方法，例如，可以使用被动法。在被动法中，通过利用包含聚焦状态下的期望被摄体的图像具有更高对比度值的事实，检测聚焦的焦点。更具体地说，各个初步图像被划分成多个AF区域，以及使用高通滤波器过滤各个AF区域中的图像。然后，对各个AF区域计算AF估计值，该AF估计值是用于高频分量的估计值，以及将具有最高估计值即来自滤波器的最高输出值的AF区域检测作为对焦区。

当完全按下释放按钮时，成像控制单元22指示成像单元21A和21B执行实际成像以便获取第一和第二图像G1和G2的实际图像。应注意到，在操作释放按钮前，成像控制单元22指示成像单元21A和21B以预定时间间隔(例如以1/30秒的间隔)连续地获取实时取景图像，所述实时取景图像具有比实际图像更少的像素，用于校验成像单元21A和21B的成像范围。

图像处理单元23将图像处理，诸如白平衡调整、色调校正、锐度校正和颜色校正，应用于由成像单元21A和21B获取的第一和第二图像G1和G2的数字图像数据。在本说明书中，由与用于未处理过的第一和第二图像的相同的参考符号G1和G2也表示已经由图像处理单元23处理过的第一和第二图像。

压缩/解压缩处理单元24将根据某一压缩格式诸如JPEG的压缩处理应用于表示由图像处理单元23处理后的第一和第二图像G1和G2的实际图像生成的、用于三维显示的三维图像的图像数据，如稍后所述，以及生成用于三维显示的三维图像文件。三维图像文件包含第一和第二图像G1和G2的图像数据以及三维图像的图像数据。例如，基于Exif格式，将存储相关信息诸如拍摄时间和日期的标签添加到图像文件。

帧存储器25为应用到表示由成像单元21A和21B获取的第一和第二图像G1和G2的图像数据的各种处理，包括图像处理单元23的处理，提供工作区。

介质控制单元26访问记录介质29，以及控制将三维图像文件等等写入记录介质29和从记录介质29读取三维图像文件等等。

内部存储器27存储成像单元21A和21B的基线长度和辐辏角、设置在复眼相机1内的各个常数、由CPU 33执行的程序等等。内部存储器27还存储在由修正单元31执行的修正处理期间设置的端部区域的范围的信息，如稍后所述。

显示控制单元28使在成像期间在帧存储器25中存储的第一和第二图像G1和G2在监视器20上显示用于二维观看，或使在记录介质29中记录的第一和第二图像G1和G2在监视器20上显示用于二维观看。此外，显示控制单元28能使已经经过稍后所述的三维处理的第一和第二图像G1和G2显示在监视器20上用于三维观看，或能使在记录介质29中记录的三维图像显示在监视器20上用于三维观看。二维显示和三维显示间的切换可以自动地执行，或可以根据经输入单元34来自拍摄者的指令执行。在三维显示期间，在监视器20上显示第一和第二图像G1和G2的实时取景图像用于三维观看，直到按下释放按钮为止。

应注意到，当显示模式切换到三维显示时，第一和第二图像G1和G2均用于显示，如稍后所述。相反，当显示模式切换到二维显示时，第一和第二图像G1和G2的一个用于显示。在该实施例中，第一图像G1用于二维显示。

根据本实施例的复眼相机1进一步包括三维处理单元30。三维处理单元30将三维处理应用于第一和第二图像G1和G2，用于监视器20上的第一和第二图像G1和G2的三维显示。在本实施例中所使用的三维显示技术可以是任何已知的技术。例如，可以并排显示第一和第二图像G1和G2，以便通过裸眼的平行观看来实现立体观看，或可以使用柱镜光栅式系统来实现三维显示，其中，将柱镜光栅式透镜附着在监视器20上，以及在监视器20的显示面上的预定位置处显示图像G1和G2，以便分别由左右眼观看第一和第二图像G1和G2。此外，可以使用扫描背光系统，其通过以交替方式光学地分离对应于左右眼的监视器20的背光的光路，以及根据背光向左或右的分离在监视器20的显示面上交替地显示第一和第二图像G1和G2，实现三维显示。

根据由三维处理单元30执行的三维处理的类型，修正监视器20。例如，如果用柱镜光栅式系统实现三维显示，那么将柱镜光栅式透镜附着在监视器20的显示面上。如果用扫描背光系统实现三维显示，那么将用于改变来自左右图像的光束的方向的光学元件附着在监视器20的显示面上。

图3示出当显示第一和第二图像G1和G2用于三维观看时获得的立体效果。在该实施例中，通过交替地显示第一和第二图像G1和G2，利用扫描背光系统，实现三维显示。此外，三维图像具有立体效果，利用该立体效果整个图像看起来从监视器20的显示面20A向前飞出。如图3所示，当显示第一和第二图像G1和G2用于三维观看时，能立体地观看三维图像，以致图像看起来从监视器20的显示面20A向前飞出。然而，由于通过从不同视点拍摄被摄体来获取第一和第二图像G1和G2，因此，第一和第二图像G1和G2在它们的端部包含区域A51和A52，它们中的各个不包含在另一个图像中，如图22所示。因此，在三维图像上，左眼可见的范围HL和右眼可见的范围HR不同，这导致在三维图像上出现仅左眼可见的部分BL和仅右眼可见的部分BR。

当仅左眼可见的部分BL和仅右眼可见的部分BR以这种方式出现在三维图像上时，在与部分BL和BR相邻的、能以立体观看向前飞出的立体效果观看的区域处的立体效果在边界处突然消失，由此三维图像看起来非常不自然。

在本实施例中，因此，提供修正单元31，用于修正第一和第二图像G1和G2的至少一个，以及三维处理单元30将三维处理应用于由修正单元31修正过的第一和第二图像G1和G2。在本实施例中，修正单元31仅修正第二图像G2。现在，描述由修正单元31执行的操作。

首先，修正单元31将第一和第二图像G1和G2中的第一图像G1设置为基准图像，然后，在第一图像G1的周围设置预定范围的端部区域。图4示出在第一图像G1的周围设置端部区域的状态。在此假定第一和第二图像G1和G2中的各个包含两个人P1和P2以及背景上的山，以及山与人P1和P2间的建筑物，如图4所示。如图4所示，修正单元31在第一图像G1的周围设置端部区域EL。在此假定端部区域EL划分成四个区域：右区域EL1、左区域EL2、上区域EL3和下区域EL4。此外，右区域EL1和左区域EL2的水平方向中的宽度为“a”，以及下区域EL3和上区域EL4的垂直方向中的宽度为“b”。将端部区域的宽度a和b的信息存储在内部存储器27中。

然后，修正单元31在第二图像G2中搜索对应于第一图像G1的端部区域EL中的像素的点。由于垂直方向中的成像单元21A和21B的位置相同，修正单元31对端部区域EL中的各个像素设置具有预定大小的块，并使得该像素位于块的中心，以及执行块匹配以便通过仅在x方向上偏移块来计算相关值。然后，搜索出具有表示最大相关的相关值的第二图像G2上的像素，作为对应于感兴趣的像素的点。

接着，修正单元31计算搜索出的相应点间的视差，以及对端部区域EL的四个区域的各个，即，右区域EL1、左区域EL2、上区域EL3和下区域EL4，基于所计算的视差，判定当显示第一和第二图像G1和G2用于三维观看时该区域是否包含立体视图中看起来从监视器20的显示面上前飞出的部分。然后，修正单元31将修正处理应用于已经做出肯定判定的区域。

现在，将描述当判定右区域EL1包含立体视图中看起来从监视器20的显示面向前飞出的部分时执行的修正处理。首先，修正单元31在第二图像G2中搜索对应于第一图像G1的右区域EL1中的各个像素的点。图5是用于说明第一实施例中的相应点的搜索的图示。如图5所示，修正单元31在第一图像G1的右区域EL1的左端处设置在y方向中排列的像素的像素列40(由斜阴影线表示)，以及在第二图像G2中搜索像素列40中的各个像素的对应点。应注意到，由于对上述确定已经搜索出相应点，因此，在该操作中，可以使用对以上确定搜索出的相应点。

用这种方式，搜索出对应于像素列40中的像素的第二图像G2中的对应点，如图5所示。第一图像G1中的像素列40中的像素是对应于第二图像G2中的搜索出的相应点的点。因此，在下述描述中，可以将第一图像G1中的像素列中的各个像素称为对应点。应注意到在图5和下述描述中，为便于说明，比实际像素更大地示出相应点和像素列中的各个像素。

在该实施例中，在第一和第二图像G1和G2中设置坐标系，以共同位置(图像的左上角)为原点，水平方向是x方向，以及垂直方向为y方向。通过设置该坐标系，第一和第二图像G1和G2上的相应点间的x方向中的位置差是相应点间的视差。视差越大，立体效果越大。图6示出相应点间的视差连同第二图像G2。如图6所示，对应于人P2的相应点间的视差大，而对应于建筑物的视差具有负值。此外，像素列40中的山的部分在第二图像G2中的视角外，即不包含在第二图像G2中，由此，未搜索出相应点。

然后，修正单元31根据相应点间的视差，在x方向中，扩大由已经为其搜索出相应点的、在第一图像G1中的像素列40中的像素的右边的像素列形成的线性区域，以及执行覆写处理以在第二图像G2上覆写扩大区域。图7是用于说明第一实施例中的覆写处理的图示。应注意到在图7中，为说明方便，仅用斜阴影线表示一个像素C1，作为覆写处理中感兴趣的像素。修正单元31设置由感兴趣的像素C1的右边上的像素列形成的线性区域A1。假定感兴趣的像素C1与对应于感兴趣的像素C1的对应点C2间的视差为d1，以及区域A1的宽度为a，修正单元31在水平方向中使区域A1扩大(a+d1)/a倍以生成扩大的区域A1′。

然后，修正单元31通过将扩大区域的左端定位在第二图像G2中的相应点C2，来在第二图像G2上覆写扩大区域A1′。应注意到，由于通过在水平方向中使区域A1扩大(a+d1)/a倍来生成扩大区域A1′，当在第二图像G2上覆写扩大区域A1′时，将扩大区域A1′的右端处的像素定位在第二图像G2的右端处的像素上。通过对第二图像G2中所有搜索出的相应点执行该覆写处理，如图8所示，用扩大区域A1′覆写由第二图像G2中的相应点的右边上的像素列形成的区域。

另一方面，如果确定左区域EL2包含在立体视图中看起来将从监视器20的显示面向前飞出的部分，那么修正单元31在第一图像G1中的左区域EL2的右端处设置在y方向中排列的像素的像素列41，如图5所示，以及在第二图像G2中搜索对应于像素列41中的各个像素的相应点。然后，修正单元31根据相应点间的视差收缩由像素列41中的各个像素的左边上的像素列形成的区域，以及覆写第二图像G2中的相应点的左边上的扩大区域，由此实现修正处理。

通过以这种方式应用修正处理，朝右端逐渐减小对应于像素列40的第二图像G2中的相应点的右边上的区域与第一图像G1中的右区域EL1间的视差，以致视差在右端为零。此外，对应于像素列41的第二图像G2中的相应点的左边上的区域与第一图像G1中的左区域EL2间的视差朝左端逐渐减小，以致在左端，视差为0。因此，当为三维观看显示第一和第二图像G1和G2时，如图9所示，没有仅由左眼或右眼可见的这种部分，以及朝左右端逐渐减小立体效果。应注意到在图9中，三维图像中的区域E1对应于端部区域EL的右区域EL1，以及三维图像中的区域E2对应于端部区域EL的左区域EL2。

接着，描述当确定下区域EL3包含立体视图中看起来从监视器20的显示面向前飞出的部分时执行的修正处理。图10是用于说明第一实施例中端部区域的下区域处的相应点的搜索的图示。如图10所示，修正单元31在第一图像G1中的下端区域EL3的上端处设置在x方向中排列的像素的像素列50(由斜阴影线表示)，以及在第二图像G2中搜索对应于像素列50中的各个像素的点。应注意到以与上文所述相同的方式，执行相应点的搜索。因此，搜索出对应于像素列50中的像素的第二图像G2中的相应点，如图10所示。

图11示出相应点间的视差连同第一图像G1。如图11所示，在对应于人P1和P2的相应点间的视差大。此外，由第二图像G2中的人P1遮掩对应于人P1的左边的区域的第一图像G1中的部分，因此，对第一图像G1中的人P1的左边的区域，未搜索出相应点。由此，未计算视差。

在此，假定对像素列50中的各个像素的相应点间的视差为dL(xL)，在第二图像G2中搜索出的相应点与像素列50中的相应像素间的视差为dR(xR)，第一图像G1中的端部区域EL的下区域EL3中的各个像素的坐标为(xL，yL)，以及对应于下区域EL3的第二图像G2中的下区域ER3中的各个像素的坐标为(xR，yR)，那么由于在第一和第二图像G1和G2中以图像的左上角为原点设置坐标系，能通过下述等式得出对应于第一图像G1中的像素(xL，yL)的第二图像G2中的相应点的坐标。

(xR，yR)＝(xL-dL(xL)，yL)

此外，能通过下述等式得出对应于第二图像G2中的像素(xR，yR)的第一图像G1中的相应点的坐标。

(xL，yL)＝(xR+dR(xR)，yR)

修正单元31用根据下述公式(1)计算的第一图像G1中的像素的像素值覆写第二图像G2中的下区域ER3中的像素(xR，yR)的像素值：

(xR-dR(xR)×(yR-h)/b，yR)                        ...(1)

其中，h表示第一和第二图像G1和G2中的高度方向中的像素数，以及b表示垂直方向中的下区域EL3的宽度

图12是用于说明第一实施例中的下区域的覆写处理的图示。为说明目的，图12表示仅在第一图像G1中设置下区域EL3的状态。在此假定图像包含仅一个人。首先，如图12所示，假定第一和第二图像G1和G2中的下区域EL3和ER3的上端处的相应点为C11和C12，相应点C11的y坐标为h-b。由此，应用公式(1)，相应点C12的坐标对应于第一图像G1中的(xR-dR(xR)×(h-b-h)/b，yR)＝(xR+dR(xR)，yR)。由此，用第一图像G1中的相应点的像素值覆写第二图像G2中的下区域ER3的上端处的像素。即，用相应点C11的像素值覆写第二图像G2中的像素C12。

另一方面，相对于第二图像G2中的下区域ER3的下端处的像素C13，像素C13的y坐标为h。因此，应用公式(1)，像素C13的坐标对应于第一图像G1中的：

(xR-dR(xR)×(h-h)/b，yR)＝(xR，yR)。

这意味着用第一图像G1中具有相同坐标的像素的像素值覆写第二图像G2的下端处的像素。即，在具有与第一图像G1中的像素C11相同x坐标的像素中，在具有与像素C14相同坐标值的第二图像G2中的像素C15上，覆写下区域EL3的下端处的像素C14的像素值。

由此，在连接第二图像G2的下区域ER3中的像素C12和C15的对角方向中，使由第一图像G1的下区域EL3中的像素C11和C14间的y方向中的像素列形成的区域A11变形，如图12所示，以及在第二图像G2中包含像素C12和以下的像素的区域上，覆写由此获得的变形区域A11′。应注意到实际上，不能由具有小数点的数字来表示像素的位置，因此，从与相应像素相邻的像素获得的内插值用于覆写。

以这种方式执行修正处理，使第二图像G2的下区域ER3变形，如图13所示，以致从下区域ER3的上端到下端，逐渐减小第二图像G2与第一图像G1间的视差。当执行该修正处理时，如果第二图像G2包含不能搜索出相应点的人的左边的区域，诸如第二图像G2中的区域A4，如图13所示，不能用相应像素值覆写该区域。因此，修正单元31提取对应于区域A4的第一图像G1中的位置的区域A5，以及用区域A5覆写区域A4。

另一方面，如果已经确定上区域EL4包含在立体视图中看起来从监视器20的显示面向前飞出的部分，修正单元31在第一图像G1中的上区域EL4的下端处设置x方向中排列的像素的像素列51，如图10所示，以及在第二图像G2中搜索对应于像素列51中的各个像素的点。然后，修正单元31执行修正处理，以便根据相应点间的视差，用根据下述公式(2)计算的第一图像G1中的像素的像素值，覆写第二图像G2中的上区域中的各个像素的像素值：

(xR-dR(xR)×(-yR)/b，yR)                        ...(2)

通过以这种方式执行修正处理，第一图像G1中的下区域EL3与对应于像素列50的第二图像G2中的相应点下的区域间的视差朝下端逐渐减小，以致在下端处视差为0。相反，第一图像G1中的上区域EL4与对应于像素列51的第二图像G2中的相应点上的区域间的视差朝上端逐渐减小，以致在上端处视差为零。由此，当为三维观看显示第一和第二图像G1和G2时，如图14所示，三维图像的上下区域处的立体效果朝图像的端逐渐减小。应注意到在图14中，三维图像中的区域E3对应于端部区域EL的下区域EL3，以及三维图像中的区域E4对应于端部区域EL的上区域EL4。

CPU 33根据经包括释放按钮等等的输入单元34输入的信号，控制复眼相机1的各个单元。

数据总线35连接到形成复眼相机1的各个单元和CPU 33，用于在复眼相机1中传送各种数据和信息。

接着，将描述在第一实施例中执行的过程。图15是示出第一实施例中执行的过程的流程图。应注意到，为三维观看显示的图像可以是实时取景图像或可以是在记录介质29中记录的图像。

CPU 33监控是否已经发出显示由拍摄者拍摄的或在记录介质29中记录的图像的指令(步骤ST1)。如果步骤ST1中的判定是肯定的，那么修正单元31设置第一图像G1中的端部区域EL(步骤ST2)。然后，搜索出对应于第一图像G1的端部区域EL中的各个像素的点(步骤ST3)，以及计算相应点间的视差(步骤ST4)。然后，对四个区域的各个，即端部区域EL的右区域EL1、左区域EL2、上区域EL3和下区域EL4，基于视差，当显示第一和第二图像G1和G2用于三维观看时，判定各个区域是否包含在立体视图中看起来从监视器20的显示面向前飞出的部分(步骤ST5)。

如果步骤ST5的判定是肯定的，那么以上文所述的方式，基于相应点间的视差，修正单元31将修正处理应用于第二图像G2的端部区域中具有看起来从监视器20的显示面向前飞出的立体效果的区域(步骤ST6)。然后，三维处理单元30将三维处理应用于第一图像G1和修正后的第二图像G2(步骤ST7)。然后，显示控制单元28在监视器20上显示由此获得的三维图像，用于三维观看(步骤ST8)，以及该过程结束。

另一方面，如果步骤ST5的判定是否定的，那么这意味着当显示用于三维观看的三维图像时，三维图像的端部看起来在立体视图中处于比监视器20的显示面更深的位置，由此即使当三维图像的端部的立体效果突然消失时，三维图像也不会出现不自然。因此，修正单元31不执行修正处理。然后，在步骤ST7，三维处理单元30将三维处理应用于第一和第二图像G1和G2，以及该过程进入步骤ST8。

如上所述，在第一实施例中，如果当显示用于三维观看的第一和第二图像G1和G2时三维图像的端部在立体视图中看起来从监视器20的显示面向前飞出，那么修正第二图像G2以便使端部处的立体效果逐渐地更接近与监视器20的显示面齐平的立体效果，然后，将三维处理应用于第一图像G1和修正后的第二图像G2。因此，即使当三维图像的端部具有看起来从显示面向前飞出的立体效果，该图像的立体效果朝图像的端逐渐减小，如图9和14所示。因此，即使当第一和第二图像G1和G2包含其周围的在另一图像中不可见的区域，该区域中的立体效果也不会突然消失，由此在三维图像的端部提供自然的外观。

接着，将描述本发明的第二实施例。应注意到第二实施例的复眼相机不同于第一实施例的复眼相机1之处仅在于由修正单元31执行的处理，因此，在此省略结构的详细描述。在第一实施例中通过用第一图像G1的端部区域的扩大或变形区域覆写第二图像G2来实现修正处理，而在第二实施例中的修正处理通过用第二图像G2的变形或扩大区域覆写第二图像G2来实现。

现在，将描述根据第二实施例的修正处理。首先，如果确定端部区域EL的右区域EL1包含在立体视图中看起来从监视器20的显示面向前飞出的部分，那么修正单元31在第一图像G1中的右区域EL1的左端设置y方向中的像素列40，以及以与第一实施例相同的方式，在第二图像G2中搜索出对应于像素列40中的各个像素的点。此外，在第二实施例中，修正单元31在第一图像G1的右区域EL1的右端(即第一图像G1的右端)设置y方向中排列的像素的像素列42，以及在第二图像G2中搜索出对应于像素列42中的各个像素的点。由此，除对应于图5中所示的像素列40中的像素的相应点外，搜索出对应于像素列42中的像素的相应点，如图16所示。

然后，修正单元31通过根据相应点间的视差，在x方向中扩大由对应于第一图像G1中的像素列40和41的第二图像G2中的相应点中的、在水平方向中排列的相应点间的像素的列形成的区域，以及在第二图像G2上覆写扩大区域，执行覆写处理。图17是用于说明在第二实施例中的覆写处理的图示。应注意到在图17中，斜阴影线仅表示第二图像G2中将经受覆写处理的相应点C21和C22。假定相对于覆写处理中感兴趣的像素的像素列40的相应点间的视差为d1，以及相对于像素列42的相应点间的视差为d2，那么修正单元31使第二图像G2中由相对于像素列40的相应点C21与相对于像素列42的相应点C22间的像素形成的区域B2扩大(a+d1)/(a+d1-d2)倍，以生成扩大区域B2′。应注意到a+d1是从相应点C21到第二图像G2的端的距离，以及(a+d1-d2)是区域B2的宽度。

然后，修正单元31通过将扩大区域B2′的左端与第二图像G2中的相应点C21对齐，在第二图像G2上覆写扩大区域B2′。由于通过在水平方向中使区域B2扩大(a+d1)/(a+d1-d2)倍来生成扩大区域B2′，当在第二图像G2上覆写扩大区域B2′时，扩大图像B2′的右端位于第二图像G2的右端上。修正单元31对第二图像G2中的所有搜索出的相应点执行覆写处理。

通过以这种方式执行修正处理，对应于像素列40的第二图像G2中的相应点的右边上的区域与第一图像G1中的右区域EL1间的视差朝右端逐渐减小，以致在右端视差为0。因此，当显示第一和第二图像G1和G2用于三维观看时，如图9所示，在各个图像中没有仅左眼或右眼可见的部分，特别地，朝右端逐渐减小立体效果。此外，由于用第二图像G2覆写第二图像G2，所得图像看起来比在第一实施例中产生的图像更自然。

接着，将描述当确定下区域EL3包含立体视图中看起来从监视器20的显示面向前飞出的部分时执行的第二实施例中的修正处理。首先，如图10所示，修正单元31在第一图像G1中的下端区域EL3的上端处设置x方向中的像素列50，以及在第二图像G2中搜索对应于像素列50中的各个像素的点。此外，在第二实施例中，修正单元31在第一图像G1中的下区域EL3的下端(即第一图像G1的下端)设置x方向中排列的像素的像素列52，如图18所示，以及在第二图像G2中搜索对应于像素列52中的各个像素的点。因此，除对应于图10中所示的像素列50中的像素的相应点外，还搜索出对应于像素列52的像素的相应点，如图18所示。

图19是用于说明第二实施例中对下区域的覆写处理的图示。为说明目的，图19示出在第一图像G1中仅设置下区域EL3的状态。在此假定图像仅包含一个人。首先，如图19所示，假定第一图像G1中的下区域EL3的上端处的像素为C31，下区域EL3的下端处具有与像素C31相同x坐标的像素为C32，以及对应于像素C31和C32的第二图像G2中的点分别为C33和C34。

在第二实施例中，根据像素C32和相应点C34间的视差，使由连接第二图像G2中的相应点C33和C34的线性像素列形成的区域A21变形以便在x方向中偏移，以及在第二图像G2上覆写由此获得的变形区域A22。在此假定具有与第一图像G1中的像素C32相同坐标的第二图像G2中的像素为C35，变形区域A22是由连接相应点C33和像素C35的线性像素列形成的区域。

图20是用于说明变形区域A22中的像素与变形前的区域A21中的像素间的对应关系的图示。图20示出第一图像G1中的下区域EL3和第二图像G2中的相应下区域ER3。在此假定相应点C33的坐标为(xR1，yR1)＝(xR1，h-b)，相应点C34的坐标为(xR2，yR2)＝(xR2，h)，像素C35的坐标为(xR3，yR3)以及变形区A22中的像素为(xp，yp)。使用相应点C34的x坐标xR2和相应点C34与像素C32间的视差dR(xR2)，能将像素C35的坐标表示为：

(xR3，yR3)＝(xR2+dR(xR2)，h)

因此，变形区域A22中的像素(xp，yp)对应于由下述公式(3)表示的位置处的第二图像G2中的像素：

(xp-dR(xR2)×(yp-h+b)/b，yp)            ...(3)

通过用根据公式(3)计算的第二图像G2中的像素的像素值覆写像素(xp，yp)，用变形区域A22覆写第二图像G2的下区域EL3。应注意到实际上，不能由有小数点的数字来表示像素的位置，因此，将与相应像素相邻的像素获得的内插值用于覆写。

另一方面，当确定上区域EL4包含立体视图中看起来从监视器20的显示面向前飞出的部分时，修正单元31在第一图像G1中的上区域EL4的下端处设置x方向中的像素列51，如图10所示，以及在第二图像G2中搜索对应于像素列51中的各个像素的点。此外，如图18所示，修正单元31在第一图像G1中的上区域EL4的上端处设置在y方向中排列的像素的像素列53，以及在第二图像G2中搜索对应于像素列53中的各个像素的点。然后，使由对应于像素列51中的各个像素的点与对应于像素列53中的各个像素的点间的第二图像G2中的像素列形成的区域变形，以及用变形区域覆写第二图像G2。

图21是用于说明在第二实施例中对上区域的修正处理的图示。图21示出对应于第一图像G1中的上区域EL4的第二图像G2中的上区域ER4。在第二实施例中，根据相应点C44与第一图像G1中的相应像素间的视差，使连接第二图像G2中的相应点C43和C44的线性区域A31变形以便在x方向中偏移，以及在第二图像G2上覆写所得的变形区域A32。应注意到，变形区域A32是由相应点C43和具有与对应于相应点C44的第一图像G1中的像素相同x坐标的像素C45间的线性像素列形成的区域。

通过以这种方式执行修正处理，在对应于像素列50的相应点下的第二图像G2中的区域与第一图像G1中的下区域EL3间的视差朝下端逐渐减小，以致在下端处视差为0。此外，在对应于像素列51的相应点上的第二图像G2中的区域与第一图像G1中的上区域EL4间的视差朝上端逐渐减小，以致在上端处视差为0。因此，当显示第一和第二图像G1和G2用于三维观看时，如图14所示，三维图像的上下部的立体效果朝端部逐渐减小。此外，由于用第二图像覆写第二图像G2，所得的图像看起来比在第一实施例中得到的图像更自然。

应注意到尽管在上述第一和第二实施例中修正第二图像G2，但也可以修正第一图像G1。此外。可以修正第一图像和第二图像两者。

此外，尽管在上述第一和第二实施例中，修正第二图像G2，以便第一和第二图像G1和G2的端部的视差为0，但不一定实现0视差。可以修正第二图像G2，以便第一和第二图像G1和G2的端部的视差提供几乎与监视器20的显示面齐平的立体效果。

尽管复眼相机1包括两个成像单元21A和21B，以及使用两个图像G1和G2来在上述第一和第二实施例中提供三维显示，但本发明也适用于复眼相机1包括三个或更多成像单元以及使用三个或更多图像来提供三维显示的情形。

尽管根据本发明的三维显示设备在上述第一和第二实施例中应用于复眼相机1，但可以单独地提供包括三维处理单元30、修正单元31和监视器20的三维显示设备。在这种情况下，将由从不同位置成像同一被摄体获取的多个图像输入到三维显示设备，以及在以与上述实施例相同的方式修正图像后，执行三维处理。

已经描述了本发明的一些实施例。此外，本发明可以实现为用于使计算机用作对应于上述三维处理单元30和修正单元31的装置以便执行图15中所示的过程的程序。本发明也可以实现为包含这种程序的计算机可读记录介质。

Claims (10)

1.一种三维显示设备，包括：

三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像，以生成三维图像；

显示装置，用于至少执行三维图像的三维显示；以及

修正装置，用于在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正所述多个图像中的至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平，

其中，三维处理装置将三维处理应用于修正后的图像。

2.如权利要求1所述的三维显示设备，其中，修正装置修正至少一个图像来修正图像的端附近的区域的视差，以便朝图像的端逐渐减小视差。

3.如权利要求1或2所述的三维显示设备，其中，修正装置在图像的周围的至少一部分处设置预定范围的端部区域，以及修正图像的端部区域中的相应像素间的视差，以便朝图像的端逐渐减小视差。

4.如权利要求3所述的三维显示设备，其中，修正装置通过基于视差使图像中用作基准的基准图像的端部区域的图像部分变形，以及用端部区域的变形后的图像部分来修正端部区以外的图像部分，来修正至少一个图像。

5.如权利要求3所述的三维显示设备，其中，修正装置通过基于视差使至少一个图像的端部区域的图像部分变形，来修正至少一个图像。

6.一种三维显示方法，用于与三维显示设备一起使用，所述三维显示设备包括：三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像以生成三维图像；以及显示装置，用于至少执行三维图像的三维显示，该方法包括：

在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平；以及

将三维处理应用于修正后的图像。

7.一种用于使计算机执行用于与三维显示设备一起使用的三维显示方法的程序，所述三维显示设备包括：三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像以生成三维图像；以及显示装置，用于至少执行三维图像的三维显示，该程序包括下述过程：

在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平；以及

将三维处理应用于修正后的图像。

8.一种三维处理设备，包括：

三维处理装置，用于将用于三维显示的三维处理应用于其间具有视差的多个图像，以生成三维图像；以及

修正装置，用于在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平，

其中，三维处理装置将三维处理应用于修正后的图像。

9.一种三维处理方法，将用于三维显示的三维处理应用于其间具有视差的多个图像，以生成三维图像，该方法包括：

在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平；以及

将三维处理应用于修正后的图像。

10.一种用于使计算机执行将用于三维显示的三维处理应用于其间具有视差的多个图像以生成三维图像的三维处理方法的程序，该程序包括下述过程：

在当执行三维显示时三维图像的端部看起来从显示装置的显示面向前飞出的情况下，修正至少一个图像来修正在端部的至少一部分的立体效果，以便端部的至少该部分看起来与显示面齐平；以及

将三维处理应用于修正后的图像。

Images