CN102172031B - 三维显示设备和三维显示方法 - Google Patents

Abstract

本发明公开了一种在以三维显示对对象进行显示时用于在不会引起由于三维图像与该对象重叠在彼此之上而造成的不舒服感的情况下对该对象进行显示的技术。三维处理单元(30)对由成像单元(21A、21B)获取的第一和第二图像(G1、G2)执行三维处理，并且显示控制装置(28)使监控器(20)三维显示通过三维处理得到的用于进行三维显示的图像。距离信息获取单元(31)计算第一图像(G1)中显示菜单的基准区域中的每个像素的视差作为距离信息。三维处理单元(30)对将被分别设置在第一和第二图像(G1、G2)上的菜单(M1、M2)执行三维处理，使其具有大于基准区域中具有最大立体表现的像素的视差(Dmax)的视差(Db)。

Description

三维显示设备和三维显示方法

技术领域

本发明涉及用于三维显示多个图像以使得可以进行立体观看的三维显示设备和三维显示方法。本方面还涉及一种用于使得计算机执行该三维显示方法的程序。 

背景技术

已知对多个组合图像进行三维显示可以提供基于视差的立体影像。这种立体影像可通过利用多个摄影机从不同位置对同一对象进行成像从而获得多个图像、并且利用这些图像中的每个图像间的视差对这多个图像进行三维显示来实现。 

更具体地说，对于以裸眼并行观看来实现立体影像的方法，可通过并排布置这多个图像来实现三维显示。此外，可以将多个图像组合在一起，并通过叠加多个具有不同颜色(例如，红色和蓝色)的图像、或通过叠加多个具有不同偏振方向的图像来进行三维显示。在此情况中，通过利用图像分离眼镜(例如红蓝镜片或者偏振眼镜等(立体影片系统、偏振滤光系统))经由眼睛的自动聚焦功能对三维显示的图像进行立体合并观看来实现的。 

此外，还可以通过在三维显示监控器上显示多个图像来实现立体影像，其中该三维显示监控器能够像在视差屏障系统和双凸透镜系统中一样在不使用偏振眼镜的情况下提供立体影像。在此情况中，三维显示是通过将多个图像竖向剪切成窄条并交替布置这些窄条来实现的。再有，还提出了通过使用图像分离眼镜或在液晶上应用光学元件来改变左侧图像和右侧图像的光束方向、并交替显示左侧图像和右侧图像进行三维显示的方法(扫描背光方法)。 

此外，还提出了具有多个成像单元并执行三维显示的成像的复眼摄影机。这样的复眼摄影机包括三维显示监控器，并能够根据由多 个成像单元获得的多个图像产生用于进行三维显示的三维图像，并在三维显示监控器上对所产生的三维图像进行三维显示。 

这样的复眼摄影机需要在成像时显示摄影机设置菜单、成像时的成像条件(诸如F数以及快门速度)、表示拍摄图像数量的字符、成像的时间和日期、表示防摄影机抖动的图标、开/关闪光灯、人像模式等，以及诸如象形图的对象。拍摄者可以通过确认所述对象来确认成像的日期和时间、拍摄的图像数量、成像时的成像条件等。 

此处，当三维显示这样的对象时，如果该对象是通过在多个图像中的每一个图像中将它们布置成具有视差来进行三维显示的，则不仅该图像而且该对象也是可以立体观看的。在此方面，提出了如在日本未审查专利公开No.2005-065162中描述的方法，该方法中，预先给予待显示的对象以深度信息，然后将指定对象的深度信息与其他对象的深度信息进行比较，然后改变该指定对象的深度信息以使该指定对象显示在其他对象的前面。此外，还提出了如在日本未审查专利公开No.2005-122501中描述的方法，该方法中，当对多个两维显示对象中指定的对象进行三维显示时，改变该指定对象以及可能与该指定对象重叠的对象的位置和大小，并且改变这些对象间的视差量，从而该指定对象不与其他对象重叠。 

当在三维显示的三维图像中显示对象时，对该对象进行三维显示，从而具有预定的立体表现。然而，如果三维显示的三维图像的某一部分的立体表现大于该物体的立体表现，则该对象与该部分重叠，并看起来下沉在该部分中。在该对象仅由字符组成或该对象的背景是半透明或透明时、并且如果该对象与三维图像的某一部分重叠，则具体地，该三维图像看起来非常不自然，其中，即使该对象看起来处于位于前面的部分的后面，但是该部分看起来却是透明的。 

在日本未审查专利公开No.2005-065162描述的方法中，预先给予三维图像和对象以距离信息。因此，如果未给予待进行三维显示的图像以距离信息，则就不会知道该对象的立体表现将会如何改变。日本未审查专利公开No.2005-122501描述的方法是一种用于在对图像中包括的某一对象进行三维显示时防止对象重叠的方法，因此，该方 法不能应用于对整个图像进行三维显示的情况中。 

鉴于上述情况提出了本发明，并且本发明的一个目的是在三维显示图像中显示对象时，对该对象进行显示而不会由于三维图像与该对象在彼此上方的重叠而引起的不舒服感。 

发明内容

本发明的三维显示设备包括： 

图像获取装置，用于获取相对于从不同对景点(viewpoint)看到的主体具有视差的多个图像； 

三维处理装置，用于对所述多个图像执行用于进行三维显示的三维处理，并以叠加的方式对将在三维显示的三维图像中显示的对象执行所述三维处理； 

显示装置，用于执行各种显示，包括三维显示所述三维图像，即，至少对所述三维显示图像进行三维显示；以及 

距离信息计算装置，用于计算所述三维图像的距离信息， 

其中，所述三维处理装置是这样的一种装置：其基于所述距离信息改变所述对象在三维空间中相对于三维图像的相对位置，从而在进行三维显示时防止所述对象与所述三维图像重叠在彼此之上。 

此处，对所述多个图像进行的三维处理和对所述对象进行的三维处理可以同时执行或可以单独执行。即，所述对象可以首先叠加在所述多个图像上，然后同时对所述多个图像和所述对象进行三维处理，或者首先单独对所述多个图像和所述对象进行三维处理，然后将所述对象叠加到进行了三维处理的三维图像上。 

本文中使用的术语“三维空间中的位置”不仅包括当立体观看三维显示的图像时深度方向上的位置而且还包括垂直于深度方向的两维方向上的位置。 

在本发明的三维显示设备中，所述距离信息计算装置可以是这样的一种装置：其计算作为所述多个图像的基准的基准图像中的显示所述对象的基准区域中的每个像素的距离信息；以及三维处理装置可以是这样的一种装置：其基于基准区域中的距离信息改变所述对象在 三维空间中相对于所述三维图像的深度方向上的相对位置，以使所述对象三维显示在所述三维图像的前侧的位置。 

此外，在本发明的三维显示设备中，距离信息计算装置可以是这样一种装置：其计算所述多个图像中每个图像之间的相应点的视差作为所述距离信息。 

在此情况中，所述距离信息计算装置可以是这样的一种装置：其提取所述多个图像的特征部分，并根据所述特征部分计算相应点的视差。 

此外，在本发明的三维显示设备中，当所述多个图像是通过成像获得的多个图像时，所述距离信息计算装置可以是这样的一种装置：其基于对所述多个图像进行成像时的成像条件计算所述距离信息。 

再有，在本发明的三维显示设备中，所述三维处理装置可以是这样一种装置：其对所述对象执行所述三维处理，以使其具有大于或等于在所述基准区域中计算出来的相应点的视差中最大视差的视差。 

此外，在本发明的三维显示设备中，三维处理装置可以是这样的一种装置：当对所述对象执行所述三维处理，以使其具有预定视差时，对所述多个图像执行三维处理，以使在所述基准区域中计算出来的相应点的视差中最大视差变为小于或等于预定视差。 

再有，在本发明的三维显示设备中，三维处理装置可以是这样的一种装置：其基于所述距离信息改变所述对象在所述三维空间中垂直于深度方向的方向上的位置，以使所述对象显示在防止了所述对象和所述三维图像重叠在彼此之上的位置处。 

此外，在本发明的三维显示设备中，所述距离计算装置可以是这样一种装置：其计算所述多个图像中每个图像间的相应点的视差作为所述距离信息。 

在此情况中，所述距离信息计算装置可以是这样的一种装置：其提取所述多个图像的特征部分，并根据所述特征部分计算所述相应点的视差。 

在本发明的三维显示设备中，图像获取装置可以是这样的多个 成像装置：其通过从不同对景点对所述主体进行成像而获取所述多个图像。 

此外，本发明的三维显示设备还包括控制装置，其用于控制距离信息计算装置和三维处理装置以预定时间间隔对所述多个图像和所述对象分别执行距离信息的计算和三维处理。 

再有，本发明的三维显示设备还包括控制装置，其用于在驱动成像装置的光学系统时控制距离信息计算装置和三维处理装置分别对所述多个图像和所述对象执行距离信息的计算以及三维处理。 

此外，本发明的三维显示设备还包括：成像控制装置，用于控制成像装置以预定的时间间隔对主体进行成像；估计值计算装置，用于计算估计值，该估计值包括由成像装置以预定时间间隔获取的各图像的辉度和高频分量中至少一个的估计值；以及控制装置，用于在所述估计值已经改变了超过预定阈值的量时，控制距离信息计算装置和三维处理装置分别对所述多个图像和所述对象执行距离信息的计算和三维处理。 

本发明的三维显示方法是利用三维显示设备实现的方法，其中三维显示设备包括：图像获取装置，用于获取相对于从不同对景点看到的主体具有视差的多个图像；三维处理装置，用于对所述多个图像执行用于进行三维显示的三维处理，并以叠加的方式对将在三维显示的三维图像中显示的对象执行所述三维处理；以及显示装置，用于至少对所述三维图像进行三维显示，所述三维显示方法包括以下步骤： 

计算三维图像的距离信息； 

基于距离信息改变对象在三维空间中相对于三维图像的相对位置，以使得在执行三维显示时防止所述对象和所述三维图像重叠在彼此之上。 

本发明的三维显示方法可以以使计算机执行上述方法的程序的形式来提供。 

本发明的另一个三维显示设备包括： 

图像获取装置，用于获取相对于从不同对景点看到的主体具有视差的多个图像； 

三维处理装置，用于对所述多个图像执行用于进行三维显示的三维处理，并以叠加的方式对将在三维显示的三维图像中显示的对象执行所述三维处理； 

显示装置，用于至少对所述三维图像进行三维显示；以及 

距离信息计算装置，用于计算所述三维图像的距离信息， 

其中，所述三维处理装置是这样的一种装置：其基于所述距离信息改变所述对象在三维空间中相对于三维图像的相对位置，以在进行三维显示时防止其中对象的一部分或全部被三维图像隐藏的位置关系。 

根据本发明，获取将被进行三维显示的三维图像的距离信息，并基于该距离信息改变对象在三维空间中相对于该三维图像的相对位置，以防止在进行三维显示时该对象和该三维图像重叠在彼此之上。这使得即使在不知道三维显示的三维图像的距离信息时，将进行三维显示的对象也不与三维图像重叠在彼此之上。 

此外，通过计算在作为所述多个图像的基准的基准图像中显示所述对象的基准区域中的每个像素的距离信息，并基于基准区域中的距离信息改变所述对象在三维空间中相对于所述三维图像的深度方向上的相对位置以使所述对象三维显示在所述三维图像的前侧的位置，三维显示在三维图像前侧的对象不会与三维图像重叠在彼此上方。 

再有，通过计算所述多个图像中每个图像之间的相应点的视差作为所述距离信息，可以精确计算所述多个图像的相应点的距离。 

在此情况中，通过提取所述多个图像的特征部分，并根据所述特征部分计算相应点的视差，可以以很少的计算量计算出距离信息，从而可以减少处理时间。 

此外，当所述多个图像是通过成像获得的多个图像时，通过基于对所述多个图像进行成像时的成像条件计算所述距离信息，相比于基于相应点计算距离信息的情况，这可以以很少的计算量计算出距离信息，从而可以减少处理时间。 

再有，通过基于所述距离信息改变所述对象在所述三维空间中 垂直于深度方向的方向上的位置，以使所述对象显示在防止了所述对象和所述三维图像重叠在彼此上方的位置处，可以以使该对象不与三维图像重叠在彼此之上的形式对该对象进行三维显示，同时使三维图像和对象的立体表现保持不变。 

此外，通过以预定时间间隔对多个图像和对象执行距离信息的计算以及三维处理，则可以在即使进行成像的主体已经移动从而将要进行三维显示的三维图像的立体表现已经改变时，也可以在不使对象与三维图像重叠在彼此之上的形式对该对象进行三维显示。 

再有，通过在驱动成像装置的光学系统时对所述多个图像和所述对象执行距离信息的计算以及三维处理，则即使在变焦距和焦点已经改变从而将要进行三维显示的三维图像已经改变时，也可以在不使对象与三维图像重叠在彼此之上的形式对该对象进行三维显示。 

此外，通过计算利用成像装置以预定的时间间隔对主体进行成像所获取的图像的估计值(包括辉度和高频分量中的至少一个的估计值)，并在该估计值已经改变了超多预定阈值的量时，对所述多个图像和所述对象进行距离信息的计算以及三维处理，则可以即使在所拍摄图像的亮度和/或焦点已经改变从而将要进行三维显示的所述三维图像已经改变时，也可以在不使所述对象与所述三维图像重叠在彼此之上的形式对该对象进行三维显示。 

附图说明

图1是应用了根据本发明第一实施例的三维显示设备的复眼摄影机的示意框图，其中示出了其内部构造； 

图2示出了成像单元21A、21B的构造； 

图3示出了对菜单(部分1)执行的三维处理； 

图4示出了视差计算； 

图5示出了第一和第二图像的实例； 

图6示出了图5所示的各图像的立体表现； 

图7示出了在图像中显示菜单时图5所示的图像的立体表现； 

图8示出了基准区域； 

图9示出了基准区域中的距离分布； 

图10示出了对菜单(部分2)进行的三维处理； 

图11示出了通过增加菜单的视差进行的三维处理； 

图12示出了通过减小第一图像和第二图像的视差进行的三维处理； 

图13是示出在第一实施例中执行的处理的流程图； 

图14示出了显示对象的状态； 

图15示出了从基准区域中的图像检测到边缘的状态； 

图16示出了从基准区域中的图像检测到脸部区域的状态； 

图17是示出在第二实施例中执行的处理的流程图； 

图18是示出在第三实施例中执行的处理的流程图；以及 

图19示出了在第四实施例中计算出来的三维图像中的距离分布。 

参考标号 

1 复眼摄影机 

21A、21B 成像单元 

22 成像控制单元 

28 显示控制单元 

30 三维处理单元 

31 距离信息计算单元 

具体实施方式

下文中，将参照附图描述本发明的各实施例。图1是应用了根据本发明第一实施例的三维显示设备的复眼摄影机的示意框图，其中示出了其内部构造。如图1所示，根据第一实施例的复眼摄影机1包括两个成像单元21A和21B、成像控制单元22、图像处理单元23、压缩/扩展单元24、帧存储器25、介质控制单元26、内部存储器27、以及显示控制单元28。成像单元21A、21B设置为能够以预定基线长度和汇聚角对主体进行成像。成像单元21A、21B在竖向中的位置相同。 

图2示出了成像单元21A、21B的构造。如图2所示，成像单元21A、21B分别包括聚焦透镜10A、10B，变焦透镜11A、11B，光圈12A、12B，快门13A、13B，CCD 14A、14B，模拟前端(AFE)15A、15B，以及A/D转换单元16A、16B。此外，成像单元21A、21B分别包括用于分别驱动聚焦透镜10A、10B的驱动单元17A、17B，以及包括用于分别驱动变焦透镜11A、11B的变焦透镜驱动单元18A、18B。 

聚焦透镜10A、10B是用于使主体聚焦并可以利用聚焦透镜驱动单元17A、17B而沿光轴方向移动的透镜，其中每个聚焦透镜驱动单元都包括电机和电极驱动器。聚焦透镜驱动单元17A、17B基于通过由成像控制单元22(稍后描述)进行的AF处理获得的聚焦数据来控制聚焦透镜10A、10B的移动。 

变焦透镜11A、11B是用于实现变焦功能并可通过变焦透镜驱动单元18A、18B沿光轴方向移动的透镜，每个变焦透镜驱动单元都包括电机和电极驱动器。在操作输入单元34所包含的变焦杆时，变焦透镜驱动单元18A、18B基于由CPU 33获得的变焦数据来控制变焦透镜11A、11B的移动。 

光圈12A、12B中的每一个的光圈直径由未示出的光圈驱动单元基于由成像控制单元22执行的AE处理获得的光圈数据来控制。 

快门13A、13B中的每一个都是机械快门，且由未示出的快门驱动单元根据通过AE处理获得的快门速度进行驱动。 

CCD 14A、14B中的每一个都包括具有二维布置的多个光接收元件的光电表面，并且表示主体的光图像形成在光电表面上并进行光电转换，从而获得模拟图像信号。具有R、G和B滤波器的滤色器规则地设置在CCD 14A、14B前面。 

AFE 15A、15B分别对从CCD 14A、14B输出的模拟图像信号进行处理，以去除噪声并调整增益(模拟处理)。 

A/D转换器16A、16B分别将通过AFE 15A、15B进行了模拟处理的模拟图像信号转换为数字信号。应该注意，由通过成像单元21A获得的数字图像数据表示的图像在下文中称为第一图像G1，而由通过成像单元21B获得的数字图像数据表示的图像在下文中称为第二 图像G2。 

成像控制单元22包括未示出的AF处理单元和未示出的AE处理单元。AF处理单元在半按下输入单元34所包括的释放按钮时基于由成像单元21A、21B获得预图像确定聚焦区域，确定透镜10A、10B的焦点位置，并将确定的结果输出至成像单元21A、21B。AE处理单元计算该预图像的亮度作为辉度估计值，基于辉度估计值确定光圈值和快门速度，并将确定结果输出至成像单元21A、21B。 

此处，关于利用AF处理的焦点位置的检测方法，构想出了利用图像的对比度在期望主体聚焦时变得较高的事实来检测焦点位置的被动系统(passive system)。更具体地，将预图像分割成多个AF区域，然后利用高通滤波器对每个AF区域中的图像进行滤波处理，针对每个AF区域计算作为高频分量的估计值的AF估计值，检测具有最高估计值(即，最高滤波器输出值)的AF区域作为聚焦区域。 

此外，当完全按下释放按钮时，成像控制单元22指示成像单元21A、21B分别执行主成像以获得第一图像G1和第二图像G2。在按下释放按钮之前，成像控制单元22指示成像单元21A以预定时间间隔(例如，以1/30秒的时间间隔)获得具有比主图像的像素数少的像素数的透过透镜(through-the-lens)的图像。 

图像处理单元23对分别由成像单元21A、21B获得的第一和第二图像G1、G2的数字图像数据执行图像处理，诸如白平衡调整、色调校正、锐度校正、色彩校正等。应该注意，用于图像处理单元23进行处理前的第一和第二图像的参考标号G1、G2也用于处理后的第一和第二图像。 

压缩/扩展单元24以例如JPEG格式等对表示从由图像处理单元23处理过的第一和第二图像G1、G2(如稍后描述的)的主图像产生的用于进行三维显示的三维显示图像的图像数据进行压缩，以产生进行三维显示的三维图像文件。三维图像文件包括第一和第二图像G1、G2的图像数据以及三维显示图像的图像数据。此外，该图像文件包括附至其的具有辅助信息(诸如成像的日期和时间等)的标签，其中该辅助信息以Exif格式等存储于标签中。 

帧存储器25是在对表示由成像单元21A、21B获得的第一和第二图像G1、G2的图像数据进行各种处理(包括图像处理单元23的处理)时所使用的工作区域。 

介质控制单元26可以访问记录介质29，并控制对三维图像文件的读取/写入操作等。 

内部存储器27包括成像单元21A、21B之间的基线长度和汇聚角、将在复眼摄影机1中设置的各种常量、将由CPU 33执行的程序等。内部存储器27还包括用于在第一图像G1中设置菜单的基准区域的位置信息，以及在对菜单进行三维显示时给予该菜单的视差D0的信息，如后面描述的。应该注意，视差D0被预先设置为预定值。 

显示控制单元28使拍摄时存储在帧存储器25中的第一和第二图像G1、G2或存储在记录介质29中的第一和第二图像G1、G2二维地显示在监控器20上。此外，显示控制单元28能够使进行了三维处理(稍后描述)的第一和第二图像G1、G2三维地显示在监控器20上，并使存储在记录介质29中的三维图像三维地显示在监控器20上。二维显示和三维显示之间的切换可以自动实现，或基于通过输入单元34来自拍摄者的指令实现，这将在稍后描述。当进行三维显示时，第一和第二图像G1、G2的透过透镜的图像三维地显示在监控器20上，直到按下释放按钮。 

当显示模式切换至三维显示时，第一和第二图像G1、G2二者都用于进行显示，并且当显示模式切换至二维显示时，第一和第二图像G1、G2中的任一个用于进行显示，如稍后描述的。在该实施例中，假设第一图像G1用于进行二维显示。 

此外，根据本实施例的复眼摄影机1包括三维处理单元30。三维处理单元30对第一和第二图像G1、G2进行三维处理，以在监控器20上进行三维显示。关于本实施例中的三维显示，可以使用任何已知的方法。例如，可以使用通过裸眼平行观看并排显示第一和第二图像G1、G2实现立体影像的方法，或通过将双凸透镜系统应用于监控器20并在监控器20的显示表面的预定位置显示第一和第二图像G1、G2，从而使第一和第二图像G1、G2分别入射到左眼和右眼上实现三 维显示的双凸透镜系统。此外，还可以使用扫描背光方法，该方法通过交替分离监控器20的背光的光路以分别光学对应于左眼和右眼，并且根据背光在左右方向中的分离在监控器20的显示表面上显示第一和第二图像G1、G2来实现三维显示。 

应该注意，监控器20已经根据由三维处理单元30执行的三维处理进行了处理。例如，如果三维显示是由双凸透镜系统实现，则将双凸透镜应用于监控器20的显示表面，而如果三维显示由扫描背光方法实现，则将用于改变左侧图像和右侧图像的光束方向的光学元件应用于监控器20的显示表面。 

三维处理单元30执行三维处理以在监控器20上三维显示用于向复眼摄影机1给出各种指令的菜单。图3示出了对菜单执行的三维处理。应该注意，为了清楚，在图3中省略了第一和第二图像G1、G2的内容。如图3所示，三维处理单元30通过分别将菜单M1和M2叠加在第一和第二图像G1、G2上以使菜单M1和M2具有视差D0来执行三维处理。这允许对第一和第二图像G1、G2和菜单M1和M2进行三维显示。此处，视差D0被设置为预定值，以使菜单具有预定的立体表现，但是其是根据第一和第二图像G1、G2的显示菜单M1和M2的区域的立体表现而改变的。稍后将对改变视差值的处理进行描述。 

此外，根据本实施例的复眼摄影机1包括距离信息计算单元31。距离信息计算单元31相对于第一图像G1的设置有菜单M1的基准区域B1中的每个像素获取第二图像G2中的相应点，并计算这些对应点之间的视差作为每个像素的距离信息。图4示出了视差计算。如图4所示，当将坐标系设置为原点位于左下角时，基准区域B 1位于x方向中从x0到x1的范围内。距离信息计算单元31通过对设置在第二图像G2中的搜索区S0进行块匹配(block match)来获取相对于基准区域B1中的每个像素的对应点。此处，如果假设视差的最大容许值以及视差的最小容许值分别为Rmax和Rmin，则搜索区域S0在第二图像G2的x方向上的范围为从x0-Rmax到x1-Rmin。图4中，视差的最小容许值被设置为零。 

此处，由于成像单元21A、21B的位置在竖向上相同，因此距离 信息计算单元31通过设置以基准区域B 1中的每个像素为中心的预定尺寸的块来执行块匹配，通过在搜索区域S0中仅沿x方向将块移动容许的视差值来计算校正值，获得搜索区域S0中具有最大相关值的像素作为目标像素的对应点。 

相关性可以利用下面的公式(1)来计算。在公式(1)中，d是容许视差，并且公式(1)在从Rmin到Rmax的范围内改变视差d的同时，通过利用基准区域B1和搜索区域S0中每一个中的像素(x，y)为中心的w×w大小的块来基于绝对差值进行块匹配，从而获得相关值SAD。当使用公式(1)时，使相关值SAD最小的值是像素(x，y)的视差。 

此处，可以通过下面的公式(2)计算基于方差的相关值SSD。当使用公式(2)时，使相关值SSD最小的d值是像素(x，y)的视差。此外，可以利用下面的公式(3)计算相关值COR。当使用公式(3)计算相关值COR时，使相关值COR最小的d值是像素(x，y)的视差。 

$\mathrm{SAD}(x,y,d)=\underset{-w/2<x^{\&prime;}<w/2}{\mathrm{\&Sigma;}}\underset{-w/2<y^{\&prime;}<w/2}{\mathrm{\&Sigma;}}|G1(x+x^{\&prime;},y+y^{\&prime;})-G2(x+x^{\&prime;}-d,y+y^{\&prime;})|.....\left(1\right)$

$\mathrm{SSD}(x,y,d)=\underset{-w/2<x^{\&prime;}<w/2}{\mathrm{\&Sigma;}}\underset{-w/2<y^{\&prime;}<w/2}{\mathrm{\&Sigma;}}{(G1(x+x^{\&prime;},y+y^{\&prime;})-G2(x+x^{\&prime;}-d,y+y^{\&prime;}))}^2.....\left(2\right)$

$\mathrm{COR}(x,y,d)=\frac{\underset{-w/2<x^{\&prime;}<w/2}{\mathrm{\&Sigma;}}\underset{-w/2<y^{\&prime;}<w/2}{\mathrm{\&Sigma;}}(G1(x+x^{\&prime;},y+y^{\&prime;})-\stackrel{\&OverBar;}{G1})(G2(x+x^{\&prime;}-d,y+y^{\&prime;})-\stackrel{\&OverBar;}{G2})}{\sqrt{\mathrm{\&Sigma;\&Sigma;}{(G1(x+x^{\&prime;},y+y^{\&prime;})-\stackrel{\&OverBar;}{G1})}^2}\sqrt{\mathrm{\&Sigma;\&Sigma;}{(G2(x+x^{\&prime;}-d,y+y^{\&prime;})-\stackrel{\&OverBar;}{G2})}^2}}.....\left(3\right)$

其中， 

$\stackrel{\&OverBar;}{G1}=\frac{\underset{-w/2<x^{\&prime;}<w/2}{\mathrm{\&Sigma;}}\underset{-w/2<y^{\&prime;}<w/2}{\mathrm{\&Sigma;}}G1(x+x^{\&prime;},y+y^{\&prime;})}{{(w-1)}^2}$

$\stackrel{\&OverBar;}{G2}=\frac{\underset{-w/2<x^{\&prime;}<w/2}{\mathrm{\&Sigma;}}\underset{-w/2<y^{\&prime;}<w/2}{\mathrm{\&Sigma;}}G2(x+x^{\&prime;}-d,y+y^{\&prime;})}{{(w-1)}^2}$

此处，如果第一和第二图像G1、G2中的每一个都是包括位于前面位置和后面位置的两个人物P1、P2，并且具有作为背景的山的图像，如图5所示，则在三维显示第一和第二图像G1、G2时山、人物P1、人物P2之间的深度方向(即，z方向)的位置关系为：人物P2在前面，而人物P1位于背景山和人物P2之间，如图6所示。在图6中以及在随后的描述中，当执行三维显示时，三维空间中z方向的原点被假定为例如CCD 14A、14B中每一个的成像表面的位置。 

当将菜单M1、M2叠加到第一和第二图像G1、G2上(如图3所示)并进行三维显示时，如果菜单M1、M2之间的视差D0设置为使三维显示的菜单显示在深度方向上的位置z0处，则图像的立体观看将造成菜单出现在人物P1、P2之间，如图7所示。在此情况中，如果菜单M0具有半透明或透明背景，或者如果菜单M0仅由字符构成(仅在字符前面具有像素值而在其他区域中没有)，具体地，图像会表现得非常不自然，其中，即使菜单M0出现在位于前面的人物P2的后面，也要透过人物P2来观看菜单M0。 

此处，距离信息计算单元31是计算基准区域B1中的每个像素的视差作为距离信息的单元，如上所述。因此，当将菜单M1设置在第一图像G1的基准区域B1中时，如图8所示，对计算出来的视差的使用使得可以获得基准区域B1中的视差分布(即，距离分布)，如图9所示。在图9中，背景山在后面，而立体表现按照人物P1和人物P2的顺序而增强。图9示出了与y轴正交的某x-z平面上的距离分布。 

从而，三维处理单元30基于由距离信息计算单元31计算出来 的距离信息获得基准区域B1中的距离分布，并对三维菜单M1、M2进行三维处理以使其具有比针对距离分布中具有最大立体表现的像素计算出来的视差大的视差。此处获得的距离分布类似于图9所示的距离分布，具有最大立体表现的像素是对应于人物P2中的点O1的像素。此处，点O1处的视差是相对于基准区域B1中的每个像素计算出来的所有视差中最大的。因此，当假设点O1处的视差为最大视差Dmax，则三维处理单元30执行其中将菜单M1、M2分别叠加到第一和第二图像G1、G2上的三维处理，以使其具有视差Db，该视差Db大于对应于点O1的最大视差Dmax，如图10所示。视差Db是通过向最大视差Dmax添加预定值计算出来的。此外，Db可以设置为Db＝Dmax。通过以上述方式对菜单M1、M2执行三维处理，当如图11所示对第一和第二图像G1、G2和菜单M1、M2进行三维显示时，可以沿深度方向在位置z0前面或在出现在最前面的人物P2前面的位置z1处立体地看到菜单M0。 

在三维显示过程中，还可以通过不仅改变菜单M1、M2间的视差而且还改变第一和第二图像G1、G2之间的视差来使得可在人物P2前面立体地看到菜单M0。此处，如果第一和第二图像G1、G2之间的视差减小，则三维图像的立体表现也降低。从而，可以执行如下的三维处理：即，当菜单M1、M2间的视差预定视差D0保持不变时，第一和第二图像G1、G2之间的总体视差减小，从而对应于人物P2中的点O1的像素的最大视差Dmax变得比D0小预定的值。这使得人物P2在三维显示过程中可在显示菜单M0的位置z0的后面立体地看到，如图12所示。用于减小视差的三维处理可以通过沿水平方向移动第一和第二图像G1、G2的位置来实现，或通过利用变形对第一和第二图像G1、G2进行处理来实现。 

还可以通过改变菜单M1、M2间的视差以及第一和第二图像G1、G2间的视差这两者来使得可在三维显示过程中在菜单M0的后面立体地看到人物P2。 

CPU 33根据来自包括释放按钮等的输入单元34的信号控制复眼摄影机1的每个单元。 

数据总线35连接至复眼摄影机1的每个单元和CPU 33，并且复眼摄影机1中的各种数据和信息都通过该总线进行交换。 

当对主体进行成像时，主体距离总是会改变，这是因为主体会移动或者复眼摄影机1会移动，从而改变了成像位置。因此，在该实施例中，以预定时间间隔执行改变菜单M0的立体表现的处理。为此，将定时器36连接至CPU 33。 

现在将描述第一实施例中执行的处理。图13是示出第一实施例中执行的处理。此处，假设由三维处理单元30对分别由成像单元21A、21B获得的第一和第二图像G1、G2执行三维处理，并且将第一和第二图像的透过透镜的图像三维显示在复眼摄影机1的监控器20上。此外，由于本发明的特征在于对显示菜单的处理，因此下文中只描述当在显示透过透镜的图像时给出显示菜单的指令时进行的处理。 

CPU 33持续监控拍摄者是否发出了显示菜单的指令(步骤ST1)，并且如果步骤ST1的结果是肯定的，则获取显示菜单M1的第一图像G1的基准区域B1的信息以及当前视差Dr(步骤ST2)。应该注意，当前视差Dr的初始值为D0。然后，距离信息计算单元31设置第一图像G1中的基准区域B1(步骤ST3)，并计算基准区域B1中每个像素的视差作为距离信息(步骤ST4)。 

随后，三维处理单元30在计算出来的距离信息的视差中获取对应于具有最大立体表现的部分的视差的最大视差Dmax(步骤ST5)，并确定该最大视差Dmax是否大于菜单M1、M2之间的当前视差(步骤ST6)。如果步骤ST6的结果是肯定的，则三维处理单元30将菜单M1、M2之间的当前视差改变为大于最大视差Dmax的视差Db(步骤ST7)，将菜单M1、M2分别设置在第一和第二图像G1、G2上，使其具有视差Db(步骤ST8)，并对第一和第二图像G1、G2和菜单M1、M2进行三维处理(步骤ST9)。然后，显示控制单元28使叠加有菜单M0的三维图像三维显示在监控器20上(步骤ST10)。同时，如果步骤ST6的结果是否定的，则处理进行到步骤ST8，并将菜单M1、M2分别设置在第一和第二图像G1、G2中，使其具有当前视差Dr并执行三维处理。 

此后，CPU使定时器36开始计时并开始监控从三维显示开始经过了预定时间(步骤ST11)。如果步骤ST11的结果是肯定的，则处理返回步骤ST2并重复步骤ST2以后的步骤。 

如上所述，在第一实施例中，对基准区域B1中的每个像素计算距离信息，以及基于基准区域B1中的距离信息改变菜单M0在三维空间中深度方向上相对于三维图像(其基于第一和第二图像G1、G2)的相对位置，以使菜单M0显示在三维图像前面的位置处。这允许菜单M0三维显示在三维图像的前面，而不会与图像重叠在彼此之上。 

此外，以预定的时间间隔执行距离信息的计算以及第一和第二图像G1、G2和菜单M1、M2的三维处理，从而在显示菜单并进行选择菜单项时，即使成像时主体已经移动或者成像位置已经改变从而将要进行三维显示的三维图像的立体表现已经改变时，也可以对菜单M0进行三维显示，而不会与三维图像重叠在彼此之上。 

此处，除了菜单以外的对象，诸如表示闪光灯发光的图标以及表示至今已拍摄的图像数量的字符、F数和快门速度、以及成像数据总是在成像时显示，如图14所示。这些对象也可以通过进行三维处理而进行三维显示。在该实施例中，以预定时间间隔执行距离信息的计算以及多个图像和对象的三维处理，从而即使成像时主体已经移动或者成像位置已经改变从而将要进行三维显示的三维图像的立体表现已经改变时，也可以对这些对象进行三维显示，而不会与三维图像重叠在彼此之上。 

在第一实施例中，相对于基准区域B1中的所有像素计算了视差，但是可以采用如下的安排：提取基准区域B1中的图像的特征部分，并仅相对于对应于该特征部分的像素计算视差。此处，关于特征部分，可以使用图像中包含的特定主体，诸如边缘、预定面部等。 

图15示出了从基准区域B1提取了边缘的装置，而图16示出了从基准区域B1提取了面部的状态。应该注意，从基准区域B1提取的边缘在图15中以粗线表示。如图15所示，对应于基准区域B1中的边缘的像素的数量少于基准区域B1中所有像素的数量。同样，由矩形围起来的面部部分的像素数量少于基准区域B1中所有像素的数 量。因此，通过提取基准区域B1中的图像的特征部分并仅相对于对应于该特征部分的像素计算视差可以较少计算量，从而可以提高处理速度。 

通常存在下面的情况，即特定主体(诸如边缘、面部等)包含在图像的主要主体中，并在成像时位于最靠近摄影机的位置。因此，可以通过计算特征部分中的视差来获得基准区域B1中具有最大立体表现的像素。 

因此，通过对菜单M1、M2进行三维处理以使其具有大于基准区域B1中具有最大立体表现的像素的最大视差Dmax的视差Dr，可以使菜单M0三维显示在三维图像的前面，而不会与三维图像重叠在彼此之上。 

同时，当获取第一和第二图像G1、G2时，可以基于成像单元21A、21B的焦距、光圈值、焦点位置以及容许弥散圆(permissible circle of confusion)并利用公式(4)和(5)计算场(field)深度的前面和后面的距离。焦距、光圈值和焦点位置可以在成像时根据聚焦透镜驱动单元17A、17B、未示出的光圈驱动单元、以及变焦透镜驱动单元18A、18B的设置值得到。此外，存储在内部存储器27中的容许弥散圆可从CCD 14A、18B的说明书中提前获得。 

$L_{\mathrm{near}}=L-\frac{\mathrm{\&delta;}\&CenterDot;F\&CenterDot;L^2}{f^2+\mathrm{\&delta;}\&CenterDot;F\&CenterDot;L}.....\left(4\right)$

$L_{\mathrm{far}}=L+\frac{\mathrm{\&delta;}\&CenterDot;F\&CenterDot;L^2}{f^2-\mathrm{\&delta;}\&CenterDot;F\&CenterDot;L}.....\left(5\right)$

其中，Lnear是场深度前面的距离，Lfar是场深度后面的距离，f是焦距，F是光圈值，L是焦点位置，以及δ是容许弥散圆直径。 

其示出了基准区域B1中的主体位于计算出来的场深度前面的距离和场深度后面的距离间的范围内。因此，可以根据场深度前面的距离Lmin利用下面的公式(6)计算基准区域B1中包含的具有最大立体表现的像素处的视差Dmax。因此，通过对菜单M1、M2执行三维处 理使其具有大于视差Dmax的视差可以将菜单M0三维显示在三维图像的前面，而不会与三维图像重叠在彼此上方。 

视差Dmax＝基线长度K×焦距F/距离Lmin        (6) 

接下来，将描述本发明的第二实施例。应用了第二实施例的三维显示设备的复眼摄影机的构造与应用了第一实施例的复眼摄影机的构造相同，它们仅在执行的处理方面不同。因此，此处不对其构造进行详细描述。第二实施例与第一实施例的不同之处在于，尽管在第一实施例中以预定的时间间隔执行距离信息的计算以及执行多个图像和对象的三维处理，但是在第二实施例中，这些处理是在成像单元21A、21B的光学系统(即，聚焦透镜10A、10B和变焦透镜11A、11B)被驱动时执行的。 

接下来，将描述在第二实施例中执行的处理。图17是示出第二实施例中执行的处理的流程图。CPU 33持续监控拍摄者是否已经发出了显示菜单的指令(步骤ST21)，如果步骤ST21的结果是肯定的，则获取显示菜单M1的第一图像G1的基准区域B1的距离信息以及当前的视差Dr(步骤ST22)。应该注意，当前视差Dr的初始值为D0。然后，距离信息计算单元31设置第一图像G1中的基准区域B1(步骤ST23)，并计算基准区域B1中每个像素的视差作为距离信息(步骤ST24)。 

随后，三维处理单元30在计算出来的距离信息的视差中获取对应于具有最大立体表现的部分的视差的最大视差Dmax(步骤ST25)，并确定该最大视差Dmax是否大于菜单M1、M2之间的当前视差(步骤ST26)。如果步骤ST26的结果是肯定的，则三维处理单元30将菜单M1、M2之间的当前视差改变为大于最大视差Dmax的视差Db(步骤ST27)，将菜单M1、M2分别设置在第一和第二图像G1、G2上，使其具有视差Db(步骤ST28)，并对第一和第二图像G1、G2和菜单M1、M2进行三维处理(步骤ST29)。然后，显示控制单元28使叠加有菜单M0的三维图像三维显示在监控器20上(步骤ST30)。同时，如果步骤ST26的结果是否定的，则处理进行到步骤ST28，并将菜单M1、M2分别设置在第一和第二图像G1、G2中，使其具有当前视差Dr并 执行三维处理。 

此后，CPU33开始监控是否以已经驱动了成像单元21A、21B的光学系统(步骤ST31)。如果步骤ST31的结果是肯定的，则处理返回步骤ST22并重复步骤ST22以后的步骤。 

如上所述，在第二实施例中，在成像单元21A、21B的光学系统(即，聚焦透镜10A、10B和变焦透镜11A、11B)被驱动时，执行距离信息的计算以及第一和第二图像G1、G2以及菜单M1、M2的三维处理。即使在已经通过改变成像单元21A、21B的变焦位置和焦点位置改变了三维显示的三维图像的立体表现时，也允许对菜单M0进行三维显示，而不会与图像重叠在彼此之上。 

接下来，将描述本发明的第三实施例。应用了第三实施例的三维显示设备的复眼摄影机的构造与应用了第一实施例的复眼摄影机的构造相同，它们仅在执行的处理方面不同。因此，此处不对其构造进行详细描述。第三实施例与第一实施例的不同之处在于，尽管在第一实施例中以预定的时间间隔执行距离信息的计算以及执行多个图像和对象的三维处理，但是在第三实施例中，成像控制单元22在每次获得第一和第二图像G1、G2的透过透镜的图像时计算辉度估计值和AF估计值，并在所述辉度估计值和AF估计值中的至少一个改变时执行距离信息的计算和第一和第二图像G1、G2和菜单M1、M2的三维处理。 

接下来，将描述第三实施例中执行的处理。图18是示出第三实施例中执行的处理。CPU 33持续监控拍摄者是否发出了显示菜单的指令(步骤ST41)，并且如果步骤ST41的结果是肯定的，成像控制单元22根据当前拍摄的第一和第二图像G1、G2的透过透镜的图像计算辉度值和AF估计值(估计值计算，步骤ST42)。然后，CPU 33获取显示菜单M1的第一图像G1的基准区域B1的信息以及当前视差Dr(步骤ST43)。应该注意，当前视差Dr的初始值为D0。然后，距离信息计算单元31设置第一图像G1中的基准区域B1(步骤ST44)，并计算基准区域B1中每个像素的视差作为距离信息(步骤ST45)。 

随后，三维处理单元30在计算出来的距离信息的视差中获取对 应于具有最大立体表现的部分的视差的最大视差Dmax(步骤ST46)，并确定该最大视差Dmax是否大于菜单M1、M2之间的当前视差(步骤ST47)。如果步骤ST47的结果是肯定的，则三维处理单元30将菜单M1、M2之间的当前视差改变为大于最大视差Dmax的视差Db(步骤ST48)，将菜单M1、M2分别设置在第一和第二图像G1、G2上，使其具有视差Db(步骤ST49)，并对第一和第二图像G1、G2和菜单M1、M2进行三维处理(步骤ST50)。然后，显示控制单元28使叠加有菜单M0的三维图像三维显示在监控器20上(步骤ST51)。同时，如果步骤ST47的结果是否定的，则处理进行到步骤ST49，并将菜单M1、M2分别设置在第一和第二图像G1、G2中，使其具有当前视差Dr并执行三维处理。 

此后，成像控制单元22根据当前拍摄的第一和第二图像G1、G2的透过透镜的图像计算辉度估计值和AF估计值(估计值计算，步骤ST52)，并且CPU 33计算辉度估计值和AF估计值中的至少一个是否已经改变超过了预定阈值的量(步骤ST53)。如果步骤ST53的结果是否定的，则处理返回至步骤ST52，然而如果步骤ST53的结果是肯定的，则处理返回步骤ST43并重复步骤ST43以后的步骤。 

如上所述，在第三实施例中，在辉度估计值和AF估计值中的至少一个已经改变超过了预定阈值的量时，执行距离信息的计算以及第一和第二图像G1、G2和菜单M1、M2的三维处理。即使在将进行三维显示的三维图像的立体表现已经由于被拍图像的亮度和/或焦点位置的改变而变化时，也允许将对象不与三维图像重叠在彼此之上地进行显示。 

在第三实施例中，计算辉度估计值和AF估计值中的至少一个作为估计值，但是还可以使用其他的估计值(诸如图像颜色等)作为估计值。 

在第一至第三实施例中，对菜单M1、M2进行三维处理，使其具有大于基准区域B1中具有最大立体表现的像素的最大视差Dmax的视差Db。但是可以对菜单M1、M2进行三维处理，使得菜单M0的位置位于正交于菜单M0的深度方向的二维方向中，而不改变菜单M0的立 体表现，这将在本发明的第四实施例中进行描述。应用了第四实施例的三维显示设备的复眼摄影机的构造与应用了第一实施例的复眼摄影机的构造相同，它们仅在执行的处理方面不同。因此，此处不对其构造进行详细描述。 

在第四实施例中，距离信息计算单元31计算第一图像G1中的每个像素的视差。图19示出了在第四实施例中计算出来的三维图像中的距离分布。应该注意，图19示出了正交于y轴的某一x-z平面中的距离分布。当菜单M1、M2以它们之间具有预定视差的方式设置在第一和第二图像G1、G2的预定位置处时，如果三维图像的某部分P0的立体表现大于菜单M0的立体表现，则该部分P0和菜单M0重叠在彼此之上，如图19所示。为此，在第四实施例中，三维处理单元30改变菜单M1、M2的设置位置，以在不改变视差的情况下使菜单M0显示在立体表现弱于菜单M0的立体表现的部分。例如，改变M1、M2的设置位置，以将菜单M0三维显示在部分P0的右侧，如图19所示。 

通过以上述方式改变第一和第二图像G1、G2中的菜单M1、M2的设置位置，以使菜单M0显示在菜单M0与三维图像不重叠在彼此之上的位置处，可以在不与三维图像重叠在彼此之上的情况下显示菜单M0，同时三维图像和菜单M0的立体表现保持不变。 

在上述第一至第四实施例中，复眼摄影机1具有两个成像单元21A、21B，并利用两个图像G1、G2执行三维显示，但是本发明可以应用于提供了三个或更多成像单元并利用三个或更多图像进行三维显示的情况。 

此外，在上述第一至第四实施例中，本发明的三维显示设备被应用于复眼摄影机1，但是还可以提供具有显示控制单元28、三维处理单元30、距离信息计算单元31、以及监控器20的独立三维显示设备。在此情况中，将通过从多个不同位置对同一主体进行成像获得的多个图像输入至独立的三维显示设备，并三维显示菜单M0和图像，如在第一至第四实施例所述。在此情况中，将图像输入至该设备的接口相当于图像获取装置。 

至此，已经描述了本发明的各实施例，但是用于使计算机起到 相当于显示控制单元28、三维处理单元30、以及距离信息计算单元31的作用、从而使计算机执行与图12、图17、和图18所示相同的处理的程序是本发明的另一个实施例。此外，记录上述程序的计算机可读记录介质也是本发明的一个实施例。 

Claims (16)

1.一种三维显示设备，包括：

图像获取装置，用于获取相对于从不同对景点看到的主体具有视差的多个图像；

三维处理装置，用于对所述多个图像执行用于进行三维显示的三维处理，并以叠加的方式对将在三维显示的三维图像中显示的对象执行所述三维处理；

显示装置，用于至少对所述三维图像进行三维显示；以及

距离信息计算装置，用于计算所述三维图像的距离信息，

其中，所述三维处理装置基于所述距离信息改变所述对象在三维空间中相对于三维图像的相对位置，从而在进行三维显示时防止所述对象与所述三维图像重叠在彼此之上，其中，

所述距离信息计算装置是这样一种装置：其计算在作为所述多个图像的基准的基准图像中显示所述对象的基准区域中的每个像素的距离信息；以及

所述三维处理装置是这样一种装置：其基于所述基准区域中的距离信息改变所述对象在三维空间中相对于所述三维图像的深度方向上的相对位置，以使所述对象三维显示在所述三维图像前侧的位置。

2.根据权利要求1所述的三维显示设备，其中，

所述距离信息计算装置是这样一种装置：其计算所述多个图像中每个图像之间的相应点的视差作为所述距离信息。

3.根据权利要求2所述的三维显示设备，其中，

所述距离信息计算装置是这样一种装置：其提取所述多个图像的特征部分，并根据所述特征部分计算相应点的视差。

4.根据权利要求1所述的三维显示设备，其中，

当所述多个图像是通过成像获得的多个图像时，所述距离信息计算装置是这样一种装置：其基于对所述多个图像进行成像时的成像条件计算所述距离信息。

5.根据权利要求2至4中任一项所述的三维显示设备，其中，

所述三维处理装置是这样一种装置：其对所述对象执行所述三维处理，以使其具有大于或等于在所述基准区域中计算出来的相应点的视差中的最大视差的视差。

6.根据权利要求2至4中任一项所述的三维显示设备，其中，

所述三维处理装置是这样一种装置：当对所述对象执行所述三维处理以使其具有预定视差时，其对所述多个图像执行三维处理，以使在所述基准区域中计算出来的相应点的视差中的最大视差变为小于或等于预定视差。

7.根据权利要求1所述的三维显示设备，其中，

所述三维处理装置是这样一种装置：其基于所述距离信息改变所述对象在所述三维空间中正交于深度方向的方向上的位置，以使所述对象显示在防止了所述对象和所述三维图像重叠在彼此之上的位置处。

8.根据权利要求7所述的三维显示设备，其中，

所述距离计算装置是这样一种装置：其计算所述多个图像中每个图像间的相应点的视差作为所述距离信息。

9.根据权利要求8所述的三维显示设备，其中，

所述距离信息计算装置是这样一种装置：其提取所述多个图像的特征部分，并根据所述特征部分计算相应点的视差。

10.根据权利要求1所述的三维显示设备，其中，

所述图像获取装置是这样的多个成像装置：其通过从不同对景点对所述主体进行成像而获取所述多个图像。

11.根据权利要求10所述的三维显示设备，还包括：

控制装置，用于控制所述距离信息计算装置和所述三维处理装置以预定时间间隔对所述多个图像和所述对象分别执行距离信息的计算和三维处理。

12.根据权利要求10或11所述的三维显示设备，还包括：

控制装置，用于在驱动所述成像装置的光学系统时控制所述距离信息计算装置和所述三维处理装置分别对所述多个图像和所述对象执行距离信息的计算以及三维处理。

13.根据权利要求10或11所述的三维显示设备，还包括：

成像控制装置，用于控制所述成像装置以预定的时间间隔对所述主体进行成像；

估计值计算装置，用于计算估计值，所述估计值包括由成像装置以预定时间间隔获取的各图像的辉度和高频分量中至少一个的估计值；以及

控制装置，用于在所述估计值已经改变了超过预定阈值的量时，控制所述距离信息计算装置和所述三维处理装置分别对所述多个图像和所述对象执行距离信息的计算和三维处理。

14.根据权利要求12所述的三维显示设备，还包括：

成像控制装置，用于控制所述成像装置以预定的时间间隔对所述主体进行成像；

估计值计算装置，用于计算估计值，所述估计值包括由成像装置以预定时间间隔获取的各图像的辉度和高频分量中至少一个的估计值；以及

控制装置，用于在所述估计值已经改变了超过预定阈值的量时，控制所述距离信息计算装置和所述三维处理装置分别对所述多个图像和所述对象执行距离信息的计算和三维处理。

15.一种利用三维显示设备实现的三维显示方法，其中所述三维显示设备包括：图像获取装置，用于获取相对于从不同对景点看到的主体具有视差的多个图像；三维处理装置，用于对所述多个图像执行用于进行三维显示的三维处理，并以叠加的方式对将在三维显示的三维图像中显示的对象执行所述三维处理；以及显示装置，用于至少对所述三维图像进行三维显示，所述三维显示方法包括以下步骤：

计算所述三维图像的距离信息；

基于所述距离信息改变对象在三维空间中相对于所述三维图像的相对位置，以使得在执行三维显示时防止所述对象和所述三维图像重叠在彼此之上，其中，

计算所述三维图像的距离信息包括：计算在作为所述多个图像的基准的基准图像中显示所述对象的基准区域中的每个像素的距离信息；以及

基于所述距离信息改变对象在三维空间中相对于所述三维图像的相对位置以使得在执行三维显示时防止所述对象和所述三维图像重叠在彼此之上的步骤包括：基于所述基准区域中的距离信息改变所述对象在三维空间中相对于所述三维图像的深度方向上的相对位置，以使所述对象三维显示在所述三维图像前侧的位置。

16.一种三维显示设备，包括：

图像获取装置，用于获取相对于从不同对景点看到的主体具有视差的多个图像；

三维处理装置，用于对所述多个图像执行用于进行三维显示的三维处理，并以叠加的方式对将在三维显示的三维图像中显示的对象执行所述三维处理；

显示装置，用于至少对所述三维图像进行三维显示；以及

距离信息计算装置，用于计算所述三维图像的距离信息，

其中，所述三维处理装置基于所述距离信息改变所述对象在三维空间中相对于三维图像的相对位置，以在进行三维显示时防止其中对象的一部分或全部被三维图像隐藏的位置关系，其中，

所述距离信息计算装置是这样一种装置：其计算在作为所述多个图像的基准的基准图像中显示所述对象的基准区域中的每个像素的距离信息；以及

所述三维处理装置是这样一种装置：其基于所述基准区域中的距离信息改变所述对象在三维空间中相对于所述三维图像的深度方向上的相对位置，以使所述对象三维显示在所述三维图像前侧的位置。

Images