CN101156456A - 用于为三维图像显示产生多视点图像的方法及其程序 - Google Patents

Abstract

一种方法，用于为三维图像显示产生多视点图像，包括：提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，所述单一参考投影平面包括充当参考的目标视点，所述多个视点在平行于参考投影平面的第一方向上以恒定间隔隔开；在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的多个目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；做出确定，以使得所述个体投影平面的形状和大小包含在从所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；以及只将所述参考投影平面的区域从在各个视点处所获得的个体投影平面中剪切出，以为三维图像显示形成多视点图像。

Description

用于为三维图像显示产生多视点图像的方法及其程序

相关申请的交叉引用

本申请基于在2005年4月14日在日本提交的在先日本专利申请No.2005-117341并要求其优先权，其全部内容合并于此作为参考。

技术领域

本发明涉及一种用于为三维图像显示产生多视点图像的方法，其为三维图像显示获得多视点图像。

背景技术

作为一种三维图像显示方法，存在一种水平视差系统，在该系统中，组合了以像素按矩阵形式排列在二维平面上的液晶显示器(LCD)为代表的平板(flatbed)显示器和诸如透镜片(lenticular sheet)(从观看者处观看，一条在垂直方向上延伸的棱线(ridge line))之类的光学板(optical plate)，光学板用于控制光线方向或狭缝(与上述相同)，并且观看(观察)到与在观看(观察)方向上的水平位置相对应的图像，从而可以认知三维图像。水平视差系统包括以下子类：积分成像系统(integral imaging system)、多视角(multi-view)系统、以及双目镜(binocular)系统，它们对于以下事实都是相同的：即，在水平方向上提供视差。

需要从在水平方向上的彼此不同的多个视点处获得多个多视点图像，以用于在水平视差系统中的三维图像显示。就是说，通过在水平方向上的不同观看位置(视点)处，近似地再现在水平方向上的多个不同视点处所获得的图像，来近似地再现三维图像。

根据各个系统，当三维图像的观看范围不同，且与显示平面相关的多视点图像的获取位置和数量不同，而在水平方向被定义为X方向，垂直方向被定义为Y方向，观看方向和多视点图像的获得方向被定义Z方向时，只有多个视点的坐标的X分量以相等的间隔变动。这是因为在平板显示器上的像素以相等的间隔排列。使得从各个视点处所获得的图像的投影面(projection faces)与三维图像显示设备(在下文中，也称为“3D显示器”)的显示平面相一致，并使得目标视点与显示器的中心相一致。

然而，当固定目标视点的同时使得各个视点的x坐标不同时，由连接视点和目标视点的直线与要使其与原始3D显示器的显示平面相一致的投影平面所定义的角度，对于各个视点是不同的。当通过使用真实空间中的相机或用于利用计算机绘图(CG)来产生图像的相机模型来实现这样的图像获取时，就必须使用透镜移动功能(lensshifting function)。

然而，当前，大多数相机和相机模型不具有这个功能。当使用不包含透镜移动功能的相机或相机模型来获得图像时，由投影平面与连接视点和目标视点的直线所定义的角度被固定为90°。即，从各个视点处所获得的图像的投影平面对于各个视点而言最终是不同的。需要梯形失真校正，来校正从各个视点处所获得的图像的投影平面与理想投影平面的偏差，其中，要使得理想投影平面与3D显示器的显示平面彼此相一致。

作为一种不进行梯形失真校正的方法，已知一种使用不具有透镜移动功能的相机或相机模型来实现的方法，其中，为各个视点准备目标视点(个体目标视点)，在将由连接视点和个体目标视点的直线与投影平面所定义的角度保持在90°的同时来获得图像，从由于个体目标视点的偏移所移动的投影平面的重叠区域中剪切出各个视点图像(见日本专利公开特许公报No.2003-43413)。

另一方面，在水平视差系统的一种三维图像显示方法中，已知在跳出(jumping-out)方向和深度方向上存在显示限制(见H.Hoshino等人，J.Opt.Soc.Am.A.，15(8)，2059(1998))。更具体而言，只要平板显示器的分辨率是恒定的，3D显示器的分辨率、能够观看(观察)三维图像的范围、以及跳出和深度的限制就被置于折衷关系中。由于当前平板显示器的分辨率和尺寸，跳出和深度的限制被限于几厘米到几十厘米。如同普通电视机和个人计算机的监视器，当将3D显示器的显示平面设置为垂直的时，就会出现这样的问题：由于显示范围的限制，要显示的物体受到限制。例如，不能够显示远景或者恰好在观看者面前的物体，或者具有±几十厘米厚度的物体。

放置在平面上的物体由于其稳定性的原因，与底部区域相比，往往在其高度上受到限制。即，当显示器的区域受到限制时，显示在其上的物体高度也必然受到限制。

作为水平视差系统3D显示器的特征，存在一个问题：即，相对于显示器屏幕框的不可移动点被固定在屏幕上，其中，当人们在水平方向上进行观察时，他/她不知不觉会认为无限远处是固定点。即，即使通过摆动他/她的头，使观察对象看起来像是向左和向右移动，他/她也会认为该不可移动点设置在无限远处，且物体没有移动，而是他/她自己移动了。

然而，在水平视差系统的三维显示中，是这样做出认知的：即，不可移动点存在于显示器平面上，例如显示器外壳或印刷品的印刷对象的边缘，从而使得在这个边上的物体看起来像是在与观看者移动方向相反的方向上移动，而同时在深度边上的物体看起来像是在与观看者移动方向相同的方向上移动。即，远景看上去是其主要在与观察者相同的方向上移动。这导致这样的问题：即，留下了与真实空间存在差异的印象。

作为在真实空间中的类似现象，假设通过一个窗口来观看景象。不是利用窗口的中心作为参考(不可移动点)来观看该景象。另一方面，当向下观看在水平面上的物体时，人们很自然的将该不可移动点设置在平面上。即，即使在显示器(或印刷品的印刷对象)上存在目标视点(不可移动点)，也根本不会产生不舒服的感觉。

当以平板方式放置水平视差系统的显示器时，由于在垂直方向上没有任何视差信息，因此已知能够通过获得各个视点图像以具有相对显示平面法线的角度来显示三维图像，能够实现逼真的显示(日本专利公开特许公报No.2003-43413)。在下文中，这种显示方法被称为“以俯视角来摄影(photographing with depression)”。

然而如上所述，因此如同当获得多视点图像时需要水平方向上(X方向上)的透镜移动功能的情况中一样，由于俯视造成的、由连接视点和目标视点的直线与投影平面所定义的角偏离了90°角，就需要在垂直方向上(Y方向上)的透镜移动功能。作为一种校正这个偏离的方法，在日本专利公开特许公报No.2004-198971中所述的技术中采用了梯形失真校正。

然而，难以执行在用于多视点图像的水平方向上和在用于实现俯视角的垂直方向上延伸的两个轴的梯形失真校正，必须获得具有较高分辨率的图像，以便允许用于校正的放大和缩小。

如上所述，在为平板水平视差系统的三维图像显示获得多视点图像时，需要一种与水平方向和垂直方向的两个轴的透镜移动功能等效的摄影方法，但具有透镜移动功能的相机或相机模型是受到限制的，不能认为这种摄影方法是一种普通的方法。两个轴自身的梯形失真校正也比一个轴的梯形失真校正更加困难，且前者易于导致图像中的失真。

发明内容

鉴于这些情况来做出本发明，其目的是提供一种方法，用于为三维图像显示产生多视点图像，即使使用了不具有透镜移动功能的相机或相机模型，该三维图像显示也能够获得不含有失真的多视点图像。

根据本发明的第一方面，提供了一种方法，用于为三维图像显示产生多视点图像，该方法包括以下步骤：提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，所述单一参考投影平面包括充当参考的多个目标视点，所述多个视点在平行于所述参考投影平面的第一方向上以恒定间隔隔开；在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的多个目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；所述个体投影平面是从所述多个视点处所获得的图像的投影平面中的区域，在保持所述个体投影平面的形状和面积恒定的同时，做出确定，以使得所述个体投影平面的形状和大小包含在从所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；以及只将所述参考投影平面的区域从在各个视点处所获得的个体投影平面中剪切出，以为三维图像显示形成多视点图像。

所述各个视点图像的分辨率能够被定义为，使得所述参考投影平面的分辨率基本上与三维图像显示设备的分辨率相一致。

将所述各个个体投影平面的范围设置为，使得所述参考投影平面的范围基本上与三维图像显示设备的显示区域相一致。

俯视角是连接所述目标视点和所述各个视点的直线对于与所述第一方向相垂直的平面的投影分量与所述投影平面所构成的角度，所述俯视角设定为50°到60°的角度。

所述俯视角可以为55°。

对于平行于所述第一方向的宽度以及平行于所述参考投影平面且平行于与所述第一方向垂直的第二方向的宽度，在所具有的占用范围超出了所述参考投影平面的占用范围的个体投影平面的范围内获得图像，并剪切仅与所述参考投影平面的范围相对应的图像，以将其保留作为各个视点图像。

尽可能地不将模型布置在所述个体投影平面中除了由所述参考投影平面所占用的范围之外的范围上，或者即使是将模型布置在所述个体投影平面中除了由所述参考投影平面所占用的范围之外的范围上，也不渲染所述模型。

使在摄影装置中的胶片的纵向与垂直于所述参考投影平面的第一方向的第二方向相一致。

能够通过在实际底部上方提供所述投影平面，利用了在所述三维图像显示设备的深度方向上的可显示区域。

根据本发明的第二方面，提供一种计算机可执行程序，用于为三维图像显示产生多视点图像，三维图像显示获得用于三维图像显示的多视点图像，以在水平方向上提供视差，使得观看者认知三维图像，该程序包括用于以下步骤的指令：提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，所述单一参考投影平面包括充当参考的多个目标视点，所述多个视点在平行于所述参考投影平面的第一方向上以恒定间隔隔开；在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的多个目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；所述个体投影平面是从所述多个视点处所获得的图像的投影平面中的区域，在保持所述个体投影平面的形状和面积恒定的同时，做出确定，以使得所述个体投影平面的形状和大小包含在从所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；以及只将所述参考投影平面的区域从在各个视点处所获得的个体投影平面中剪切出，以为三维图像显示形成多视点图像。

附图说明

图1A到1C是根据本发明的实施例，解释用于为三维图像显示产生多视点图像的一种方法的概念图；

图2A和2B是用于解释由观看者所获得的视差信息的图像的示意图；

图3是示出在2D显示器的像素间距与带有视差信息的光线间隔之间的关系的示意图，该光线间隔是由在2D显示器与光学板的出射光瞳(exit pupil)之间的间隙造成的；

图4是示出第一实施例中所用的多个参数的表；

图5是示出第一实施例中所用的一个参数的表；

图6是示出第一实施例中所用的多个参数的关系式的表；

图7是在水平视差系统的平板3D显示器中出现的俯视角(depression)相关性的概念图；

图8是用于解释水平面与垂直面的俯视角与比值(b/a)之间的相关性的表；

图9是示出根据第一实施例的，在CG空间中的多视点图像产生过程的流程图；

图10是示出第二实施例中所用的多个参数的表；

图11是示出第二实施例中所用的多个参数的关系式的表；

图12是用于解释个体投影平面与参考平面的比值的摄影距离相关性的示意图；

图13是用于解释俯视角的摄影距离相关性的示意图；

图14是示出根据第二实施例，在实际摄影中的多视点图像产生过程的流程图；

图15A到15C是基于所获得的多视点图像的剪切位置的，显示位置操作的概念图；

图16是示出在实例1中的各个参数的数值的表；

图17是示出在实例2中的各个参数的数值的表；

图18是示出在比较实例2中的各个参数的数值的表。

具体实施方式

以下将参照附图来详细解释本发明的实施例。

(第一实施例)

将解释根据本发明第一实施例的，用于为三维图像显示产生多视点图像的方法。根据该实施例的多视点图像产生方法是一利用于为在水平视差系统的3D显示器中使用的三维图像显示产生多视点图像的方法，其用于获得在3D-CG模型空间中的多视点图像。根据该实施例的多视点图像产生方法的特点在于，只存在一个相机模型，但不限制各种参数，例如胶片尺寸、分辨率和焦距。因此，如稍后所述的，能够进行任何广角摄影，以便与所需的个体投影平面(individialprojection plane)相一致。

在图1A、1B和1C示出了根据该实施例的多视点图像产生方法的概念图。图1A是解释根据该实施例的多视点图像产生方法的概念的透视图，图1B是作为从与图1A中图像获取方向相垂直的方向上观看的正视图，图1C是作为从图像获取方向上观看的侧视图。在图1A到1C中，参考数字1表示视点，2表示参考投影平面，3表示个体投影平面，4表示目标视点，5表示个体目标视点(individial targetviewpoint)，6表示相机(或相机模型)的胶片表面，7表示最外面视点之间的距离，g表示2D显示器与光学板的出射光瞳之间的距离，L1表示多视点图像获取距离。

现在，在图2A和2B中示出了来自观看者的视差信息的图像。在图2A和2B中，参考数字8表示3D显示器，9表示观看者，10表示在该3D显示器前面显示的三维图像，11表示在该3D显示器后面显示的三维图像，12表示观看者9所观看到的图像，13表示该3D显示器的屏幕框。水平视差系统的3D显示器8包含这样的问题：对于显示器屏幕框13而言的不可移动点被固定在屏幕上(见图2A)。当人在水平方向上进行观察时，他/她不知不觉地认为无限远处是该不可移动点。即，即使通过摆动他/她的头使观看对象看起来是向左和向右移动，他/她也会认为该不可移动点设定在无限远处，对象没有移动而是他/她自己移动了(见图2B)。

接下来，将解释参数。在此，省略了以下要依据2D显示器或光学板来确定的参数：水平视差系统的视差数量和视差角(能够观看到三维图像的角度)、观察观看距离、所需的多视点图像数量，(理想的)多视点图像的观看点坐标等等，并且假设预先获得了或确定了以下参数值来进行解释。

视差数量[视差]：Np

多视点图像获取距离[mm]：L1

在2D显示器与光学板的出射光瞳之间的距离[mm]：g

多视点图像的数量[幅]：N_need

俯视角[度]：φ

参数g是在2D显示器与光学板的出射光瞳之间的空气转换间隙(air conversion gap)，具体而言，其意味着在2D显示器的像素14表面与光学板16的出射光瞳17之间的空气转换间隙。该参数充当用于确定一个距离的参数，在该距离上能够在水平视差系统的3D显示器8中观看到具有视差信息的多视点图像(见图3)。在图3中，参考数字9表示观看者(观察者)，15表示光线的主光线，其从像素射出，并且其方向经由出射光瞳而受到限制，L表示观看距离。

接下来，在图4和5中示出了与在水平视差系统的3D显示器中所用的多视点图像相关的参考投影平面与个体投影平面的参数。将包含有相当于3D显示器表面的一个投影平面的平面表示为xy平面，观看方向或多视点图像获取方向被定义为z方向。

在水平视差系统的三维图像显示中，由于在3D显示器上的一个像素是用水平排列在2D显示器上的多个像素组成的，因此在3D显示器中的水平分辨率低于在2D显示器中的水平分辨率。

如图1A到1C所示，参考投影平面2表示用于水平视差系统的三维图像显示的多视点图像的投影平面，其中，当图像获取对应于等大摄影时(在此未使用变焦)，占用区域和分辨率对应于3D显示器的各个参数。个体投影平面3表示在广角上获得的一个图像，从而使得即使从各个视点(x坐标)处所获得的图像位置在多视点图像的产生时发生变动，并且其中当第一实施例中的连接视点1和目标视点4的直线与投影平面的法线保持平行的同时来获得图像，参考投影平面2也包含在从全部视点处获得的图像中。从个体投影平面中剪切参考投影平面区域，以便能够产生用于水平视差系统的三维图像显示的多视点图像。

为了避免混淆，将在参考投影平面2上的目标视点(当提供透镜移动功能时所用的目标视点)简称为“目标视点4”，而为用于根据该实施例的产生方法的各个视点提供的目标视点被称为“个体目标视点5”。对水平坐标中的个体目标视点5的移位、在最外面的投影平面之间的水平坐标移位、以及个体投影平面3的重叠区域的水平宽度分别给出参数(见图4)。

另外，将进一步解释包含在个体投影平面3的参数中的多视点图像获取距离L1中的光线间隔(P_ray)。如图3所示，由于能够观看视差信息的光线15的发射方向是基于在水平视差系统的3D显示器8中所用的2D显示器的像素间距和光学板16的空气转换间隙g来确定的，因此根据上述确定结果来确定在多视点图像获取距离L1处的多视点图像的获得位置。从而，将在L1处的光线间隔P_ray包含在个体投影平面3的参数中。

除图4中所示的参数之外，还提供了与多视点图像的放大和缩小有关的参数Zoom_S和Zoom_N(见图5)。这些参数与在水平视差系统的3D显示器上显示的内容的大小和分辨率有关。当参考投影平面的大小被设定为与3D显示器相同时，显示在3D显示器上的模型的大小就变得与在模型空间中的大小相同。当在水平方向和垂直方向上的参考投影平面的大小变为两倍时，显示在3D显示器上的模型的大小就变为在模型空间中大小的1/2。当在所获取的多视点图像的参考投影平面上的分辨率低于3D显示器的分辨率时，就不能充分利用3D显示器的显示性能。

在图6中示出了将这些参数彼此关联的关系式。

为Np[视差]、L1[mm]、g[mm]、N_need[视点]、φ[度]、D_x_h[像素]、D_p_h[像素]、D_x_v[mm/像素]和D_p_v[mm/像素]给出了缺省值。

水平视差系统的3D显示器的水平分辨率能够通过将2D显示器的水平分辨率除以视差数量(Np)来获得。在包含液晶显示器的2D显示器中，通过将R(红)、G(绿)、B(蓝)分配给在水平方向上排列的三个子像素来构成一个像素，但由于视差图像以子像素间距排列，因此由3D_x_h＝D_x_h×3/Np给出3D显示器的水平分辨率(3D_x_h[像素])。

另一方面，能够独立于三维图像显示来设定垂直分辨率(3D_x_v)，并且其能够根据3D显示器的水平分辨率与垂直分辨率之间的平衡或根据分辨率基数(resolution base)来任意设定。

接下来，仅要求参考投影平面2的大小和分辨率与3D显示器相对应，并且它们反映了与多视点图像根据情况的放大和缩小相关的参数ZoomS和ZoomN的值。与个体投影平面3相关的参数反映了在获取图像的距离(L1)上，携带视差信息的光线之间的距离(P-ray)。即，将个体投影图像的视点设定为与光线之间的距离相一致。

接下来，尽管个体投影平面3的参数的全部像素间距都被设定为等于P_p_v，但是由于在3D显示器中的3D_p_h和3D_p_v是彼此独立地设定的，且P_p_h和P_p_v也独立设定，如上所述，因此，就希望个体投影平面3的像素间距满足P_p_h和P_p_v中较小的一个。

由于3D显示器的分辨率不可避免地变得低于2D显示器的分辨率，因此与3D显示器中视差数量无关的3D_x_v可以被设定为大于3D_x_h，以保持显示图像的质量。即，由于3D_p_v经常被设定为等于或小于3D_p_h，假设在此情况下3D_p_v较小，则与个体投影平面3相关的参数的全部像素间距都被设定为P_p_v。

接下来，由Shift_x＝ROUND(P_ray/P_p_v)给出了个体投影平面的x坐标的各个视点的移位Shift_x[像素]，以便使其等于在观看距离L上的光线距离(P_ray)。在此，ROUND(w)是用于舍入“w”的第一个小数点的值以得到一个整数的运算符。由于个体投影平面3的移位实际上与参考投影平面2的剪切位置的移位相对应，因此通过舍入来获得个体投影图像的采样间距(Shift_p[mm/像素])的整数倍，从而能够避免剪切的多视点图像的品质降低(无需再采样)。

接下来，利用Shift_all_x＝Shift_x*(N_need-1)，根据所需的视点数量(N_need[视点])获得在最外面两个视点之间的距离(Shift_all_x[像素])。这是个体投影平面3从在最大程度上彼此分离的两个视点处的移位，这两个视点，能够通过吸收该移位并增加与参考投影平面2相对应的重叠区域(Overlap_x[像素])，来获得在个体投影平面上的像素的水平数量(S_x_h)和水平宽度(S_W_h[mm])(见图1B和6)。这些参数能够通过以下等式获得。

Overlap_x＝P_x_h*P_p_h/P_p_v

S_x_h＝Shift_all_x+Overlap_x

S_W_v＝S_p_V*S_x_v

另一方面，根据俯视角(φ[度])来获得垂直分辨率(S_x_v[像素])。即，采用S_x_v＝ROUND(2*(L1/TAN(φ)+P_W_v/2)/P_p_v)，能够将由连接参考投影平面2中心和视点的直线与参考平面2定义的角的垂直分量(yz平面)设定为φ。在此，执行舍入，从而使得从个体投影平面3剪切参考投影平面2的位置被设定为个体投影平面3的采样间距(S_p_v[mm/像素])的整数倍，以避免在剪切后的各个视点图像的再采样。

在此，由3D_p_h＝3D_W_h/3D_x_h给出3D显示器的水平像素间距(3D_p_h)，但该等式是在积分成像系统中使用的计算等式，在积分成像系统中，通过将3D显示器的水平像素间距设定为2D显示器的水平像素间距的整数倍来实现平行光线之间的相互关系。在一个如同多视点系统的、将会聚(焦)点设置在观看距离处的系统中，该等式由3D_p_h＝3D_W_h/3D_x_h*L/(L+g)给出。

优选地，俯视角在以55°为中心的50°到60°的角度范围内。以下将说明原因。在应用于水平视差系统的平板三维显示中的问题在于：由于在垂直方向上(y方向)没有视差信息，因此当观看者在y方向上移动时，物体产生失真(见图7)。在图7中，参考数字8表示3D显示器，9表示观看者，12表示由观看者9所观看的图像，27表示俯视角，28表示设定的俯视角的观看方向，29表示一个大于该设定的俯视角的俯视角的观看方向。即使提供了预期的俯视角，也难以将观看者9固定在该位置。与此相反，往往由于对于所显示对象内容的兴趣的提高，使得观看者9更强烈的希望从所显示的对象的正面来对其进行观看(俯视角变得更大)。即，对在y方向上观看位置的变动需要某种鲁棒性。

此外，作为发明者研究的结果，发现了这样的事实：随着俯视角的增加，对观看位置变动的不舒服的感觉会减小，但当俯视角过大时，物体的侧面就几乎看不见了，这种平板放置的显示器的印象就降低了。从主观评价的角度上，相互比较了45°、50°、55°、60°和65°的俯视角。结果，确定55°俯视角是最优选的，50°和60°是依次优选的。能够从以下的关系式来理解这个事实。

假设一个平行于zx平面的平板布置在平板型3D显示器上，平行于z轴的高度以“a”来表示(平行于x和y轴的宽度在此情况下不考虑)。当在以一个俯视角观看时的高度表示为“a”且“a”在xy平面上的分量表示为“b”时，“a”与“b”的比值由以下等式来表示。b/a＝1/TAN(φ)

即，获得了图8所示的结果。

在φ＝45°的情况下，满足b/a＝1，即，在保持该高度的同时执行对xy平面的投影。例如，假设是一个立方体，在x方向和y方向上的宽度和高度看起来相同。由于这个相同表示一种易于被人们觉察到的关系，当观看者在y方向上移动他/她的头以增加俯视角时，如果保持a＝b的关系，就会增加不舒服的感觉。另一方面，在φ＝65°的情况下，b/a变为小于1/2(b/a＜1)。例如，假设是一个矩形实体且其高度是在x和y方向的宽度的两倍，则在x和y方向上的宽度和该高度看起来是相同的。两倍的高度表示一种易于被人们察觉的关系，但当该高度与x和y的宽度相同时，即使减小了俯视角，不舒服的感觉也很强烈。因此，在50°到60°的范围中，在高度从原始高度减小，但b/a不小于1/2的情况下，高度“a”由于投影到xy平面上而略微减小，从而使得由于俯视角变动造成的变化几乎不会被辨认出来。尤其是，在φ＝55°、b/a＝0.7位于角度范围的中间角度时，其被认为是对于俯视角的变动是鲁棒的。

在图9中以流程图示出了用于在模型空间中为平板型3D显示器产生多视点图像的方法的过程。除了要使用的2D显示器的各种参数之外，还确定了视差数量(Np)、观看距离(L1)和在2D显示器的像素部分与光学板之间的空气转换间隙(g)，这些是水平视差系统的3D显示器的设计值。通过不受这些参数约束地来确定3D显示器的垂直分辨率，确定了3D显示器的其它参数。通过确定用于3D显示器上的显示的多视点图像的质量(分辨率和尺寸)以及俯视角，确定了参考投影平面参数和个体投影平面参数。根据参考投影平面参数和个体投影平面参数，如下来构成多视点图像：

首先，提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，单一参考投影平面包括充当参考的目标视点，所述多个视点在平行于参考投影平面的第一方向上以恒定间隔隔开；在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；保持所述个体投影平面的形状和面积恒定，所述个体投影平面是从所述多个视点处获得的图像的投影平面中的区域；确定所述个体投影平面的形状和大小，以使其包含在从在所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；只将参考投影平面的区域从由各视点处获得的个体投影平面中剪切出，以便形成用于三维图像显示的多视点图像。

附带而言，能够定义各个视点图像的分辨率，以使参考投影平面的分辨率基本上与三维图像显示设备的分辨率一致。

此外，能够将各个个体投影平面的范围设置为，使得参考投影平面的范围基本上与三维图像显示设备的显示面积一致。

而且，俯视角是通过连接充当参考的目标视点和各个视点的直线对垂直于第一方向的平面的投影分量与投影平面构成的角度，可以将俯视角设定为50°到60°的角度。

俯视角可以为55°。

对于平行于第一方向的宽度和平行于参考投影平面且平行于与第一方向垂直的第二方向的宽度而言，可以采用这样的结构：在占用范围超过参考投影平面的占用范围的个体投影平面范围中获得图像，并且剪切只与参考投影平面的范围相对应的图像，以将其保存为各个视点图像。在此情况下，能够减小由多视点图像所占用的存储器区域。

附带而言，可以采用这样的结构：模型尽可能地不布置在个体投影平面中除了由参考投影平面所占用的范围之外其他范围内，或者即使模型布置在个体投影平面中除了由参考投影平面所占用的范围之外其他范围内，也不渲染模型。在此情况下，能够减小用于获得在个体投影区域内的图像的渲染时间。

如上所述，根据该实施例，即使使用了不具有透镜移动功能的相机或相机模型，也能够获得不包含失真的多视点图像。

(第二实施例)

接下来，将解释根据本发明第二实施例的一种用于为三维图像显示产生多视点图像的方法。根据该实施例的多视点图像产生方法是一种用于为水平视差系统的3D显示器的三维图像显示产生多视点图像的方法，并且用于在真实空间中执行图像获取，即，使用相机的图像获取。在CG空间中的相机模型与实际相机之间显著的区别在于各种参数受到限制，例如胶片尺寸、分辨率和焦距。因此，除了在第一实施例中所述的各种参数之外，还增加了图10中所示的相机参数。

增加了图10中所示的参数，并在图11中示出了关于与CG模型空间的情况(见图6)不同的部分的关系式。将解释这些等式。共同说明在实际摄影中的特征。

(1)为了在视点数量(N_need)固定的状态下确保从在两端上的视点处获得个体投影平面3之间的重叠区域，以使其与的3D显示器的宽度相对应，就必须相对地缩小在个体投影平面3上的参考投影平面2的水平宽度。即，必须使视点1离开一定的距离(使得L1变大)，以相对地扩大个体投影平面3(在图12中以虚线所示的)。

(2)为了在相机焦距(f)固定的状态下增加俯视角(φ)，就必须相对地缩小在个体投影平面3上的参考投影平面2的剪切范围。即，必须使视点1离开一定的距离(使得L1变大)，以相对地扩大个体投影平面3(在图13中以虚线所示的)。

(3)当在视点与投影平面之间的距离(L1)较大时，在投影平面上的图像采样间隔(P_p_h和P_p_v)变得粗略。

即，必须满足全部要求(1)到(3)。以下将解释用于获得该摄影条件的关系式。

首先，由于已经确定了相机的焦距(f[mm])、CCD(或胶片)的尺寸(F_W_h，F_W_v)或分辨率(F_x_h，F_x_v)，因此，当确定了摄影距离(L1)时，就确定了在参考投影平面(＝个体投影平面)上的图像的分辨率(P_p_h，P_p_v)。

P_p_h＝F_p_h*L1/f

P_p_v＝F_p_v*L1/f

通过确定参考投影平面的高度(P_W_v)，即

P_W_v＝3D_W_v*Zoom_S，

在参考投影平面上的分辨率(P_x_h，P_x_v)如下来确定：

P_x_v＝ROUND(P_W_v/P_p_v)

P_x_h＝ROUND(P_x_v*3D_W_h/3D_W_v)

如上所述，也执行舍入，以便避免在参考投影平面剪切时出现再采样。

另一方面，如在项目(1)中所述的，可实现的俯视角(φ[角度])与参考投影平面的高度(P_W_v[mm])和摄影距离(L1[mm])相关。即，

L1/(F_W_v*L1/f-P_W_v)/2＝TAN(φ)

因此，通过将L1设定为满足L1＝

(TAN(φ）*P_W_v)/2/(TAN(φ)*F_W_v/f/2-1)，能够获得φ。然而，此时存在的问题是：在项目(2)中所述的在两端上的视点处所获得的个体投影平面的重叠区域(Overlap_W[mm])是否满足屏幕宽度，且投影平面的分辨率(P_p_v[mm/像素])是否满足3D显示器的分辨率(3D_p_h[mm/像素]h和3D_p_v[mm/像素]中较小的一个)。在很大程度上必须依据这些值来设定φ。

在此，尽管3D显示器的水平像素间距(3D_p_h)由3D_p_h＝3D_W_h/3D_x_h给出，但该等式是用于积分成像系统中的计算等式，在积分成像系统中，通过将3D显示器的水平像素间距设定为2D显示器的水平像素间距的整数倍来实现平行光线的相互关系。在一个如同多视点系统的、将会聚(焦)点设置在观看距离处的系统中，等式由3D_p_h＝3D_W_h/3D_x_h*L/(L+g)给出。

用图14中的流程图来示出如上所述的在实际摄影中，用于为平板型3D显示器产生多视点图像的方法的过程。除了要使用的2D显示器的各种参数之外，还确定了视差数量(Np)、观看距离(L1)和在2D显示器的像素部分与光学板之间的空气转换间隙(g)，这些是用于水平视差系统的3D显示器的设计值。通过不受这些参数约束地来确定3D显示器的垂直分辨率，确定了3D显示器的其它参数。当假定了俯视角(φ)，对于以下进行确定：是否存在用于实现此目的的摄影距离(L1)，且从位于最外端上的两个视点处所获得的个体投影平面的重叠区域的水平宽度是否满足参考投影平面的宽度。除非这两个项都满足，否则就减小俯视角来满足这两项。当满足这两项时，就确定了参考投影平面的参数(P_p_h，P_p_v)和在摄影距离上的光线距离(P-ray)。当这些参数没有实现满足3D显示器显示性能的分辨率时，就减小L1(必须增加φ)。即，在水平宽度满足参考宽度且不会出现降低到低于3D显示器的显示分辨率的情况的一个范围内，增加L1(＝φ的减小)。最后，当由于L1过大而难以进行摄影时，能够拍摄个体投影平面，以便具有一个显示平面(ZoomS被设定为1或更小)。通过以上过程来确定参考投影平面和个体投影平面的各个参数(摄影条件被确定)。基于参考投影平面参数和个体投影平面参数，按以下方式来形成多视点图像。

首先，提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，所述单一参考投影平面包括充当参考的多个目标视点，所述多个视点在平行于所述参考投影平面的第一方向上以恒定间隔隔开；在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；保持所述个体投影平面的形状和面积恒定，所述个体投影平面是从所述多个视点处获得的图像的投影平面中的区域；确定所述个体投影平面的形状和大小，以使其包含在从在所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；只将参考投影平面的区域从由各视点处获得的个体投影平面中剪切出，以便形成用于三维图像显示的多视点图像。

附带而言，能够定义各个视点图像的分辨率，以使参考投影平面的分辨率基本上与三维图像显示设备的分辨率一致。

此外，能够将各个个体投影平面的范围的范围设置为，使得参考投影平面的范围基本上与三维图像显示设备的显示区域一致。

而且，俯视角是通过连接充当参考的目标视点和各个视点的直线对垂直于第一方向的平面的投影分量与投影平面构成的角度，可以将俯视角设定为50°到60°的角度。

俯视角可以为55°。

附带言之，可以使摄影设备中的胶片的纵向与和参考投影平面的第一方向相垂直的第二方向相一致。在此情况下，能够实现低俯视角。

此外，通过在实际底部(floor)上方提供投影平面，能够利用三维图像显示设备的深度方向上的可显示区域。

最后，广角摄影(拍摄)取得了这样的优点：即，能够使得物体的深度或景深变得更深。在水平视差系统的三维图像显示中，通过调整从多视点图像进行剪切的剪切位置，能够将显示位置改变为显示位置之前或之后的位置。更具体的，由于在三维空间中的参考投影平面与显示器一致，因此，根据如何通过在广角获得个体投影平面选择(如何剪切)参考投影平面，来确定固定在显示器上的点。详细而言，如图15A所示，在范围22中，将参考投影平面用作多视点图像，通过在比范围22更宽的角度上获得参考投影平面并且移动该范围的水平位置，能够移动作为三维图像的显示位置。在图15A、15B和15C中，参考数字20表示从视点(+n)处获得的参考投影平面，21表示从视点(-n)处获得的参考投影平面，22表示作为参考投影平面的使用区域，23表示位于包含目标视点的投影平面之前的物体或模型，24表示位于包含目标视点的投影平面之后的物体或模型。

在图15B中，因为基于参考来剪切参考投影平面上的目标视点，因此目标视点看起来像是被显示在3D显示器的屏幕上。另一方面，如图15C所示，当基于位于目标视点之前的模型来执行剪切，且所剪切的对象被用作多视点图像时，位于目标视点之前的模型22看起来像是被显示在3D显示器的屏幕上，而位于目标视点之后的模型23看起来像是被显示在目标视点的更后方。为了实施这种操作，就必须预先以深景深来进行摄影。即，根据在图15A中模型22到23的范围内进行的聚焦，使得由剪切位置的这种变化造成的显示位置的移动成为可能，但不能依据根据与目标视点的分离的所产生模糊程度，来实施到显示平面的移动。在这个意义上，广角摄影在景深受限的实际摄影情况中是有用的。

附带言之，根据第一和第二实施例的、一种用于执行用于为三维图像显示产生多视点图像的方法的程序由一种硬件结构来实施，该硬件结构使用普通计算机，该普通计算机具有：控制设备，例如CPU(中央处理单元)；存储器设备，例如ROM(只读存储器)或RAM(随机存取存储器)；外部存储器，例如HDD、CD(压缩光盘)驱动设备；显示设备，例如显示单元；以及输入设备，例如键盘或鼠标。

根据第一和第二实施例的、用于为三维图像显示产生多视点图像的程序被记录在例如CD-ROM(压缩光盘只读存储器)、软盘(FD)、CD-R(可记录光盘)、或DVD(数字多用途光盘)的计算机可读取记录介质中的可安装形式或可执行形式的文件中来提供。

可以采用这样的结构：根据第一和第二实施例的、用于为三维图像显示产生多视点图像的程序被存储在连接到诸如因特网之类的网络的计算机上，且借助于通过网络下载来提供该程序。可以采用这样的结构：通过网络，例如互联网，来提供或分发根据第一和第二实施例的、用于为三维图像显示产生多视点图像的程序。

可以采用这样的结构：通过预先存储相同的或类似内容的ROM来提供根据第一和第二实施例的、用于为三维图像显示产生多视点图像的程序。

对于从个体投影平面中剪切参考投影平面而言，在以上说明中采用了这样的描述：从个体投影平面的图像中剪切参考投影平面。然而，由于只使用了参考投影平面的区域，因此通过只在与参考投影平面相对应的区域上执行渲染任务，能够实现相当大的效率改善，尤其是在CG模型的渲染中。

此外，为了实现较小角度的俯视角，显然，在平行于y轴方向上的胶片区域的长度更大。因此，在使用水平方向上较长的胶片或光接收元件阵列的相机中，通过将相机旋转90°，能够将摄影有效地实现为垂直上较长的胶片或光接收元件阵列。这将在以下的实例中加以详细解释。

(实例1)

例如，当具有1920[像素]×1200[像素]的分辨率(D_x_h，D_x_v)、331.2[mm]×207.0[mm]的显示区域尺寸(D_W_h×D_W_v)的QUXGA显示器被用作2D显示器时，像素间距(D_p_h，D_p_v)是0.1725[mm]。视差数量(Np)被设定为18，具有垂直棱线的透镜片被用作光学板，该透镜片只在水平方向上具有透镜组件。由于采用了积分成像系统(一种系统，在该系统中，通过将水平透镜间距精确地设计为2D显示器的像素间距的整数倍，来将正交投影图像用作多视点图像)，与视差数量(Np)相比，为了确保最大程度的观看区域，所需要的视点数量(N_need)增加。水平透镜间距(3D_p_h)是1.035[mm/像素]。在图16中示出了在从3D-CG模型中产生各个视点图像时的参数。

在此采用了，Np＝18[视差]

L1＝700[mm]

g＝2[mm]

N_Need＝36[视差]，及

φ＝55[度]。

即，以在垂直方向上略长的尺寸(例如1037.5875[mm]×1187.145[mm])，来形成个体投影平面的尺寸(S_W_h，S_W_v)，在投影平面上的图像的采样间距是0.5175[mm]，这与3D显示器的垂直像素间距(3D_p_v)完全一致，个体投影平面的分辨率(S_x_h，S_x_v)是2005[像素]×2294[像素]。视点之间的间隔(Shift_W)在水平方向上是20.1825[mm]，并且通过在对于每个视点将每个视点图像的剪切位置移动39[像素]时进行剪切，来产生水平视差系统的多视点图像。

一个三维图像的基本图像阵列从使用该方法而获得的多视点图像中产生，且该三维图像显示在平板型积分成像系统的3D显示器上，则该三维图像是逼真的，并具有高度真实感。由于俯视角被设定在55°的角度，因此获得了这样的三维图像：即，抑制了由于观看者在y方向上移动造成的不舒服感觉。

(实例2)

在如同实例1的水平视差系统的3D显示器中，通过采用积分成像系统，并使用一种称为“伪多视点”的方法(产生基本图像阵列，以便接近于多视点系统)，使得所需的视点数量(N_Need)等于在多视点系统中的数量。在图17中示出了当用实际摄影来产生各个视点图像时的参数。所用的相机具有f＝18mm的焦距。在此，采用了：

Np＝18[视差]

L1＝921.1658667[mm]

g＝2[mm]

N_Need＝18[视差]，及

φ＝61[度]。

通过将相机旋转90°的角度来使用该相机，以使得采集元件的纵向(24mm，像素数量：3000)平行于显示器的y轴。当在与投影平面间隔920mm的轨道上的相机在水平方向上每次移动26.6mm时，获得个体投影图像，当执行每次65[像素]的移位时进行剪切，以便产生多视点图像。由于广角摄影，景深较深，通过在64到30[像素]的范围内改变参考投影平面(多视点图像)的剪切位置，能够将三维图像的显示位置整体移动到前面。

在此，解释了积分成像系统，但在多视点系统中的设计值也与在这里的值相类似。

基于以上条件所产生的多视点图像确保了与3D显示器相似的分辨率。此外，由于能够以61°的俯视角获得图像，因此能够实现所拍摄图像的具有高度真实感的三维图像显示。

(比较实例1)

在实例2的结构中试图实现φ＝57°。然而，L1是5996.8[mm]，在投影平面上的图像采样间距(P_P_h，P_p_v)是2.7[mm]，以致于拍摄自身是无法实现的，并且即使获得了图像，与3D显示器的分辨率相比较，其分辨率也是相当低的，以致于不能够显示具有足够质量的三维图像。

(比较实例2)

试图在相机胶片表面的纵向保持与x方向一致的同时，在与实例2相类似的结构中获得图像。然而，可实现的俯视角是70°，其很大程度上偏离了的预期范围。在此时的参数在图18中示出。在此，采用了：

Np＝18[视差]

L1＝1145.8511[mm]

g＝2[mm]

N_Need＝36[视点]，及

φ＝70.5[度]。

当使用所获得的多视点图像来执行三维图像显示时，获得了几乎不显露侧面的显示(较大的俯视角)，从而使得真实感显著地降低。

如上所述，根据本发明的各个实施例，即使是使用不具有透镜移动功能的相机或相机模型，也能够获得不含有失真的多视点图像。

对于本领域技术人员而言，其他的优点和修改是显而易见的。因此，本发明在其更广泛的方面上并不限于在此所示和所述的特定细节和典型实施例。因此，可以做出各种修改，而不会脱离本发明的整体概念的精神或范围，本发明的精神或范围由所附的权利要求及其等价物来定义。

Claims (17)

1.一种用于为三维图像显示产生多视点图像的方法，所述三维图像显示获得用于三维图像显示的多视点图像，以在水平方向上提供视差，使得观看者认知三维图像，所述方法包括以下步骤：

提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，所述单一参考投影平面包括充当参考的多个目标视点，所述多个视点在平行于所述参考投影平面的第一方向上以恒定间隔隔开；

在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的多个目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；

所述个体投影平面是从所述多个视点处所获得的图像的投影平面中的区域，在保持所述个体投影平面的形状和面积恒定的同时，做出确定，以使得所述个体投影平面的形状和大小包含在从所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；以及

只将所述参考投影平面的区域从在各个视点处所获得的个体投影平面中剪切出，以为三维图像显示形成多视点图像。

2.如权利要求1所述的方法，其中，所述各个视点图像的分辨率能够被定义为，使得所述参考投影平面的分辨率基本上与三维图像显示设备的分辨率相一致。

3.如权利要求1所述的方法，其中，将所述各个个体投影平面的范围设置为，使得所述参考投影平面的范围基本上与三维图像显示设备的显示区域相一致。

4.如权利要求1所述的方法，其中，俯视角是连接所述目标视点和所述各个视点的直线对于与所述第一方向相垂直的平面的投影分量与所述投影平面所构成的角度，所述俯视角设定为50°到60°的角度。

5.如权利要求4的方法，其中，所述俯视角为55°。

6.如权利要求1所述的方法，其中，对于平行于所述第一方向的宽度以及平行于所述参考投影平面且平行于与所述第一方向垂直的第二方向的宽度，在所具有的占用范围超出了所述参考投影平面的占用范围的个体投影平面的范围内获得图像，并剪切仅与所述参考投影平面的范围相对应的图像，以将其保留作为各个视点图像。

7.如权利要求6所述的方法，其中，尽可能地不将模型布置在所述个体投影平面中除了由所述参考投影平面所占用的范围之外的范围上，或者即使是将模型布置在所述个体投影平面中除了由所述参考投影平面所占用的范围之外的范围上，也不渲染所述模型。

8.如权利要求1所述的方法，其中，使在摄影装置中的胶片的纵向与垂直于所述参考投影平面的第一方向的第二方向相一致。

9.如权利要求1所述的方法，其中，通过在实际底部上方提供所述投影平面，利用了在所述三维图像显示设备的深度方向上的可显示区域。

10.如权利要求2所述的方法，其中，将所述各个个体投影平面的范围设置为，使得所述参考投影平面的范围基本上与三维图像显示设备的显示区域相一致。

11.如权利要求2所述的方法，其中，俯视角是连接所述目标视点和所述各个视点的直线对于与所述第一方向相垂直的平面的投影分量与所述投影平面所构成的角度，所述俯视角设定为50°到60°的角度。

12.如权利要求11所述的方法，其中，所述俯视角为55°。

13.如权利要求2所述的方法，其中，对于平行于所述第一方向的宽度以及平行于所述参考投影平面且平行于与所述第一方向垂直的第二方向的宽度，在所具有的占用范围超出了所述参考投影平面的占用范围的个体投影平面的范围内获得图像，并剪切仅与所述参考投影平面的范围相对应的图像，以将其保留作为各个视点图像。

14.如权利要求13所述的方法，其中，尽可能地不将模型布置在所述个体投影平面中除了由所述参考投影平面所占用的范围之外的范围上，或者即使是将模型布置在所述个体投影平面中除了由所述参考投影平面所占用的范围之外的范围上，也不渲染所述模型。

15.如权利要求2所述的方法，其中，使在摄影装置中的胶片的纵向与垂直于所述参考投影平面的第一方向的第二方向相一致。

16.如权利要求2所述的方法，其中，通过在实际底部上方提供所述投影平面，利用了在所述三维图像显示设备的深度方向上的可显示区域。

17.一种计算机可执行程序，用于为三维图像显示产生多视点图像，所述三维图像显示获得用于三维图像显示的多视点图像，以在水平方向上提供视差，使得观看者认知三维图像，所述程序包括用于以下步骤的指令：

提供多个视点，使其在垂直于单一参考投影平面的方向上以相等的间隔隔开，所述单一参考投影平面包括充当参考的多个目标视点，所述多个视点在平行于所述参考投影平面的第一方向上以恒定间隔隔开；

在投影平面上，与所述各个视点相对应地提供多个个体目标视点，其分别与所述的充当参考的多个目标视点不同，并充当所述多个视点的垂足，所述投影平面是包含所述参考投影平面的一个平面；

所述个体投影平面是从所述多个视点处所获得的图像的投影平面中的区域，在保持所述个体投影平面的形状和面积恒定的同时，做出确定，以使得所述个体投影平面的形状和大小包含在从所述多个视点中位于最外面位置的两个视点处所获得的个体投影平面之间的重叠区域中的参考投影平面中；以及

只将所述参考投影平面的区域从在各个视点处所获得的个体投影平面中剪切出，以为三维图像显示形成多视点图像。

Images