CN1643939B - 立体图像处理方法及装置 - Google Patents

Abstract

立体感调整部(112)向用户显示立体图像。如果被显示的目标达到界限视差，则用户响应立体感调整部(112)。按照所取得的适当视差信息，视差控制部(114)在以后的立体显示中以实现该适当视差的方式生成视差图像。视差的控制通过利用追溯三维数据并最佳设定相机参数来实现。将实现适当视差的功能程序化并提供。

Description

立体图像处理方法及装置

技术领域

本发明涉及立体图像处理技术，特别涉及以视差图像为基础、生成或显示立体图像的方法和装置。

背景技术

近年来，网络基本设施的不完备虽然成为问题，但是迎来向宽带过渡的时期，反而有效活用宽带域的内容种类或数目的少开始显著起来。图像在任何时代都是最重要的表现手段，但是，至今为止的大多数努力都涉及显示品质或数据压缩率的改善，与这些比较，扩大表现的可能性自身的技术性的努力，有落后一步的感觉。

在这样的过程中，立体图像显示(下面，简单称为立体显示)从以前开始就进行过各种研究，在剧场用途或利用特殊显示装置的、限制为某种程度的市场中得以实用化。今后，以充满临场感的内容的提供为目标，加速这一方面的开发研究，使个人用户即使在家庭中也可以欣赏立体显示的时代即将来临。

另外，虽然期待立体显示今后普及，但也提出一种在目前的显示装置中无法想象的显示方式。例如，公开有：将二维图像的被选择部分图像立体化而进行显示的技术(例如，参照特开平11-39507号公报)。

在那些趋势中，指出一直以来在立体显示中就存在的几个问题。例如，成为创造立体感的原因的视差的适当化困难。原来，不是真正地放映三维目标，而是相对左右两眼睛以像素为单位偏移其图像而进行投影的技术，难以在其人工性立体感上赋予自然感。

另外，过多地赋予视差有时也成为问题，有立体图像的观察者(下面简称为用户)申诉轻微不快感的情况。当然，这不仅是立体显示，还有被显示的场景和自己周围状况乃至感觉不一致等的各种重要因素。可是，从经验来说，那些问题在视差过大、换言之立体感过强的情况下容易观察到。

以上是人类生理上的道理，其他的还有：阻碍立体图像的内容或应用程序普及的技术要因。立体视觉是由视差来实现的，但假设即使用左右图像的像素的偏移量来实现视差，由于显示装置硬件的差异，有时也会存在：可以适当地立体观察相同的立体图像的情况和无法立体观察的情况。表现远方的视差如果超过眼睛之间距离，则理论上不能实现立体视觉。如今，显示装置的分辨率或屏幕尺寸在PC(个人用计算机)、电视机、移动电话机等的多样化中，考虑各种硬件，为了立体显示，制作最佳内容是个难题，或更确切地说，对此还没有给出方法论。

另外假设，即使给出其方法论，期待一般的程序设计者理解它、利用在内容或应用程序的制作上还是困难的。

在上述文献中公开的技术，是作为解决上述问题的一种方法而提出的，但是，为了今后普及立体显示，有必要提出更多的方法，积累新的技术，同时使那些技术联合而应用在产品上。

发明内容

本发明是借鉴这样的背景而进行的，其目的在于，提出一种立体显示的新的表现方法。其他目的在于，即使显示对象图像或显示装置变化，也向用户生成或显示适当的立体图像。另一目的在于，在进行立体显示中时，以简单的操作来调整立体感。又一目的在于，在制作适当的立体显示可能的内容或应用程序时，减轻程序设计者的负担。再一目的在于，将实现适当的立体显示的技术作为商业模型来提供。

构成本发明的基础的发明人的想法是从显示装置的硬件或用户与显示装置的距离等要素(下面，将这些统称为「硬件」)中暂时分开适当视差。即，通过以后述的相机间隔和光轴交叉位置使适当视差一般化，暂时以不依靠硬件的通用形式来记述。所谓「不依靠硬件」是指：原则上不需要显示装置固有的硬件信息的读出的意思，如果完成该通用性的记述，其后，只要根据其适当视差生成或调整视差图像，就可以实现所要的立体显示。

在适当视差的取得和图像的立体显示时，通过用程序库提供其实现适当视差的控制，从而若一般的程序设计者调用该程序库，即使未意识到复杂的立体视觉原理或程序，也可以实现适当的立体显示。

本发明的各种实施方式中的第一组是以用户的响应为基础、取得适当视差的技术作为基本。本技术可以利用在用户进行的视差的「初始设定」中，如果在装置内一次取得适当视差，则以后在其他图像的显示时就可以实现其适当视差。但是，本技术不限于初始设定，也可以利用在用户调整适当显示中的图像视差的「手动调整」内。下面，涉及第一组。

本发明涉及立体图像处理装置，其中包括：以用户针对立体显示图像的响应为基础调整立体感的立体感调整部；保存以立体感调整部确定的适当视差的视差信息保持部；从视差信息保持部读出适当视差，根据原始数据生成具有适当视差的视差图像的视差控制部；具有取得显示装置的硬件信息，并取得立体显示的方式的功能的信息取得部；和以信息取得部所取得的信息为基础，变更视差控制部中所生成的视差图像的形式的格式变换部，所述立体感调整部包括：：取得以对应于不同视差的多个视点图像为基础进行显示的立体图像相对的用户响应的指示取得部；以所取得的响应为基础，确定其用户相关的适当视差的视差确定部。

指示取得部例如提供为GUI(图示用户接口，以下同)，首先，一边改变视点图像之间的视差一边进行显示。用户在成为自己喜欢的立体感时，利用按钮操作来输入其意思。

所谓「立体图像」是指：具有立体感而进行显示的图像，其数据的实体是在多个图像中具有视差的「视差图像」。视差图像一般为多个二维图像的集合。构成视差图像的各图像是分别具有对应视点的「视点图像」。即，由多个视点图像构成视差图像，若显示它，就作为立体图像来显示。将立体图像的显示简称为「立体显示」。

所谓「视差」就是用于产生立体感的参数，可以有各种定义，作为一例，可以用表示视点图像间的相同点的像素的移位量来表现。下面，在本说明书中，没有预先说明的情形就是按照该定义。

适当视差可以进行范围指定。在这种情况下，将其范围的两端叫做「界限视差」。「适当视差的确定」可以用后述的作为近置目标视差可以允许的最大值来进行。

本发明的立体图像处理装置中，视差控制部实施处理，以使确定的适当视差在其他图像显示时也可以实现。在其他图像为以三维数据为起点而生成的立体图像时，视差控制部按照所述适当视差，决定生成其立体图像的多个视点，也是可以的。更具体地，可以决定多个视点间的距离和从这些视点估计目标的光轴交叉位置。这些处理的一例由后述的相机配置决定部来进行。如果将这些处理实时地进行，则总可以实现最佳的立体显示。

视差控制部可以对成为显示对象的规定的基本三维空间进行控制，以便实现适当视差。该处理的一例由后述的投影处理部来进行。

视差控制部可以是在三维空间中，对最近置的目标的坐标和最远置的目标的坐标进行控制，以便实现所述适当视差。该处理的一例由后述的投影处理部来进行。目标可以是静态的。

所谓「近置」是指：附加比分别放置在多个视点的相机的视线，即位于光轴交叉位置(下面，也称「光轴交叉位置」)的面(下面，也称「光轴交叉面」)靠前的立体视觉的视差的状态。相反地，「远置」是指：附加比光轴交叉面靠后的立体视觉的视差的状态。近置目标的视差越大，感觉越靠近用户，远置目标的视差越大，感觉越远离用户。即，只要没有特别说明，视差不是在近置、远置中正负反向，而是都定义为非负值，在光轴交叉面，近置视差、远置视差都为零。

对于被显示的目标或空间中、没有视差的部分，光轴交叉面与显示装置的屏幕面一致。这是因为没有附加视差的像素从左右两眼估计的视线正好到达屏幕面内的相同位置即在那里交叉的缘故。

在所述其他图像为已经赋予视差的多个二维图像的情况下，视差控制部可以按照适当视差，决定那多个二维图像的水平方向的移位量。在该方式中，用于立体显示的输入不是以三维数据为起点、具有高自由度地形成，而是已经生成的视差图像，视差已被固定。在这种情况下，无法回到原来的三维空间或实际摄影的实际空间，变更相机位置，重新绘图或重新摄影。因此，向水平移位构成视差图像的视点图像或包含其中的像素，以调整视差。

在所述其他图像为赋予深度信息的平面图像(下面也称「带有深度信息的图像」)的情况下，视差控制部也可以按照适当视差调整其深度。该处理的一例由后述的第三立体图像处理装置的二维图像生成部来进行。

该立体图像处理装置还包括记录适当视差的视差保持部，视差控制部可以在规定的定时、例如在该置的启动时或该置所具备的立体图像处理功能或其一部分启动时，读入适当视差，将其值作为初始值来实施处理。即，「启动」可以是硬件上的含义也可以是软件上的含义。根据该方式，用户一旦决定适当视差，在以后，就可以实现立体感调整用的自动处理。这是叫做「适当视差的初始设定」的功能。

本发明的其他实施方式涉及立体图像处理方法，其中包括：以用户针对立体显示图像的响应为基础调整立体感的立体感调整步骤；保存以立体感调整步骤特定的适当视差的视差信息保持步骤；读出所述视差信息保持步骤中所保存的适当视差，根据原始数据生成具有适当视差的视差图像的视差控制步骤；取得显示装置的硬件信息，并取得立体显示的方式的信息取得步骤；和以所述信息取得步骤中取得的信息为基础，变更视差控制步骤中所生成的视差图像的形式的格式变换步骤，所述立体感调整步骤包括：向用户显示由不同视差而产生的多个立体图像的步骤；以用户对被显示的立体图像的响应为基础，确定该用户相关的适当视差的步骤。

本发明的另一实施方式涉及立体图像处理方法，其中包括：取得依存于用户的适当视差的步骤；在显示前对图像加以处理，以实现所取得适当视差的步骤。在此，所谓「取得」可以是积极确定的处理，也可以是从所述的视差保持部等读入的处理。

若构成为将这些步骤作为立体显示用程序库的功能来安装，能将该程序库的功能作为函数而从多个程序中调用，则程序设计者没有必要考虑一个一个的立体显示装置的硬件而记述程序，是有效的。

本发明的第二组是以用户的指示为基础而调整视差的技术作为基本。本技术可以利用在由用户进行的视差的「手动调整」，用户可以适当变更显示中的图像的立体感。但是，本技术不限于手动调整，也可以利用在立体显示某图像之际，读入所述适当视差而自动调整其图像的视差时。和第一组的自动调整的不同点在于，第二组的自动调整对二维视差图像或带有深度信息的图像作用，追溯到三维数据而变更视差的情况下，利用第一组技术。下面，涉及第二组。

本发明的某一方式涉及立体图像处理装置，其中包括：取得相对从多个视点图像显示立体图像的用户指示的指示取得部；按照所取得的指示，改变所述多个视点图像间的视差量的视差控制部。该处理的一例在后述的图45中表示，是「手动调整」的典型例。用户的指示例如是以按钮操作等简单的GUI来提供的话，则方便性高。

本发明的其他方式涉及立体图像处理装置，其中包括：检测从多个视点图像显示立体图像时所产生的第一视差量的视差量检测部；改变所述多个视点图像之间视差量，以使第一视差量进入作为用户允许视差量的第二视差量范围内的视差控制部。这是「自动调整」的典型例，作为第二视差量可以利用所述适当视差。该处理的一例在后述的图46中表示。

视差量检测部可以检测第一视差量的最大值，视差控制部改变多个视点图像间的视差量，以使其最大值不超过第二视差量的最大值。为了避免由于过度附加视差的过度立体感，意图保持视差量的最大值即界限视差。在此所说的最大值可以认为是近置侧的最大值。

视差量检测部可以在多个视点图像间计算对应点匹配，来检测第一视差量，或检测多个视点图像的任一标题上预先记录的第一视差量。这些处理的一例在后述的图47中表示。

视差控制部可以通过移位多个视点图像的合成位置，来改变多个视点图像间的视差量。这在图45～47中是共同的。合成位置的移位是以像素或像素全体为单位的水平或垂直方向的移位。在输入为带有深度信息的图像的情况下，视差控制部可以调整深度信息来改变视差量。

本发明的其他方式涉及立体图像处理方法，其中包括：取得相对以多个视点图像为基础而进行显示的立体图像的用户指示的步骤；按照所取得的指示，改变所述多个视点图像之间的视差量的步骤。

本发明的另一方式也涉及立体图像处理方法，其中包括：检测从多个视点图像显示立体图像时所产生的第一视差量的步骤；改变所述多个视点图像之间的视差量，以使第一视差量进入作为用户允许视差量的第二视差量范围的步骤。

可以构成为将这些步骤作为立体显示用程序库的功能来安装，能从多个程序中将该程序库的功能作为函数而调用。

本发明的第三组以根据图像内的位置来修正视差的技术作为基本。该「自动修正」以减轻用户对立体显示的不协调感或拒绝感的方式进行作用，可以和第一、第二组的技术并用。指出：一般在立体显示时，越靠近图像端部，越将多个视点图像观察为错开，或容易产生不协调感等技术上或生理上的问题。在第三组中，通过在靠近图像端的部分减少视差，或使目标从近位置侧向远位置侧移动的方式来调整视差等处理，从而减轻该问题。下面，涉及第三组。

本发明的某一方式涉及立体图像处理装置，其中包括：修正用来显示立体图像的多个视点图像之间的视差的视差控制部；保持视差控制部在进行该处理时应参照的修正图像的图像保持部，该修正图像记述为根据视点图像内的位置来修正视差。在修正图像里有视差修正图像、距离感修正图像等。

视差控制部例如以在多个视点图像的边缘部减小视差或感觉目标距离用户远的方式来改变视差。视差控制部通过对多个视点图像的任一个选择性地实施处理，从而改变视差。

在多个视点图像为从三维数据生成的图像，即回到三维空间可以生成视点图像的情况下，视差控制部在生成多个视点图像时，可以控制相机参数来改变视差。作为相机参数，有：左右相机的间隔、从相机到估计目标的角度或光轴交叉位置等。

同样，在多个视点图像从三维数据生成的情况下，视差控制部在生成多个视点图像时，可以通过将三维空间自体例如在宇宙坐标系中畸变来改变视差。另一方面，多个视点图像从带有深度信息的图像生成的情况下，视差控制部可以通过操作其深度信息来改变视差。

本发明的其他方式涉及立体图像处理方法，其中包括：取得用于显示立体图像的多个视点图像的步骤；根据那些视点图像内的位置来改变所取得所述多个视点图像之间的视差的步骤。可以构成为将这些步骤作为立体显示用程序库的功能来安装，能从多个程序中作为函数调用这些程序库的功能。

本发明的第四组涉及：将第一～第三组及其关联功能作为软件程序库来提供，以减轻程序设计者和用户的负担，促进立体图像显示应用程序普及的技术。下面，涉及第四组。

本发明的某一方式涉及立体图像处理方法，其中将立体图像显示关联的信息保持在存储器上，在多个不同的程序中共有该被保持的信息，在那些程序中的任一个显示立体图像时，参照被保持的信息，决定应输出的图像的状态。图像状态的例子是在视差图像中已赋予某种程度视差等的程度。

「被保持信息」可以包括：输入导立体图像显示装置的格式、视点图像的显示顺序、视点图像间的视差量的任一信息。另外，在共有被保持信息的基础上，多个程序还可以共有立体图像显示固有的处理。「立体图像显示固有的处理」的一例是用来决定被保持信息的处理。另一例是用来决定适当视差的图示用户接口相关处理、支援适当视差状态的实现的视差调整用画面的显示处理、检测用户的头部位置并进行追踪的处理、显示用来调整立体显示装置的图像的处理等。

本发明的其他方式涉及立体图像处理装置，其中包括：向用户提供用来调整立体显示图像的图示用户接口的立体感调整部；以保持判明用户的立体感调整结果的界限视差的形式，生成视差图像的视差控制部。

该装置还可以包括：取得为了适当化立体图像显示而应参照的信息的信息检测部；按照所取得的信息，变换所述视差控制部中生成的视差图像格式的变换部。

视差控制部可以根据三维数据来控制相机参数，一边保持界限视差一边生成视差图像；也可以控制带有深度信息的图像的深度来生成视差图像；也可以决定有视差的多个二维图像的水平移位量后生成视差图像。

本发明的第五组涉及：利用了上述立体图像处理技术或其关联技术的一个应用程序或商业模型。能利用第四组的软件程序库。下面，涉及第五组。

本发明的某方式涉及立体图像处理方法，其中将用来立体显示视差图像的适当视差暂时变换为不依靠显示装置硬件的表现形式，并使该表现形式的适当视差在不同的显示装置间流通。

本发明的其他方式涉及立体图像处理方法，其中包括：将由第一显示装置取得的用户的适当视差读入第二显示装置的步骤；根据所述适当视差，在第二显示装置中调整视差图像间的视差的步骤；从第二显示装置输出调整后的视差图像的步骤。例如，第一显示装置为用户通常使用的装置，第二显示装置为设在其他场所的装置。另外，还可以包括：将第一显示装置的硬件相关信息读入第二显示装置的步骤；以读入的第一显示装置的相关硬件信息和第二显示装置的相关硬件信息为基础，将在调整视差图像的视差的步骤中调整过视差的视差图像，在第二显示装置中，根据适当视差修正视差的步骤。

另外，硬件相关信息可以包含：显示画面大小、显示装置的最佳观察距离、显示装置的图像分离性能等中的至少任一个。

本发明的另一方式涉及立体图像处理装置，其中包括：通过网络连接的第一显示装置、第二显示装置和服务器，第一显示装置将由该装置取得的用户的适当视差信息发送到服务器，服务器接收适当视差信息后，将这个信息与用户加以关联进行记录，在用户利用第二显示装置要求图像数据的输出时，该装置从服务器读出其用户的适当视差信息而调整视差后，输出视差图像。

本发明的第六组将提出利用立体图像的新的表现方法的技术作为基本。

本发明的某方式涉及立体图像处理装置。该立体图像处理装置是以对应于不同视差的多个视点图像为基础，显示立体图像的立体图像处理装置，其中包括：在利用该立体图像显示装置显示所述立体图像时，取得被推荐视差范围的推荐视差取得部；设定视差，以使所述立体显示图像显示在所取得的推荐视差范围内的视差控制部。

另外，还可以包括：由用户接受包含在所述立体图像中的规定目标指定的目标指定部；设定所述光轴交叉位置，以使分别与所述多个视点图像建立关系的光轴交叉位置和被指定的目标位置对应，同时，被指定的目标表现在显示立体图像的显示画面位置附近的光轴交叉位置设定部。

此外，还可以包括指定信息附加部，其针对被指定目标，将其目标与所述光轴交叉位置对应，且将记述所述目标表现在显示画面位置附近的意思的光轴对应信息与所述目标加以关联。

另外，光轴交叉位置设定部也可以是取得光轴对应信息，光轴交叉位置对应于记述在所取得的光轴对应信息的目标，同时，将对应了光轴交叉位置的目标，表现在显示所述立体图像的显示画面位置附近。

再有，还可以包括识别信息取得部，其取得：与生成所述立体图像时所利用的图像数据相关联，且包括是否应该在包含所述立体图像所含目标中的应立体显示目标的基本表现空间内表现的信息的识别信息，视差控制部可以在立体图像中表现目标时反映所取得的识别信息。

还有，识别信息还可以包含：在基本表现空间内表现所述目标时的定时相关的信息，识别信息取得部可以在立体图像中表现目标时，反映所取得的定时。

本发明的其他方式涉及立体图像处理方法。该立体图像处理方法，能够选择：以对应于不同视差的多个视点图像为基础显示的立体图像内所含的规定目标，在选择完目标的情况下，使分别与所述多个视点图像建立联系的光轴交叉位置与被选择的目标位置上对应，同时，使其光轴交叉位置和显示立体图像的显示画面位置一致。根据该立体图像处理方法，可以将显示画面设定在远位置空间和近位置空间的边界上，目标超越显示画面而朝向观察者的表现成为可能。

另外，指定目标具有规定的界面，光轴交叉位置设定部可以在界面上对应光轴交叉位置。此外，立体图像可以以三维数据为起点而生成。在三维数据为起点而生成立体图像的情况下，容易在立体图像中增加各种效果。例如，在某一目标表现为越过界面即显示画面时，可以增加使其显示画面变形的效果。

本发明的另一方式也涉及立体图像处理方法。该立体图像处理方法，在显示以对应于不同视差的多个视点图像为基础生成的立体图像的显示画面附近，作为立体图像的一部分，设定空间与空间隔开的界面，同时，将其界面作为近位置空间与远位置空间的边界，来表现立体图像。另外，界面可以是物质与物质的边界面，也可以是薄板。作为薄板，有：玻璃板或纸等。

本发明的其他方式也涉及立体图像处理方法。该立体图像处理方法，还包括：在近位置或远位置方向变更：包含在以对应于不同视差的多个视点图像为基础而生成的立体图像中、且在包含应立体显示目标的基本表现空间内应表现的目标的移动速度的步骤。

本发明的另一方式也涉及立体图像处理方法。该立体图像处理方法在以对应于不同视差的多个视点图像为基础来生成立体图像时，以便表现为将包含应立体显示目标的基本表现空间内应表现目标收纳在规定的视差范围内，一边将所述基本表现空间的最前面或最后面的至少一个面设定在目标不存在的位置上。

本发明的又一方式也涉及立体图像处理方法。该立体图像处理方法在一对应于不同视差的多个视点图像为基础来生成立体图像之际，在计算包含应立体显示目标的基本表现空间内应表现目标的视差时，替换为目标的实际尺寸之后，作为包含目标的前方扩展区域的尺寸而计算目标的视差。另外，通过以包含目标的前方扩展区域的形式，移动目标，从而在位于基本表现空间的最前面后，目标进一步向前方移动的情况下，可以将目标表现为移动前方扩展区域。

本发明的再一方式也涉及立体图像处理方法。该立体图像处理方法在以对应于不同视差的多个视点图像为基础而生成立体图像之际，在计算包含应立体显示目标的基本表现空间内应表现目标的视差时，替换为目标的实际尺寸之后，作为包含目标的后方扩展区域的尺寸而计算目标的视差。另外，通过以包含目标的前方扩展区域的形式来移动目标，从而在位于基本表现空间的最后面后，目标进一步向后方移动的情况下，可以将目标表现为移动后方扩展区域。

本发明的第七组以根据图像的状态，调整应设定视差的技术作为基本。

本发明的某一方式涉及立体图像处理装置。该立体图像处理装置具备视差控制部，其在由三维数据生成立体图像时，进行控制，以使视差不比表现在所述立体图像内的目标的宽度与深度之比被人类眼睛正确感知范围内的视差大的视差控制部。

本发明的其他方式也涉及立体图像处理装置。这个立体图像处理装置具备视差控制部，其在用赋予了深度信息的二维图像来生成立体图像时，进行控制，以使视差不比表现在所述立体图像内的目标的宽度与深度之比被人类眼睛正确知觉范围内的视差大的视差控制部。

本发明的又一方式也涉及立体图像处理装置。该立体图像处理装置具备：将以对应于不同视差的多个视点图像为基础应显示的立体图像，进行频率分析的图像判定部；根据由频率分析判明的高频成分的量，调整视差量的视差控制部。另外，视差控制部在高频成分的量多的情况下，可以进行增大视差量的调整。

本发明的另一方式也涉及立体图像处理装置。该立体图像处理装置具备：检测以对应于不同视差的多个视点图像为基础进行显示的立体图像的动向的图像判定部；根据所述立体图像的动向的量，调整视差量的视差控制部。另外，视差控制部可以在所述立体图像的动向的量少的情况下，进行减小视差量的调整。

本发明的又一方式也涉及立体图像处理装置。该立体图像处理装置是在用三维数据生成立体图像时，在变更为了生成视差图像而设定的相机配置相关参数的情况下，控制相机参数，以使所述参数变动收纳在预先设定的阈值以内。根据该装置，可以减少：视差急剧变化而令立体图像的观察者感到不协调感的现象。

本发明的再一方式也涉及立体图像处理装置。该立体图像处理装置在用赋予了深度信息的二维动态图像来生成立体图像时，控制伴随二维动态图像的进展而产生的、包含在深度信息内的深度的最大值或最小值的变动，以使其收纳在预先设定的阈值以内。根据该装置，可以减少：视差急剧变化而使立体图像的观察者感到不协调感的现象。

本发明的另一方式涉及立体图像处理方法。该立体图像处理方法以一个场景为单位设定：以对应于不同视差的多个视点图像为基础而进行显示的立体图像的适当视差。

本发明的其他方式涉及立体图像处理方法。该立体图像处理方法以规定时间间隔为单位设定：以对应于不同视差的多个视点图像为基础而显示的立体图像的适当视差。

本发明的又一方式涉及立体图像处理装置。该立体图像处理装置包括：在输入成为立体图像的起点的初始数据时，设定用于生成多个视点图像的多个假想相机配置的相机配置设定部；判定在分别对应于假想相机而生成的视点图像中是否产生不存在应显示目标信息的区域的目标区域判定部；产生不存在应显示目标信息的区域的情况下，调整假想相机的视场角、相机间隔、和光轴交叉位置中的至少一个，以便消除不存在目标信息区域的相机参数调整部。

另外，上述构成要素的任意组合，在方法、装置、系统、记录介质、计算机程序之间变换本发明的表现，作为本发明的方式也是有效的。

附图说明

上述目的和其他目的、特征以及优点通过下面要叙述的最佳实施方式和附图可以更清楚。

图1是表示可以实现理想的立体视觉的用户、屏幕、再生目标14的位置关系的图。

图2是表示实现图1状态的摄影系统的例子的图。

图3是表示实现图1状态的摄影系统的其他例子的图。

图4是表示实现图1状态的摄影系统的其他例子的图。

图5是表示利用在第一立体图像处理装置中的模型坐标系的图。

图6是表示利用在第一立体图像处理装置中的宇宙坐标系的图。

图7是表示利用在第一立体图像处理装置中的相机坐标系的图。

图8是表示利用在第一立体图像处理装置中的视量的图。

图9是表示图8的量的透视变换后的坐标系的图。

图10是表示利用在第一立体图像处理装置中的屏幕坐标系的图。

图11是第一立体图像处理装置的构成图。

图12是第二立体图像处理装置的构成图。

图13是第三立体图像处理装置的构成图。

图14(a)、图14(b)分别表示由第一立体图像处理装置的立体感调整部显示的左眼图像和右眼图像的图。

图15是表示由第一立体图像处理装置的立体感调整部显示的、具有不同视差的多个目标的图。

图16是表示由第一立体图像处理装置的立体感调整部显示的、视差变化的目标的图。

图17是表示实现适当视差时的表示相机视场角、图像尺寸、视差之间关系的图。

图18是表示实现图17状态的摄影系统的位置关系的图。

图19是表示实现图17状态的摄影系统的位置关系的图。

图20是表示用适当视差生成多视点图像时的相机配置的图。

图21是表示第一立体图像处理装置的畸变处理部所利用的视差修正图像的图。

图22是表示按照图21的视差修正图像来生成视差图像时的相机视点的图。

图23是表示按照图21的视差修正图像而生成视差图像时的其他相机视点的图。

图24是表示第一立体图像处理装置的畸变处理部所利用的视差修正图像的图。

图25是表示按照图24的视差修正图像而生成视差图像时的相机视点的图。

图26是表示第一立体图像处理装置的畸变处理部所利用的距离感修正图像的图。

图27是表示按照图26的距离感修正图像而生成视差图像时的相机视点的图。

图28是表示第一立体图像处理装置的畸变处理部所利用的距离感修正图像的图。

图29是表示按照图28的距离感修正图像而生成视差图像时的相机视点的图。

图30(a)、图30(b)、图30(c)、图30(d)、图30(e)、图30(f)都是第一立体图像处理装置的畸变处理部对三维空间实施处理的结果所得到的视差分布的俯视图。

图31是表示第一立体图像处理装置的畸变处理部所进行的处理的原理的图。

图32是具体表示图31的处理的图。

图33是具体表示图31的处理的图。

图34是具体表示图31的处理的图。

图35是表示第一立体图像处理装置的畸变处理部所进行的处理的其他例子的图。

图36是具体表示图35的处理的图。

图37是表示深度图像的图。

图38是表示由第三立体图像处理装置的畸变处理部所进行的处理的例子的图。

图39是表示由第三立体图像处理装置的畸变处理部进行的处理而生成的深度图像的图。

图40是表示由第三立体图像处理装置的畸变处理部进行的处理的其他例子的图。

图41是表示第二立体图像处理装置的二维图像生成部所进行的处理的例子的图。

图42是表示视差图像的例子的图。

图43是表示由第二立体图像处理装置的二维图像生成部移位合成位置的视差图像的图。

图44是表示第二立体图像处理装置的图像端调整部的处理的图。

图45是表示第二立体图像处理装置的处理的图。

图46是表示第二立体图像处理装置的其他处理的图。

图47是表示第二立体图像处理装置的其他处理的图。

图48是表示附加了深度图像的平面图像的图。

图49是表示深度图像的图。

图50是表示在第二立体图像处理装置的二维图像生成部中，以深度图像为基础，生成视差图像的形态的图。

图51是表示在第二立体图像处理装置的二维图像生成部中所修正的深度图像的图。

图52是表示将实施方式的立体图像处理装置程序库化之后利用的形态的图。

图53是将立体显示程序库组装在三维数据软件中的构成图。

图54是表示将立体显示程序库利用在网络利用型系统中的形态的图。

图55是表示在显示画面上显示由三维数据所构成的图像的状态的图。

图56是表示在显示画面上显示由三维数据所构成的图像的其他状态的图。

图57是表示在显示画面上显示由三维数据所构成的图像的其他状态的图。

图58是表示使具有应显示目标的界面和显示画面一致的方法的图。

图59是表示使两个假想相机的光轴交叉位置与水槽的一个面一致而摄影图像的其他方式的图。

图60是第四立体图像处理装置的构成图。

图61是涉及用第四立体图像处理装置显示的图像，对基本表现空间T简单表示的图。

图62是表示：使不存在任何目标的区域包含在基本表现空间T内而进行表现的图。

图63是表示：使不存在任何目标的区域包含在基本表现空间T内而进行表现的图。

图64是表示：作为计算视差的对象，以不仅是鸟还包括其前后空间的形式，形成移动目标的形态的图。

图65是表示：移动目标越过前方投影面之后，将预先包含的空间向鸟330移动的形态的图。

图66是表示：在显示画面中，观察者观察立体图像的形态的图。

图67是表示由相机配置决定部决定的相机配置的图。

图68是表示：观察者观察图67的相机配置中所获得的视差图像的形态的图。

图69是表示：将图67的相机配置中获得适当视差的图像，在图66所示的观察者的位置，观察者观察显示画面的形态的图。

图70是表示在图67所示的相机配置中，摄影位于从显示画面的距离为A的球的最近位置点的形态的图。

图71是表示：两个相机与相机的光轴公差距离和获得图70所示的视差所必需的相机间隔之间的关系的图。

图72是表示在图67所示的相机配置中，摄影位于从显示画面的距离为T-A的球的最远位置点的形态的图。

图73是表示：两个相机与相机的光轴公差距离和获得图72所示的视差所必需的相机间隔E1之间的关系的图。

图74是表示：在适当视差范围内设定立体图像的视差所必需的相机参数之间的关系的图。

图75是表示：在适当视差范围内设定立体图像的视差所必需的相机参数之间的关系的图。

图76是第五立体图像处理装置的构成图。

图77是表示由制作三维数据的制作者设定的临时相机位置、视场角、和从第一到第三目标之间的关系的图。

图78是由图77中所决定的临时相机位置为基础，配置两个假想相机的状态的图。

图79是表示调整相机配置，以便不产生没有存在目标信息的区域的状态的图。

图80是表示视场角调整的处理的图。

图81是表示在娱乐设施或照相馆等中，摄影立体相片的立体相片摄影装置与被拍摄体之间的关系的图。

图82是第六立体图像处理装置的构成图。

图83是表示用遥控操作来操作相机，以立体图像显示装置观察所摄影的图像的形态的图。

图84是表示利用具备第六立体图像处理装置的立体图像摄影装置摄影的一例的图。

图85是表示用照度计测定图像分辨率的形态的图。

图86是表示在图像分辨率的测定中利用的莫尔条纹(干涉条纹)图像的图。

图87是表示适当视差的变形例的图。

图88是表示适当视差的其他变形例的图。

图89是表示简易决定视差和基本表现空间时利用的表格的图。

发明的具体实施方式

图1表示用户10、屏幕12、被立体显示的再生目标14之间的位置关系。用户10的两眼间距离为E，用户10与屏幕12距离为D，被显示时的再生目标14的宽度为W。因为再生目标14被立体显示，故具有：比屏幕12还要近地感知的像素、即近置的像素；和比屏幕12还要远地感知的像素、即远置的像素。由于在屏幕12上从两眼正好看到相同的位置，故没有附加视差的像素在屏幕12上被感知。

图2表示用来生成图1的理想显示的摄影系统。设：两台相机22、24的间隔为E，从那些到看到现实目标20时的光轴交叉位置为止的距离(叫做光轴交叉距离)为D，若以和屏幕12相同的宽度估计视场角，摄影宽度实际为W的目标20，则从两台相机可以获得视差图像。将其显示在图1的屏幕12上，实现图1的理想状态。

图3、图4分别表示将图2的位置关系放大A倍(A＜1)、B倍(B＞1)的状态。在从这些位置关系得到的视差图像中也可以实现图1的理想状态。即，理想的立体显示的基本是从使W:D:E恒定开始的。该关系也成为视差附加方法的基础。

图5至图10表示：在实施方式中，到以目标20的三维数据为基础进行立体显示为止的处理的主要内容。

图5是模型坐标系，即每一个三维目标20所具有的坐标空间。在该空间中，提供模型化目标20时的坐标。通常将目标20的中心作为原点。

图6表示宇宙坐标系。宇宙空间是配置目标20或地板、墙壁而形成一个场景的广阔的空间。到图5的模型化和图6的宇宙坐标系的确定为止，可以理解为「三维数据的构筑」。

图7表示相机坐标系。通过从宇宙坐标系的任意的位置以任意视场角沿任意方向安装相机22，而变换为相机坐标系。相机的位置、方向、视场角为相机参数。在立体显示的情况下，由于针对两个相机决定参数，故也要决定相机间隔和光轴交叉位置。并且，为了使两个相机的中点变为原点，也进行原点移动。

图8、图9表示透视坐标系。首先，如图8所示，以前方投影面30和后方投影面32剪辑(clipping)应显示的空间。如后所述，实施方式的一个特征在于，将具有近位置最大视差点的面作为前方投影面30，将具有远位置最大视差点的面作为后方投影面32。剪辑后，如图9所示，将该视量变换为长方体。将图8和图9的处理也称为投影处理。

图10表示屏幕坐标系。在立体显示的情况下，将多个相机各自的图像变换为各自屏幕所具有的坐标系，生成多个二维图像即视差图像。

图11、图12、图13分别表示一部分不同的立体图像处理装置100的构成。为了方便，下面将这些立体图像处理装置100也分别称为第一、第二、第三立体图像处理装置100。这些立体图像处理装置100虽然能一体地组装到装置内，但在此，为了避免图的复杂，而分为三个。第一立体图像处理装置100在应绘图目标和空间可以从三维数据阶段取得的情况下有效，因此，将三维数据作为主要的输入。第二立体图像处理装置100在已经提供视差的多个二维图像、即已经存在视差图像的视差调整中有效，因此，输入二维的视差图像。第三立体图像处理装置100是操作带有深度信息的图像的深度信息而实现适当视差的装置，因此，将带有深度信息的图像作为主要输入。将这三种输入统称，并记载为「原始数据」。

在一体化安装第一～第三立体图像处理装置100的情况下，作为这些的前处理部，设置「图像形式判定部」，可以在判定了三维数据、视差图像、带有深度信息的图像后，启动第一～第三立体图像处理装置100中的最合适的装置。

第一立体图像处理装置100除了设定相对立体显示的立体感以外，还具有「初始设定」和「自动调整」的功能。如果用户对被立体显示的图像范围指定自己的适当视差，则在系统中取得其，以后在显示其他立体图像时，以预先实现该适当视差的方式实施变换处理而被显示。因此，利用第一立体图像处理装置100，用户原则上只经过一次的设定手续，以后就可以欣赏适合自己的立体显示了。

第一立体图像处理装置100还具有：人工缓和图像端边缘部的视差的「视差修正」的副功能。如已经叙述的，随着接近图像端部，多个视点图像的偏移容易被识别为「双像」。这主要因为视差阻挡层(parallax barrier)或显示装置的屏幕弯曲等机构误差。因此，在图像的边缘部，实施如下各种方法：1)同时减少近位置视差和远位置视差；2)减少近位置视差而远位置视差保持原样；3)不管近位置视差、远位置视差，全体向远位置视差一方移位等。另外，在第三立体图像处理装置100也有该「视差修正」功能，但由于输入数据的不同而其处理也不同。

第一立体图像处理装置100包括：以用户针对立体显示图像的响应为基础调整立体感的立体感调整部112；保存以立体感调整部112确定的适当视差的视差信息保持部120；从视差信息保持部120读出适当视差，从原始数据生成具有适当视差的视差图像的视差控制部114；具有取得显示装置的硬件信息，并取得立体显示的方式的功能的信息取得部118；和以信息取得部118所取得的信息为基础，变更视差控制部114中所生成的视差图像的形式的格式变换部116。虽然将原始数据简单称为三维数据，但是严密地说，宇宙坐标系中记述的目标和空间数据相当于这些。

作为在信息取得部118中取得的信息的例子，有：立体显示的视点数、空间分割或时间分割等的立体显示装置的方式、有无快门眼镜(shutterglasses)的利用、多眼式情况中的视点图像的排列方式、在视差图像中是否有视差反转的视点图像的排列、标题跟踪的结果等。另外，只是标题跟踪的结果特殊，通过图中未示出的路径，直接输入到相机配置决定部132，在那里被处理。

上述的构成在硬件上可以用任意计算机的CPU、存储器、其他的LSI来实现，在软件上可以用具有GUI功能、视差控制功能和其他功能的程序来实现，但是，在此，描绘的是利用这些的协作来实现的功能块。因此，同业人员可以理解：这些功能块可以只利用硬件、只利用软件或这些的组合的形式来实现。对于以后的构成也是同样。

立体感调整部112具有指示取得部122和视差确定部124。指示取得部122在用户针对立体显示的图像指定适当视差的范围时，取得这些。视差确定部124是以其范围为基础，确定用户利用该显示装置时的适当视差。适当视差以不依靠显示装置硬件的表现形式来表示。通过实现适当视差，从而适合于用户生理的立体视觉成为可能。

视差控制部114包括：首先临时设定相机参数的相机临时配置部130；按照适当视差修正临时设定过的相机参数的相机配置决定部132；决定了相机参数时，进行应将多个相机的中点作为原点的原点移动处理的原点移动部134；进行所述投影处理的投影处理部138；投影处理后，进行向屏幕坐标系的变换处理而生成视差图像的二维图像生成部142。另外，根据需要，在相机临时配置部130与相机配置决定部132之间设有为了缓和图像边缘部视差，而进行空间畸变变换(下面，只称为畸变变换)的畸变处理部136。畸变处理部136从修正图像保持部140读出后述的修正图像并加以利用。

另外，为了立体显示，如果有必要调整显示装置，则可以附加为此的图中未示出的GUI。在该GUI中，可以进行上、下、左、右微小移位被显示的视差图像全体而确定最佳显示位置等的处理。

图12的第二立体图像处理装置100将多个视差图像作为输入。将其简称为输入图像。第二立体图像处理装置100读入第一立体图像处理装置100先前所取得的适当视差，调整输入图像的视差，以收纳在适当视差范围内，并输出。在该意义上，第二立体图像处理装置100具有视差的「自动调整」功能。但是，不只是那些，同时还具有：在实际进行立体显示之际用户想要变更立体感时，提供GUI功能，按照用户的指示，变更视差的「手动调整」的功能。

已经生成完的视差图像的视差通常并不是可以变更的视差，但根据第二立体图像处理装置100，通过移位构成视差图像的视点图像的合成位置，从而可以以充分实用的水准来变更立体感。第二立体图像处理装置100即使在输入数据没有追溯到三维数据的状况下，也可以发挥良好的立体感调整功能。下面，以与第一立体图像处理装置100的不同点为中心进行叙述。

立体感调整部112利用于手动调整。指示取得部122例如在屏幕上实现「+n」「-n」等的数值输入，将该值作为视差的变更量，在视差确定部124中确定。与指示为数值的立体感之间的关系，可以考虑几种。例如，「+n」是加强立体感的指示、「-n」是减弱的指示，n越大则可以使相对立体感的变更量越大。另外，可以是「+n」是向近位置方向全体移动目标的指示，「-n」是向远位置方向全体移动目标的指示。作为其他方法，也可以构成为不指定n的值，而只显示「+」「-」的按钮，每一次点击时，变更视差。

第二立体图像处理装置100具有视差量检测部150和视差控制部152。在输入图像为多个视差图像的情况下，视差量检测部150检查这些视差图像的标题区域，如果有以像素数的形式记述的视差量、特别是近位置最大视差像素数和远位置最大视差像素数，则取得其。如果没有记述视差量，则匹配部158利用块匹配等已知的方法，通过在视差图像间检测对应点，而确定视差量。匹配部158可以只在图像的中央部等重要区域实施处理，也可以缩小到最重要的近位置最大视差像素数，进行检测。以像素数的形式将检测到的视差量发送到视差控制部152。

一般，在想要在移动电话机的显示画面上显示立体图像的情况下，可以设想立体感相关的个人差小，用户有时可能感到输入适当视差麻烦。另外，即使在在不确定用户使用的立体显示装置中，也可能会感到适当视差的输入反而不便。这种情况下，可以是立体图像显示装置的制造者或立体图像显示装置应显示内容的制作者决定适当视差范围，或按照一般性的准则等其他方法来决定。例如，反映立体图像相关的业界团体或学术团体所指定的准则或标准等。作为其他例子，如果有「在15英寸的显示画面中，最大视差为20mm左右」的准则，则可以举出：按照其准则或以其准则为基础而进行修正等的处理。这种情况下，不需要立体感调整部112。

视差控制部152的位置移位部160向水平方向移位构成视差图像的视点图像的合成位置，以使视点图像间的视差量变为适当视差。移位可以对任一视点图像进行。位置移位部160具有其他动作模式，在用户通过立体感调整部112指示视差的增加或减少时，单纯按照该指示变更图像合成位置。即，位置移位部160具有：向适当视差的自动调整和由用户的手动调整功能的两个功能。

视差写入部164是为了所述视差量检测部150或为了其他用途，在构成视差图像的多个视点图像的任一标题区域，以像素数来写入视差量。图像端调整部168填补：由于位置移位部160的移位所引起的在图像端产生的像素的欠缺。

图13的第三立体图像处理装置100将带有深度信息的图像作为输入。第三立体图像处理装置100调整深度，以便实现适当视差。并且，具有所述「视差修正」功能。视差控制部170的畸变处理部174按照保存在修正图像保持部176内的修正图像，以后述的要领，实施畸变变换。畸变变换后的深度信息和图像输入二维图像生成部178，并在此生成视差图像。该二维图像生成部178不同于第一立体图像处理装置100的二维图像生成部142，在这里考虑适当视差。由于作为图像，带有深度信息的图像也是二维，故虽然没有图示，但二维图像生成部178在内部具有类似于第二立体图像处理装置100的位置移位部160的功能，按照深度信息，向水平方向移位图像内的像素，而生成立体感。此时，利用后面要叙述的处理，实现适当视差。

上述构成的每一个立体图像处理装置100的各部的处理动作和其原理如下所述。

图14(a)、图14(b)表示：在利用第一立体图像处理装置100的立体感调整部112的适当视差确定过程中，被分别显示的左眼图像200和右眼图像202。在各图像中显示五个黑圆，越朝上就越是近位置且附加大的视差，越朝下就越是远位置且附加大的视差。

图15是示意性地表示：显示这五个黑圆时用户10所感知的距离感。用户10响应这五个距离感的范围为「适当」，指示取得部122取得该响应。在图15中，视差不同的五个黑圆同时或按顺序显示，用户10输入这是否可以允许的视差。另一方面，在图16中，显示自体虽然是用一个黑圆圈来进行，但是，连续变更其视差，用户在各自远位置和近位置方向上到达允许界限时进行响应。响应可以利用通常的按键操作、鼠标操作、利用声音的输入等其自体已知的技术。

另外，也可以利用更简单的方法来进行视差的决定。同样，基本表现空间设定范围的决定也可以利用更简易的方法来进行。图89是视差和基本表现空间的简易决定时所利用的表格。基本表现空间的设定范围从多设定近位置空间到只设定远位置空间为止，分为A～D四个阶段的等级(rank)，进而，各自的视差分为1～5的五个阶段的等级。在这里，例如，喜欢最强的立体感、喜欢更要飞起的立体显示的情况下，使等级为5A。另外，没有必要一定一边确认立体显示一边决定等级，可以只显示决定等级的按钮。那些附近有立体感确认用按钮，通过按下这些按钮，从而可以显示确认立体感的图像。

图15、图16的任一情况下，指示取得部122可以将适当视差作为范围而取得，决定其近位置侧和远位置侧的界限视差。近位置最大视差是对应于允许可看到的最近于自己位置的点的距离的视差，远位置最大视差是对应于允许可看到的最远于自己位置的点的距离的视差。但是，一般是由于用户的生理上的问题，多数只注意近位置最大视差，所以，下面有时只将最近位置视差叫做界限视差。

图17表示在立体显示的图像为从三维数据取出的情况下，实际调整两视点的视差的原理。首先，将用户所决定的界限视差变换为临时配置相机的估计角。如图17所示，近位置和远位置的界限视差可以用像素数表示为M和N，因为相机的视场角θ相当于显示画面的水平像素L，作为界限视差像素数的估计角的近位置最大估计角φ和远位置最大估计角ψ，可以用θ、M、N、L来表示。

tan(φ/2)＝M tan(θ/2)/L

tan(ψ/2)＝N tan(θ/2)/L

下面，将这个信息应用在三维空间内中的两视点图像的取出中。如图18所示，首先决定基本表现空间T(其深度方向也用T来记述)。在这里，基本表现空间T由相对目标配置的限制来决定。将从作为基本表现空间T的前面的前方投影面30到相机配置面即视点面208为止的距离设为S。T或S可以由用户指定。视点为两个，将这些光轴交叉面210与视点面208距离设为D。将光轴交叉面210到前方投影面30为止的距离设为A。

下面，如果将基本表现空间T内的近位置和远位置的界限视差分别设为P、Q，则：

E:S＝P:A

E:S+T＝Q:T-A

成立。E是视点间距离。现在，作为没有附加视差的像素的点G位于来自两个相机的光轴K2在光轴交叉面210上交叉的位置，光轴交叉面210变为屏幕面的位置。产生近位置最大视差P的光线K1在前方投影面30交叉，产生远位置最大视差Q的光线K3在后方投影面32交叉。

如图19所示，P和Q用φ、ψ表示为：

P＝2(S+A)tan(φ/2)

Q＝2(S+A)tan(ψ/2)，

其结果，可以得到：

E＝2(S+A)tan(θ/2)·(SM+SN+TN)/(LT)

A＝STM/(SM+SN+TN)。

现在，S和T是已知，故A和E自动决定，因此，光轴交差距离D和相机间距离E自动决定，相机参数确定。如果相机配置决定部132按照这些参数决定相机配置，则以后通过对每一个相机的图像，独立进行投影处理部138、二维图像生成部142的处理，而可以生成和输出具有适当视差的视差图像。如上所述，E和A不包含硬件的信息，可以实现不依靠硬件的表现形式。

以后，在立体显示别的图像时，只要保持A或D和E的形态配置相机，也可以自动实现适当视差。由于从适当视差的确定到理想立体显示为止的过程可以全部自动化，故如果作为软件程序库来提供这个功能，则制作内容或应用程序的程序设计者没有必要理解立体显示用程序。另外，如果L、M、N以像素数表示，则因为L是显示范围，可以用L来指示：用全画面的显示或是用画面的一部分的显示。L也是不依靠硬件的参数。

图20表示：利用四台相机22、24、26、28的四眼式的相机配置。正确的应该以使第一相机22与第二相机24之间等、邻接的相机之间变为适当视差的方式来决定所述A和E，但是，作为简易处理，将更靠近中央的第二相机24与第三相机26间所决定的A和E，利用在其他相机间，也可以得到同样的效果。

另外，T作为相对目标配置的限制，但是，可以作为基本的三维空间的大小，而由程序来决定。这种情况下，通过程序全体，一定可以只在这个基本表现空间T内配置目标，为了进行有效的显示，有时故意向目标提供视差，以便空间飞起，也是可以的。

作为其他例，也可以相对三维空间的目标中的最近位置的部分和最远位置部分的坐标，决定T，若实时进行该处理，则目标一定可以配置在基本表现空间T内。作为目标总是进入基本表现空间T内的例外，如果运用「只要恒定时间的平均位置位于基本表现空间T内就可以」的缓和条件，则可以制作短时间的例外。另外，决定基本表现空间T的目标可以限制为静态图像，这种情况下，可以赋予：动态目标溢出基本表现空间T的特殊动作。作为其他的例子，可以进行将已经配置了目标的空间缩小为基本表现空间T的尺寸的变换，也可以组合已经叙述的操作。而且，后面要叙述故意使目标显示为从基本表现空间飞起的方法。

另外，第一立体图像处理装置100的立体感调整部112，作为显示给用户的图像，如果容易变为双像，则将界限视差决定为小的，可以减少显示其他图像时的双像的出现频率。作为容易出现双像的图像，已知：目标与背景之间的颜色或亮度鲜明的图像，只要在确定界限视差的阶段即初始设定时，利用这样的图像就可以。

从图21至图36为止，表示用第一立体图像处理装置100的畸变处理部136的处理及其原理。

图21是概念性表示：收纳在第一立体图像处理装置100的修正图像保持部140中的修正图像的一例。该图像是直接修正视差的图像，其全体直接对应于视差图像，随着向边缘部，而变为小视差。图22表示：按照该修正图像，畸变处理部136决定相机配置，接受其的相机配置决定部132所进行的相机参数操作的结果而产生的视差变化。从两个相机的左右视点位置看正面方向时附加「通常视差」，另一方面，看远离正面方向时附加「小视差」。实际上，随着朝向边缘，相机配置决定部132使相机间隔变近。

图23表示：相机配置决定部132按照畸变处理部136的指示，改变相机配置而改变视差的其他例子。在这里，一边只移动两个相机中的左侧的相机，随着向图像边缘移动，视差变化为「通常视差」→「中视差」→「小视差」。该方法的计算成本低于图22的方法。

图24表示修正图像的其他例子。该图像也变更视差，图像的中央附近保持通常视差而不触及，在其以外的视差修正区域中，使视差慢慢变小。图25表示：相机配置决定部132按照该图像而改变的相机位置。相机方向远离正面时，左相机位置开始靠近右相机，附加有「小视差」。

图26概念性表示修正图像的其他例子。该图像使修正从视点到目标为止的距离感的图像，为了实现它，相机配置决定部132调整两个相机的光轴交差距离。若随着向边缘行进而使光轴交差距离变小，则目标看成是相对地朝向远位置方向深处，故特别在减小近位置视差的意义上达到目的。为了减小光轴交差距离，相机配置决定部132只要改变相机的光轴方向就可以，即改变任一一方的相机方向即可。图27表示：用图26的图像生成二维图像时的光轴交叉位置或光轴交叉面210的变化。越是图像的边缘，光轴交叉面210越靠近相机。

图28表示距离感相关的其他修正图像，图29表示：根据图28的图像，相机配置决定部132按照畸变处理部136的指示改变光轴交叉面210的形态。在该例中，在图像中央位置中不进行修正而将目标配置在通常位置上，在图像边缘区域修正目标的位置。为了达到其目的，在图29中，在图像中央附近中光轴交叉面210没有变化，而光轴交叉面210从超过某一点开始就靠近相机。在图29中，只是左相机对应地改变方向。

图30(a)～图30(f)表示畸变处理部136所进行的其他畸变变换。和至今为止的例子不同，不改变相机位置，而是在相机坐标系中直接畸变三维空间自体。在图30(a)～图30(f)中，长方形区域表示原来空间的俯视图，斜线区域表示变换后的空间的俯视图。例如，图30(a)的原来空间的点U移到变换后的点V。这意味着该点向远位置方向移动。在图30(a)中，空间越朝向边缘部，则在深度方向越向箭头方向压碎，不管是近位置情况还是远位置情况，如图30(a)的点W所示，都赋予接近恒定距离感的距离感。其结果，变为：在图像边缘部使距离感一致，特别是近置的目标也消失，在解决二重像问题的同时，成为易适合于用户生理的表现。

图30(b)、图30(c)、图30(d)、图30(e)都表示：在图像边缘部使距离感接近恒定值的变换的变形例，图30(f)表示：将所有点向远位置方向变换的例子。

图31表示用来实现30(a)的变换的原理。长方体空间228包含进行第一相机22和第二相机24的投影处理的空间。第一相机22的视量由其相机的视场角、前方投影面230和前方投影面232决定，第二相机24的视量由其相机的视场角、前方投影面234和前方投影面236所决定。畸变处理部136在该长方体空间228实施畸变变换。以长方体空间228的中心作为原点。在多眼式的情况下，只是增加相机，其变换原理相同。

图32是畸变变换的一例，采用Z方向的缩小变换。实际上是对空间内的每一个目标进行处理。图33是仿照视差修正凸现来表现该变换的图，Y轴上为通常视差，X的绝对值越增加则视差变得越小，X＝±A变为无视差。在此，由于只是Z方向的缩小变换，变换式如下：

[公式1]

$(X1,Y1,Z\mathrm{1,1})=(X0,Y0,Z\mathrm{0,1})\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& \mathrm{Sz}& 0\\ 0& 0& 0& 1\end{array}\right)$

用图34说明变换。首先，考虑X≥0且Z≥0的范围。点(X0，Y0，Z0)根据缩小处理而移动到(X0，Y0，Z1)时，缩小率Sz为

Sz＝Z1/Z0

＝CE/CD。

C的坐标是(X0，Y0，0)，D的坐标是(X0，Y0，B)。

E是直线与平面的交点，假设其坐标为(X0，Y0，Z2)，则Z2可以如下所示地求出。

Z＝B-X×B/A    (平面)

X＝X0，Y＝Y0   (直线)

Z2＝B-X0×B/A

因此，

Sz＝CE/CD

＝(B-X0×B/A)/B

＝1-X0/A

对X一般变为

Sz＝1-X/A。

对于X和Z的其他范围也进行同样的计算，可以获得如下结果，可以验证变换。

当X≥0时，Sz＝1-X/A

当X＜0时，Sz＝1+X/A

图35表示畸变变换的其他例子。更严密地，考虑从相机辐射状地进行摄影，也组合X轴、Y轴方向的缩小处理。在这里，将两个相机的中心作为相机位置的代表来进行变换，变换公式如下。

[公式2]

$(X1,Y1,Z\mathrm{1,1})=(X0,Y0,Z\mathrm{0,1})\left(\begin{array}{cccc}\mathrm{Sx}& 0& 0& 0\\ 0& \mathrm{Sy}& 0& 0\\ 0& 0& \mathrm{Sz}& 0\\ 0& 0& 0& 1\end{array}\right)$

图36验证该变换。在这里，也考虑X≥0且Z≥0的范围。根据缩小处理，点(X0，Y0，Z0)移动到(X1，Y1，Z1)时，缩小率Sx、Sy、Sz变为：

Sx＝(X1-X2)/(X0-X2)

＝(X4-X2)/(X3-X2)

Sy＝(Y1-Y2)/(Y0-Y2)

＝(Y4-Y2)/(Y3-Y2)

Sz＝(Z1-Z2)/(Z0-Z2)

＝(Z4-Z2)/(Z3-Z2)。

由于E是平面与直线的交点，故与上述同样，可以求出Sx、Sy、Sz。

另外，如上所述，如果以平面的集合来表示变换后的空间，则以面之间的切线为边界，处理变化，根据情况不同可能产生不协调感。这种情况下，可以用曲面连接或只用曲面构成空间。计算只改变求曲面与直线的交点E而已。

另外，在上述的例子中，缩小率在同一直线上变为相同，但也可以进行加权。例如，可以在Sx、Sy、Sz上乘以相对从相机的距离L的加权函数G(L)。

图37至图40表示第三立体图像处理装置100的畸变处理部174所进行的处理及其原理。

图37表示输入到第三立体图像处理装置100的带有深度信息的图像的深度图像，在这里，假设深度的范围具有K1～K2的值。在此，用正的表示近位置的深度，用负的表示远位置的深度。

图38表示原来的深度范围240和变换后的深度范围242的关系。深度值随着向边缘部行进，而接近恒定的值。畸变处理部174以按照该修正的方式变换深度图像。在垂直方向上也具有视差的情况下也同样。该变换也只是Z方向的缩小，可以用下式进行表示：

[公式3]

$(X0,Y0,\mathrm{Gxy},1)=(X,Y,\mathrm{Hxy},1)\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& \mathrm{Sz}& 0\\ 0& 0& 0& 1\end{array}\right)$

另外，Sz是根据X值的大小，分为两种情况，变为：

当X≥0时，Sz＝1-2X/L

当X＜0时，Sz＝1+2X/L。

根据上述变换，生成图39所示的具有新的要素的新深度图像。

图40表示相对深度图像的其他畸变变换的原理。更严密地讲，由于从用户辐射状来观察空间，故也组合X轴、Y轴方向的缩小处理。在此，以眼睛之间的中心作为观察位置。具体的处理变为和图36情况相同的公式。另外，原来的深度图像只具有Z值，但在进行该计算的情况下，变为也保持X值和Y值。虽然Z值变换为X方向或Y方向的像素移位量，但是，只要X值和Y值作为相对那些的偏移量来保持即可。

总之，在畸变处理部174变换的深度图像和原来的图像输入到二维图像生成部178，在这里进行向水平方向移位的合成处理，以便变为适当视差。其详细内容后述。

图41～图51表示第二立体图像处理装置100的位置移位部160和可以理解为其延长的第三立体图像处理装置100的二维图像生成部178的处理。

图41表示位置移位部160进行的两个视差图像的合成位置的移位原理。如图41所示，在初始状态中，右眼图像R和左眼图像L的位置一致。可是，如图41的上部所示，如果相对地向右移位左眼图像L，则近位置点的视差增加，而远位置点的视差减少。相反，如图41的下部所示，如果相对地向左移位左眼图像L，则近位置点的视差减少，而远位置点的视差增加。

上述就是视差图像移位的视差调整的本质。图像的移位可以是一方的，也可以是双方的相反方向的移位。另外，从这个原理，可以清楚：立体显示方式不管眼镜方式或无眼镜方式，可以应用在利用视差的所有方式中。即使对于多视点图像或垂直方向的视差，也能进行同样的处理。

图42用像素等级表示移位处理。在左眼图像200和右眼图像202中，都映现第一四角形250和第二四角形252。在第一四角形250附加近位置视差，如果用正数表示其视差量，则变为「6像素」。与此相反，在第二四角形252附加远位置视差，如果用负数表示其视差量，就变为「-6像素」。在此，假设其视差量分别为F2、F1。

另一方面，假设：已知用户所保有的显示装置的适当视差为J1～J2。位置移位部160使两个图像的合成开始位置相互移位(J2-F2)。图43在结束其移位的状态下，现在假设：F1＝-6、F2＝6；且J1＝-5、J2＝4，则变为合成开始位置互相错开-2像素，即在远位置方向，向全体移位方向错开。如图43所示，最终的视差量变为E1＝-8、E2＝4，至少在近位置方向收纳在界限视差内。一般，由于和远位置方向比较，近位置方向的双像的不协调感更强，并且，多在被拍摄体配置于近位置方向的状态下进行摄影，故基本上将近位置方向的视差收纳在界限内为理想。下面，说明处理例子。

1.在近位置点为界限视差外、远位置点为界限视差内的情况下，将近位置点向界限视差点移位。但是，如果远位置点的视差达到眼睛之间距离就停止处理。

2.在近位置点为界限视差外、远位置点为界限视差外的情况下，将近位置点向界限视差点移位。但是，如果远位置点的视差达到眼睛之间距离就停止处理。

3.在近位置点和远位置点均为界限视差内的情况下，不进行处理。

4.在近位置点为界限视差内、远位置点为界限视差外的情况下，将远位置点向界限视差点移位，但是，在处理过程中如果近位置点达到界限视差点就停止处理。

图44表示由于合成位置移位的图像端的欠缺。在此，左眼图像200和右眼图像202的移位量为一个像素，在左眼图像200的右端和右眼图像202的左端，分别产生一个像素宽度的欠缺部分260。图像端调整部168在此时，如图44所示，复制图像端的像素列而补偿水平像素数。

除了这种方法以外，欠缺部分260也可以用黑色或白色等确定的颜色来显示，或可以不显示。进而，也可以实施切除或附加处理，以便变为和初始图像相同的尺寸。另外，还可以考虑：预先使初始图像尺寸大于实际的显示尺寸，以使欠缺部分260对显示不造成影响。

图45是第二立体图像处理装置100进行的视差的手动调整的流程。如图45所示，首先作为视差图像，以人工制作左右图像(S10)，用网络或其他路线分配该图像(S12)。第二立体图像处理装置100接受其(S14)，在本图的例子中，首先是以其原来状态、没有移位的通常状态，合成图像而进行显示(S16)。即，在这里，考虑：还没有取得适当视差的情况或没有使位置移位部160动作的情况。接着，对立体显示的视差图像，用户通过立体感调整部112指示视差的调整，位置移位部160将这个接受为「手动调整模式」，调整图像合成位置而进行显示(S18)。另外，S10和S12是图像创造者的手续270，S14以后是第二立体图像处理装置100的手续272。另外，虽然图中未示出，但若将挨移位量记录在标题中，从下一次开始参照这个而合成的话，可以节省再调整的时间和劳力。

图46表示第二立体图像处理装置100所进行的自动调整的流程。作为图像创造者的手续270的、左右图像的生成(S30)和图像分配(S32)和图45相同。另外，第二立体图像处理装置100的手续272中的图像接收(S34)也同样。其次，用视差量检测部150的匹配部158检测视差图像间预先附加的视差、特别是最大视差(S36)，而另一方面，从视差信息保持部120取得适当视差特别是界限视差(S38)。然后，位置移位部160利用上述的处理移位合成位置，以便满足界限视差(S40)，经过视差写入部164、图像端调整部168、格式变换部116的处理而进行立体显示(S42)。

图47表示第二立体图像处理装置100所进行的其他自动调整的流程。在图像创造者的手续270中生成左右图像(S50)后，在此刻，检测最大视差(S52)，记录在视差图像的任一视点图像的标题中(S54)。该检测可以用对应点匹配来实施，但是，在创作者人工操作来生成视差图像时，因为在其编辑过程中当然已知它，故只要记录这个就可以。然后，分配图像(S56)。

另一方面，在第二立体图像处理装置100的手续272中，接受图像(S58)和图46同样。其次，用视差量检测部150的标题检查部156，从标题读出所述最大视差(S60)。另一方面，从视差信息保持部120取得界限视差(S62)，往下的处理S64、S66分别和图46的处理S40、S42相同。根据该方法，没有必要计算最大视差。并且，对图像全体可以实现合适的立体感。进一步，因为移位量可以记录在标题中，没有损伤原图像自体的危险。另外，虽然图中未示出，但即使在图46中，只要将检测出的最大视差记录在标题中，之后就可以按照图47的手续来处理。

而且，在多眼式中也能进行同样的处理，对各自的邻接的视点图像间的视差量进行同样处理即可。但在实际上，可以将那些多个视点图像间的视差中的最大视差视为全视点图像间的「最大视差」，来决定合成位置的移位量。

标题信息可以是多视点图像中的至少一个，但是，在将多视点图像合成为一张图像的情况下，利用其图像的标题就可以。

进而，也有将已经合成完的图像进行分配的情况，但在这种情况下，可以以一次逆变换处理来分离图像，计算合成位置移位量而进行再合成，或进行像素的改变排列处理，以使结果与其相同。

图48～图51表示：针对带有深度信息的图像进行合成位置的移位的处理。这是由第三立体图像处理装置100的二维图像生成部178来进行的。图48、图49分别是构成带有深度信息的图像的平面图像204和深度图像。在这里，用正表示近位置深度、用负表示远位置深度。作为目标，存在第一四角形250、第二四角形252、第三四角形254，第一四角形250深度为「4」、第二四角形252深度为「2」、第三四角形254深度为「-4」。第一四角形250位于最近位置点、第二四角形252位于中间近位置点、第三四角形254位于最远位置点。

二维图像生成部178以原来的平面图像204为基础，首先进行将每一个像素只移位深度图像的值份的处理，生成另一方的视点图像。如果以左眼图像作为基准，则原来的平面图像204直接变为左眼图像。向左移位第一四角形250四个像素、向左移位第二四角形252两个像素、向右移位第一四角形250四个像素，如图50所示，制作右眼图像202。图像端调整部168用视差为「0」的、判断为背景的近接像素来填埋由于目标的移动而产生的像素信息的欠缺部分260。

接着，二维图像生成部178计算满足适当视差的深度。如果深度的范围为K1～K2，每一个像素的深度值为Gxy，则深度图像变为图37的Hxy变更为Gxy的形式。另外，假设：已知用户保有的显示装置的适当视差为J1～J2。这种情况下，在其深度图像中，每一个像素的深度值G如下所示地进行变换，获得新的深度值Fxy。

Fxy＝J1+(Gxy-K1)×(J2-J1)/(K2-K1)。

在上述例子中，假设K1＝-4、K2＝4，并且，J1＝-3、J2＝2，则根据该变换公式，图49的深度图像变换为图51的深度图像。即「4」变换为「2」、「2」变换为「1」、「-4」变换为「-3」。K1和K2之间的中间值变换为J1和J2之间。例如，第二四角形252变为Gxy＝2、Fxy＝0.75。在Fxy没有变为整数的情况下，可以实施四舍五入或减小近位置视差的处理。

另外，上述变换公式是线形变换的例子，但是还可以考虑：乘以相对于Gxy的加权函数(Gxy)或其他各种非线形变换。此外，可以从原来的平面图像204将目标互相反方向移位而生成新的左右图像。在多眼式的情况下，多次进行同样的处理，生成多视点图像也可以。

上述是实施方式的立体图像处理装置100的构成和动作。

立体图像处理装置100是作为装置进行了说明，但可以是硬件和软件的组合，也可以只是软件的构成。这种情况下，将立体图像处理装置100的任意部分程序库化之后，从各种程序可以调用的话，方便性高。程序设计者可以跳读立体显示的知识成为必需的部分的程序。对用户来说，由于不依靠软件或内容，立体显示相关的操作即GUI变为共通，所设定的信息即使在其他软件中也可以共有，故可以节省再设定时间和劳力。

另外，不仅是立体显示相关的处理，在多个程序之间共有信息的一点上也有用。各种程序可以参照其信息来决定图像的状态。被共有的信息的例子是所述的立体图像处理装置100信息取得部118所取得的信息。可以将这个信息保持在图中未示出的记录部或修正图像保持部140等中。

图52～图54表示：将上述立体图像处理装置100作为程序库来利用的一例。图52表示立体显示程序库300的用途。立体显示程序库300以从多个程序A302、程序B304、程序C306调用函数的形式而被参照。在参数文件318中除了上述信息以外，还存储有用户的适当视差等。立体显示程序库300通过API(应用程序接口)310，可以利用在多个装置A312、装置B314、装置C316中。

作为程序A302等的例子，考虑：游戏、所谓叫做Web3D的三维应用程序、三维桌面画面、三维地图、作为二维图像的视差图像的观测仪、带有深度信息的图像等的观测仪。即使在游戏中，当然也有坐标使用方法不同的情况，但是，立体显示程序库300可以与之对应。

另一方面，作为装置A312等的例子，有：两眼或多眼的视差阻挡层式、快门眼镜方式、偏振光眼镜方式等、利用视差的任意的立体显示装置。

图53表示在三维数据软件402上组装立体显示程序库300的例子。三维数据软件402包括：程序主体404、为此实现适当视差的立体显示程序库300和摄影指示处理部406。程序主体404通过用户接口410与用户联络。摄影指示处理部406按照用户的指示，将程序主体404动作中的规定场面，假想地进行相机摄影。被摄影的图像记录在图像记录装置412中。并且，向立体显示装置408输出。

例如，设三维数据软件402为游戏软件。这种情况下，用户可以在游戏中一边利用立体显示程序库300体验合适的立体感一边执行游戏。在游戏中，用户想要保留在记录中的情况下，例如对战型战斗游戏中获得全胜时，用户通过用户接口410向摄影指示处理部406发出指示，记录其场面。此时，利用立体显示程序库300生成视差图像，以便以后在立体显示装置408中再生时变为适当视差，并将其记录在图像记录装置412的电子相册等中。另外，通过以叫做视差图像的二维图像来进行记录，从而程序主体404所具有的三维数据自体不会流出，可以照顾到著作权保护方面。

图54表示将图53的三维数据软件402安装在网络利用型系统430中的例子。

游戏机432通过图中未示出的网络连接在服务器436和用户终端机434上。游戏机432是所谓拱廊游戏(arcade game)用，包括：通信部442、三维数据软件402和局部显示游戏的立体显示装置440。三维数据软件402是图53所示的构成。从三维数据软件402显示在立体显示装置440上的视差图像是预先相对立体显示装置440最佳设定的。如后所述，三维数据软件402的视差调整在通过通信部442向用户发送图像时利用。这里利用的显示装置只要具有调整视差而生成立体图像的功能即可，不一定是可以立体显示的装置。

用户终端机434包括：通信部454、用来看立体图像的取景器程序(viewer program)452和局部显示立体图像的任意的尺寸及形式的立体显示装置450。在取景器程序452中安装有立体图像处理装置100。

服务器436包括：通信部460、记录用户针对游戏假想摄影图像的图像保持部462以及将用户的适当视差信息、用户的电子邮件地址等其他个人信息与用户加以对应进行记录的用户信息保持部464。服务器436具有例如作为游戏的公式段功能，记录游戏执行中用户想要的场面或有名的动态图像或静止图像。立体显示在动态图像或静止图像中均能进行。

上述构成中的图像摄影的一例以如下的要领来进行。用户预先用用户终端机434的立体显示装置450进行立体显示，以立体图像处理装置100的功能为基础取得适当视差，通过通信部454向服务器436通知该视差，并收纳在用户信息保持部464中。该适当视差是与用户所保有的硬件无关的、通用的记述。

用户在任意时间用游戏机432进行游戏。其间，在立体显示装置440上进行最初设定的视差或用户手动调整的视差的立体显示。在游戏的游玩中或重玩中，如果用户希望记录图像，则内置在游戏机432的三维数据软件402的立体显示程序库300，通过通信部442、460，从服务器436的用户信息保持部464取得该用户的适当视差，并与之配合，以生成视差图像，再通过通信部442、460向图像保持部462存储假想摄影的图像相关的视差。用户回到家后，若向用户终端机434下载该视差图像，就可以用所要的立体感来进行立体显示。此时，利用取景器程序452所具有的立体图像处理装置100能进行视差的手动调整。

如上所述，根据该应用例，原来必须设定在每一个显示装置的硬件中、每一个用户的立体感相关的程序，集中在立体图像处理装置100和立体显示程序库300内，游戏软件设计者没有必要在意立体显示相关的复杂的要件。这不限于游戏软件，对利用立体显示的任意的软件都同样，消除了利用立体显示的内容或应用程序开发的制约。因此，可以飞跃地促进这些的普及。

特别是，在原来存在三维的CG数据的游戏和其他应用程序的情况下，在以往，编码正确的立体显示困难成为重要原因，虽然特意具有三维数据，但大多没有利用在立体显示中。根据实施方式的立体图像处理装置100或立体显示程序库300，可以消除这样的弊病，可以对立体显示应用程序的充实化作出贡献。

另外，在图54中是将用户的适当视差登记在服务器436中，但是，用户也可以携带记录了该信息的IC卡，来利用游戏机432。在该卡中，也可以记录游戏相关的得分或想要的图像。

以上，以实施方式为基础说明了本发明。该实施方式是个例子，本领域人员可以理解：对这些各构成要素或各处理过程的组合，能有各种变形例，且这些变形例也在本发明的范围内。下面，举出这些例子。

第一立体图像处理装置100通过输入三维数据，而能以高精度进行处理。可是，也可以将三维数据临时降低到带有深度信息的图像，对此利用第三立体图像处理装置100生成视差图像。根据情况，这样的方法计算成本低。同样，即使在输入多个视点图像时，也能利用高精度的对应点匹配来制作深度图像，这样，可以降低到带有深度信息的图像，对此利用第三立体图像处理装置100来生成视差图像。

在第一立体图像处理装置100中，虽然将相机临时配置部130作为立体图像处理装置100的构成，但这可以是立体图像处理装置100的前处理。这是因为到相机的临时配置为止，可以与适当视差无关地进行处理的缘故。同样，构成第一、第二、第三立体图像处理装置100的任意的处理单元可以拿到立体图像处理装置100的外部，本领域人员可以理解立体图像处理装置100的构成自由度高。

在实施方式中，说明了在水平方向进行视差控制的情况，同样的处理在垂直方向也可以实施。

也可以设置在立体显示程序库300或立体图像处理装置100的动作中将文字数据放大处理的单元。例如，在水平二视点的视差图像的情况下，用户的眼睛能看的图像的水平分辨率变为1/2。其结果，因为文字的可读性降低，故向水平方向延伸文字2倍的处理是有效的。在垂直方向也有视差的情况下，同样，向垂直方向延伸文字2倍的处理也是有效的。

也可以设置立体显示程序库300或立体图像处理装置100的工作中，「3D 」等文字或标记进入显示的图像中的「动作中显示部」。这种情况下，用户可以知道是否为能进行视差调整的图像。

也可以设置立体显示/通常显示转换单元。该单元包括GUI，如果用户点击规定的按钮，则显示从立体显示转换为通常的二维显示，若做成其反向也能进行的构成，则是方便的。

信息取得部118不一定根据用户的输入来取得信息，也可以是利用即插即用等功能可以自动取得的信息。

在实施方式中，采取了导出E和A的方法，但是，也可以采用：固定这些，而导出其他参数的方法，参数的指定是自由的。

对于立体显示，提出其他表现方法。在一般性的平面的图像显示中，进行「目标通过某一界面」的、特别是在深度方向的表现，在现实感上有限。另外，使观察者难以理解：在窗户的面上有实际隔开空间与空间的界面。因此，如下面所说明的，通过在立体图像显示装置显示立体性物体，从而能够认为画面或叫做框的实体和图像内表现的目标上的界面一致，利用这样的显示可以产生新的表现方法。一般，由于显示画面或其边缘的框在视觉上是可以辨识的，故考虑如窗户那样利用这些的显示方法，有必要进行在其面上配置空间与空间的界面或板状目标的指定。这种情况下，在图18所示的位置关系中，光轴交叉位置D被指定。

在图18所示的位置关系中，设基本表现空间T内的近位置和远位置的界限视差分别为P、Q，则得到关系式：

E:S＝P:A

E:S+T＝Q:T-A

如果对近位置的界限视差、远位置的界限视差，分别求解这些关系式，则得到：

E＝PS/A

E＝Q(S+T)/(T-A)

通过选择这两个E中的小的E，而获得适当视差范围的立体图像。

图55表示：由三维数据构成的图像显示在显示画面400上的状态。该图像是水槽410的一个玻璃面401与显示画面400一致，表现金鱼301在水槽410内游动。如果进行处理，以使从显示画面400往里为远位置空间、往前为近位置空间，则如图56所示，金鱼301通常显示为在远位置空间游动，并且，如图57所示，偶尔可以表现为「金鱼301冲破显示画面400而出现在近位置空间」。并且，在金鱼301穿越显示画面400时，例如，可以表现为「如果从显示画面400的边缘飞溅水花，金鱼301穿越显示画面400，则再生界面」。作为其他表现例子，例如，可以表现为「因为在显示画面的前面的近位置空间没有水，如果金鱼301在近位置空间游一段就呼吸困难，则再度穿透界面即显示画面400，而回到远位置空间」。

另外，没有必要在物体通过界面后，再生物体通过时所破坏的界面，而当然可以实现：保持界面被破坏的状态，或配合物体的冲突而界面变形，但不通过；进而，此时只传达冲击的作为图像上的效果例如还有电冲击等界面与物体相互作用相关的各种表现。另外，界面可以是单纯的面，也可以配置如玻璃那样的板状物体或纸等薄的物体。此外，界面没有必要和显示画面完全一致，只要在其附近就可以。很清楚：如上所述的表现效果在平面性的图像中是不能向观察者充分传达这些状况的。特别是，如果成为立体图像起点的原始数据为三维数据，则用来表现如上效果的编辑变为容易。

这种使应表现的目标所具有的界面与显示画面一致的表现可以利用图58所示的方法来生成。即，在三维空间里配置假想的水槽410，从其左侧配置的两个假想相机430、440，生成具有视差的两个图像。此时，使两个假想相机430、440的光轴交叉位置和水槽的一个面一致。另外，这种图像可以如图59所示地进行摄影。在实际的水槽410上面，配置两台假想相机430、440来摄影水槽410。此时，使两台相机的光轴交叉位置和水面一致。

图60表示用来实现上述处理的第四立体图像处理装置100的构成。该立体图像处理装置100是在图11所示的第一立体图像处理装置100的立体感调整部112中还设置目标指定部180的构成。该目标指定部180进行使接受用户指定的目标的界面位于显示画面附近位置或一致的处理。在此，作为用户可以设想立体图像的创作者，上述处理在立体图像的制作或编辑时进行。而且，用户可以是观察者。

首先，对于图60所示的立体图像处理装置100，说明其处理顺序。目标指定部180利用鼠标等规定的输入装置，从用户接受对应于两个假想相机430、440的光轴交叉面的目标的指定，将指定过的目标通知给视差控制部114。视差控制部114更具体地是相机配置决定部132调整从用户指定的目标所具有的平面，以便变为两个假想相机430、440的光轴交叉面。该处理以外的工作可以和图11所示的立体图像处理装置100的工作相同。在这样决定的目标中，附加表示显示在显示画面附近的信息。在显示时，适当读出它而决定交叉距离D，利用前面叙述的处理来决定相机间距离E。

另外提出其他表现方法。在有多个应显示在显示画面上的目标的情况下，不一定要将所有的目标总是收纳在适当视差内。有时，为了有效地进行显示，在某种条件下，例如，只是在一定期间内，可以使一部分目标脱离适当视差的条件而进行显示。作为该方法，上面叙述了对静止目标决定基本表现空间的方法，更详细地说，只要使每一个目标具备辨别：是否为应立体显示目标所含基本表现空间内应表现的目标的信息(下面只称「识别信息」)即可。另外，将应表现在基本表现空间内的对象，也叫做「基本表现空间的计算对象」。然后，可以以该识别信息为基础随时决定基本表现空间。

如果构成为可以根据需要适当变更识别信息，则可以灵活地设定脱离适当视差的条件。例如，如果在识别信息里记述有脱离适当视差条件的时间的指定，则可以作到：只要经过被指定的时间，就自动地回到适当视差范围。

而且，下面表示：这样暂时将一部分目标脱离适当视差条件而显示在显示画面上的方法。例如，在图11所示的第一立体图像处理装置100中，相机配置决定部132按照适当视差修正临时设定的相机参数，但如下扩展其功能也可以。即，相机配置决定部132读出与每一个目标关联的识别信息，以反映其识别信息的形式，配置相机参数。

再有，提出其他表现方法。如果由某一目标来决定基本表现空间的前面和背面即作为近位置界限的前方投影面和作为远位置界限的后方投影面，则不能进行：对应于目标的空间的前后空间的移动表现。图61是针对利用第四立体图像处理装置100进行显示的图像，简单地表示：深度方向、特别是基本表现空间T。在图61的左侧设有前方投影面310，在右侧设有后方投影面312，前方投影面310和后方投影面312之间成为基本表现空间T。在基本表现空间T的范围内，作为静止目标在前方投影面310侧表现房子350，在后方投影面312侧表现树370。并且，作为动态目标的鸟330在这两个静止目标的上方空间内向前移动。若鸟330在基本表现空间T范围内移动，则可以表现其动向，但到达前方投影面310或后方投影面312的情况下，以后，如图61左侧所示，鸟330变为位于前方投影面或图中未示出的后方投影面312位置的目标，鸟330固定在最大视差，不能在实际空间内进一步向前或向后移动。如果至少可以表现为移动目标，则能变为具有相对目标的临场感。

如上所述，考虑使动态目标脱离基本表现空间T对象的处理，但是，如上所述，在想获得某种效果以外的情况下，用户有感觉到不协调感的可能性，故大多优选表现在基本表现空间T范围内。

因此，如图62所示，使不存在任何目标的区域包含在基本表现空间T内。图62是表示：在前方的静止目标房子350的更前方，作为基本表现空间T的一部分设置不存在任何(目标)的区域，作为动态目标的鸟330可以在房子350前方移动的图。图63是表示：进一步地在后方的静止目标树370的后方，作为基本表现空间T的一部分设置不存在任何(目标)的区域。由此，例如，作为动态目标的鸟330，从后方移动过来，即使超过相当于房子350前面的位置，也因为鸟330位于基本表现空间T的范围内，故即使移动到更前方也可以表现为适当视差，作为用户的观察者不会感到对其移动的不协调感。

另外，如图64所示，例如，不仅是鸟330自体而且包含其前后的空间的形式，作为计算视差的对象，形成移动目标390。当移动目标390最前面到达前方投影面310的情况下，只移动鸟330。这种情况下，例如，通过使鸟330的移动速度低于原来速度，从而可以延迟原来鸟330立即到达前方投影面310，而其以后不能表现移动的时间。

另外，如图65所示，例如，移动目标390越过前方投影面310之后，也可以在预先包含的空间中移动鸟330。由此，由于最大视差由移动目标390来决定，鸟330是逐渐地接近最大视差，故在实际空间内继续向前移动成为可能。只要判定根据目标即鸟330的位置进行移动的事情有效还是无效，就可以实现。移动速度可以设定为原来设想的移动速度或快的速度、慢的速度的任一个，通过对移动速度赋予灵活性，从而各种表现成为可能。例如，通过越接近移动目标390的端部，越使移动速度变慢地进行变更，从而可以既防止视差量随着前后方向过大的现象，又可以表现向前的移动。

另外，如果其他的目标出现在其前后的情况下，最大视差在这一回变为依存于其目标，故让鸟330逐渐地回到移动目标390的原来的位置。

其次，以前面所示的图17和图18为基础，说明：一边改变最大视差，防止急剧的视差变化的原理。如上所述，

tan(φ/2)＝M tan(θ/2)/L

E:S＝P:A

P＝2(S+A)tan(φ/2)。

的关系成立，根据这些公式，在某一相机的设定中，某一目标的近位置侧的视差量可以表示为：

M＝LEA/(2S(A+S)tan(θ/2))。

在这里，若该目标向前方移动，若不变更相机设定，则因为A变大而S变小，从而视差量变大。

在这里，目标移动到前方时，假设M变为M′、S变为S′、A变为A′，则可以表示为：

M′＝LEA′/(2S′(A′+S′)tan(θ/2))

M＜M′。

在相机设定中，变更E和A′’，则变换为：

M″＝LE″A″/(2S′(A″+S′)tan(θ/2))，

此时，如果满足

M＜M″＜M′的关系，则在立体显示向观察者移动的目标时，可以防止急剧的视差量的变化。另外，可以只变更E或A′的任一个。此时，M″可以表示为：

M″＝LE″A′/(2S′(A′+S′)tan(θ/2))，

或

M″＝LEA″/(2S′(A″+S′)tan(θ/2))。

对于目标的向里面的动向，为了防止视差量的急剧变化，只要满足关系：

M＞M″＞M′就可以。

另外，对于远位置侧的视差量N，同样是

N＝LE(T-A)/(2(T+S)(A+S)tan(θ/2))，

同样，求出：

N′＝LE(T-A′)/(2(T+S′)(A′+S′)tan(θ/2))，

N″＝LE″(T-A″)/(2(T+S′)(A″+S′)tan(θ/2))。

在此，只要满足N＞N″＞N′，则对于向目标的观察者的动向，现实坐标上的移动速度可以防止急剧的视差量的变化，另外，只要满足N＞N″＞N′，则对于向目标里面的动向，可以防止视差量的急剧变化。

以上说明了实现图61至图65所示的表现方法的立体图像处理装置100的构成。在该立体图像处理装置100中，可以用图60所示的立体图像处理装置100来实现。但是，相机配置决定部132还具有：在按照适当视差修正临时设定的相机参数时，从原始数据中读出成为基本表现空间计算对象范围相关的信息或目标的视差量变更相关的信息，并使其反映为相机参数的功能。该信息可以是附加在原始数据自身上，例如也可以保持在视差信息保持部120中。

在实施方式中，例如相对可以正确看见球的正确的视差状态，如果根据适当视差处理而判断为处于视差过大的状态，则处理成：使立体图像的视差变小。此时，看成为球在深度方向被压碎的形状，但是，一般对这样的显示的不协调感是小的。因为人通常习惯看平面图像，只要视差在0的状态与正确的视差状态之间，人不会感觉不协调感的情形多。

相反，对于可以正确看见球的视差状态，如果根据适当视差处理而判断为立体图像的视差过小，则处理成：使立体图像的视差变大。此时，例如，看成为球在深度方向膨胀的形状，对于这种显示，人感觉不协调感是大的。

在立体显示单体的目标等时，容易发生如上所述的人感觉不协调感的现象，在建筑物或交通工具等实际生活中看得见的物体的显示中，尤其会产生：由于该视差的不同而导致明确地识别到观看方法的不协调感的倾向。因此，为了减少其不协调感，对于增大视差的处理，有必要加以修正。

在由三维数据生成立体图像的情况下，通过变更相机配置，而可以比较容易地进行视差调整。以图66至图71为基础，表示视差的修正顺序。另外，该视差的修正可以用上述的第一至第四立体图像处理装置100来进行。在这里，设想：利用图11所示的第一立体图像处理装置100，由三维数据生成立体图像的情形。另外，后面要叙述的第四、第六立体图像处理装置100中也可以实现上述的修正处理。

图66表示：在某一个立体图像处理装置100的显示画面400中，观察者观察立体图像的形态。显示画面400的尺寸为L、显示画面400与观察者之间的距离为d、眼睛之间的距离为e。并且，近位置界限视差M和远位置界限视差N预先用立体感调整部112来获得，近位置界限视差M与远位置界限视差N之间成为适当视差。在此，为了容易理解，而只表示近位置界限视差M，从该值决定最大飞出量m。所谓最大飞出量m就是指：从显示画面400到近位置点的距离。另外，L、M、N的单位是「像素」，和其他的d、m、e等参数不同，原来虽然需要利用规定的变换公式进行调整，但在此，为了容易说明，用相同的单位表示。

此时，为了显示球21，以球21的近位置点和远位置点为基准，用视差控制部114的相机配置决定部132，如图67所示地决定相机配置。两个相机22、24的光轴交差距离为D、那些相机之间间隔为Ec。但是，为了易于进行参数的比较，进行了坐标系的放大缩小处理，以使光轴交差距离中的相机的估计宽度与画面尺寸L一致。此时，例如设相机间隔Ec等于眼睛之间距离e，光轴交差距离D小于观察距离d。这样，如图68所示，这个系统如果观察者从图67所示的相机位置进行观察，则可以正确看见球21。如果用以这种摄影系统中生成的图像为基础的立体图像处理装置100观察球21，则如图69所示，观察到遍及适当视差全体范围向深度方向延伸的球21。

下面表示：利用这个原理，判断对立体图像有无必要进行修正的方法。图70表示：在图67所示的相机配置中，摄影位于从显示画面400的距离为A的球的最近位置点的形态。此时，根据可以连结与两个相机22、24距离分别为A的位置点的两条直线，求出对应于距离A的最大视差M。并且，图71表示：在两个相机22、24与相机的光轴公差距离为d时，获得图70所示的视差M所必需的相机间隔E1。这可以进行：使相机间隔以外的摄影系统的参数和所有观察系统参数一致的变换。在图70和图71中，成立如下关系：

M:A＝Ec:D-A

M:A＝E1:d-A

Ec＝E1(D-A)/(d-A)

E1＝Ec(d-A)/(D-A)。

并且，在该E1小于眼睛之间距离e时，判断为有必要进行使视差变的小修正。由于使E1变为e就可以，所以如下式地进行修正即可：

Ec＝e(D-A)/(d-A)。

对最远位置点也同样，在图72和图73中，如果球21的最近位置点与最远位置点的距离为作为基本表现空间的T，则有：

N:T-A＝Ec:D+T-A

N:T-A＝E2:d+T-A

Ec＝E2(D+T-A)/(d+T-A)

E2＝Ec(d+T-A)/(D+T-A)。

并且，在该E2大于眼睛之间距离e时，判断为有必要进行修正。接着，使E2变为e即可，所以如下式：

Ec＝e(D+T-A)/(d+T-A)

地修正Ec就可以。

最终，如果选择从最近位置点、最远位置点分别获得的两个Ec中小的一方，则对于近位置和近位置的任一都不会使视差过大。回到以该被选择的Ec为基础的三维空间坐标系而设定相机。

由此，一般同时满足如下两式来设定相机间隔Ec就可以：

Ec＜e(D-A)/(d-A)

E1＜e(D+T-A)/(d+T-A)。

这是表示：在图74和图75中，在连结以眼睛之间距离e置于观察距离d位置的两个相机22、24和目标的最近位置点的两个光轴K4上，或是在连结上述两个相机22、24和目标的最远位置点的两个光轴K5上，配置两个相机时的间隔为相机间隔Ec的上限。即，可以配置两个相机22、24，以便包含在图74的两个光轴K4的间隔或图75的两个光轴K5的间隔中的窄的光轴之间。

另外，在此是不变更光轴交差距离而只进行相机间隔的修正，但也可以是变更光轴交差距离来变更目标的位置，也可以是变更相机间隔和光轴交差距离双方。

在利用深度图像的情况下也有必要进行修正。深度图像值用像素数来表示其点的偏移量，如果初始值、一般记述在原始数据中的值为实现最佳立体感的状态，则在适当视差处理中，在产生使深度图像值范围变大的必要时不进行上述处理，只是在产生使深度图像值范围变小的必要时即产生使视差变小的必要时，进行上述处理即可。

另外，在将初始值的视差设定为小的情况下，将最大允许值保持在图像的标题区域等中，进行适当视差处理，以便收纳在其最大允许值内。这些情况下，关于适当距离，硬件信息成为必要，但是，和前面所示的不依靠硬件信息的情况相比，可以实现更高性能的处理。以上的处理不仅利用为自动设定视差的情况而且还可以利用在手动设定视差的情况下的处理。

另外，观察者感觉不协调感的视差的界限根据图像而不同。一般，在样子或颜色变化少的图像中，如果在边界明显的图像上附加大视差，则交调失真明显。此外，如果在边界两侧的亮度差大的图像上附加大的视差，则交调失真也明显。即，在应立体显示的图像即视差图像，甚至视点图像中，高频成分少的情况下，用户看其图像时，有感觉不协调感的倾向。因此，用傅立叶变换的方法对图像进行频率分析，根据其分析结果所获得的频率成分的分布，实施修正适当视差就可以。即，对于高频成分的量多的图像，实施视差大于适当视差的修正。

另外，动向更少的图像交调失真明显。一般，多通过查询文件名的后缀，从而知道文件种类为动态图像还是静止图像。因此，在判定为动态图像的情况下，可以以动向矢量等已知的动向检测方法来检测动向状态，并根据其状态，对适当视差量实施修正。即，对动向少的图像实施使视差比原来视差变小的修正。另一方面，对动向多的图像不实施视差修正。另外，在想要强调动向等情况下，也可以实施使视差比原来视差大的修正。再有，适当视差的修正是一个例子，只要是预先决定的视差范围，对任何情况都可以进行修正。另外，可以修正深度图像，也可以修正视差图像的合成位置的偏移量。

另外，可以将这些分析结果记录在文件的标题区域之后，立体图像处理装置读取其标题，利用在下次以后的立体图像的显示中。

此外，高频成分量或动向分布也可以是由图像的制作者或用户根据实际的立体视觉来附加等级，以多数评价者的立体视觉来进行等级附加，可以利用其平均值而不管其等级附加方法。

另外，适当视差没有必要严密保守，相机参数的计算没有必要总进行，可以每隔一定时间或每改变场景时等进行。特别是，在由处理能力低的装置来进行的情况下有效。例如，在每隔一定时间计算相机参数的情况下，在从三维数据生成立体图像情形中是在第一立体图像处理装置100中，视差控制部114利用内部定时器，每隔一定周期对相机配置决定部132指示再度计算相机参数数据即可。内部定时器可以利用立体图像处理装置100的进行计算处理的CPU的基准频率；也可以单独设置专用定时器。

图76表示：实现根据图像状态来计算适当视差的第五体图像处理装置100的构成。在这里，在图11所示的第一体图像处理装置100中设有新的图像判定部190。其他的构成和动作是相同的，所以主要说明不同点。该图像判定部190包括：分析图像的频率成分而求出高频成分量，并向视差控制部114通知适合于其图像的视差的频率成分检测部192；如果原始数据为动态图像，则通过检测场景改变或检测图像内动向，来向视差控制部114通知相机参数计算定时的场景判定部194。场景改变的检测可以利用已知的方法来进行。

在原始数据为动态图像时，如果总进行利用图像高频成分量的适当视差调整处理，则频率成分检测部192的处理负担变大。如果使用与处理负荷相称的计算处理装置，则有增加立体图像处理装置100成本的忧虑。如上所述，没有必要总是严守适当视差，故通过构成为以图像判定部190的检测结果为基础，在场景改变等图像大变化时，分析图像的频率成分，而可以减轻图像判定部190的负担。

在三维空间内配置多个假想相机，分别生成对应于假想相机的视差图像时，这些视差图像内产生不存在目标信息的区域的现象。下面，以三维数据为起点生成立体图像的情况为例，说明视差图像内产生不存在目标信息的区域的原理，同时，说明其消除方法。图77表示：由制作三维数据的制作者设定的临时相机位置S(Xs、Ys、Zs)、视场角θ、和第一至第三目标700、702、704的关系。

临时相机位置S(Xs、Ys、Zs)在以多个假想相机为基础分别生成视差图像时，成为假想相机的中心(下面，也称相机群中心位置S)。第一目标700相当于背景。在此，制作者在视场角θ内收纳第二目标702和第三目标704，同时，根据作为背景图像的第一目标700，设定视场角θ和相机群中心位置S，以使目标信息存在于视场角θ内。

接着，利用规定的程序，决定两个相机722、724的参数，具体而言决定相机位置和各自的光轴，以便获得图78所示的所要视差、进一步获得作为近位置和远位置的基准的光轴交叉位置A(Xa、Ya、Za)。此时，在视场角θ等于前面所决定的值的情况下，在两个相机722、724的相机位置中，例如根据作为背景图像的第一目标的大小，如图78所示，产生不存在目标信息的第一和第二零目标区域740、742。

用角度表示第一零目标区域740为α、第二零目标区域742为β，在这些角度范围内不存在目标信息。因此，如图79所示，可以调整视场角θ，以便没有这些α和β。即，从视场角θ减去α和β中的大的值。此时，为了使光轴方向不发生变更，为了从视场角θ的左右两个方向减去应减法运算的值，而将新的视场角θ1由θ1＝θ1-2×α或θ1-2×β来决定。但有时不能从视差图像立即判明α或β，故可以逐渐调整视场角θ，每一次都确认视差图像内是否产生不存在目标信息的区域。另外，目标的不存在信息区域的有无，实际上是只要确认是否有应该输入显示画面像素的数据即可。此外，不限于只调整视场角θ，以便调整为全部像素内存在目标信息，也可以变更相机间隔E或光轴交叉位置A。

图80是表示视场角调整处理的流程图。该视场角调整处理是能用图11所示的第一立体图像处理装置100来实现。首先，如果在立体图像处理装置100中输入成为立体图像起点的原始数据，则相机临时配置部130决定相机群中心位置S(S110)。接着，相机配置决定部132以其相机群中心位置S为基础，决定相机视场角θ(S112)、相机间隔E(S114)、假想相机的光轴交叉位置A(S116)。进一步，相机配置决定部132根据相机间隔E和光轴交叉位置A，对原始数据进行坐标变换处理(S118)，判定显示画面的全部像素是否存在目标信息(S120)。

在存在没有目标信息的像素的情况下(S120的否)，则进行稍微变窄视场角θ的修正(S122)之后，回到S114的处理，以后继续S114到S120的处理，直到全部像素内存在目标信息为止。但是，在只用视场角θ的修正来进行调整，以使全部像素内存在目标信息的情况下，跳过S114的相机间隔E决定处理和S116的决定光轴交叉位置A的处理。在全部像素存在目标信息的情况下(S120的是)，结束该视场角调整处理。

在上述实施方式中，主要说明了三维数据为起点生成的立体图像。下面，说明以实际拍照图像为起点来表现立体图像的方法。以三维数据为起点的情况和以实际拍照图像为起点的不同点在于：在以实际拍照图像为起点的情况下没有基本表现空间的深度方向T的概念。这可以换句话说成：能进行适当视差显示的深度方向范围T。

如图17和图18所示，用来生成立体图像的相机设定所必需的参数是相机间隔E、光轴交叉位置A、视场角θ、从作为基本表现空间前面的前方投影面30到相机配置面即视点面208为止的距离S、光轴交叉面210到视点面208的距离D、深度方向范围T六种。并且，在这些之间满足如下关系式：

E＝(S+A)tan(θ/2)·(SM+SN+TN)/(LT)

A＝STM/(SM+SN+TN)

D＝S+A。

因此，如果指定六种参数E、A、θ、S、D、T中的三种，则可以计算剩余的参数。一般，指定哪个参数虽然是自由的，但在前面叙述的实施方式中指定θ、S、T，而计算E、A、D。由于若自动变更θ或S则放大率有变化，故有不能表现程序设计者或摄影者的意图的危险，因此，自动决定这些是不理想的情形居多。对于T，也可以说成表示表现范围限制的参数，最好预先决定。并且，在三维数据的情况下，改变任一参数都需要相同的时间和劳力。但是，实际拍照的情况是不同的。根据相机的构造价格大不相同，而且操作性也有变化，所以最好是按照用途改变所指定的参数为佳。

图81表示：在娱乐设施或照相馆等中摄影立体照片的立体照片摄影装置510与被照相体552之间的关系。该立体照片摄影装置510构成为包括照相机550和立体图像处理装置100。在这里，固定摄影环境。即，预先决定照相机550的位置和被拍摄体552的位置，作为参数，θ、S、T已决定。该摄影系统是将图18所示的例子改换为实际的照相机550的状态，两个透镜522、524安装在一台照相机550上，只用照相机550就可以摄影成为立体图像起点的两个视差图像。

图82表示进行该处理的第六立体图像处理装置100的构成。该立体图像处理装置100是在图12所示的立体图像处理装置100中，以相机控制部151来替换视差量检测部150的装置。相机控制部151具有透镜间隔调整部153和光轴调整部155。

透镜间隔调整部153通过调整两个透镜522、524位置来调整相机间隔E，更详细地说是调整透镜间隔E。另外，光轴调整部155变更两个透镜522、524各自的光轴方向来调整D。被拍摄体552通过存储器或卡等能移动的记录介质或互联网等通信手段，输入自宅等中保有的立体图像显示装置的适当视差。信息取得部118接受该适当视差的输入，并向相机控制部151通知。接受其通知，相机控制部151计算E、A、D，通过调整透镜522、524，从而相机550以适当视差进行摄影。可以通过根据程序库，将显示被拍摄体的立体显示装置与立体照片摄影装置510之间的处理共通化来实现这个。

另外，在显示时想要在画面上配置被拍摄体的情况下，也预先决定D、A，使被拍摄体位于D之后即可进行摄影，这种情况下，在近位置和远位置分别进行适当视差的计算，选择E变小的一方就可以。另外，T可以大于被拍摄体所占的范围。在有背景的情况下，可以包含背景而决定T。

此外，适当视差信息没有必要一定是用作为被拍摄体的用户所拥有的立体图像显示装置来查询的信息。例如，可以是在摄影现场用典型的立体图像显示装置选择喜欢的立体感。能用立体感调整部112来进行该选择。或者可以只从「画面上/远位置/近位置」、「立体感：大/中/小」等项目中选择，利用对应于这些而保持在视差信息保持部120中的预先决定的相机参数。另外，光轴交叉位置的变更可以用机构结构来进行变更，但可以利用分辨率高的CCD(电荷耦合器件Charge Coupled Device)，通过改变作为图像利用的范围来实现。在该处理中可以使用位置移位部160的功能。

图83表示：在人不能进去的场所内设置能移动的相机550，根据使用遥控器519的远距离操作来操作该相机550，用立体图像显示装置511来观察摄影图像的形态。在立体图像显示装置511中组装有图82所示构成的立体图像显示装置100。

在相机550中备有可以自动调整透镜间隔E的机构。并且，在该相机550中具有光学变焦或电子变焦功能，由此来决定θ。但是，视差量由于该变焦操作而变化。一般地，越是摄影远处，显示时的视点间的光轴形成的角度就越变小，故在其透镜间隔E中视差变小，而缺乏立体感。因此，有必要适当地变更透镜间隔E或变焦量等相机设定。在这里，这种情况下，自动控制相机设定，大幅度减轻繁杂的相机设定。另外，可以使用遥控器519来调整相机设定。

首先，操作者如果使用遥控器519操作光学变焦或电子变焦，θ就被决定。其次，移动相机550将想要摄影的被拍摄体显示在立体图像显示装置511的中央。相机550利用自动调焦功能来与被拍摄体对焦，同时取得距离。在初始状态中，使该距离成为D。即，自动设定相机550，以便被拍摄体被看成位于显示画面附近位置。T可以用手动来变更范围，操作者预先指定：想要将握前后关系的物体的深度方向的分布。这样，决定θ、D、T。由此，由上述的三个关系式来决定E、A、S，适当自动调整相机550。在该例的情况下，由于S后决定，故T最终变为何范围是不确定的。因此，优选间T设定为某种程度的大。

另外，在想将被拍摄体显示在画面端的情况下，先将被拍摄体显示在中央，按住规定按钮，使焦点和D变为可以固定，然后，变更相机550的方向就可以。此外，如果可以手动变更焦点和D，则可以自由改变被拍摄体的深度方向位置。

图84表示用立体图像摄影装置510摄影的一例。立体图像摄影装置510具有图82所示的构成。在该相机550中通过能携带的存储器等记录介质或互联网等通信手段，输入摄影者预先保持的立体图像显示装置的适当视差。在这里，作为相机550，设想为具有简单的结构、能低价格购入的相机。在此，相机间隔E、光轴交差距离D、视场角θ已被固定，由上述的三个关系式决定A、S、T。由于从这些值可以计算到被拍摄体的距离的适当范围，故实时测定到被拍摄体为止的距离，可以用信息或灯的颜色来向摄影者通知被计算的距离是否适当。到被拍摄体的距离可以利用自动调焦的距离测定功能等已知的技术来取得。

如上所述，将相机参数的任一作为变数或常数的组合是自由的，与用途配合，有各种形态。另外，相机550除了上述以外还可以考虑：安装在显微镜、医疗用内视镜、便携式终端机等各种机器上的形态。

另外，如果对确定的立体显示装置实施视差的最佳化，则有时在其他的立体显示装置中的立体显示变为困难。可是，装置的性能一般是在提高，对下一次购入的立体显示装置而言，很难说视差过大。反而，为了避免由于摄影装置的设定不完备，与立体显示装置的性能无关而立体视觉变为困难的危险，进行如上所述的调整是重要的。另外在此，所谓立体显示装置是指具备用来实现立体视觉的立体图像处理装置的构成。

从第一至第六立体图像处理装置100的立体感调整部112中所获得的适当视差，是用户一边对确定的立体图像处理装置100立体视觉而一边决定的相机参数，在该立体图像处理装置100中，以后保存其适当视差。在该立体感调整操作中，还加进立体显示装置固有的「图像分析性能」和观察者固有的「生理性界限」的两个因素。所谓「图像分析性能」是表示分离多个视点图像性能的客观的因素，该性能低的立体显示装置几乎不能附加视差，同时，容易感知交调失真，多数观察者进行调整情况下的适当视差的范围平均变窄。相反，如果图像分离性能高，则即使附加大的视差，也几乎不会感知交调失真，而有适当视差的范围平均变宽的倾向。另一方面，所谓「生理性界限」是主观性因素，例如，即使图像分离性能非常高而完全分离图像，但由于观察者不同而感觉不协调感的视差范围也不同。这是作为相同立体图像处理装置100的适当视差的不均匀来表现的。

图像分离性能又称为分离度，如图85所示，可以在最佳观察距离，利用一边沿水平方向移动照度计570一边测定基准图像572的照度的方法来决定。此时，在两眼式的情况下，例如，在左眼图像上显示全白而在右眼图像上显示全黑。如果图像完全分离，则看见右眼图像位置的照度变为0。对此，通过测定左眼图像的白的欠缺程度，而可以得到图像分离性能。图85右端的曲线表示测定结果的例子。另外，由于该测定几乎和测定莫尔条纹的浓淡等价，故即使通过以能观察图86所示的莫尔条纹的距离，取入莫尔条纹图像，分析其浓淡，也可以测定图像分离性能。

在眼镜式立体显示装置等中也同样，通过测定漏光而可以测定图像分离性能。另外，实际上，将使左右两方图像全黑时的测定值作为背景而加进计算也可以。此外，图像分离性能可以由多数观察者等级附加评价的平均值来决定。

这样，由于可以对立体显示装置的图像分离性能提供客观的数值等的判断基准，故例如，只要知道用户保有的图54的立体显示装置450的等级和用户相对该立体显示装置450的的适当视差，就可以变换适当视差，以符合其他的立体显示装置440的等级。另外，在立体显示装置中也有画面尺寸、像素间隔、最佳观察距离等成为固有值的参数，这些参数的信息也利用于适当视差的变换。

下面，对适当视差的变换例，利用图87和图88按照每一个参数顺序进行说明。在此，适当视差由N/L和M/L来保持。在此，M是近位置界限视差、N是远位置界限视差、L是画面尺寸。这样，通过以比值来表示，而可以无视立体显示装置间的像素间隔的不同。因此，在下面使用的图中，为了说明方便，而作为像素间隔相同来进行说明。

首先，说明相对画面尺寸不同的变换。如图87所示，优选以不管画面尺寸如何而不改变视差的绝对值的方式进行处理。即，使前后方向的立体表现范围相同。如从图上侧所示状态到图下侧所示的状态那样，使画面尺寸变为a倍。此时，通过使N/L变换为N/(aL)，使M/L变换为M/(aL)，从而即使在画面尺寸不同的情况下，也可以实现适当视差。在图87中表示最近位置点的例子。

其次，说明相对观察距离不同的变换。如图88所示，优选如果最佳观察距离d变为b倍，则视差的绝对值也变为b倍。即一定保持眼睛估计视差的角度。因此，通过使N/L变换为bN/L、M/L变换为bM/L，则即使在最佳观察距离不同的情况下，也可以实现适当视差。在图88中表示最近位置点的例。

最后，对加进图像分离性能因素的方法进行说明。在此，假设图像分离性能的等级r为0以上的整数，越是不能附加视差的、性能不好的为0。并且，假设第一立体显示装置的图像分离性能为r0、第二立体显示装置的图像分离性能为r1，则作为c＝r1/r0，将N/L变换为cN/L、M/L变换为cM/L。由此，即使在图像分离性能不同的立体显示装置中也可以实现适当视差。另外，这里表示的导出c的公式是一例，也可以利用其他数学公式导出。

如果全部进行上述处理，则其结果N/L变换为bcN/(aL)、M/L变换为bcM/(aL)。而且，该变换可以应用在水平方向的视差和垂直方向的视差的任一中。另外，上述适当视差的变换可以用图52、图53和图54所示的构成来实现。

另外，基本表现空间的前面和背面可以利用Z缓冲器来决定。Z缓冲器是以阴面处理的方法，获得从相机看到的目标群的深度图像。可以将该Z值以外的最小值和最大值作为最前面、最后面的位置来利用。作为处理，追加从假想相机取得Z值的处理。在该处理中由于不需最终的分辨率，故若减少像素数而进行处理，则可以缩短处理时间。利用该方法，可以无视被隐藏的部分，而有效利用适当视差范围。另外，即使有多个目标，也容易处理。

再有，视差控制部114可以在由三维数据生成立体图像时，为了生成视差图像而设定的相机配置相关的参数有变更的情况下，控制所述相机参数，以便将对所述相机参数的变动收纳在预先设置的阈值之内。另外，视差控制部114在由提供深度信息的二维动态图像生成立体图像时，进行控制，以使伴随二维动态图像进展而产生的、包含在深度信息内的最大值或最小值的变动收纳在预先设置的阈值之内，也是可以的。利用在这些控制中的阈值可以保持在视差信息保持部120内。

在由三维数据生成立体图像时，如果从视界内存在的目标决定基本表现空间，则由于目标的急速移动或进入屏幕、离开屏幕，基本表现空间的大小急剧变化，从而相机配置相关参数有大的变动。在该变动大于预先决定的阈值的情况下，将阈值作为限度许可变动，也是可以的。另外，即使在由提供深度信息的二维动态图像来生成立体图像时，如果从深度的最大值或最小值来决定视差量的最大值或最小值，也考虑同样的不便。也可以对该变动设置阈值。

根据本实施方式，有如下效果。

1.可以生成或显示容易适合人体生理的立体图像。

2.即使改变显示对象图像，也可以生成或显示容易适合用户的立体图像。

3.可以以简单的操作调整立体显示的立体感。

4.在制作能进行适当的立体显示的内容或应用程序时，可以减轻程序设计者的时间和劳力。

5.可以减轻用户的最佳化立体显示的时间和劳力。

6.通常，可以容易实现：不成为即插即用功能的对象的立体感调整或标题跟踪信息；如后付的视差阻挡层，对原理上不能即插即用的装置也同样。

(工业上的可利用性)

如上所述，本发明可以利用在立体图像处理方法和立体图像处理方法装置等中。

Claims (20)

1.一种立体图像处理装置，其特征在于，包括：

以用户针对立体显示图像的响应为基础调整立体感的立体感调整部；

保存以立体感调整部确定的适当视差的视差信息保持部；

从视差信息保持部读出适当视差，根据原始数据生成具有适当视差的视差图像的视差控制部；

具有取得显示装置的硬件信息，并取得立体显示的方式的功能的信息取得部；和

以信息取得部所取得的信息为基础，变更视差控制部中所生成的视差图像的形式的格式变换部，

所述立体感调整部包括：

取得用户对以对应于不同视差的多个视点图像为基础而进行显示的立体图像的响应的指示取得部；和

以所取得的响应为基础，确定其用户相关的适当视差的视差确定部。

2.根据权利要求1所述的立体图像处理装置，其特征在于，所述视差控制部实施处理，以便在其他图像显示时也可以实现所述确定适当视差。

3.根据权利要求2所述的立体图像处理装置，其特征在于，所述其他图像是以三维数据为起点生成的立体图像，所述视差控制部按照所述适当视差决定生成其立体图像的多个视点。

4.根据权利要求3所述的立体图像处理装置，其特征在于，所述视差控制部决定所述多个视点间的距离和从那些视点估计目标的光轴的交叉位置。

5.根据权利要求2～4中任一项所述的立体图像处理装置，其特征在于，所述视差控制部对成为显示对象的规定的基本三维空间进行控制，以便实现所述适当视差。

6.根据权利要求2～4中任一项所述的立体图像处理装置，其特征在于，所述视差控制部对基本三维空间中的最近位置的目标坐标和最远位置的目标坐标进行控制，以便实现所述适当视差。

7.根据权利要求2所述的立体图像处理装置，其特征在于，所述其他图像是已经赋予视差的多个二维图像，所述视差控制部按照所述适当视差，来决定那多个二维图像的水平方向的移位。

8.根据权利要求2所述的立体图像处理装置，其特征在于，所述其他图像是已经赋予深度信息的平面图像，所述视差控制部按照所述适当视差，调整该平面图像的深度信息。

9.根据权利要求2～4中任一项所述的立体图像处理装置，其特征在于，还包括记录所述适当视差的视差保持部，所述视差控制部在规定定时内读出所述适当视差，并将该值作为初始值来实施所述处理。

10.根据权利要求1所述的立体图像处理装置，其特征在于，还包括：

从用户接受包含在所述立体图像内的规定目标指定的目标指定部；和

光轴交叉位置设定部，其使将所述多个视点图像分别加以关联的光轴交叉位置，对应于指定目标的位置，同时，以所述指定目标表现在所述立体图像所显示的显示画面位置附近的方式设定所述光轴交叉位置。

11.根据权利要求10所述的立体图像处理装置，其特征在于，

所述指定目标具有规定的界面，

所述光轴交叉位置设定部使所述光轴交叉位置对应于所述界面上。

12.根据权利要求10或11所述的立体图像处理装置，其特征在于，还包括指定信息附加部，其针对所述指定的目标，将其目标和所述光轴交叉位置加以对应，且将记述所述目标表现在显示画面位置附近的意思的光轴对应信息与所述目标加以关联。

13.根据权利要求12所述的立体图像处理装置，其特征在于，光轴交叉位置设定部取得所述光轴对应信息，相对于记述在所取得的光轴对应信息内的目标，使所述光轴交叉位置对应，同时，将加以对应了所述光轴交叉位置的目标表现在所述立体图像被显示的显示画面位置附近。

14.根据权利要求1所述的立体图像处理装置，其特征在于，还包括：

识别信息取得部，其取得与生成所述立体图像时所利用的图像数据相关联，且包括是否应该在包含所述立体图像所含目标中应立体显示目标的基本表现空间内表现的信息的识别信息；和

以所述所取得的识别信息为基础，使视差量反映在目标上的视差控制部。

15.根据权利要求1所述的立体图像处理装置，其特征在于，所述视差控制部进一步进行控制，以使视差不会比表现在所述立体图像内的目标的宽度与深度之比被人类眼睛正确感知范围内的视差还大。

16.根据权利要求1所述的立体图像处理装置，其特征在于，还具有：

在输入成为所述立体图像起点的原始数据时，设定用于生成多个视点图像的多个假想相机的配置的相机配置设定部；

判定在与所述假想相机分别对应生成的视点图像中是否产生不存在应显示的目标信息的区域的目标区域判定部；和

产生不存在应显示的目标信息的区域的情况下，调整所述假想相机的视场角、相机间隔、和光轴交叉位置的至少任一个，以便消除目标信息不存在的区域的相机参数调整部。

17.根据权利要求2所述的立体图像处理装置，其特征在于，在所述立体图像为以三维数据为起点而生成的情况下，所述视差控制部在生成所述立体图像之际，在为生成视差图像而设定的相机配置相关参数被变更的情况下，控制相机参数，以使其收纳在相对所述参数变动预先设置的阈值内。

18.根据权利要求2所述的立体图像处理装置，其特征在于，在所述立体图像为以赋予了深度信息的二维动态图像为起点而生成的情况下，所述视差控制部进行控制，以使伴随所述二维动态图像的进展而产生的包含在所述深度信息内的深度最大值或最小值的变动收纳在预先设置的阈值内。

19.根据权利要求1所述的立体图像处理装置，其特征在于，还具有以一个场景为单位分析所述立体图像的图像判定部。

20.一种立体图像处理方法，其特征在于，包括：

以用户针对立体显示图像的响应为基础调整立体感的立体感调整步骤；

保存以立体感调整步骤特定的适当视差的视差信息保持步骤；

读出所述视差信息保持步骤中所保存的适当视差，根据原始数据生成具有适当视差的视差图像的视差控制步骤；

取得显示装置的硬件信息，并取得立体显示的方式的信息取得步骤；和

以所述信息取得步骤中取得的信息为基础，变更视差控制步骤中所生成的视差图像的形式的格式变换步骤，

所述立体感调整步骤包括：

向用户显示由不同视差而产生的多个立体图像的步骤；和

以用户相对被显示的立体图像的响应作为基础，确定其用户相关的适当视差的步骤。

Images