CN101208960A - 立体图像生成设备和程序 - Google Patents

Abstract

在根据本发明的立体图像生成设备中，获取装置11连续地获取在时间线上排列并构成内容项目的多个原始图像Ga。计算装置12根据由获取装置11所获得的原始图像Ga中的中包括的多个像素的像素值计算第一图像特征值Ng。存储设备21存储项目文件Fp，根据该项目文件Fp，构成所述内容项目的原始图像Ga的图像特征值Nf分别与用于从原始图像Ga生成立体图像Gb的立体参数关联。检索装置13将由计算装置12根据特定原始图像Ga计算出的图像特征值与存储在存储设备21中的每一个图像特征值Nf进行比较，根据比较结果，检索所述特定原始图像的立体参数。立体成像装置14基于由检索装置13检索到的所述立体参数从每一个原始图像Ga生成立体图像Gb。

Description

立体图像生成设备和程序

技术领域

本发明涉及用于生成被观察者感觉为三维图像的图像的技术。

背景技术

当两个图像之间有视差时，如果观察者在观察这两个图像时左眼盯着这两个图像中的一个图像而右眼盯着另一个图像，则两个图像可以感觉为单个的三维图像。有人推出了用于从平面图像生成一对在两者之间具有这种视差的图像(该对图像以下简称为一个“立体图像”)的技术(例如，请参见专利文件1)。根据这些技术，通过基于由观察者感觉到的诸如深度等等之类的各种参数(下面简称为“立体参数”)，对平面图像进行预先确定的处理(下面简称为“立体处理”)，生成立体图像。这些技术也可以应用于再现其中在时间线上连续地布置了多个图像的活动图像的情况。即，如果从构成活动图像的相应的图像连续地生成立体图像，则可以再现具有三维效果的电影。

[专利文件1]

JP-A2002-123842(段落0033和图7)

发明内容

多个图像中包括的物体的位置和深度在不同的图像之间是不同的。因此，理想的情况是，应该根据用来生成立体图像的平面图像的内容，分别地为每一个平面图像选择用于生成立体图像的立体参数。常常有产生包含诸如电影等等之类的各种内容项目的诸如DVD(数字通用光盘)之类的记录介质的情况。在希望用于此情况的方法中，预先为构成内容项目的每一个图像选择立体参数，并且也预先存储在记录介质中，立体参数与对应的图像关联。当播放记录介质时，基于立体参数，连续地从构成内容项目的相应的图像生成立体图像。然后，用户可以体验到与相应的图像的内容最佳地匹配的天然的三维效果。

然而，利用此方法，可作为立体图像再现的内容项目只是那些在产生记录介质时(当内容项目被写入到记录介质中时)与关联的立体参数一起存储的内容项目。自然，立体参数不会记录在以传统方式封装的记录介质上，因为这些记录介质在产生时只假设将内容项目作为平面图像再现的情况。因此，这样的内容项目不能作为立体图像来再现。作为解决此问题的措施，可以考虑这样的方式：分开地提供为构成内容项目的每一个图像设置的立体参数，并基于立体参数来再现内容项目。然而，甚至在此情况下，构成内容项目的图像也不能始终与为图像设置的立体参数关联。结果，在某些情况下不能正确地生成立体图像。即，只有在从第一个图像按照图像排列的顺序连续地再现构成内容项目的图像的情况下，通过按照图像的排列顺序连续地拾取并应用立体参数，才能再现最佳的立体图像。然而，如果用户进行了操纵(如快进或倒退)而改变内容项目的再现开始的开始点，则在改变开始点之后不再能为图像正确地指定立体参数。结果，存在这样的问题：记录在以传统方式封装的记录介质上的内容项目难以作为适当的立体图像来再现，因为记录介质是以只作为平面图像来再现内容项目为目的而产生的。

本发明是在考虑到上文所描述的情况的背景下作出的，旨在甚至在再现不与立体参数相关的内容项目的情况下通过向图像应用最佳立体参数来再现逼真的立体图像。

为解决上文所描述的问题，根据本发明的一个方面的立体图像生成设备包括：连续地获取在时间线上排列并构成内容项目的多个原始图像的获取装置；计算装置，用于根据由所述获取装置所获得的所述多个原始图像中的一个原始图像中包括的多个像素的像素值计算第一图像特征值；存储装置，用于存储所述多个原始图像的第二图像特征值和用于从所述原始图像生成立体图像的立体参数，所述第二图像特征值分别与立体参数关联；检索装置，用于将由所述计算装置根据特定原始图像计算出的第一图像特征值与存储在所述存储装置中的所述第二图像特征值中的每一个进行比较，基于比较结果，检索所述特定原始图像的立体参数；以及立体成像装置，用于基于由所述检索装置检索到的所述立体参数从所述特定原始图像生成立体图像。

根据上文所描述的配置，构成内容项目的原始图像的第二图像特征值和从所述原始图像生成的立体参数存储在所述存储装置中，所述第二图像特征值和立体参数彼此关联。另一方面，可以基于将由所述获取装置所获得的内容项目中包括的特定原始图像的第一图像特征值与存储在所述存储装置中的所述第二图像特征值进行比较的结果，检索立体参数。因此，即使构成要再现的所述内容项目的所述原始图像不预先与立体参数关联，也可以将最佳的立体参数分别应用于所述内容项目的所述原始图像。相应地，可以生成逼真的立体图像。

在本发明中，“像素值”是表示由一个像素显示的内容的数值(如渐变梯级或亮度)。在由多种颜色(例如，红色、绿色和蓝色)表达的彩色图像的情况下，可以将诸如表示色调的铬黄和亮度之类的各种值设置为多种颜色中的每一种颜色的像素值。还是在本发明中，每一个“图像特征值”都被定义为根据构成内容项目的每一个原始图像中包括的多个像素的像素值计算出的数值。可以通过任何一种方法根据像素来计算图像特征值。例如，在可用的配置中，通过将多个像素的像素值相加，或通过将多个像素的像素值替代到预先确定的函数中来计算图像特征值。可以从构成内容项目的每一个原始图像中适当地选择基于图像特征值的计算的多个像素。具体来说，在可用的配置中，可以根据构成内容项目的每一个原始图像中的所有像素的像素值来计算图像特征值，也可以从多个像素(这些像素是从构成内容项目的每一个原始图像中适当地选择的)的像素值中选择。例如，根据属于构成内容项目的每一个原始图像中的特定区域(例如，矩阵中的多个像素中的特定行或列的像素)的多个像素来计算第一图像特征值。再一个可用的配置是，一个原始图像被划分成多个区域，根据属于对应的一个区域的像素的像素值，计算每一个区域的第一图像特征值。在此情况下，存储装置分别存储构成内容项目的每一个原始图像所划分的多个区域的第二图像特征值，该特征值与对应的一个原始图像的立体参数关联。另一方面，分别对于原始图像的多个区域，检索装置将由计算装置计算出的第一图像特征值与存储在存储装置中的第二图像特征值进行比较，从而检索与特定原始图像关联的立体参数。根据此示范性实施例，可以改善检索立体参数的精确度。进一步在此示范性实施例中，对于一个原始图像所划分的多个区域中的每一个区域，计算装置计算取决于属于多个区域中的对应的一个区域的像素的像素值的数值。此外，此示范性实施例还可以采用这样的配置：作为区域的第一图像特征值，计算表达彼此相关的数值的相对值。

在本发明的示范性实施例中，计算装置计算第一图像特征值的方法和计算存储在存储装置中的第二图像特征值的方法是彼此通用的。在此情况下，可以通过检索等于第一图像特征值的第二图像特征值的简单的过程来检索立体参数。自然，计算第一和第二图像特征值的两种方法也不必彼此相同。如果这两种方法不相同，则可以通过这样的配置来检索特定原始图像的立体参数：检索装置检索与其中一个第二图像特征值(该图像特征值与由计算装置计算出的第一图像特征值最接近)关联的立体参数，或这样的配置：检索装置检索与其中一个第二图像特征值(该图像特征值与由计算装置计算出的第一图像特征值具有预先确定的关系)关联的立体参数。

在本发明中，为其计算第一图像特征值的“特定原始图像”可以是从构成内容项目的多个原始图像中任意选择的。例如，可以根据构成内容项目的所有原始图像中的每一个来计算第一图像特征值，所有原始图像分别被视为“特定原始图像”。或者，计算原始图像，它们是以预先确定的间隔从构成内容项目的多个原始图像中选择的，可以分别被视为“特定原始图像”，它们是要经过第一图像特征值的计算的对象。现在存在这样的情况：多个原始图像的立体参数存储在存储装置中，其排列顺序与多个原始图像的排列顺序相同(即，存储装置这样进行存储，以便可以连续地按与原始图像的排列顺序相同的顺序读出立体参数)。在此情况下，如果从原始图像的第一图像特征值指定任何原始图像的立体参数，则随后的原始图像的立体参数连续地被指定为指定的立体参数之后的立体参数。因此，不是那么频繁地需要为所有原始图像计算第一图像特征值。在本发明的所希望的示范性实施例中，存储装置按照排列多个原始图像的顺序存储多个原始图像中的相应的原始图像的立体参数。检索装置从存储装置中检索特定原始图像的立体参数，还连续地检索该特定原始图像后面的原始图像的立体参数。立体成像装置基于由检索装置连续地检索到的立体参数，从该特定原始图像后面的原始图像中生成立体图像。

然而，如果从第一原始图像按预期的顺序再现内容项目，存储在存储装置中的立体参数只需要与原始图像的排列顺序关联。在此情况下，不是那么频繁地需要为所有原始图像计算图像特征值。同时，如果根据由用户输入的指令改变内容项目的播放点(例如，有关内容项目的快进或倒退的指令)，存在这样的可能性：不能判断是否应该从存储装置中读取位于对应于已改变的播放点的位置的原始图像任何一个立体参数。在本发明的另一个所希望的示范性实施例中，如果改变内容项目的播放点，则检索装置检索有关位于对应于已改变的播放点的位置的原始图像的立体参数。根据此示范性实施例，为位于对应于由用户改变的播放点的位置原始图像计算第一图像特征值(例如，紧随在快进或倒退之后再现的原始图像)。因此，可以指定相应的原始图像的立体参数，并将其用于生成立体图像，不管由用户进行的操作如何。换句话说，只有在用户输入了改变播放点的指令的情况下，才需要进行第一图像特征值的计算，并基于该值检索立体参数。因此，与对于所有原始图像执行所描述的处理的配置相比，可以更加有效地缩小处理负载。

取决于构成内容项目的每一个原始图像的内容(例如，像素的像素值)，存在这样的情况：根据多个原始图像计算出的第一图像特征值彼此通用。这会导致这样的情况：不能只为特定原始图像的一个第一图像特征值唯一地指定一个立体参数，例如，为计算装置根据特定原始图像计算出的一个第一图像特征值分别检索不同的多个立体参数。在此情况下，考虑到了特定原始图像后面的相应的原始图像的第一图像特征值，以便获取特定的和后面的原始图像的立体参数。即，在本发明的所希望的示范性实施例中，存在这样的情况：为由计算装置根据特定原始图像计算出的第一图像特征值检索分别与不同原始图像关联的多个立体参数。在此情况下，通过将计算装置为特定原始图像后面的原始图像计算出的第一图像特征值与存储在存储装置中的第二图像特征值进行比较，固定与特定原始图像和该特定原始图像后面的原始图像关联的立体参数。

如果为多个原始图像的第一图像特征值检索立体参数，如上文所描述的，在检索装置固定地确定立体参数之前，立体成像装置不能正确地生成立体图像。可以有这样的配置：在固定地确定立体参数之前，基于已经为任何其他原始图像指定的立体参数，进行立体处理。然而，在此配置中，存在这样的可能性：不能从特定原始图像和该特定原始图像后面的原始图像生成具有正确的立体效果的立体图像。在本发明的所希望的示范性实施例中，存在这样的情况：为由计算装置根据特定原始图像计算出的一个第一图像特征值检索分别不同的多个立体参数。然后，立体成像装置停止生成立体图像，直到由所述检索装置固定地确定与所述特定原始图像的和所述特定原始图像后面的原始图像关联的所述立体参数。根据此示范性实施例，只有在固定地确定立体参数之后，才使用与所述特定原始图像和后面的原始图像关联的立体参数，来生成立体图像。因此，可以从所述特定原始图像和后面的原始图像生成具有最佳立体效果的立体图像。

还有另一个适用的配置，其中，通过除特定原始图像的第一图像特征值之外还参考另一个索引，来检索每一个原始图像的立体参数。例如，本发明的所希望的示范性实施例配备有用于将由所述获取装置所获得的多个原始图像划分为多个组的划分装置。同时，存储装置存储被划分成多个组的多个记录，所述多个记录分别包括原始图像的第二图像特征值和原始图像的立体参数。如果为由所述计算装置从特定原始图像计算出的第一图像特征值，检索分别与不同原始图像关联的多个立体参数，那么，所述检索装置将所述获取装置划分的所述多个组中的一个组中的原始图像的总数，与和存储在所述存储装置中的每一组的记录关联的原始图像的总数进行比较。从而基于比较结果，检索到与所述特定原始图像所属的一个组关联的立体参数。根据此示范性实施例，除第一图像特征值之外，还基于属于每一个组的原始图像的总数，检索每一个原始图像的立体参数。因此，与只基于第一图像特征值检索立体参数的配置相比，可以提高检索精确度。稍后在第三个实施例中描述此示范性实施例的具体示例。如此，示范了根据属于每一个组的原始图像的总数来检索立体参数的示范性实施例。然而，在本发明中，除用于检索立体参数的图像特征值之外要引用的索引不仅限于如上文所描述的索引。

根据本发明的另一个方面的立体图像生成设备可以作为诸如专用于进行图像处理的DSP(数字信号处理器)之类的硬件构成，也作为与诸如个人计算机之类的计算机配合工作的程序来构成。该程序使计算机执行下列步骤：连续地获取在时间线上排列并构成内容项目的多个原始图像的获取过程；根据由所述获取过程所获得的所述多个原始图像中的一个原始图像中包括的多个像素的像素值计算第一图像特征值的计算过程；从存储所述多个原始图像的第二图像特征值和用于从所述多个原始图像生成立体图像的立体参数的存储装置，检索由与由所述计算过程计算出的所述第一图像特征值关联的立体参数的检索过程，所述第二图像特征值分别与立体参数关联；以及基于由所述检索过程检索到的所述立体参数，从特定原始图像生成立体图像的立体处理过程。根据此程序，也可以获得如上文所描述的相同的功能和效果。根据本发明的程序被作为记录在诸如CD-ROM之类的便携式记录介质上并安装到计算机中的程序提供给用户。或者，该程序通过网络从服务器设备分布，并安装到计算机中。

附图说明

图1是显示了根据本发明的第一个实施例的立体图像生成设备的结构的方框图；

图2是具体显示了立体处理的内容的流程图；

图3是用于说明基于立体参数校正深度值的处理的内容的图形；

图4是用于说明平均处理的内容的视图；

图5显示了项目文件的内容；

图6显示了当从服务器设备获取项目文件时显示出的文件选择屏幕的内容；

图7是显示了控制器的功能配置的方框图；

图8显示了由控制器执行的处理流程；

图9是显示了由检索装置执行的处理的内容的流程图；

图10是显示了包括具有相等的图像特征值的多个记录的项目文件的示例的表；

图11是用于说明根据本发明的第二个实施例的第一示范性实施例中的计算图像特征值的方法的视图；

图12是显示了项目文件的内容的表；

图13是显示了第一示范性实施例中的项目文件的另一个示例的表；

图14是用于说明根据本发明的第二个实施例的第一示范性实施例中的计算图像特征值的方法的视图；

图15是用于说明根据本发明的第二个实施例的第二示范性实施例中的计算图像特征值的另一种方法的视图；

图16是显示了根据本发明的第二个实施例的第三示范性实施例中的项目文件的内容的表；

图17显示了构成一个内容的多个原始图像如何被划分成组；

图18是显示了根据第三个实施例的项目文件的内容的表；

图19是显示了控制器的另一个功能配置的方框图；

图20是显示了由检索装置执行的处理的另一个内容的流程图；

图21是显示了包括具有相等的图像特征值的多个记录的项目文件的示例的表；

图22是根据本发明的修改方案的项目文件的示例的表；以及

图23是根据本发明的修改方案的项目文件的另一个示例的表。

附图标记的说明

D......立体图像生成设备，10......控制器，11......获取装置，

12......计算装置，13.....检索装置，14......立体成像装置，

16......划分装置，21......存储设备，24......通信部分，

26......A/D转换器，28......输入设备，31......再现设备，

32......再现设备，38......连接器，301......DVD，302......录像带，

33......输入设备，41......显示设备，45......记录介质，

51......通信网络，52......服务器设备，Ga......原始图像，

Gb......立体图像，Pix......像素，PGM......图像处理程序，Fp......项目文件，R......记录，Nf......项目文件中包括的图像特征值，P，P1......参数组，Ng......计算装置计算出的图像特征值

具体实施方式

A：第一个实施例

图1是显示了根据本发明的第一个实施例的用于生成立体图像的设备的结构的方框图。如该图所示，立体图像生成设备D具有控制器10、连接到控制器的存储设备21、通信部分24、A/D(模拟到数字)转换器26，以及连接器38。控制器10连接到输入设备28、再现设备31，以及显示设备41。 A/D转换器26具有连接到再现设备32的输入端。

再现设备31连续地将记录在DVD 301上的图像数据读出到控制器10。同时，再现设备32连续地读出并输出记录在录像带302上的图像数据。从再现设备32输出的图像数据被A/D转换器26转换为数字数据，并输入到控制器10。在DVD 301和录像带302中，图像数据是作为分别表达多个图像(它们位于时间线上，构成了诸如电影之类的一个或多个内容项目)的多个图像数据集(下文简称“原始图像”)存储的。图像数据集表达从再现设备31和32输出的原始图像。每一个图像数据集都由为构成对应的原始图像的多个像素指定像素值的数据构成。在此实施例中，假设表达像素的红色、绿色，以及蓝色渐变梯级被用来指定像素值。

用户可以通过操纵输入设备33适当地控制再现设备31或32。随着用户操纵输入设备33给出再现内容项目的指令，再现设备31或32从第一个原始图像按照对应的原始图像的排列顺序输出图像数据集。如果在再现过程中用户操纵输入设备33以给出快进或倒退指令，那么，再现设备31或32从位于对应于通过指令改变的播放点的位置的原始图像输出表达原始图像的图像数据集。如此，当输入改变播放点的指令时，再现设备31或32向控制器10输出命令改变播放点的信号(下面简称为“播放点改变信号”)Sp。

控制器10是用于控制立体图像生成设备D的相应的组件的装置。控制器10包括：用于执行程序的CPU(中央处理单元)；用于存储由CPU执行的程序的ROM(只读存储器)；以及被用作CPU的工作区的RAM(随机存取存储器)。控制器10执行各种计算，并根据程序对相应的组件进行控制，以执行各种功能。输入设备28具有多个按键，用于输入字符和符号，并根据用户进行的操作输出信号。然而，一个单个的输入设备可以被配置为操纵再现设备31或32两者和立体图像生成设备D。

存储设备21是用于存储由控制器10执行的程序和用于执行程序的各种数据的装置。例如，包括磁盘的硬盘设备，或包括便携式记录介质(通常是CD-ROM)的磁盘设备，可以用作存储设备21。存储设备21不仅存储用于控制整个立体图像生成设备D的操作的OS(操作系统)，还存储应用程序(下面简称为“图像处理程序”)PGM，用于表达原始图像的图像数据集生成立体图像，而原始图像是从再现设备31或32提供到立体图像生成设备D。每一个立体图像都是从两个图像合成的合成图像，在这两个图像中，其中一个是由用户的右眼看到的(下面简称为“右图像”)，而另一个是由用户的左眼看到的(下面简称为“左图像”)。在左图像和右图像之间存在视差。具体来说，这些图像中的每一个图像是通过将构成原始图像中包括的物体的像素移动取决于物体的深度的量(下面简称为“像素位移”)而获得的。

由显示设备41显示控制器10所生成的立体图像。显示设备41是用于在控制器10的控制之下显示各种图像的装置，并包括，例如，CRT(阴极射线管)或液晶显示面板。此实施例中的显示设备41这样显示立体图像：只使用户的右眼看见构成立体图像的右图像，以及只使左眼看见也构成立体图像的左图像。为实现这样的显示提出了各种方法。例如，在一个这样的方法中，观察者戴着一副以互补色填色的眼镜(左侧透镜和右侧透镜具有不同颜色)或一副偏振眼镜(其中，左右透镜覆盖着具有不同偏振轴的偏振板)。在另一种方法中，观察者的视野部分地被诸如双面凸透镜或视差挡板之类的机制遮蔽。如此，作为观察者的用户用右眼看见右图像，用左眼看见左图像，以便用户可以取决于物体的像素位移，感觉到原始图像中包括的物体的深度。

由控制器10从原始图像生成的立体图像的特征是根据为原始图像设置的立体参数确定的。在描述构成立体图像生成设备D的单个组件之前，将专门引用单个立体参数的含义，将描述用于从原始图像生成立体图像的处理(下面简称为“立体处理”)的内容。图2是显示了立体处理的具体内容的示例的流程图。通过执行图像处理程序PGM来启动立体处理。然后，控制器10基于表达原始图像的图像数据集，计算每一个像素的深度值(Z值)(步骤Sa1)。深度值是基于像素位移的判断的数值。在此实施例中，按如下方式计算深度值。表示每一个像素的红色、绿色和蓝色渐变梯级的数值(像素值)分别乘以预先确定的系数。然后，将乘法的结果相加在一起，获得一个深度值。下面的描述假设将每一个深度值表达为8比特值，以便每一个深度值都在从“0”到“256”的总共256个数值范围内。

随后，控制器10执行校正在步骤Sa1中计算出的深度值的过程，以便对立体图像有影响的立体效果呈现得更加逼真(步骤Sa2到Sa5)。图3按步骤地显示了根据此校正过程得深度值的变化的状态。在该图中，沿着水平轴表达存在于一行中像素的位置(例如，位于显示设备41的显示屏幕上得横向的像素)。沿着垂直轴表达像素的深度值。图3A显示了在步骤Sa1中计算出的深度值。

如果在原始图像中的相邻的像素的深度值之间存在非常大的差，则由用户感觉到的立体图像的质量可能会变差。因此，控制器10执行用于平均在步骤Sa1中计算出的深度值的过程(步骤Sa2)。具体来说，如图4所示，控制器10将原始图像Ga中包括的每一个像素Pix的深度值改变为属于单位区域(下面简称为“矩阵区域”)Am(该Am被定义为以便包括矩阵区域的左上角处的像素Pix)的像素深度值的平均值。作为此过程的结果，如图3B所示，原始图像Ga中的每个相邻的像素Pix的已改变的深度值之间的差小于在步骤Sa1中计算出的深度值之间的差。矩阵区域Am的大小Sm(下面简称为“矩阵大小”)被表示为一个立体参数。矩阵大小Sm越大，计算每一个平均值所引用的像素就越多。相应地，相邻像素Pix之间的差相对来说会缩小(例如，该差表达每一个像素Pix移动的量)，结果，由用户感觉到的立体效果会降低。相反，矩阵大小Sm越小，计算每一个平均值所引用的像素就越少。相应地，相邻像素Pix之间的差相对来说会缩小，结果，由用户感觉到的立体效果会降低。即，矩阵大小Sm是确定由看见立体图像的用户感觉到的立体效果的放大率的立体参数。

同时，一个像素Pix是表达立体图像中的每一个像素位移的最小单位。因此，假设，每当深度值增大“1”；相关的像素位移也会作为最小单位增大一个像素Pix。根据此假设，当深度值以“255”作为最大值时，相关像素位移相当于256个像素Pix。然而，如果像素位移太大(例如，在显示设备41的显示屏幕上8毫米或更大)，则在某些情况下，看到立体图像的用户会感到眼睛疲劳，作为将左右图像识别为彼此独立的图像的结果，不能感觉到立体效果。为解决此问题，此实施例被配置为执行将在步骤Sa2中计算出的像素的深度值近似为分别代表多个级别的预估值的过程(下面简称为“量化过程”)(步骤Sa3)。具体来说，控制器10将在步骤Sa2中计算出的每一个像素Pix的深度值除以一个特定值(下面简称为“舍入系数”)MK。该除法的结果被四舍五入到一个整数，该整数被进一步乘以同一个舍入系数MK。结果，每一个像素Pix的深度值被近似于相当于舍入系数MK的整数倍的数值。相应地，舍入系数MK被视为表示深度值将被近似到的预估值之间的间隔的立体参数。此实施例中的可用的舍入系数MK是通过将在步骤Sa1中计算出的深度值之中的最大值(在此示例中为“255”)除以物深Ob而获得的数值的不可分割的部分。物深Ob是表示在中计算出的深度值的级别的数量的立体参数。如上文所描述的，像素位移被分类的级别的数量与深度值被分类的级别的的数量成正比。因此，可以说物深Ob是表示当用户看见立体图像时用户感觉到的最深的位置和前端位置之间的间隔的大小的立体参数。

在量化过程之后，控制器10执行将每一个像素Pix的深度值限制在特定范围内的值的过程(步骤Sa4)。即，如果在步骤Sa3中计算出的任何像素Pix的深度值大于上限Du，则控制器10将相关的像素Pix的深度值改变为上限Du。另一方面，如果任何像素Pix的深度值小于下限Dl，则控制器10将相关的像素Pix的深度值改变为下限Dl。上限Du和下限Dl也是立体参数。此外，控制器10还将通用数值(下面简称为“范围深度”)Dc与经过步骤Sa4的每一个像素Pix相加(步骤Sa5)。视野深度Dc是表示在整个原始图像Ga上共同反射的深度的立体参数。即，物深Ob(或舍入系数MK)指定在用户可以感觉到的最深的位置和前端位置之间定义的范围。相比之下，范围深度Dc指定整个范围的总深度。

如此，完成了校正深度值的过程。然后，控制器10基于相应的像素Pix的深度值生成立体图像(步骤Sa2)。即，原始图像Ga中包括的每一个像素Pix在水平方向移动对应于像素Pix的深度值的量，从而形成了左右图像。通过合成两个图像，生成了立体图像。如此，上文具体描述了立体处理的内容。根据本发明，用于生成立体图像的处理的内容或在每一个处理过程中使用的立体参数的配置当然不仅限于上文所示范的这些。

图1所示的存储设备21存储涉及不同内容项目的多个项目文件Fp。每一个项目文件Fp都指定诸如矩阵大小Sm、物深Ob等等之类的多个立体参数的组(下面简称为“参数组”)，组是分别为构成一个内容项目的原始图像Ga指定的。即，控制器10执行生成立体图像的立体处理，以便对构成由再现设备31或32正在再现的一个内容项目的原始图像Ga分别应用由对应于正在再现的项目文件Fp为原始图像Ga指定的参数组。使用户感觉到最佳立体效果的用于生成立体图像的立体参数，连续地随着每一个原始图像Ga的内容而改变。因此，项目文件Fp中的参数组中的立体参数被设置为每一个原始图像Ga的最佳值。

在只假设只从内容项目的开始处按预期的顺序再现内容项目的情况下，通过按照原始图像Ga连续地排列的顺序选择相应的原始图像Ga的参数组，可以生成最佳立体图像。然而，例如，如果通过用户的操作(如快进或倒退操作)改变内容项目的播放点，则不能只根据参数组的内容来指定要在改变播放点之后再现的原始图像Ga的参数组。即，不再能在构成内容项目的相应的原始图像Ga和在立体处理过程中要应用于相应的原始图像Ga之间实现正确的耦合(匹配)。为解决此问题，根据此实施例的项目文件Fp具有这样的数据结构：在立体处理过程中要应用于原始图像Ga的参数组分别与根据构成原始图像的像素的像素值计算出的数值(下面简称为“图像特征值”)关联。

具体来说，如图5所示，项目文件Fp具有这样的数据结构：按照应该再现原始图像Ga的顺序排列分别与内容项目的原始图像Ga关联的多个记录R。每一个记录R都包括：分配给构成内容项目的其中一个关联的原始图像Ga的标识符；为关联的原始图像Ga计算的图像特征值Nf；以及在关联的原始图像Ga的立体处理过程中要应用于关联的原始图像Ga的参数组P。根据此实施例，图像特征值Nf是表示构成一个原始图像Ga的全部像素Pix的像素值的总和的数值。在图5中，给标识符为“0001”的原始图像赋予了“1342”的图像特征值Nf。在要在立体处理过程中应用于此原始图像Ga的参数组P中，“23”和“124”分别被认为被指定为矩阵大小Sm和物深Ob。在此结构中，通过将原始图像Ga的图像特征值(Ng)与项目文件Fp中包括的图像特征值Nf进行比较，检索与从再现设备31或32输出的每一个原始图像Ga关联的记录R。检索到的记录R中包括的参数组P被指定为要对于关联的原始图像Ga的立体处理使用的参数组(稍后将描述此处理过程的细节)。从记录在DVD 301和录像带302上的内容项目分开地产生如上文所描述的项目文件Fp，然后，通过通信部分24和连接器28存储到存储设备21中。关于这一点，下面将进一步进行详细的描述。

图1所示的连接器38是，例如，根据USB(通用串行总线)标准的连接端口。连接器38连接到包括诸如EEPROM(电可擦可编程只读存储器)之类的半导体存储器的便携式记录介质(所谓的存储器卡)45。记录介质45记录了一个或多个项目文件Fp。当用户将记录介质45连接到连接器38时，控制器10读取记录在记录介质45上的多个项目文件Fp，并将项目文件写入到存储设备21中。作为备选配置，当控制器10执行立体处理过程时，可以直接读出并使用记录在记录介质45上的项目文件Fp。

通信部分24是用于通过诸如因特网之类的通信网络51与其他通信终端进行通信的装置。通信网络51连接到服务器设备52。服务器设备52是，例如，WWW(万维网)服务器，并存储分别与不同的内容项目关联的多个项目文件Fp。通信部分24在控制器10的控制之下，通过通信网络51进行通信，从服务器设备52接收项目文件Fp。下面将描述从服务器设备52获取项目文件Fp的过程。

通信部分24通过通信网络51对服务器设备52进行访问。然后，如图6示范性地显示的屏幕(下面简称为“文件选择屏幕”)411显示在显示设备41上。文件选择屏幕411用于使立体图像生成设备D的用户选择多个内容项目中的任何一个。文件选择屏幕411包括引用了分别与命令按钮B耦合的多个内容项目的标题的列表。用户通过操纵输入设备28来选择内容项目的命令按钮B。然后，服务器设备52在预先累积的多个项目文件Fp之中选择由用户选定的内容项目的项目文件Fp。服务器设备52将选定的项目文件Fp传输到通信网络51。通信部分24从通信网络51接收项目文件Fp。然后，由控制器10将由通信部分24接收到的项目文件Fp存储到存储设备21中。如此，上文描述了每一个项目文件的内容和获取项目文件的方法。

接下来，图7是显示了控制器10的功能结构的方框图。通过执行图像处理程序PGM，来执行该图所显示的相应的装置的功能。图7所示的获取装置11是用于获取表达从再现设备31或32输出的多个原始图像Ga的图像数据集的装置。如前面所描述的，再现设备31和32各自按照原始图像Ga的排列顺序连续地读取并输出图像数据集，原始图像数据集分别表达记录在DVD 301或录像带302上的原始图像Ga。因此，获取装置11按照原始图像Ga的排列顺序获取相应的原始图像Ga的图像数据集。由获取装置11所获得的原始图像Ga的图像数据集，被提供到计算装置12和立体成像装置14两者。

计算装置12是用于根据由获取装置11所获得的每一个原始图像Ga的图像数据集计算图像特征值Ng的装置。如前面所描述的，计算装置12计算图像特征值Ng所采用的方法与计算项目文件Fp的图像特征值Nf的方法相同。即，计算装置12通过将表达原始图像Ga的图像数据集的所有像素Pix的像素值相加，来计算原始图像Ga的图像特征值Ng。

同时，检索装置13是用于基于由计算装置12计算出的图像特征值Ng检索项目文件Fp中包括的多个参数组中的任何一个的装置。具体来说，检索装置13从项目文件Fp中检索等于由计算装置12为原始图像Ga计算的图像特征值Ng的图像特征值Nf。检索装置13进一步从存储设备21中读出与检索到的图像特征值Nf关联的参数组P，作为要应用于正在接受立体处理的原始图像Ga的参数组。此实施例的配置是，按照连续地排列多个原始图像Ga的顺序排列分别包括多个原始图像Ga的参数组P的记录R。相应地，如果基于与一个特定原始图像Ga关联的一个图像特征值Ng只指定了该特定原始图像Ga的一个参数组P，则当然可以指定已经指定的参数组P后面的参数组P，因为在项目文件Fp中，后面的参数组P也排列在该特定原始图像Ga的已经指定的参数组P的后面。因此，不必基于所有关联的图像特征值Ng来检索构成一个内容项目的所有原始图像Ga的参数组P。因此，此实施例被配置为，只检索几个特定原始图像Ga的参数组P(在某些情况下，下面也简称为“特定的图像Gs”)。具体来说，特定原始图像是构成内容项目的原始图像Ga的开头那些，紧随在播放点改变信号Sp之后由获取装置11获得的一个其他的原始图像Ga是从再现设备31或32输入的。

立体成像装置14是用于根据图2所示的过程生成立体图像Gb装置。立体成像装置14通过对由获取装置11所获得的每一个原始图像Ga执行立体处理，同时对每一个原始图像Ga应用由检索装置13所检索到的关联的参数组P的立体参数，生成表达每一个原始图像Ga的立体图像Gb的图像数据集。生成的图像数据集被输出到显示设备41，从而显示出立体图像Gb。

接下来，将描述此实施例的操作。图8是显示了控制器10以图7所示的相应的装置的形式执行的处理流程的方框图。如图8所示，由获取装置11获取构成内容项目的每一个原始图像Ga的图像数据集。然后，计算装置12为每一个原始图像Ga根据所获得的图像数据集计算图像特征值Ng。

接下来，检索装置13从项目文件Fp中检索与每一个原始图像Ga关联的参数组P。首先，开始再现内容项目，由计算装置12计算第一原始图像Ga(它是特定的图像Gs)的图像特征值Ng。然后，检索装置13从存储在存储设备21中的多个项目文件Fp中检索与内容项目关联的项目文件Fp作为要再现的目标。具体来说，检索装置13指定一个项目文件Fp(它与现在是要再现的目标的内容项目关联)，在项目文件Fp中的第一记录R包括，等于由存储设备21计算出的图像特征值Ng的图像特征值Ng。然后，检索装置13从检索到的项目文件Fp中读出第一记录R中包括的参数组P，并将参数组P输出到立体成像装置14，作为特定的图像Gs的参数组。然后，检索装置13连续地按照记录R的排列顺序读取分别包括在检索到的项目文件Fp中的记录R中的参数组P，并输出到立体成像装置14。通过如上文所描述的处理过程，立体成像装置14从内容项目的开始处对按照预先确定的顺序排列的多个原始图像Ga进行立体处理，同时应用分别为原始图像Ga设置的参数组P的立体参数。由显示设备41连续地显示如此生成的立体图像Gb。

同时，如果输入了播放点改变信号Sp，它是在开始再现内容项目之后通过对输入设备33的操作而触发的，检索装置13执行图9所示的处理，以重新检索相应的原始图像Ga的参数组P。即，当紧随在输入播放点Sp之后从计算装置12中获取图像特征值Ng(或特定的图像Gs)(步骤Sb1)时，检索装置13从项目文件Fp中检索包括等于在步骤Sb1中获得的图像特征值Ng的图像特征值Nf的任何记录R。此时，如果只检索一个记录(步骤Sb3：No)，则检索装置13简单地读取记录R中包括的参数组P，并将参数组P输出到存储设备21(步骤Sb4)。图8假设了这样的情况：计算数值“428”作为图像Gai(作为紧随在输入播放点改变信号Sp之后的特定的图像Gs)的图像特征值Ng。在此情况下，从项目文件Fp中检索包括“428”作为图像特征值Nf的记录R，并读出记录R中包括的参数组P。如图8所示，读出的参数组P被用来从作为特定的图像Gs的原始图像Gai生成立体图像。接下来，检索装置13分别从在步骤Sb2中检索到的记录R后面的记录R连续地读出参数组P。例如，在图8的情况下，从包括“628”作为图像特征值Nf的记录R中读出参数组P，并将其用于对原始图像Gai+1进行的立体处理。随后，读取包括“297”作为图像特征值Nf的另一个记录R的参数组P，并用于对原始图像Gai+2进行的立体处理。

取决于构成内容项目的原始图像Ga的内容，存在这样的情况：项目文件Fp中的多个记录R包括一个相等的图像特征值Nf。在此情况下，不能只从特定的图像Gs的图像特征值为一个特定的图像Gs唯一地指定一个参数组P。因此，此实施例中的检索装置13判断是否从在步骤Sb1中获得的图像特征值Ng中检索多个记录R(步骤Sb3)。如果判断已经检索了多个记录R(步骤Sb3)，那么，基于特定的图像Gs后面的原始图像Ga的图像特征值Ng指定参数组P。即，如果在步骤Sb3中判断已经检索多个记录R，则检索装置13从计算装置12获取特定的图像Gs后面的原始图像Ga的图像特征值Ng(步骤Sb5)。检索装置13进一步检索两个后面的记录R序列。两个后面的记录R分别包括特定的图像Gs的图像特征值Ng(在步骤Sb1中获取的)，特定的图像Gs后面的的原始图像Ga的另一个图像特征值Ng，这是在步骤Sb4中重新获取的。例如，图10示范性地显示了一个项目文件Fp，在该文件中，图像标识符为“0053”和“0078”的原始图像Ga的两个图像特征值Nf具有通用数值“845”。在此情况下，步骤Sb3判断已经检索了多个记录R。然而，通过获取“643”作为下一个原始图像Ga的图像特征值Ng(步骤Sb5)，图像标识符为“0053”的原始图像Ga被确定为特定的图像Gs。在如此为特定的图像Gs指定一个记录R之后，检索装置13向立体成像装置14输出图像标识符为“0053”的特定原始图像Ga和图像标识符为“0054”的后面的原始图像Ga的参数组P。参考这样的情况，描述了上面的示例：基于特定的图像Gs和特定的图像Gs的紧后面的原始图像Ga的图像特征值，指定参数组P。然而，还有这样的情况：甚至通过参考特定的图像Gs和该特定的图像Gs后面的原始图像Ga的图像特征值Ng，也不能唯一地指定记录R。在此情况下，检索装置13还通过参考更后面的原始图像Ga的图像特征值，来检索记录R。如此，上文描述了由检索装置13执行的处理的内容。

如图8所示，立体成像装置14分别从由获取装置11所提供的原始图像Ga的图像数据集生成立体图像Gb的图像数据集。生成的图像数据集被输出到显示设备41，从而显示出立体图像Gb。然而，存在这样的情况：需要引用多个原始图像Ga的图像特征值Ng，因为参数组P不能只由特定的图像Gs的一个图像特征值Ng唯一地指定。在此情况下，参数组P的提供时间可以比关联的图像数据集的提供时间稍晚。例如，存在这样的情况：原始图像Ga的图像数据集已经从获取装置11提供，而与原始图像Ga关联的参数组P还没有由检索装置13提供。在此情况下，在从检索装置13提供关联的参数组P之前，立体成像装置14直接向显示设备41输出从获取装置11接收到的图像数据集，而不对接收到的图像数据集进行立体处理。在获取与稍后的图像数据集关联的参数组P之后，立体成像装置14从由获取装置11获取的稍后的图像数据集重新启动立体处理。相应地，在此情况下，从检索装置13开始检索参数组时起到实际发现的参数组由显示设备41作为平面图像显示出来时的时间段内(不经过立体处理)，原始图像Ga提供到立体成像装置14。然而，此时间段实质上太短了，用户难以察觉到。

如上文所描述的，在此实施例中，分别基于构成内容项目的原始图像Ga的图像特征值指定参数组P。因此，甚至在再现没有立体参数的内容项目的情况下，也可以向每一个原始图像Ga应用正确的立体参数，以生成具有逼真的立体效果的立体图像。此外，甚至在参数组P不能通过只参考特定的图像Gs的图像特征值Ng来唯一地指定的情况下，也可以通过进一步参考特定的图像Gs的下一个原始图像Ga的图像特征值Ng来指定与特定的图像Gs关联的参数组P。

B：第二个实施例

可以适当地改变第一个实施例所示范的项目文件Fp的内容。下面将描述涉及这样的改变为项目文件Fp的内容的示范性实施例。与第一个实施例中的立体图像生成设备D的相同结构应用于下面所描述的示范性实施例中的立体图像生成设备D。因此，用通用的参考符号来表示与第一个实施例中的立体图像生成设备D通用的构成第二个实施例中的立体图像生成设备D的组件。在适当的地方，将省略对这样的通用组件的详细描述。在下面进行的描述中在图像特征值Ng和Nf不必彼此区别开来的地方，这两个图像特征值简称为“图像特征值N”。

B-1：第一个示范性实施例

上面的第一个实施例示范了从构成原始图像Ga的整个像素Pix的像素值计算图像特征值N的情况。相比之下，在此示范性实施例中，每一个原始图像Ga都被划分成多个区域A，而为每一个区域A计算图像特征值N。图11示范了在水平方向和垂直方向将原始图像Ga划分为3列x2行的六个区域A的情况。如此划分的区域的数量是可以任意改变的。同时，如图12所示，项目文件Fp中的记录R之中的与原始图像关联的记录R包括：分配给原始图像的标识符；分别分配给区域A的编号；区域A的对应的图像特征值Nf，它们是各自表示属于对应的区域A的所有像素Pix的像素值的总和的数值；以及包括多个立体参数的参数组P。

在此示范性实施例中，计算装置12根据由获取装置11获得的原始图像Ga的图像数据集计算原始图像Ga的每一个区域A的图像特征值Ng。计算装置12进一步向检索装置13输出计算出的图像特征值Ng(参见图11)。此时，应该如何划分每一个原始图像Ga(例如，区域A的数量或区域A的列或行的数量)与假设当准备了项目文件Fp时的情况相同。同时，检索装置13通过将由计算装置12为特定的图像Gs计算的相应的区域A的图像特征值Ng与项目文件Fp中包括的每一个记录R中的相应的区域A的图像特征值Nf进行比较，来检索与特定的图像Gs关联的记录R(图9中的步骤Sb2)。检索装置13将检索到的记录R中包括的参数组P通知给立体成像装置14(步骤Sb4)。如果不能通过特定的图像Gs的图像特征值Ng唯一地指定一个记录R，那么，进一步参考特定的图像Gs后面的下一个原始图像Ga的图像特征值Ng，来指定特定的图像Gs的记录R，如前面所描述的第一个实施例中那样。

如此，根据此示范性实施例，为一个原始图像Ga计算了多个图像特征值Ng。基于多个图像特征值Ng，检索参数组P。因此，此示范性实施例能够比第一个实施例更准确地检索参数组。此外，还可以比在第一个实施例中更频繁地只从特定的图像Gs的图像特征值Ng唯一地指定参数组P。相应地，还降低了由于在指定参数组P时另外参考特定的图像Gs后面的下一个原始图像的图像特征值Ng而施加的处理负载。

B-2：第二个示范性实施例

第一个实施例和第一示范性实施例示范了这样的配置：根据构成原始图像Ga的所有像素Pix来计算图像特征值N。相比之下，在第二示范性实施例中，根据构成原始图像Ga的一部分的像素Pix的像素值来计算图像特征值N。例如，如图14中的阴影所示，通过将属于构成一个内容项目的每一个原始图像Ga中的特定区域(例如，此图中的一行)Ap的多个像素Pix的像素值相加而获得的数值，作为每一个原始图像Ga的图像特征值，包括在项目文件Fp中。另一方面，计算装置12作为图像特征值Nf输出由获取装置11所获得的属于每一个原始图像Ga中的同一个特定区域Ap的像素Pix的像素值的总和。根据此示范性实施例，可以获得如在第一个实施例中获得的相同效果。此外，根据此示范性实施例，作为要用于图像特征值Ng的计算的目标的像素Pix的数量小于第一个实施例中的数量。因此，可以降低由于计算图像特征值Ng进行的处理而施加的处理负载。应该如何配置包括作为用于计算图像特征值N的目标像素的区域Ap不仅限于图14所示的示例。例如，此示范性实施例可以被配置为，根据属于原始图像Ga的一个列的像素Pix的像素值来计算图像特征值N。此外，作为用于计算图像特征值N的目标的像素Pix也不必始终是连续的。例如，如图15所示，此示范性实施例可以被配置为，根据预先确定的规则，从构成原始图像Ga的多个像素Pix中选择像素Pix(如图15所示中的阴影所示)。然后，可以根据选定的像素的像素值来计算图像特征值N。否则，在如第一个示范性实施例中那样将原始图像Ga划分为多个区域A的配置中，可以根据属于区域A的一部分的像素的像素值来计算每一个图像特征值N。

B-3：第三个示范性实施例

存在这样的情况：甚至在再现相同内容项目的情况下，构成原始图像Ga的像素Pix的像素值也随着再现设备(31或32)的规格而变化。例如，从具有对图像数据集进行校正处理(如伽马射线校准)的功能再现设备输出的像素Pix的像素值会不同于从不进行这样的校正处理的另一个再现设备输出的像素Pix的像素值。在如第一个示范性实施例中那样构成原始图像Ga的像素的像素值的总和被作为图像特征值N的配置中，如果假设用于计算图像特征值N的再现设备连接到立体图像生成设备D，则可以正确地检索参数组P。然而，如果不同的再现设备连接到立体图像生成设备D，则存在这样的可能性：项目文件Fp中包括的图像特征值Nf不等于由计算装置12计算出的任何图像特征值Ng。因此，不能分别为原始图像Ga正确地检索到参数组P。因此，此示范性实施例被配置为，不是用每一个区域A的像素值的总和而是用每一个区域A的像素值的总和的相对值作为项目文件Fp中的图像特征值Nf。

在图16所示的项目文件Fp中，使用相对值来代替图13所示的项目文件Fp中包括的图像特征值Nf。具体来说，在图13所示的项目文件Fp中，“1342”是区号为“01”的区域A的图像特征值Nf，即，“1342”是图像标识符为“0001”的原始图像Ga中的此区域A中包括的像素的像素值的总和。“345”是区号为“02”的区域的图像特征值Nf，即，“345”也是此区域中包括的像素的像素值的总和。相比之下，在图16所示的项目文件Fp中，在图像标识符为“0001”的原始图像Ga中，区号为“01”的区域A中包括的像素的像素值的总和被作为参考值“1”。此时，相对于参考值“1”表达的相对值分别被作为其他区域A的图像特征值Nf。例如，区号为“02”的区域A的图像特征值Nf是“0.257(＝345/1342)”。同时，此示范性实施例中的计算装置12根据由获取装置11所获得的原始图像Ga计算每一个区域A的像素值的总和。计算装置12进一步向检索装置13输出计算出的总和的相对值，作为关联的区域A的图像特征值Ng。检索装置13的操作与第一个示范性实施例中的操作相同。根据此示范性实施例，每一个原始图像Ga中的图像特征值N(包括Ng和Nf两者)被表达为相对于彼此的值。因此，不管连接到立体图像生成设备D的再现设备的规格如何，都可以准确地检索参数组P。

C：第三个实施例

第一和第二个实施例示范了这样的配置：只基于特定的图像Gs的图像特征值Ng，指定参数组P。第三个实施例这样进行配置：通过除图像特征值Ng之外还参考另一个索引，来检索每一个参数组P。下面将基于与第一个实施例相同的配置来描述第三个实施例，这也适用于第二个实施例中所描述的每一个示范性实施例。用通用的参考符号来表示与第一个实施例通用的的第三个实施例中的立体图像生成设备D的组件。在适当的地方，将省略对这样的通用组件的详细描述。

在此实施例中，构成一个内容项目的一系列原始图像Ga都被划分成多个组，如图17所示。具体来说，诸如电影之类的内容项目被分为电影的若干个场景。在连续地再现排列在时间线中的多个原始图像Ga时，如图17所示，指定了当电影的内容显著地改变的时间点。内容项目按照被视为边界的时间点被划分成若干个段，每一个段都被作为“单位段”。例如，如果两个连续的原始图像Ga的图像特征值Ng之间的差超过预先确定的阈值(例如，当在这些图像之间内容显著改变时)，两个连续的原始图像之间的间断被选为单位段之间的边界。否则，如果两个连续的原始图像G(在时间线中连续)的图像特征值Ng之间的差低于预先确定的阈值，则判断原始图像属于一个相同的单位段。如图17所示，分别对应于各个场景的每一个组都被指定为预定数量的单位段的集合(例如，“四个”单位段一个集合)，如图17所示。给每一个组都指定了标识符(下面简称为“组标识符”)。

图18显示了根据此实施例的项目文件Fp的内容。如该图所示，项目文件Fp包括分别与不同组关联的多个记录R。每一个记录R都包括彼此关联的标识符、值，以及参数组，它们是：对应于记录R的组标识符；分配给属于该组的原始图像Ga的图像标识符；分别以与第一个实施例相同的方式为原始图像Ga计算出的图像特征值Nf；以及分别用于对原始图像Ga进行立体处理的参数组P。因此，如果只统计属于一个组的图像标识符的数量，则可以指定属于该组的原始图像Ga的的总数(下面简称为“分组的原始图像的数量”)m。

接下来，图19显示了根据此实施例的控制器10的功能结构的方框图。此实施例中的控制器10不仅作为图7所示的相应的装置，而且还作为用于将内容项目划分为多个组的划分装置。划分装置16基于由获取装置11所获得的一系列原始图像Ga中的每一个原始图像Ga的内容，检测单位段之间的边界，并将一个内容项目分割为若干个组，每个组都包括预定数量的单位段。前面参考图17描述了将一个内容项目分割为多个组的方法。此外，划分装置16计算每一个组的分组的原始图像的数量m，并将数量m输出到检索装置13。每当从获取装置11提供表达原始图像Ga的图像数据集，划分装置16进行如上文所描述的处理。

同时，此实施例中的检索装置13不仅指定特定的图像Gs的图像特征值Ng，而且还根据由划分装置16计算出的分组的原始图像的数量m指定每一个原始图像Ga的参数组P。图20是显示了检索装置13的操作的流程图。如前面所描述的图9所示的第一个实施例的操作，如果通过步骤Sc1和Sc2(步骤Sc3：No)为特定的图像Gs的图像特征值Nf只检索一个参数组P，检索装置13只向立体成像装置14输出唯一一个参数组P(步骤Sc5)，如在第一个实施例中那样。否则，如果为特定的图像Gs的图像特征值Ng检索多个参数组P(步骤Sc3：是)，则检索装置13从划分装置16获取包括特定的图像Gs的组的分组的原始图像的数量m。检索装置13进一步检索所包括的图像标识符的数量与分组的原始图像的所获得的数量m相同的记录R(即，检索其中原始图像Ga的总数m等于由划分装置16计算出的数量m的组的记录R：步骤Sc4)。检索装置13也分别向立体成像装置14输出原始图像Ga的记录R中包括的参数组P。

例如，如图21所示，现在假设一个内容项目被划分成第一和第二个组。第一个组(组标识符为“010”)总共包括30个图像标识符为“0053”到“0082”的原始图像Ga。第二个组(组标识符为“013”)总共包括39个图像标识符为“0160”到“0198”的原始图像Ga。此外，还假设其中数值“846”是对图像标识符为“0053”和“0160”的原始图像Ga通用的图像特征值Nf的项目文件Fp。根据此假设，当计算装置12计算图像特征值Ng为“845”时，检索与图像标识符“0053”和“0160”关联的参数组P。如此，不能唯一地只指定一个参数组P。然而，如果划分装置16计算出分组的原始图像的数量m为“30”，检索装置13可以判断待检索的唯一一个参数组P是总共包括“30”个原始图像Ga的第一个组的前一参数组P。

此后，立体成像装置14以与第一个实施例相同方式操作。然而，如果在图20中的步骤Sc3中判断为“是”，在从获取装置11获取特定的图像Gs时起到当通过获取包括特定的图像Gs的组的最后一个原始图像Ga而固定原始图像的数量m时的时间段内，检索装置13不能指定要提供到立体成像装置14的任何参数组P。因此，立体成像装置14直接向显示设备41输出表达属于相当于此时间段的段的原始图像Ga的图像数据集，而不进行立体处理。甚至在此情况下，这样的段至多构成内容项目的一个场景，因此，用户不会体验到过度不自然的效果。对于属于下一个组的原始图像Ga，可以通过分别应用正确地为原始图像Ga设置的立体参数，生成最佳立体图像Gb。

D：修改方案

可以对上述每一个实施例进行各种修改。下面将描述修改方案的示例。上面的第一个到第三个实施例和下面将描述的修改方案可以适当地彼此结合起来。

I每一个上述的实施例都示范了这样的配置：从诸如DVD301和录像带302之类的记录介质中获取原始图像Ga。但是，用于获取原始图像Ga的来源不仅限于这些记录介质。例如，一个备选的适用的配置是：连续地从用于拾取视频的图像拾取设备(如摄像机)提供原始图像Ga。再一个适用的配置是：通过通信部分24，从服务器设备52将原始图像Ga连续地提供到立体图像生成设备D。此外，也可以任意选择用于获取项目文件Fp的来源。例如，不仅可以从具有半导体存储器的记录介质45，而且也可以从便携式磁盘读取项目文件Fp。再一个适用的配置是，用户适当地操纵输入设备28创建项目文件Fp。每一个上述实施例还示范了这样的配置：通过与用于获取原始图像Ga的路径不同的路径获取项目文件Fp。然而，还有另一个适用的配置：将内容项目的项目文件Fp与该内容项目一起记录到同一个记录介质(DVD 301或录像带302上)。

II当然，立体处理的内容，以及立体参数的内容和数量，不仅限于上述实施例中所描述的那些。即，本发明中的立体参数只需要可应用到从原始图像Ga生成立体图像Gb的立体处理中。换句话说，本发明中的术语“立体参数”在概念上包括可以特征化通过立体处理生成的立体图像的状况(如用户可以体验到的深度等等)的所有可用的参数。本发明中的“立体成像装置”可以是，可以从原始图像Ga(它们通常是平面图像)生成用户感觉到视差所导致的立体效果的立体图像Gb的所有可用的装置。对立体成像装置如何进行处理没有特别的限制。

III项目文件Fp的内容也不仅限于上述实施例中所描述的那些。例如，可以从项目文件Fp中适当地省略图5所示的图像标识符。虽然第三个实施例示范了从图像标识符的总数计算分组的原始图像的数量m的配置，但是，可以使用任意的方法作为计算数量m的方法。例如，可用的配置有，根据图18所示的图像特征值Nf的数量或一个记录R中包括的参数组P的数量来计算分组的原始图像的数量m。如此，可以适当地省略图像标识符。相应地，本发明只需要配置为，原始图像Ga的图像特征值Nf分别与原始图像Ga的立体参数的组关联。对于图像特征值和立体参数如何存储没有特别的限制。

例如，在根据第二个实施例的第一个示范性实施例中，原始图像Ga被划分成预定的区域，为每一个区域计算图像特征值N。例如，可以指定分别对应于原始图像中包括的对象(例如，人和可以被认为是单独的对象的花)的区域。然后，可以为每一个区域计算图像特征值Nf。具体来说，参数组Pi可以被设置为分别与对象Oi关联。如果如此从原始图像中提取了对象，则除分别为原始图像设置的参数组P之外还可以通过比较参数组Pi来确定要应用于原始图像中包括的每一个原始图像或对象的立体参数。可以采用任何任意的方法作为从原始图像Ga中提取对象的方法。例如，首先确定各自都包括具有相等像素值的像素的像素组。然后，比较像素组之间的像素值，以确定对象的轮廓。每一个轮廓的内部区域被确定为对应于一个对象的区域。

在项目文件Fp中，如图23所示，分配给图像特征类别GN的编号可以存储在图像特征值Nf的位置，其中图像特征值Nf以预先确定的方法分类到图像特征类别GN。此时，参数组P可以与分配给图像特征类别的存储的编号关联。在用于分类图像特征类别的适用的方法中，例如，“1到10”的图像特征值Nf被分为编号为“1”的图像特征类别GN，而“11到20”的图像特征值Nf被分为编号为“1”的图像特征类别GN。在此情况下，不是通过比较图像特征值Nf而是通过比较图像特征类别GN，来指定要应用于原始图像的立体处理的参数组P。相应地，可以防止再现设备等等的规格导致这样的情况：不能检索到完全相等的图像特征值N。此外，还为被分为单一的一个图像特征类别GN的多个原始图像Ga设置一个相同的参数组P。因此，可以缩小参数组P的数量。相应地，也可以缩小项目文件Fp的大小和检索所需的处理时间。

IV每一个上述实施例示范了这样的配置：立体图像生成设备D是与再现设备31和32和显示设备41分离的装置(如所谓的机顶盒)。立体图像生成设备D的功能可以被配置为集成到再现设备31或32、显示设备41或任何其他各种设备中。例如，具有如上面的实施例所描述的相同配置的任何配置的立体图像生成设备D都可应用到诸如能够读取游戏软件并在显示设备41上显示图像的游戏设备之类的各种再现设备，各自都具有内置显示设备的个人计算机，以及用于移动电话、电视接收机、汽车导航系统、投影仪、头戴式显示器等等中的各种显示设备。

Claims (10)

1.一种立体图像生成设备，包括：

获取装置，用于连续地获取在时间线上排列并构成内容项目的多个原始图像；

计算装置，用于根据由所述获取装置所获得的所述多个原始图像中的一个原始图像中包括的多个像素的像素值计算第一图像特征值；

存储装置，用于存储所述多个原始图像的第二图像特征值和用于从所述原始图像生成立体图像的立体参数，所述第二图像特征值分别与立体参数关联；

检索装置，用于将由所述计算装置根据特定原始图像计算出的第一图像特征值与存储在所述存储装置中的所述第二图像特征值中的每一个进行比较，基于比较结果，检索所述特定原始图像的立体参数；以及

立体成像装置，用于基于由所述检索装置检索到的所述立体参数从所述特定原始图像生成立体图像。

2.根据权利要求1所述的立体图像生成设备，其中，所述计算装置通过将所述多个原始图像中的一个原始图像中包括的多个像素的所述像素值相加来计算所述第一图像特征值。

3.根据权利要求1所述的立体图像生成设备，其中，所述多个原始图像中的一个原始图像被划分成多个区域，所述计算装置，根据属于对应的一个区域的像素的像素值，计算所述多个区域中的每一个区域的第一图像特征值，

所述存储装置分别存储将构成所述内容项目的所述多个原始图像中的每一个原始图像划分而成的多个区域的第二图像特征值，所述第二图像特征值与所述立体参数关联，以及

对于构成所述多个原始图像中的所述一个原始图像的所述多个区域中的每一个，所述检索装置将由所述计算装置计算出的所述第一图像特征值与存储在所述存储装置中的所述第二图像特征值进行比较，从而检索与所述特定原始图像关联的立体参数。

4.根据权利要求3所述的立体图像生成设备，其中，所述计算装置分别为将所述多个原始图像中的所述一个原始图像划分而成的所述多个区域，计算取决于属于多个区域中的对应的一个区域的像素的像素值的数值，并分别计算表达彼此相关的所述多个区域的所述数值的相对值，作为所述多个区域的所述第一图像特征值。

5.根据权利要求1所述的立体图像生成设备，其中，

所述存储装置按照多个原始图像排列的顺序存储所述多个原始图像的相应的原始图像的所述立体参数；

所述检索装置检索所述特定原始图像的所述立体参数，并进一步连续地检索所述特定原始图像后面的所述多个原始图像的连续的原始图像的立体参数，以及

所述立体成像装置基于由所述检索装置连续地检索到的所述立体参数，从所述原始图像的连续的原始图像生成立体图像。

6.根据权利要求1到5中的一个权利要求所述的立体图像生成设备，其中，如果改变所述内容项目的播放点，那么，所述检索装置将所述多个原始图像中的对应于已改变的播放点的一个原始图像，视为所述特定的图像，并检索所述多个原始图像中的新被视为所述特定的图像的一个原始图像的立体参数。

7.根据权利要求1所述的立体图像生成设备，其中，如果为由所述计算装置从所述特定原始图像计算出的所述第一图像特征值，检索分别与不同原始图像关联的多个立体参数，那么，所述检索装置将由所述计算装置分别为所述特定原始图像后面的原始图像计算出的每一个所述第一图像特征值，与存储在所述存储装置中的所述第二图像特征值进行比较，从而确定所述特定原始图像的和所述特定原始图像后面的原始图像的立体参数。

8.根据权利要求7所述的立体图像生成设备，其中，如果为由所述计算装置从所述特定原始图像计算出的所述第一图像特征值，检索分别与不同原始图像关联的多个立体参数，则所述立体成像装置停止生成立体图像，直到由所述检索装置确定所述特定原始图像的和所述特定原始图像后面的原始图像的所述立体参数。

9.根据权利要求1所述的立体图像生成设备，进一步包括用于将由所述获取装置所获得的多个原始图像划分为多个组的划分装置，其中

所述存储装置存储被划分成多个组的多个记录，所述多个记录分别包括第二图像特征值和所述多个原始图像中的对应的原始图像的立体参数，以及

如果为由所述计算装置从所述特定原始图像计算出的所述第一图像特征值，检索分别与不同原始图像关联的多个立体参数，那么，所述检索装置将由所述获取装置划分的所述多个组中的所述特定原始图像所属的一个组中的原始图像的总数，与和存储在所述存储装置中的每一组的记录关联的原始图像的总数进行比较，从而基于比较结果，检索与多个组中的所述特定原始图像所属的一个组关联的立体参数。

10.一种用于使计算机执行下列过程的程序：

连续地获取在时间线上排列并构成内容项目的多个原始图像的获取过程；

根据由所述获取过程所获得的所述多个原始图像中的一个原始图像中包括的多个像素的像素值计算第一图像特征值的计算过程；

从存储所述多个原始图像的第二图像特征值和用于从所述多个原始图像生成立体图像的立体参数的存储装置，检索与由所述计算过程计算出的所述第一图像特征值关联的立体参数的检索过程，所述第二图像特征值分别与立体参数关联；以及

基于由所述检索过程检索到的所述立体参数，从所述特定原始图像生成立体图像的立体处理过程。

Images