CN102045582A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

在此公开了图像处理装置、图像处理方法和程序。所述信息处理装置包含控制器，其从拍摄自不同视点的多个图像中选择用于三维图像显示的一组图像。所述控制器确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息。当记录了移动量信息时，所述控制器通过使用所记录的移动量信息来选择具有对应于显示部分的显示尺寸的视差的图像的组合。当未记录移动量信息时，所述控制器通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序。具体而言，本发明涉及执行用于显示立体图像(即，三维(3D)图像)的处理的图像处理装置、图像处理方法和程序。

背景技术

近年来，用于以多视点拍摄图像的图像捕获装置(相机)已经得到发展，其允许显示立体图像(3D图像)。这种图像捕获装置拍摄具有不同视点的图像(例如，左眼图像和右眼图像)。

为了三维图像的显示，在显示部分上显示左眼图像和右眼图像。观众佩戴液晶快门眼镜、偏振眼镜等，以分别通过其左眼和右眼观看左眼图像和右眼图像，从而其可以观看提供了立体效果的三维图像。除了上述的液晶快门系统和偏振系统之外，还存在诸如使用眼镜的视差格栅(parallax barrier)系统之类的各种三维图像显示系统。

在任一所述系统中，观众可以通过单独地以其左右眼观看具有视差的两个图像，获得三维感觉。然而，观众看到的图像的位置依据显示从不同视点拍摄的两个图像的显示部分的尺寸而改变。

现在参照附图1A到1D描述这种现象。图1A到图1C示出在三种不同尺寸的显示部分(显示器)上显示同一对图像(即，同一对左眼图像和右眼图像)时，察觉到显示图像中所包括的对象的立体图像的立体图像位置。

图1A、1B和1C分别图示了大尺寸显示器、中尺寸显示器和小尺寸显示器的情况。

首先描述图1A中所示的大尺寸显示器的示例。如所示的那样，观众察觉到的立体图像的位置位于将左眼图像在显示器上的显示位置和观众左眼相连接的线与将右眼图像在显示器上的显示位置和观众右眼相连接的线的交叉处。这同样适用于图1B和1C所示的情况。

如可以从图1A到1C中理解的那样，显示器尺寸越大，则左眼图像在显示器上的显示位置与右眼图像在显示器上的显示位置之间的距离(即，显示器上的视差)变得越大。相反，显示器尺寸越小，则左眼图像在显示器上的显示位置与右眼图像在显示器上的显示位置之间的距离变得越小。

结果，随着显示器尺寸增大，相对于显示器的观众察觉到的立体图像的位置变得更靠近于观众。因此，如图1A中所示，图像突出量(即，立体图像距显示器的距离)为L1。

对于中尺寸的显示器，如图1B中所示，图像突出量(即，立体图像距显示器的距离)为L2。

对于小尺寸的显示器，如图1C中所示，图像突出量(即，立体图像距显示器的距离)为L3。

以这种方式，随着显示器尺寸增大，立体图像看上去更突出至观众。

由此，如图1D中所示，满足关系L1＞L2＞L3，其中，L1表示对于大尺寸显示器的图像突出量，L2表示对于中尺寸显示器的图像突出量，而L3表示对于小尺寸显示器的图像突出量。

长时间连续观看具有显得更靠近观众的大图像突出量的立体图像(如图1A的情况中那样)可能使得一些人觉得眼睛疲劳、头痛等。当立体图像突出量如图1C的情况中那么小时，存在的问题在于：观众不能获得足够的三维感。

由于长时间连续观看具有显得更靠近观众的大立体图像突出量的立体图像(如图1A的情况中那样)可能不利地影响年轻人(如，仍在发育的孩子)，因此已设置了安全方针[例如，参见3DC(http://www.3dc.gr.jp/jp/index.html)]。

因而，对于三维图像显示，具有对应于显示器尺寸的最佳视差的图像用于显示。

为了三维图像在显示器上的显示，利用具有对应于显示器尺寸的不同视差的图像的配置已经是可用的。例如，日本待审专利申请公开No.2008-172342公开了用于提供具有对应于显示设备的适当视差的图像的配置。

在日本待审专利申请公开No.2008-172342公开的配置中，提前拍摄具有来自不同视点的不同视差的多个图像，通过图像中包括的特定样式的信息的使用，确定各图像之间的视差，并且选择和使用具有适于显示设备的视差的图像。特定样式的信息例如是图像中的人脸，并且基于人脸区域确定多个图像之间的视差。

然而，日本待审专利申请公开No.2008-172342公开的方法涉及用于通过图像分析提取特定样式的信息以确定视差的处理。从而，处理的成本增加，并且仅有包括该特定样式的图像(例如，面部图像)可以得到适当处理。因而，当未从图像中检测到该特定样式的信息时，存在的问题在于：图像未得到适当处理。日本待审专利申请公开No.2008-172342公开的方法还具有的问题在于未考虑上述安全方针。

发明内容

已经鉴于上述问题构想了本发明，并且期望提供如下的图像处理装置、图像处理方法和程序：其可以有效地选择和显示具有与拥有任何尺寸的显示部分(显示器)相对应的最佳视差的图像。

根据本发明的第一实施例，提供了一种图像处理装置。该图像处理装置包括控制器，其从拍摄自不同视点的多个图像中选择要用于显示三维图像的处理的显示图像。所述控制器配置为执行以下处理：根据显示部分的显示尺寸，选择具有不同视差的一组图像作为显示图像。所述控制器确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息。当记录了移动量信息时，所述控制器通过使用所记录的移动量信息来选择具有对应于显示尺寸的视差的图像的组合。当未记录移动量信息时，所述控制器通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

根据本发明的实施例，图像处理装置可进一步包括运动检测器，其执行以下处理：确定被分为多个块的图像之间的块匹配程度。所述控制器通过使用运动检测器所执行的检测的信息，来确定移动量。

根据本发明的实施例，优选地，所述控制器获得观众的年龄信息，将所获得的年龄信息与预设的阈值年龄进行比较，并且执行用于选择具有视差的图像的组合的处理，其中该视差在观众年龄小于阈值年龄时和观众年龄大于等于阈值年龄时之间是不同的。

根据本发明的实施例，优选地，对于具有大显示尺寸的显示部分，控制器执行以下处理：相比于针对具有小显示尺寸的显示部分所选择的图像之间的视差，选择具有更小视差的图像的组合。

根据本发明的实施例，当观众年龄小于阈值年龄时，控制器执行以下处理：相比于当观众的年龄大于等于阈值年龄时所选择的视差，选择具有更小视差的图像的组合。

根据本发明的实施例，所述控制器可通过分析从连接至图像处理装置的外部显示设备所输入的显示设备信息，获得所述显示尺寸。

根据本发明的实施例，优选地，当与图像之间的视差对应的移动量信息未被记录为图像的属性信息时，所述控制器将图像转换为具有亮度信息的图像，并且通过使用具有亮度信息的图像来执行块匹配程度确定处理。

根据本发明的实施例，所述图像处理装置可以是具有用于拍摄图像的功能的图像捕获装置，并且所述控制器可以执行以下处理：将作为所拍摄图像的视差信息的移动量信息记录为所拍摄图像的属性信息。

根据本发明的实施例，所述图像处理装置可进一步包含运动检测器，其执行以下处理：确定被分为多个块的图像之间的块匹配程度。所述控制器可通过使用运动检测器所执行的检测的信息来确定移动量，并且可将确定出的移动量记录为图像的属性信息。

根据本发明的第二实施例，提供了一种由图像处理装置执行的图像处理方法。所述方法包含以下步骤：促使控制器从拍摄自不同视点的多个图像中选择要用于显示三维图像的处理的显示图像。图像选择步骤包括以下步骤：执行根据显示部分的显示尺寸，选择具有不同视差的一组图像作为显示图像的处理；确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息；当记录了移动量信息时，通过使用所记录的移动量信息来选择具有对应于显示尺寸的视差的图像的组合；以及当未记录移动量信息时，通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

根据本发明的第三实施例，提供了一种用于促使图像处理装置执行图像处理的程序。所述程序包含以下步骤：促使控制器从拍摄自不同视点的多个图像中选择要用于显示三维图像的处理的显示图像。图像选择步骤包括以下步骤：执行根据显示部分的显示尺寸，选择具有不同视差的一组图像作为显示图像的处理；确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息；当记录了移动量信息时，通过使用所记录的移动量信息来选择具有对应于显示尺寸的视差的图像的组合；以及当未记录移动量信息时，通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

根据本发明实施例的程序例如是如下的程序：其可通过以计算机可读格式提供的通信介质和/或存储介质而提供至能够执行各种程序码的信息处理装置以及计算机系统。以计算机可读格式提供程序允许信息处理装置和计算机系统实现基于程序的处理。

结合本发明的实施例和附图，本发明的进一步目标、特征和优点将从下列详细描述中变得显而易见。这里使用的术语“计算机系统”只指多个装置(设备)的逻辑集合，其不限于在单个外壳中提供具有单独配置的装置(设备)的架构。

在根据本发明实施例的装置和方法中，在三维图像的显示期间选择具有与显示尺寸和观众年龄相对应的最佳视差的图像。在用于三维图像显示的显示部分上输出之间具有视差的一组图像(即，左眼图像和右眼图像)的配置中，选择和输出与显示部分的显示尺寸和观众年龄相对应的图像。当显示部分的显示尺寸大时，选择具有小视差的一组图像作为显示图像，而当显示部分的显示尺寸小时，选择具有相对大的视差的一组图像作为显示图像。另外，当观众年龄低于预设的阈值年龄(例如，7岁)时，选择具有相对小的视差的图像作为显示图像，并且使所选图像经受显示处理。该布置可以实现与显示设备和观众相对应的最佳立体图像显示。

附图说明

图1A到1D图示如何依据显示器尺寸的差异来观看立体图像；

图2A和2B是图示根据本发明一个实施例的图像处理装置(图像捕获装置)的外部配置的示例的示意图；

图3图示根据本发明一个实施例的图像处理装置(图像捕获装置)执行用于从不同视点拍摄图像的处理的配置；

图4是图示根据本发明一个实施例的图像处理装置(图像捕获装置)执行用于从不同视点拍摄图像的处理的配置的示意图；

图5是图示根据本发明一个实施例的图像处理装置(图像捕获装置)的硬件配置的示例的框图；

图6图示含有根据本发明一个实施例的图像处理装置(图像捕获装置)所记录的数据的MP(多画面)文件；

图7图示含有根据本发明一个实施例的图像处理装置(图像捕获装置)所记录的数据的MP文件；

图8图示会聚角和视差；

图9图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的移动量确定处理；

图10图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的移动量记录处理；

图11是图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的一系列图像记录处理的流程图；

图12是图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的一系列图像显示处理的流程图；

图13是图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的图像显示处理中的一系列图像选择处理的流程图；

图14图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的图像选择处理中使用的设置信息菜单屏幕；

图15图示根据本发明一个实施例的图像处理装置(图像捕获装置)所执行的图像内插处理；

图16图示当根据本发明一个实施例的图像处理装置(图像捕获装置)在外部显示设备上执行显示时的屏幕的示例；

图17图示用户的图像选择处理，该处理由根据本发明一个实施例的图像处理装置(图像捕获装置)执行；

图18是图示外部显示设备的控制处理的流程图，该控制处理由根据本发明一个实施例的图像处理装置(图像捕获装置)执行；

图19图示用于将数据输出至外部显示设备的处理的示例，该处理由根据本发明一个实施例的图像处理装置(图像捕获装置)执行；

图20是图示外部显示设备的移动量确定和控制处理的流程图，该确定和控制处理由根据本发明一个实施例的图像处理装置(图像捕获装置)执行；

图21是图示外部显示设备的移动量确定和控制处理的流程图，该确定和控制处理由根据本发明一个实施例的图像处理装置(图像捕获装置)执行；

图22图示基线长度；以及

图23A到23C图示图像至多个块的分割以及用于确定移动量的处理。

具体实施方式

下面参照附图，详细描述根据本发明实施例的图像处理装置、图像处理方法和程序。下面的描述将以下列顺序给出：

1.图像处理装置的配置的示例

2.图像捕获装置处的图像拍摄和记录处理

3.拍摄图像的回放处理

4.与所连接显示设备的功能对应的图像输出处理的示例

5.通过图像比较处理的运动量确定的实施例

[1.图像处理装置的配置的示例]

根据本发明一个实施例的图像处理装置从拍摄自不同视点的多个图像中选择用于三维图像显示的图像。另外，在图像选择处理期间，图像处理装置执行用于根据(例如)显示部分配置(如，显示部分的尺寸)和观众年龄来选择最佳图像的处理。根据本发明实施例的图像处理装置可以是具有显示部分的装置(例如，电视(TV)机或个人计算机(PC))，或者具有拍摄功能的图像捕获装置。图像捕获装置例如经由显示设备的输出部分而连接至具有任意尺寸的外部显示设备，向其输出拍摄图像，并且执行用于显示三维图像的处理。

下面参照图2A和2B，结合图像捕获装置的示例描述根据本发明一个实施例的图像处理装置。图2A和2B是图像处理装置10的外部视图。图2A是图像处理装置10的前视图，而图2B是其后视图。一旦操作图2A中所示的快门11，图像处理装置10经由镜头12捕获图像。

如图2B的后视图中所示，图像处理装置10的背面具有显示部分(监视器)21，其用于显示经由图像处理装置10的镜头12所获得的图像。显示部分21不仅用于显示经由镜头12所获得的图像的预览屏幕，而且用于显示所拍摄并记录在存储器中的图像、菜单和用于操作的手册等。

图像处理装置10的背面进一步具有电子取景器(EVF)22，其是用户在拍摄期间用以进行观看的取景器。用户在拍摄角度等的确定期间选择性地使用显示部分21或EVF 22以检查被摄体图像，并且操作快门11以执行拍摄。

尽管图2A和2B中所示的示例性图像捕获装置10具有类似于通常相机的外观，但是使用从不同视点拍摄的图像来执行根据本发明的三维图像显示处理。现在参照图3，描述用于获取从不同视点拍摄的图像的处理的示例。如图3中所示，随着拍摄位置相对于被摄体25依次改变，依次拍摄多个图像。作为该处理的结果，可以拍摄具有不同视点的图像。所述图像不限于针对三维图像的显示所获得的图像，其例如可以是用于创建全景图像的各图像的集合。

尽管参照图2A、2B和3所述的图像捕获装置的示例针对用于例如每次经由单个镜头部分拍摄一个图像的配置，但是可从多个视点执行拍摄的多视图相机(如图4中所示)的应用使得可以每次以不同视点拍摄图像。可以通过这种多视图相机实现根据本发明实施例的图像处理装置(图像捕获装置)。

图4中所示的图像捕获装置30在相机的正面具有四个镜头部分31a到31d。图像捕获装置30每次经由四个镜头部分31a到31d，以四个不同的视点拍摄图像。尽管在图4所示的示例中提供了四个镜头部分31a到31d，但是可以使用具有任何数量镜头的相机(例如，具有两个镜头部分的多视图相机)。

因而，根据本发明实施例的图像处理装置可以是具有一个镜头部分的图像捕获装置，或者可以是具有多个镜头部分的图像捕获装置。该图像处理装置也可以是具有显示处理功能而没有拍摄功能的装置(如，PC)。例如，在PC等的情况下，从诸如硬盘之类的存储部分或者经由网络、线缆等外部地将拍摄自不同视点的图像输入至PC等，并且使其经受处理。这种情况下的处理例如是指用于显示与显示部分等的配置相对应的最佳三维图像的图像选择处理。

接下来参照图5，描述作为根据本发明实施例的图像处理装置的一个示例的图像捕获装置10的内部配置的示例。根据本发明该实施例的图像捕获装置包括镜头部分111、光电转换器112和信号处理器113。将被摄体图像输入至镜头部分111。光电转换器112具有用于将经由镜头部分111输入的光信号转换为电信号的图像捕获元件。一旦输入光电转换器112所生成的电信号，信号处理器113执行信号处理。如上面参照图2A到图4所述的那样，镜头部分111可以具有单镜头配置和多镜头配置。

信号处理器113执行各种类型的信号处理，如：白平衡调节处理、γ校正处理和内插处理。基于信号处理器113执行的处理结果，控制器(CPU：中央处理单元)117例如根据多画面(MP)格式创建MP文件，并且根据DCF(相机文件系统的设计规则)生成用于立体图像显示的数据。

在显示部分(监视器)121或EVF(电子取景器)122上显示信号处理器113执行的处理所得到的图像。在拍摄期间，图像也存储在存储部分115或外部存储器116中。

现在参照图6和7，描述存储部分115或外部存储器116中存储的MP文件的结构的示例。图6是示出随着图像捕获装置10相对于被摄体25从左向右移动而从不同视点拍摄多个图像1到4时，MP文件150的结构的一个示例的图。

如图6中所示，MP文件150具有作为每个图像的记录数据的、图像的首标信息及其图像数据的组。图6中的首标指示每个图像的首标信息，其包含各种类型的图像信息。现在参照图7，描述首标的结构的示例。

如图7中所示，首标中包含的信息的示例包括：

(a)拍摄图像信息，如：记录了图像的目录信息；

(b)拍摄图像属性信息，如：

拍摄模式信息，其指示(例如)立体图像模式或全景图像模式，

拍摄序号(图像序列号，其指示从基准图像(第一图像)起的图像的编号)，

会聚角信息，和

移动量信息；以及

(c)拍摄日期时间信息。

这几条首标信息是示例性的，且可以包含任何其它信息，或可包含多条信息。

现在参照图8描述会聚焦。如图8中所示，会聚角是由连接被摄体和拍摄视点的线所定义的角。拍摄位置的移动距离对应于视差(相机移动量)。

例如，在以上参照图4所述的多视图相机的情况下，可以将那几条信息记录为对应于镜头排列的固定值。

然而，如参照图3所述的那样，当用户移动并从不同视点执行拍摄时，通过拍摄图像分析来确定和记录那几条信息。使用图5中所示的运动检测器131的运动检测处理来执行该处理。下面描述处理的细节。

可以以采用了Exif(可交换图像文件)制造商标志的唯一立体图像格式存储图像数据，以便可用于不支持MP格式的设备。代替Exif，也可以通过创建包括上文参照图7所述的首标信息并具有满足DCF标准的格式的数据库来记录图像数据。

会聚角信息和运动量信息用于选择与显示部分等的大小对应的两个最佳图像。

尽管图7所示的MP文件首标信息是与每个图像相关联地记录会聚角信息与移动量信息的示例，但是也可以通过分析拍摄图像来确定这几条信息。即，在图像的记录期间，不一定需要记录图像属性信息。因而，例如，在待显示图像的选择期间，可以执行图像分析以确定那些值。

重新参照图5进一步描述图像捕获装置的配置。操作部分114例如包括快门、调焦部分和模式切换部分。一旦操作快门，图像捕获装置拍摄图像。

如上所述，存储部分115和外部存储器116用作拍摄图像的存储部分。存储部分115和外部存储器116也用作存储信息(如，控制程序和各种参数)的区域。

控制器117控制图像捕获装置所执行的处理。处理的示例包括拍摄处理、显示部分121和EVF 122的图像显示处理等。控制器117例如接收显示部分121的信息以及经由输入/输出部分132所连接的外部显示设备135的信息，并且执行用于选择具有对应于外部显示设备135等的尺寸的最佳视差的图像的处理。下面描述处理的细节。用于控制器117所执行的控制的程序例如存储于ROM(只读存储器)118中。控制器117根据程序执行各种类型的处理。

RAM(随机存取存储器)119用作控制器117所执行的处理的工作区，并且还用作各种类型的设置信息的存储区。RAM 119还用作图像和各种数据的临时存储区。为了ROM 118中存储的程序的执行，控制器117将程序加载至RAM 119，并且根据加载的程序执行处理。

显示部分(监视器)121对应于图2B中所示的显示部分(监视器)21。显示部分121例如由液晶显示设备实施。显示部分121显示经由镜头部分111所获得的图像(预览图像)。显示部分121也用于显示从存储部分115或外部存储器116读取的拍摄图像。另外，显示部分121还显示菜单屏幕、操作屏幕等。还可以配置显示部分121以便例如用作具有触摸板功能的用户输入部分。

显示部分121例如可具有能够在用于显示的立体图像(3D图像)和平面图像(2D图像)之间进行切换的配置。显示部分121例如具有包括偏振器或双凸透镜(棱镜片(prism sheet))的显示配置，或者使用视差格栅(如，图像分割器)的显示配置，以便可以用裸眼看到立体图像。

EVF 122对应于图2B中所示的EVF 22。EVF 22例如由液晶显示设备实施。一旦操作输入/输出部分132所实施的EVF切换部分，EVF 122显示经由镜头部分111所获得的图像(预览图像)。

用户可以在拍摄角度的确定期间选择性地使用显示部分121或EVF 122以检查被摄体图像等，并且可以操作快门11以执行拍摄。

电源123是用于向图像捕获装置供电的部分，并且其例如由电池来实施。

如上所述，运动检测器131通过分析从不同视点拍摄的图像，来执行图像运动检测处理。控制器117基于图像运动检测处理的结果来确定会聚角和相机移动距离(视差)，并将会聚角和相机移动距离(视差)记录至存储部分等，作为图像的属性信息(其包括在首标等中)。

现在参照图9和10，描述运动检测器131所执行的运动检测处理。图9示出依次从不同视点拍摄的图像1和2。例如，如图10中所示，可以随着将图像捕获装置(相机)10从左向右移动来拍摄图像1和2。

图像1具有在图像2之前拍摄的图像数据。图像1和2的图像数据临时存储于RAM 119(见图5)中。运动检测器131将这几条图像数据进行比较。为了执行比较，运动检测器131将每条图像数据分为多个块。如图9中所示，运动检测器131将每条图像信息分为n(水平)块×m(垂直)块。

运动检测器131确定图像1和2的n×m个块之间的相似性，以获得图像1和图像2之间的移动距离(视差)。图9中所示的示例例如对应于将图像1中的块181选择用于处理的情况。运动检测器131在图像2中选择与图像1中的块181相似的块。运动检测器131例如基于亮度分布的相似性来确定各块之间的相似性。作为该确定处理的结果，如图9中所示那样选择图像2中的块182。在这种情况下，图像2相对于图像1的移动距离(视差)是一个块。

因而，运动检测器131通过执行块匹配，获得先前拍摄图像和随后拍摄图像之间的移动距离。控制器117从运动检测器131接收块匹配的结果，基于接收到的结果确定移动量，并且将该移动量记录为对应图像的属性信息。例如，当如图10中所示那样依次拍摄四个图像时，控制器117记录相对于先前图像的块移动的量和方向，作为每个图像的属性信息中的移动量信息。

输入/输出部分132连接至外部显示设备135，以例如输出用于三维图像显示的图像数据。更具体地，输入/输出部分132例如包括用于与网络(如，LAN(局域网)或WAN(广域网))连接的网络连接部分、通过组件或组合物(composite)连接至外部显示设备(如，电视)的视频数字模拟转换器部分、以及通过HDMI(高清多媒体接口)连接至外部显示设备的具有CEC(消费者电子控制)的发送器。从外部显示设备135发送的显示设备信息(如，尺寸)输入至输入/输出部分132。输入/输出部分132将显示设备信息输出至控制器117。一旦输入信息，控制器117执行用于选择具有对于外部显示设备135最佳的视差的图像的处理。下面描述处理的细节。

[2.图像捕获装置处的图像拍摄和记录处理]

接下来描述图像捕获装置所执行的图像拍摄和记录处理。图11是示出图像捕获装置所执行的图像拍摄和记录处理的整体顺序的流程图。例如，根据预先存储在ROM 118中的程序，在控制器117的控制下执行以下参照流程所述的处理。

现在描述图11所示的流程图中每个步骤的处理。

在步骤S101，进行关于是否按下快门的确定。当未按下快门时，处理进入到在图像捕获装置的显示部分121上连续显示预览图像的步骤S102。

当在步骤S101中确定按下了快门并执行拍摄时，处理进入步骤S103。在步骤S103，进行关于拍摄图像是否为基准图像的确定。例如基于拍摄图像是否为三维图像拍摄模式或全景图像拍摄模式下所拍摄的第一图像，来执行该确定处理。例如，当拍摄图像是第一图像时，将该图像看作为基准图像。在上文参照图10所述的处理示例中，图像1是基准图像。在多视图相机的情况下，将经由一个镜头获得的图像用作基准图像。

当在步骤S103中确定拍摄图像是基准图像时，处理进入到保存拍摄条件等的步骤S104，然后处理进入步骤S106。在步骤S103，将拍摄条件(如，自动曝光(AE)、白平衡(WB)、快门速度和聚焦位置)暂存至RAM 119。用作基准的第一图像的拍摄条件用于第二和随后图像的拍摄，直到完成三维图像拍摄模式或全景图像拍摄模式为止。相同拍摄条件的使用使得可以消除立体图像回放期间的用户不舒适感。

当在步骤S103中确定拍摄图像不是基准图像时，处理进入步骤S105。在步骤S105，将新近拍摄的图像与基准图像进行比较，并且确定各图像之间的移动量。例如，使用上文参照图9所述的运动检测器131的块间匹配来执行该处理。当图像捕获装置(相机)是如上文参照图4所述那样的多视图相机时，可以使用预设的固定值确定移动量。当图像捕获装置配备有可测量移动量的硬件(例如，加速度传感器)时，也可以使用硬件所获得的信息。

在步骤S106，将拍摄图像保存至存储部分115和/或外部存储器116。例如以上文参照图6和7所述的MP格式保存拍摄图像。尽管也可以使用诸如Exif格式之类的其它格式，但是最好与拍摄图像相关联地记录诸如移动量信息之类的属性信息。

在步骤S107，进行关于拍摄处理是否完成的确定。当拍摄处理未完成时，重复步骤S101和随后步骤中的处理。当在步骤S107中确定拍摄处理完成时，处理结束。

作为上述处理的结果，将从多个视点拍摄的图像保存于存储部分115和/或外部存储器116。

[3.拍摄图像的回放处理]

接下来描述图像捕获装置所拍摄和记录的图像的回放处理。图12是示出图像捕获装置执行的图像回放处理的整体顺序的流程图。

首先，在步骤S201，控制器117从存储部分115或外部存储器116读取要回放的图像文件。在步骤S202，进行关于读取的图像文件是否是可用于显示立体图像的文件的确定。例如基于图像的属性信息执行该确定处理。例如，如上文参照图7所述，将指示立体图像拍摄模式、全景图像拍摄模式等的拍摄模式信息添加至每个拍摄图像。因而，确定添加了拍摄模式信息的图像是记录了具有不同视点的一组多个图像的图像，并且步骤S202中的确定为YES(是)。

当所获得的图像的属性指示单独拍摄图像(不是在立体图像拍摄模式、全景图像拍摄模式等中拍摄的图像)的文件时，步骤S202中的确定为NO(否)。在这种情况下，处理进入到执行用于将图像输出并显示为普通二维数据的处理的步骤S207。

当在步骤S202中的确定为YES时，处理进入到步骤S203。在步骤S203，进行关于具有不同视点的三个或更多个图像是否可用于显示为立体图像的确定。当具有不同视点的图像数量为2或更少时，步骤S203中的确定为NO，并且处理进入步骤S207。当可用图像的数量仅为1时，执行用于将图像输出并显示为普通二维数据的处理。当可用图像的数量为2时，该两个图像用于显示立体图像，其中一个图像用于左眼，另一个图像用于右眼。

当在步骤S203中确定用于显示为立体图像的具有不同视点的三个或更多个图像可用时，允许图像选择，因而针对图像选择执行步骤S204和随后步骤中的处理。

在步骤S204，进行关于是否将移动量信息记录为图像的属性信息的确定。当移动量信息未记录时，处理进入到确定各图像之间的移动量的步骤S205。该处理是用于比较两个图像以确定图像之间的移动量的处理，并且其例如通过使用上文参照图9所述的运动检测器131的块间匹配而执行。

当在步骤S204中确认记录了图像的移动量信息时，或者当在步骤S205中确定完成了移动量的确定时，处理进入步骤S206。在步骤S206，使用移动量信息来执行用于选择与图像显示设备和观众相对应的最佳图像的处理。下面描述处理的细节。

最后，在步骤S207，执行使用所选择的具有不同视点的两个图像的立体图像显示。

现在参照图13中所示的流程图，描述步骤S206中执行的特定顺序的图像选择处理。

在步骤S251，进行关于观众的年龄小于预设阈值年龄(例如，7岁)还是大于等于预设阈值年龄的确定。该确定基于用户输入信息而进行。

例如，如同图14中所示的设置菜单1中那样，显示用于在相机的显示部分上输入观众信息的菜单，以向用户询问其年龄，并且根据用户输入信息进行确定。

如上所述，由于长时间连续观看显得更靠近观众的立体图像可能不利地影响年轻人(如，仍在发育的孩子)，因此已设置了安全方针。步骤S251中的确定处理也是用于根据安全方针执行图像显示的确定处理。

当在步骤S251中确定观众的年龄小于预设阈值年龄(例如，7岁)时，处理进入步骤S253。

在步骤S253中，从具有不同视点的三个或更多个图像中选择具有小视差(即，小移动量)的两个图像的组合，以用作要输出至显示设备的左眼图像和右眼图像。例如，当图像1到4可用时，选择图像1和具有相对于图像1的最小移动量(视差)的图像2。可替代地，可以执行处理以确定所有的图像1到4之间的移动量，并选择具有不超过预设最大移动量的最大移动量的图像的组合。

另一方面，当在步骤S251中确定观众年龄不小于预设阈值年龄(例如，7岁)时，处理进入步骤S252。

在步骤S252，进行关于用于显示图像的显示设备的尺寸是否大于等于预设的阈值尺寸。

该确定处理也例如基于用户输入信息而执行。

例如，如图14中所示的设置菜单2中那样，显示用于在相机的显示部分上输入显示部分信息的菜单以询问用户，并且根据用户输入信息进行确定。在图14所示的示例中，将阈值设置为30英寸，因而进行关于显示设备是30英寸或更大还是小于30英寸的确定。

当在步骤S252中确定显示设备的尺寸大于等于阈值尺寸时，处理进入步骤S253。在步骤S253，如上所述，选择具有小视差(即，小移动量)的两个图像的组合，作为要输出至显示设备的左眼图像和右眼图像。

另一方面，当在步骤S252中确定显示设备的尺寸小于阈值尺寸时，处理进入步骤S254。在步骤S254，选择具有大视差(即，大移动量)的两个图像的组合，作为要输出至显示设备的左眼图像和右眼图像。

例如在不使用图14中所示菜单屏幕上所输入的用户信息的情况下，可以基于从图5中所示的经由输入/输出部分132连接的外部显示设备135所获得的显示信息(如，屏幕尺寸信息或HD(高清)图像显示可能/不能(capability/incapability)信息)，来确定步骤S252中的显示设备尺寸信息。例如，当显示设备可以显示HD图像时，确定屏幕尺寸很大。例如，当显示设备具有HDMI线缆连接配置时，可以从EDID(扩展显示标识数据)获得最大水平/垂直图像尺寸作为图像尺寸信息。当显示设备具有组件线缆(component-cable)连接配置时，可以获得HD图像显示可能/不能信息。例如，当显示3D图像时，也可确定屏幕尺寸很大。

该配置也可以是这样的：步骤S251中的观众年龄确定处理不使用用户输入信息。例如，也可以通过以配备在显示设备中的相机拍摄观众、对所拍摄图像执行面部检测处理并且使用检测到的面部图像，来执行年龄确定处理。在这种情况下，将用于执行面部检测处理和基于面部图像的年龄确定处理的程序预先存储在图像捕获装置中的存储部分115中，并且基于该程序执行处理。

根据图13所示流程图执行图像选择处理使得可以向年轻的观众呈现不具有太大视差的立体图像。

也可以显示对应于屏幕尺寸的最佳立体图像。

当具有适于显示器的视差的图像在步骤S253或S254中不可用时，可以执行内插图像创建处理，以处理现有图像来创建用作显示图像的新内插图像。例如，如图15中所示，在存在图像1和2的情况下，当图像1和图像2之间的移动量(视差)很大时，执行使用图像1和2的内插处理以创建内插图像。图像1和内插图像之间的视差是图像1和图像2之间的视差的一半。这种内插图像也可以用在显示处理中。

例如，当外部显示设备135经由图5中所示的输入/输出部分132连接至图像捕获装置时，作为图像显示处理的结果，可以在图像捕获装置的显示部分(监视器)121和所连接的显示设备135二者上显示图像。在这种情况下，当外部显示设备135经由输入/输出部分132连接时，优先选择具有大显示尺寸的外部显示设备135用于显示。在这种情况下，可以在图像捕获装置的显示部分121上显示与外部连接的显示设备135上所显示的图像相同的立体图像。可替代地，例如如图16中所示，在图像捕获装置的显示部分121上显示指示“输出在电视机上”的文本等。

在图13所示流程中的图像选择处理中，仅选择特定一对图像，并且不允许用户选择任何图像。然而，相比之下，可以呈现用于执行图像选择的屏幕(如图17中所示)，以便用户可以选择任意的图像对。

[4.与所连接的显示设备的功能对应的图像输出处理的示例]

图5中所示的经由输入/输出部分132连接至图像捕获装置的外部显示设备135可以是任何显示设备。外部显示设备135也可具有任何功能。

外部显示设备135的示例包括：

(a)可显示立体图像而不允许图像选择的显示设备；

(b)可执行立体图像显示和图像选择而不编译MP文件的显示设备；以及

(c)可执行立体图像显示、MP文件的编译和图像选择的显示设备。

图像捕获装置依据经由输入/输出部分132连接的显示设备的功能，执行不同处理。现在参照图18中所示的流程图，描述图像显示装置依据所连接的显示设备的功能而执行的处理。

使用经由输入/输出部分132输入的所连接的显示设备信息，或者使用用户输入的显示设备信息，来执行图18中所示的流程。

首先，在步骤S301，进行关于所连接的显示设备是否具有执行用于选择用以立体图像显示的图像的处理的功能。当显示装置缺少选择功能时，处理进入图像捕获装置执行图像选择处理并将所选图像加载至存储器(RAM)中的步骤S311。例如根据上文参照图13所述的流程来执行这种情况下的图像选择处理。

另一方面，当在步骤S301中确定所连接的显示设备具有执行用于选择用以立体图像显示的图像的处理的功能时，处理进入步骤S302。

在步骤S302，进行关于所连接的显示设备是否可编译并处理MP文件(见图6和7)的确定。

当所连接的显示设备具有用于MP文件编译处理的功能时，处理进入直接将MP文件输出至显示设备的步骤S305。此后，处理结束。在这种情况下，显示设备执行用于选择和显示图像的处理。

当在步骤S302中确定所连接的显示设备缺少用于MP文件编译处理的功能时，处理进入步骤S303。

在步骤S303，用于立体图像显示的多个图像加载至存储器(RAM)。

在完成了步骤S303中的处理或者步骤S311中的处理之后，处理进入步骤S304。

在步骤S304，根据存储器(RAM)中的文件，创建与图像文件要输出到的显示设备的立体图像显示系统相对应的图像。

作为立体图像显示系统，存在多种系统，如：液晶快门系统、偏振眼镜系统和视差格栅系统。作为呈现左右眼图像的数据的格式，存在多种格式，如：并排(side by side)、上下(over-under)和交错(interlace)格式。在步骤S304，根据显示设备可处理的系统，生成用于输出的数据。

此后，在步骤S305，将生成的图像文件输出至显示设备。

以此方式，图像捕获装置执行与所连接的外部显示设备的功能相对应的图像呈现处理。当例如要将包括多个图像的图像文件输出到显示设备时，期望采用压缩文件如图19中所示那样生成并传送至显示设备的配置。

[5.通过图像比较处理的移动量确定的实施例]

如上文参照图9所述，在确定从不同视点拍摄的并可用于立体图像显示的图像之间的移动量(视差)期间，运动检测器131(见图5)将每个图像分为多个块，并执行块匹配以确定移动量。

现在参照图20和21中所示的流程图，描述通过移动量确定处理的一系列最佳图像选择的详细处理。

在步骤S501，进行关于基线长度信息是否记录于MP文件(见图6和7)的确定。如图22中所示，基线长度信息是指示拍摄图像的镜头之间的距离的信息，并且对应于移动量信息。当在MP文件中记录了基线长度信息(移动量信息)时(步骤S501中YES)，处理进入到执行使用基线长度信息的处理的步骤S511。

另一方面，当在MP文件(见图6和7)中没有记录基线长度信息时，步骤S501中的确定结果是NO，处理进入步骤S502。

在步骤S502，获得基准图像。基准图像是用于立体图像显示的各图像之一。

接下来，在步骤S503，获得比较结果。比较图像是基准图像以外的图像。

在步骤S504，将基准图像和比较图像转换为仅包括亮度(Y)信息的图像，并且将每个图像分为多个块。至亮度信息的转换是这样的处理：其旨在减小信息量以便有效地执行块比较处理。因而，例如，当图像捕获装置具有用于数据处理的充足功能时，可以直接使用RGB值。在这种情况下，可以消除用于将图像转换为仅包括亮度(Y)信息的图像的处理(在步骤S504中)。可以将从图像分割得到的块的数目设置为任何数目。图23B中示出了分割的图像的一个示例。图23B中所示的图像是通过将图23A所示的图像分为64×48个块而获得的示例。

在步骤S505，针对基准图像和比较图像中的每一个，确定分割块中亮度(Y)的平均值。

接下来，在步骤S506，依次从比较图像中选择处理块，并且进行关于在基准图像中是否存在具有与所选处理块的平均亮度相同的亮度的块，或者具有处于预设差值内的平均亮度的块。当在基准图像中存在每一个均具有处于预设差值内的平均亮度的多个块时，选择具有最小差值的一个块。

在块检索处理期间，可以将基准图像中的所有块都作为检索范围来检索，或者如图23C中所示那样，可以执行仅使用了基准图像中的某些块作为检索范围的处理。在图23C所示的示例中，通过使用基准图像R1中与比较图像C1中的块相对应的位置处的块作为开始点，来仅检索预设检索范围中的块(图23C中的基准图像R1中的x到y)。

在步骤S507，当从基准图像中检测到具有与选自比较图像的块的平均亮度相同的亮度的块、或者具有处于预设差值内的平均亮度的块时，处理进入步骤S508。否则，处理进入步骤S509。

在步骤S508，记录从比较图像选择的块和从基准图像检测到的块之间的移动量，并且更新匹配块计数器的计数值。

在步骤S509，更新不匹配块计数器的计数值。

在步骤S510，进行关于处理是否对于比较图像中包括的所有块都完成的确定。当存在任何未处理的块时，对未处理的块执行步骤S506和随后步骤中的处理。

当在步骤S510中确定对于所有块都完成了处理时，处理进入步骤S512。

接下来描述图21中所示的流程。

当在步骤S501确定MP文件中记录了基线长度时，执行步骤S511。

在步骤S511，基于基线长度确定图像之间的移动量。

另一方面，当MP文件中未记录基准长度时，处理进入到基于块移动量确定图像之间的移动量的步骤S512，其中所述量作为步骤S502到S510中的处理的结果而获得。将块移动量的平均值(该量作为步骤S502到S510中的处理的结果而获得)设置为图像之间的移动量。

例如，步骤S502到S510中的处理例如可以产生如下的结果：

图像1和图像2之间的移动量＝1个块

图像1和图像3之间的移动量＝2个块

图像1和图像4之间的移动量＝6个块

在步骤S513中，进行关于图像输出目的地是连接至图像捕获装置的外部显示设备还是图像捕获装置的显示部分(监视器)的确定。

当输出目的地是图像捕获装置的显示部分时，处理进入到选择具有大移动量的一对图像作为左眼图像和右眼图像的步骤S517。例如，选择图像1和3。对于图像选择，最好采用这样的配置：预先确定对于移动量的允许最大值和允许最小值，以便选择处于这些值的范围中的一对图像。

当在步骤S513中确定图像输出目的地是连接至图像捕获装置的外部显示设备时，处理进入(例如，通过使用EDID)从所连接的显示设备获得显示设备信息的步骤S514。在步骤S515，进行关于显示设备的屏幕尺寸是否大于等于预设阈值尺寸(例如，30英寸)的确定。

当显示设备的屏幕尺寸大于等于预设的阈值尺寸(例如，30英寸)时，处理进入步骤S516。另一方面，当显示设备的屏幕尺寸小于预设的阈值尺寸(例如，30英寸)时，处理进入步骤S517。

当在步骤S515中确定显示设备的屏幕尺寸大于等于阈值并且处理进入步骤S516时，选择具有小移动量的一对图像作为左眼图像和右眼图像。例如，选择图像1和2。对于图像选择，最好采用这样的配置：预先确定对于移动量的允许最大值和允许最小值，以便选择处于这些值的范围中的一对图像。

另一方面，当在步骤S515中确定显示设备的屏幕尺寸小于阈值并且处理进入步骤S517时，选择具有大移动量的一对图像作为左眼图像和右眼图像。例如，选择图像1和3。

在完成步骤S516中的处理或者步骤S517中的处理之后，处理进入步骤S518。在步骤S518中，基于所选图像创建用于立体显示的图像，并且在显示部分上输出所创建的图像。

尽管在图20和21所示的流程中省略了基于观众年龄的图像选择处理，但是也可结合上述处理，执行上文参照图13所述的基于观众年龄的图像选择处理。

如上所述，根据本发明实施例的图像处理装置(如，图像捕获装置)在要显示立体图像(即，三维图像)的显示设备的显示尺寸大时，选择性地显示具有小移动量(视差)的一对图像，而在显示设备的显示尺寸小时，选择性地显示具有大移动量(视差)的一对图像。

当观众年龄低时，图像处理设备选择性地显示具有小移动量(视差)的一对图像。

通过执行上述处理，实现了与显示设备和观众相对应的最佳立体图像显示。

尽管已经针对基于显示尺寸是大于等于单个阈值尺寸还是小于阈值尺寸来选择两对图像(即，具有小移动量的一对图像和具有大移动量的一对图像)的情况给出了上面的描述，但是配置也可以是这样的：设置多个阈值，并且选择具有不同移动量(视差)的多对图像作为显示图像。

通过示例设置两个阈值尺寸Tha和Thb(Tha＞Thb)。

例如，对于显示尺寸≥Tha，选择具有m1到m2的移动量(视差)的一对图像；对于Tha＞显示尺寸≥Thb，选择具有m2到m3的移动量(视差)的一对图像；而对于Thb＞显示尺寸，选择具有m3到m4的移动量(视差)的一对图像。

在这种情况下，移动量(视差)m1到m4满足m1＜m2＜m3＜m4。

另外，可以设置三个或更多个阈值，以便以更精细的设置来执行图像对选择。

这也适用于基于观众年龄的图像选择。即，可进一步设置多个阈值，以便选择具有多个不同移动量的一对图像。

通过示例设置两个阈值年龄Thx和Thy(Thx＜Thy)。

例如，对于观众年龄＜Thx，选择具有mp到mq的移动量(视差)的一对图像；对于Thx＜观众年龄≤Thy，选择具有mq到mr的移动量(视差)的一对图像；而对于Thy＜观众年龄，选择具有mr到ms的移动量(视差)的一对图像。

在这种情况下，移动量(视差)mp到ms满足mp＜mq＜mr＜ms。

另外，可以设置三个或更多个阈值，以便以更精细的设置来执行图像对选择。

尽管在上面的实施例中已经描述了图像捕获装置所拍摄的图像的立体显示，但是本发明不限于此。例如，对于菜单屏幕和/或OSD(屏上显示)信息的显示，布置也可以是这样的：在存储器中预先存储用于立体显示的多个图像，并且根据显示尺寸和/或观众年龄来选择并显示具有不同视差的各图像的组合。对于用于选择视差的准则，如上述图像显示中那样，当显示设备的显示尺寸大时，选择具有小视差的一对图像，而当显示设备的显示尺寸小时，选择具有大视差的一对图像。当观众年龄小时，图像处理装置选择性地显示具有小视差的一对图像。通过执行上述处理，对于菜单屏幕和/或OSD信息，也实现了与显示设备和观众年龄相对应的最佳立体图像显示。

上面已结合具体示例详述了本发明。然而，对于本领域技术人员显而易见的是，在不脱离本发明精神和范围的情况下可以对实施例进行修改和替代。即，本发明在上面已通过示例进行了公开，从而不应当解释为限制。为了确定本发明的精神和范围，还应当加以考虑本发明的权利要求书。

上文所述的一系列处理也可通过硬件、软件或其组合来执行。当要通过软件执行所述一系列处理时，写入了处理顺序的程序可通过加载至专用硬件中并入的计算机中的存储器来执行，或者通过安装至能够执行各种类型处理的通用计算机来执行。例如，程序可预先记录至存储介质。可以将程序从存储介质安装至计算机。可替换地，可以通过经由网络(如，LAN(局域网)或因特网)接收程序，将该程序安装于存储介质(如，内置硬盘)。

上文所述的各种类型的处理不仅可以根据上述顺序而以时间顺序执行，而且可以依据执行处理的装置的处理能力或依据必要性而并行或单独地执行。这里使用的术语“计算机系统”是指多个装置(设备)的逻辑集合，其不限于在单个外壳中提供具有单独配置的装置(设备)的架构。

本申请包含与2009年10月20日向日本专利局提交的日本优先专利申请JP 2009-241237中公开的主题有关的主题，在此通过引用的方式并入其全部内容。

本领域技术人员应当理解，依据设计要求和其它因素，可出现各种修改、组合、部分组合和变更，只要其在所附权利要求书及其等效物的范围内即可。

Claims (11)

1.一种图像处理装置，包含：

控制器，其从拍摄自不同视点的多个图像中选择要用于显示三维图像的处理的显示图像；

其中，所述控制器配置为执行根据显示部分的显示尺寸，选择具有不同视差的一组图像作为显示图像的处理；

确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息；

当记录了移动量信息时，通过使用所记录的移动量信息来选择具有对应于显示尺寸的视差的图像的组合；以及

当未记录移动量信息时，通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

2.如权利要求1所述的图像处理装置，进一步包含运动检测器，其执行确定被分为多个块的图像之间的块匹配程度的处理；

其中，所述控制器通过使用运动检测器所执行的检测的信息，来确定移动量。

3.如权利要求1或2所述的图像处理装置，其中，所述控制器获得观众的年龄信息，将所获得的年龄信息与预设的阈值年龄进行比较，并且执行用于选择具有视差的图像的组合的处理，其中该视差在观众年龄小于阈值年龄时和观众年龄大于等于阈值年龄时之间是不同的。

4.如权利要求1所述的图像处理装置，其中，对于具有大显示尺寸的显示部分，控制器执行以下处理：相比于针对具有小显示尺寸的显示部分所选择的图像之间的视差，选择具有更小视差的图像的组合。

5.如权利要求3所述的图像处理装置，其中，当观众年龄小于阈值年龄时，控制器执行以下处理：相比于当观众年龄大于等于阈值年龄时所选择的视差，选择具有更小视差的图像的组合。

6.如权利要求1所述的图像处理装置，其中，所述控制器通过分析从连接至图像处理装置的外部显示设备所输入的显示设备信息，获得所述显示尺寸。

7.如权利要求1所述的图像处理装置，其中，当与图像之间的视差对应的移动量信息未记录为图像的属性信息时，所述控制器将图像转换为具有亮度信息的图像，并且通过使用具有亮度信息的图像来执行块匹配程度确定处理。

8.如权利要求1所述的图像处理装置，其中，所述图像处理装置包含具有拍摄图像的功能的图像捕获装置，并且

所述控制器执行以下处理：将作为所拍摄图像的视差信息的移动量信息记录为所拍摄图像的属性信息。

9.如权利要求8所述的图像处理装置，进一步包含运动检测器，其执行确定被分为多个块的图像之间的块匹配程度的处理；

其中，所述控制器通过使用运动检测器所执行的检测的信息来确定移动量，并且将确定出的移动量记录为图像的属性信息。

10.一种由图像处理装置执行的图像处理方法，所述方法包含以下步骤：

促使控制器从拍摄自不同视点的多个图像中选择要用于显示三维图像的处理的显示图像；

其中，图像选择步骤包括以下步骤：

执行根据显示部分的显示尺寸，选择具有不同视差的一组图像作为显示图像的处理；

确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息；

当记录了移动量信息时，通过使用所记录的移动量信息来选择具有对应于显示尺寸的视差的图像的组合；以及

当未记录移动量信息时，通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

11.一种用于促使图像处理装置执行图像处理的程序，所述程序包含以下步骤：

促使控制器从拍摄自不同视点的多个图像中选择要用于显示三维图像的处理的显示图像；

其中，图像选择步骤包括以下步骤：

执行根据显示部分的显示尺寸，选择具有不同视差的一组图像作为显示图像的处理；

确定对应于图像之间视差的移动量信息是否被记录为图像的属性信息；

当记录了移动量信息时，通过使用所记录的移动量信息来选择具有对应于显示尺寸的视差的图像的组合；以及

当未记录移动量信息时，通过经由使用被分为多个块的图像之间的块匹配程度的确定所得到的信息来确定移动量，并且利用确定出的移动量的信息，来选择具有对应于显示尺寸的视差的图像的组合。

Images