CN102111629A - 图像处理装置、图像捕获装置、图像处理方法和程序 - Google Patents

Abstract

一种图像处理装置，包括：图像合成单元，其通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像。所述图像合成单元通过连接和合成在图像中设置的左眼图像条生成应用于显示三维图像的左眼合成图像，并且通过连接和合成在图像中设置的右眼图像条生成应用于显示三维图像的右眼合成图像。所述图像合成单元通过从储存器获取可允许的范围或计算可允许的范围，执行在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像。

Description

图像处理装置、图像捕获装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像捕获装置、图像处理方法和程序，并且更具体地涉及能够使用在移动相机的同时捕获的多个图像生成用于显示三维图像(3D图像)的图像的图像处理装置、图像捕获装置、图像处理方法和程序。

背景技术

为了生成三维图像(也称为3D图像或立体图像)，必须在不同的观察点拍摄图像，也就是说，必须拍摄左眼图像和右眼图像。在不同的观察点拍摄图像的方法大致地分为两种。

第一种方法是使用所谓的多镜头相机的方法，该多镜头相机使用多个相机单元在不同观察点同时捕获被摄体。

第二种方法是使用所谓的单镜头相机的方法，该单镜头相机在移动图像捕获装置的同时使用单个相机单元在不同的观察点连续捕获图像。

例如，在第一种方法中使用的多镜头相机系统具有这样的配置，其中镜头布置在间隔的位置，以便在不同的观察点同时拍摄被摄体。然而，多镜头相机系统具有的问题在于由于需要多个相机单元，所以相机系统是昂贵的。

相反，在第二种方法中使用的单镜头相机系统包括一个相机单元，如在根据现有技术的相机中一样。在移动包括一个相机单元的相机的同时在不同的观察点连续拍摄多个图像，并且多个拍摄的图像用于生成三维图像。

因此，当使用单镜头相机系统时，可以以相对低的成本实现具有一个相机单元的系统，如在根据现有技术的相机中一样。

在“Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师(Information and Communication Engineers)，D-II，Vol.J74-D-II，No.4，1991年)中，根据现有技术的技术描述了一种从在移动单镜头相机的同时捕获的图像获取关于被摄体的距离信息的方法。在“Omni-Directional Stereo”(关于图像分析和机器智能的IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence)VOL.14，No.2，1992年2月)中，也描述了与“Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师(Information and Communication Engineers)，D-II，Vol.J74-D-II，No.4，1991年)的那些内容相同的内容。

“Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师(Information and Communication Engineers)，D-II，Vol.J74-D-II，No.4，1991年)和“Omni-Directional Stereo”(关于图像分析和机器智能的IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence)VOL.14，No.2，1992年2月)描述了这样的方法，该方法通过将相机固定在位于离距旋转台的旋转中心给定距离的圆周上，并且在旋转该旋转台的同时连续拍摄图像，使用通过两个垂直狭缝获得的两个图像获取被摄体的距离信息。

如在“Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师(Information and Communication Engineers)，D-II，Vol.J74-D-II，No.4，1991年)和“Omni-Directional Stereo”(关于图像分析和机器智能的IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence)VOL.14，No.2，1992年2月)中一样，日本未审专利申请公开No.11-164326公开了一种配置，其中通过将相机安装在离距旋转台的旋转中心给定距离，并且在旋转相机的同时拍摄图像，使用通过两个狭缝获得的两个图像，获取应用于显示三维图像的左眼全景图像和右眼全景图像。

在根据现有技术的多个技术中，公开了当旋转相机时使用通过狭缝获得的图像获取应用于显示三维图像的左眼图像和右眼图像的方法。

另一方面，存在通过在移动相机的同时拍摄图像并且连接多个拍摄的图像生成全景图像(也就是说，具有水平长形状的二维图像)的已知方法。例如，日本专利No.3928222和日本专利No.4293053公开了生成全景图像的方法。

当生成二维全景图像时，使用在移动相机的同时拍摄的多个图像。

“Acquisition of Distance Information Using Omnidirectional Vision”(电子协会(Institute of Electronics)的期刊，信息和通信工程师(Information and Communication Engineers)，D-II，Vol.J74-D-II，No.4，1991年)、“Omni-Directional Stereo”(关于图像分析和机器智能的IEEE学报(IEEE Transaction On Pattern Analysis And Machine Intelligence)VOL.14，No.2，1992年2月)、以及日本未审专利申请公开No.11-164326描述了通过应用在拍摄处理(像生成全景图像的处理)中拍摄的多个图像并且在预定区域剪切和连接图像、从而获取作为三维图像的左眼图像和右眼图像的原理。

然而，这些文献至多描述了原理。例如，没有描述当用户用手握住相机并且在摆动相机的同时拍摄全景图像时，可靠地获取可应用于三维图像的左眼图像和右眼图像的条件等。当用户用手握住相机并且在移动相机的同时拍摄多个图像时，取决于情况变化相机的移动速度等。例如，在根据现有技术的上述文献中，没有清楚地描述在各种拍摄条件下获取可应用于三维图像的左眼图像和右眼图像的必要条件等。

发明内容

希望提供一种图像处理装置、图像捕获装置、图像处理方法和程序，其能够使用在拍摄条件下移动相机的同时拍摄的多个图像或在能够执行各种设置的图像捕获装置中，可靠地控制应用于显示三维图像的左眼图像和右眼图像的生成。

根据本发明的实施例，提供一种图像处理装置，包括：图像合成单元，其通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像。所述图像合成单元通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像，并且通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图像。所述图像合成单元通过从存储器获取可允许的范围或计算可允许的范围，执行在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像。

在根据本发明实施例的图像处理装置中，所述图像合成单元可以执行从存储器获取条偏移的可允许的最小值和可允许的最大值作为可允许的范围或计算可允许的最小值和可允许的最大值作为可允许的范围的处理，所述条偏移是作为应用于生成二维合成图像的图像剪切区域的二维合成图像条和左眼图像条或右眼图像条之间的间隔距离。

在根据本发明实施例的图像处理装置中，所述图像合成单元可以执行从存储器获取条设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设置位置左眼图像条和右眼图像条的设置区域之间不出现重叠区域。

在根据本发明实施例的图像处理装置中，所述图像合成单元可以执行从存储器获取条设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设置位置左眼图像条和右眼图像条的设置区域在图像存储器的存储范围内。

在根据本发明实施例的图像处理装置中，条偏移的可允许的最小值可以是通过应用参数(a)到(c)计算的值：(a)捕获多个图像的图像捕获装置的图像捕获元件的每个像素的视角μ；(b)当捕获多个图像的图像捕获装置捕获图像时的移动角速度d；以及(c)捕获多个图像的图像捕获装置的连续拍摄速度。所述图像合成单元可以执行通过应用参数(a)到(c)计算条偏移的可允许的最小值或从存储器获取计算的值的处理。

在根据本发明实施例的图像处理装置中，图像捕获元件的每个像素的视角μ可以是基于多个图像的每个的视角α计算的值。视角α可以是通过应用参数(d)到(f)的每个计算的值：(d)捕获多个图像的图像捕获装置的镜头的焦距f；(e)捕获多个图像的图像捕获装置的图像捕获元件的像素间距p；以及(f)捕获多个图像的图像捕获装置的图像捕获元件的水平像素的数目h。所述图像合成单元可以执行通过应用参数(a)到(f)计算条偏移的可允许的最小值或从存储器获取计算的值的处理。

在根据本发明实施例的图像处理装置中，条偏移的可允许的最大值可以是基于对应于图像存储器的存储范围的一个图像的水平有效尺寸t和条偏移的可允许的最小值计算的值。所述图像合成单元可以执行通过应用水平有效尺寸t和条偏移的可允许的最小值计算条偏移的可允许的最大值或从存储器获取计算的值的处理。

根据本发明的另一实施例，提供一种图像捕获装置，包括：应用于捕获图像的镜头单元；执行拍摄的图像的光电转换的图像捕获元件；以及上述图像处理装置的图像合成单元。

根据本发明的另一实施例，提供一种在图像处理装置中执行图像合成处理的图像处理方法。所述图像处理方法包括通过图像合成单元通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像的步骤。生成合成图像的步骤包括以下步骤：通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像；通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像；以及通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图像。

根据本发明的另一实施例，提供一种使得图像处理装置执行图像合成处理的程序。所述程序使得图像合成单元通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域执行生成合成图像的步骤。在生成合成图像的步骤中，所述程序执行以下步骤：通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像；通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像；以及通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图像。

根据本发明实施例的程序是例如可以提供到信息处理装置或计算机系统的程序，所述信息处理装置或计算机系统能够执行以计算机可读格式从记录介质或通信介质提供的各种程序代码。通过以计算机可读格式提供程序，根据在信息处理装置或计算机系统上的程序执行处理。

本发明实施例的其它目的、特征和优点在基于下述本发明的实施例和附图的详细描述中阐明。说明书中的系统具有多个装置的逻辑集合配置，并且不限于具有每个配置的装置包括在同一底盘中的情况。

根据本发明的实施例，提供一种图像合成单元，其通过连接从在不同位置拍摄的多个图像剪切的条区域，生成应用于显示三维图像的左眼合成图像和右眼合成图像。所述图像合成单元通过从存储器获取可允许的范围或计算可允许的范围，执行在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的在不同观察点的左眼合成图像和右眼合成图像。具体地，所述图像合成单元在图像存储器的存储范围内确定条设置位置，使得在左眼图像条和右眼图像条的设置区域之间不出现重叠区域。因此，在条设置处理中，可能可靠地生成可应用于显示三维图像的左眼合成图像和右眼合成图像。

附图说明

图1是图示生成全景图像的处理的说明图。

图2A、2B1和2B2是图示生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)的处理的说明图。

图3是图示生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)的原理的说明图。

图4A到4C是图示使用虚拟图像捕获面的反转模型(inversion model)的说明图。

图5是图示用于拍摄全景图像(3D全景图像)的处理的模型的说明图。

图6是图示在拍摄全景图像(3D全景图像)的处理中拍摄的图像和为左眼图像和右眼图像设置条(strip)的示例性处理的说明图。

图7是图示连接条区域的处理和生成3D左眼合成图像(3D全景L图像)和3D右眼合成图像(3D全景R图像)的处理的说明图。

图8A到8C是图示相机的移动速度和条宽度之间的对应的说明图。

图9A和9B是图示当在两个条区域之间设置重叠区域时的问题的说明图。

图10是图示当在两个条区域之间设置重叠区域时的问题的说明图。

图11是图示作为根据本发明实施例的图像处理装置的示例的图像捕获装置的示例性配置的说明图。

图12是图示由根据本发明实施例的图像处理装置执行的图像拍摄处理和图像合成处理的顺序的流程图。

图13A和13B是图示当相机的移动速度快时在左眼图像条和右眼图像条之间重叠区域的出现的说明图。

图14A和14B是图示当在左眼图像条和右眼图像条之间的偏移小时在左眼图像条和右眼图像条之间出现重叠区域的说明图。

图15A和15B是图示其中由于在左眼图像条和右眼图像条之间的过度偏移而没有生成合成图像的示例的说明图。

图16是图示其中由于在左眼图像条和右眼图像条之间的过度偏移而没有生成合成图像的示例的说明图。

图17是图示拍摄图像的图像捕获装置(相机)的特定示例性配置的说明图。

图18是图示作为用于根据连续拍摄的图像和数据存储之间的移动量(相机的摆动角速度)避免重叠的出现的参数的目标范围的可允许偏移量的图。

图19是图示作为用于根据连续拍摄的图像和数据存储之间的移动量(相机的摆动角速度)避免重叠的出现的参数的目标范围的可允许偏移量的图。

图20是图示图像合成单元的配置和处理的说明图。

图21是图示图像合成单元的配置和处理的说明图。

具体实施方式

下文中，将参照附图描述根据本发明实施例的图像处理装置、图像捕获装置、图像处理方法和程序。将以以下顺序进行描述。

1.生成全景图像和生成三维(3D)图像的处理的基础

2.使用当移动相机时拍摄的多个图像的条区域生成3D图像中的问题

3.根据本发明实施例的成像处理装置的示例性配置

4.图像拍摄处理和图像处理处理的顺序

5.用于避免各条的重叠区域出现的控制

6.条偏移的上限

7.控制条偏移的处理

8.图像合成单元的配置和处理的具体示例

1.生成全景图像和生成三维(3D)图像的处理的基础

本发明涉及这样的处理，其使用在移动图像捕获装置(相机)的同时连续拍摄的多个图像，通过连接以条形从各图像剪切的区域(条区域)，生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)。

已经实现和使用能够使用在移动相机的同时连续拍摄的多个图像生成二维全景图像(2D全景图像)的相机。首先，将参照图1描述生成作为二维合成图像的全景图像(2D全景图像)的处理。图1是图示(1)拍摄处理、(2)拍摄的图像、以及(3)二维合成图像(2D全景图像)的说明图。

用户设置相机10为全景拍摄模式并且握住相机，然后按下快门并且从左(点A)向右(点B)移动相机10，如图1的部分(1)所示。当在全景拍摄模式中检测到用户按下快门时，相机10执行连续图像拍摄处理。例如，相机连续拍摄大约几十个图像到大概一百个图像。

这些图像是图1的部分(2)中所示的图像20。多个图像20是在移动相机10的同时连续拍摄的图像，并且是来自不同观看点的图像。例如，通过从不同观看点拍摄100个图像获得的图像20顺序记录在存储器上。相机10的数据处理单元从存储器读取来自图1的部分(2)所示的存储器的多个图像20，剪切条区域以从每个图像生成全景图像，执行连接剪切的条区域以生成图1的部分(3)所示的2D全景图像30的处理。

图1的部分(3)所示的2D全景图像30是二维(2D)图像，并且是通过剪切和连接各拍摄的图像的各部分所获得的水平长图像。图1的部分(3)中图示的点线指示图像连接部分。每个图像20的剪切区域称为条区域。

根据本发明实施例的图像处理装置或图像捕获装置执行图1的部分(1)所示的图像拍摄处理，也就是说，使用在移动相机的同时连续拍摄的多个图像生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)的处理，如图1的部分(1)所示。

将参照图2A、2B1和2B2描述生成左眼图像(L图像)和右眼图像(R图像)的处理的基础。

在图2A中，示出在图1的部分(2)中的全景拍摄处理中拍摄的一个图像20。

像参照图1描述的生成2D全景图像的处理，通过从图像20剪切和连接预定条区域，生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)。

在此情况下，左眼图像(L图像)和右眼图像(R图像)在作为剪切区域的条区域上是不同的。

如图2A所示，左眼图像条51(L图像条)和右眼图像条52(R图像条)在剪切位置上是不同的。在图2A、2B1和2B2中，仅显示一个图像20，但是左眼图像条(L图像条)和右眼图像条(R图像条)设置在图1的部分(2)所示的、在移动相机的同时拍摄的多个图像的每个中的不同剪切位置。

以下，可以通过仅收集和连接左眼图像条(L图像条)生成图2B1中的3D左眼全景图像(3D全景L图像)。

此外，可以通过仅收集和连接右眼图像条(R图像条)生成图2B2中的3D右眼全景图像(3D全景R图像)。

通过连接在移动相机的同时拍摄的多个图像中的设置在不同剪切位置的条，可以生成应用于显示三维(3D)图像的左眼图像(L图像)和右眼图像(R图像)。将参照图3描述该原理。

图3是图示相机10移动到两个拍摄位置(a)和(b)来拍摄被摄体80的状态的图。作为在位置(a)的被摄体80的图像，从左侧观察的图像记录在相机10的图像捕获元件70的左眼图像条(L图像条)51中。接下来，作为在相机10移动到的位置(b)的被摄体80的图像，从右侧观察的图像记录在相机10的图像捕获元件70的右眼图像条(R图像条)52中。

以此方式，通过在不同观察点观察同一被摄体所获得的图像记录在图像捕获元件70的预定区域(条区域)中。

通过单独地提取图像，也就是说，通过仅收集和连接左眼图像条(L图像条)，生成图2B1中的3D左眼全景图像(3D全景L图像)。此外，通过仅收集和连接右眼图像条(R图像条)，生成图2B2中的3D右眼全景图像(3D全景R图像)。

在图3中，以横穿方式相对于被摄体80从左侧到右侧移动相机10以便利理解。然而，不必以横穿方式相对于被摄体80移动相机10。只要从不同的观察点将图像记录在相机10的图像捕获元件70的预定区域中，就可以生成应用于显示3D图像的左眼图像和右眼图像。

接下来，下面将参照图4A到4C描述使用要应用的虚拟图像捕获面的反转模型。图4A到4C分别是图示图像捕获配置、普通模式和反转模式的图。

图4A中图示的图像捕获配置的图示出当拍摄与参照图3描述的全景图像相同的全景图像时的处理配置。

在图4B中，示出了在图4A所示的拍摄处理中通过相机10的图像捕获元件70拍摄的示例性图像。

在图像捕获元件70中，垂直反转和记录左眼图像72和右眼图像73，如图4B所示。因为难以使用反转的图像进行描述，所以下面将描述图4C所示的反转模型。

反转模型是常用于描述图像捕获装置的图像的模型。

在图4C所示的反转模型中，假设在对应于相机的焦点的光学中心102的前方设置虚拟图像捕获元件101，并且在虚拟图像捕获元件101上拍摄被摄体图像。如图4C所示，在虚拟图像捕获元件101的左边拍摄相机的左前侧的被摄体A91，并且在虚拟图像捕获元件101的右边拍摄相机的右前侧的被摄体B92，并且被摄体不设为垂直反转，从而反映实际被摄体的位置关系而没有反转。也就是说，在虚拟图像捕获元件101上的图像是与实际拍摄的图像数据相同的图像数据。

以下将使用利用虚拟图像捕获元件101的反转模型进行描述。然而，如图4C所示，在虚拟图像捕获元件101上，在虚拟图像捕获元件101的右边拍摄左眼图像(L图像)111，并且在虚拟图像捕获元件101的左边拍摄右眼图像(R图像)112。

2.使用当移动相机时拍摄的多个图像的条区域生成3D图像中的问题

接下来，将描述使用当移动相机时拍摄的多个图像的条区域生成3D图像中的问题。

假设图5所示的拍摄模型作为用于拍摄全景图像(3D全景图像)的处理的模型。如图5所示，放置相机100，使得设置相机100的光学中心102距离作为旋转中心的旋转轴P为距离R(旋转的半径)。

设置虚拟图像捕获元件101距离光学中心102为焦距f，并且放置在旋转轴P外部。

在这样的配置的情况下，围绕旋转轴P顺时针(从A到B的方向)旋转相机100，以连续拍摄多个图像。

在每个拍摄点，左眼图像条11的图像和右眼图像条112的图像记录在虚拟图像捕获元件101上。

例如，记录的图像具有图6所示的结构。

图6是图示由相机100拍摄的图像110的图。图像110与在虚拟图像捕获元件101上的图像相同。

在图110中，如图6所示，从图像的中心向左偏移并且以条形剪切的区域(条区域)称为右眼图像条112，并且从图像的中心向右偏移并且以条形剪切的区域(条区域)称为左眼图像条111。

在图6中，显示用于生成二维(2D)全景图像的2D全景图像条115作为参考。

如图6所示，作为二维合成图像条的2D全景图像条115和左眼图像条111之间的距离和2D全景图像条115和右眼图像条112之间的距离定义为“偏移”或“条偏移”。

左眼图像条111和右眼图像条112之间的距离定义为“条间偏移”。

满足条间偏移＝(条偏移)×2的表达式。

条宽度w是对于2D全景图像条115、左眼图像条111和右眼图像条112共同的宽度w。条宽度依赖于相机的移动速度变化。当相机的移动速度快时，条宽度w扩大。当相机的移动速度慢时，条宽度w变窄。下面将更详细地描述这点。

条偏移或者条间偏移可以设为具有各种值。例如，当条偏移大时，左眼图像和右眼图像之间的视差变得更大。当条偏移小时，左眼图像和右眼图像之间的视差变得更小。

在条偏移＝0的情况下，满足左眼图像条111＝右眼图像条112＝2D全景图像条115的关系。

在此情况下，通过合成左眼图像条111获得的左眼合成图像(左眼全景图像)和通过合成右眼图像条112获得的右眼合成图像(右眼全景图像)是完全相同的图像，也就是说，变为与通过合成2D全景图像条115获得的二维全景图像相同。因此，这些图像不能用于显示三维图像。

条宽度w的长度、条偏移、或者条间偏移将描述为由像素的数目定义的值。

相机100的数据处理单元通过计算在移动相机100的同时连续拍摄的图像之间的运动矢量并且顺序确定从各个图像剪切的条区域，连接从各个图像剪切的条区域，同时对齐条区域的位置以连接上述条区域的图案。

也就是说，通过从各个图像仅选择、连接和合成左眼图像条111生成左眼合成图像(左眼全景图像)，并且通过从各个图像仅选择、连接和合成右眼图像条112生成右眼合成图像(右眼全景图像)。

图7的部分(1)是图示连接条区域的处理的图。假设每个图像的拍摄时间间隔是Δt，并且在T＝0到nΔt期间拍摄n+1个图像。连接从n+1个图像提取的条区域。

当生成3D左眼合成图像(3D全景L图像)时，仅提取和连接左眼图像条(L图像条)111。当生成3D右眼合成图像(3D全景R图像)时，仅提取和连接右眼图像条(R图像条)112。

通过仅收集和连接左眼图像条(L图像条)111生成图7的部分(2a)中的3D左眼合成图像(3D全景L图像)。

此外，通过仅收集和连接右眼图像条(R图像条)112生成图7的部分(2b)中的3D右眼合成图像(3D全景R图像)。

通过加入从图像100的中心向右偏移的条区域生成图7的部分(2a)中的3D左眼合成图像(3D全景L图像)，如参照图6和7所述。

通过加入从图像100的中心向左偏移的条区域生成图7的部分(2b)中的3D右眼合成图像(3D全景R图像)。

基本上，在两个图像上捕获相同被摄体，如上参照图3所述。然而，因为在不同位置拍摄同一被摄体，所以出现视差。当在能够显示3D(立体)图像的显示装置上显示具有视差的两个图像时，可以三维地显示拍摄的被摄体。

此外，存在各种3D显示方法。

例如，该方法包括对应于被动眼镜方法的3D图像显示方法或对应于主动眼镜方法的3D图像显示方法，在被动眼镜方法的3D中，通过偏振滤光器或滤色器分离由右眼和左眼观察的图像，在主动眼镜方法的3D中，对于右眼和左眼以交替方式暂时分离通过左右交替打开和关闭液晶快门所观察的图像。

在连接条的上述处理中生成的左眼图像和右眼图像可应用于上面的方法。

然而，当通过从在移动相机100的同时连续拍摄的多个图像剪切条区域生成左眼图像和右眼图像时，在一些情况下可能生成不能应用于三维(3D)图像的图像。下文中，将描述该问题。

当通过剪切条区域并且连接剪切的条区域生成如全景图像的一个合成图像时，从每个图像剪切的条宽度依赖于图像之间的运动矢量变化。也就是说，从每个图像剪切的条宽度依赖于相机的运动速度变化。将参照图8A到8C描述相机的运动速度和条宽度之间的对应。

当相机的运动速度快时，如图8A所示，连续拍摄的图像(帧f01到f04)之间的重叠区域小。在此情况下，要从每个图像提取的条宽度[w]大。

另一方面，当相机的运动速度慢时，如图8B所示，连续拍摄的图像(帧f01到f04)之间的重叠区域大。在此情况下，要从每个图像提取的条宽度[w]窄。

例如，当相机的运动速度太快时，如图8C所示，不能生成通过连接图像的剪切部分获得的全景图像。

条宽度[w]的设置应用到2D全景图像条，如在用于合成3D图像的右眼图像和左眼图像的各个条中一样。

然而，当在每个拍摄的图像中设置应用于显示3D图像的左眼图像和右眼图像的条时，可能出现以下问题。

因为当在一个图像中设置的左眼图像条区域和右眼图像条区域之间不存在足够间隔时不能建立3D图像，所以出现第一个问题。

因为没有从不同观察点获取被摄体的图像，所以导致该问题。也就是说，在一些情况下，不能从两个不同观察点获取视差图像。

当在一个图像中设置的左眼图像条区域和右眼图像条区域之间不存在足够间隔时，出现该情况，并且因此在两个条区域之间设置重叠区域。当重叠区域出现时，在一个拍摄的图像中可能出现同一图像用于左眼和右眼的公共使用区域。结果，公共使用区域变为没有从两个不同观察点设置图像的区域。

将参照图9A、9B和10描述该问题。

在图9A和9B中，示出了在一个拍摄的图像中设置条区域的两个示例。

在图9A中，示出了在条区域之间不存在重叠区域的示例。

在图9B中，示出了在条区域之间存在重叠区域的示例。

在图9A所示的示例中，在一个图像100中设置的左眼图像条区域111和右眼图像条区域112相互间隔，并且因此在左眼图像条区域111和右眼图像条区域112之间不存在重叠区域。

另一方面，在图9B所示的示例中，在一个图像100中设置的左眼图像条区域111和右眼图像条区域112相互重叠，并且因此在左眼图像条区域111和右眼图像条区域112之间存在重叠区域113。

当在左眼图像条区域111和右眼图像条区域112之间存在重叠区域113时，如图9B所示，不能获取要应用于3D图像的视差图像。将参照图10描述具体示例。

在图10的部分(1)中，示出了通过拍摄被摄体a到d获得的图像f01和f02。图像f01和f02是通过在移动相机的同时连续拍摄被摄体所获得的图像。

被摄体a到d记录在图10的部分(1)中示出的帧f01中，并且被摄体a到d还在偏离相机的移动量的位置记录在帧f02中。

被摄体a和b记录在之前拍摄的帧f01的右眼图像条f01R中，并且被摄体b和c记录在其左眼图像条f01L中。在右眼图像条f01R和左眼图像条f01L中存在重叠区域，并且被摄体b记录在该重叠区域中。

被摄体c和d记录在随后拍摄的帧f02的右眼图像条f02R中，并且被摄体d记录在其左眼图像条f02L中。

在右眼图像条f02R和左眼图像条f02L中存在重叠区域，并且被摄体d的一部分记录在该重叠区域中。

当从图像f01、f02等生成应用于显示3D图像的左眼全景图像和右眼全景图像时，通过仅提取和连接左眼图像条的图像合成处理生成左眼全景图像。

通过仅提取和连接右眼图像条的图像合成处理生成右眼全景图像。

作为图像合成处理的结果获得的合成图像是在图10的部分(2)中示出的两个全景图像。

在图10的部分(2)所示的两个合成图像(全景图像)中，右眼全景图像中包括的被摄体b是记录在图10的部分(1)中示出的图像帧f01L的右眼图像条f01R中的图像。

左眼全景图像中包括的被摄体b还是记录在图10的部分(1)中示出的图像帧f01L的左眼图像条f01L中的图像。

也就是说，两个全景图像中包括的被摄体b的图像是各条的重叠区域中的图像，并且可以是通过在一个观察点拍摄帧f01所获得的图像。

被摄体b的图像是在同一观察点拍摄的图像，并且在左眼全景图像和右眼全景图像中共同地使用，并且因此没有具有视差的可用于3D图像的两个图像的配置。结果，尽管这些全景图像用于显示3D图像，但是仅显示与被摄体b的部分相同的图像，并且因此不显示为3D图像而是显示为平面二维(2D)图像。

当在条区域中出现重叠区域时，生成其中在部分区域中显示2D图像并且在部分区域中显示3D图像的合成图像(全景图像)。因此，在合成图像的部分中出现不连续的立体区域。当在3D(立体)显示装置上显示合成图像时，当观看合成图像时，合成图像可能仅仅被观看为不自然地图像下沉(image sink)或漂浮(fly)。

为了避免左眼图像条区域和右眼图像条区域之间出现重叠区域，需要小心执行拍摄处理，如以预定移动速度移动相机。另一方面，当执行扩大条区域之间的空间以避免用于左眼和右眼的条区域之间的重叠的拍摄处理时，需要的条区域可能存在超过图像末端外部的图像区域。当该情况出现时，可能出现难以执行连接图像的处理的问题。

根据本发明的实施例，在两个不同观察点观察的合成图像通过连接在多个图像中设置的条区域的图像合成处理可靠地生成为3D图像，该多个图像通过在移动相机的同时拍摄应用于3D图像的左眼图像和右眼图像所获得。下文中，将更详细描述该处理。

3.根据本发明实施例的图像处理装置的示例性配置

首先，参照图11，将描述作为根据本发明实施例的图像处理装置的示例的图像捕获装置的示例性配置。

图11所示的图像捕获装置200对应于参照图1描述的相机10。例如，用户用手握住图像捕获装置200来以全景拍摄模式连续拍摄多个图像。

来自被摄体的光通过镜头系统201入射在图像捕获元件202上。图像捕获元件202例如通过CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器形成。

入射在图像捕获元件202上的被摄体图像通过图像捕获元件202转换为电信号。尽管没有图示，但是图像捕获元件202包括将转换的电信号转换为数字图像数据并且将转换的数字图像数据提供到图像信号处理单元203的预定信号处理电路。

图像信号处理单元203执行如伽玛校正或轮廓增强校正的图像信号处理，并且将作为信号处理结果的图像信号显示在显示单元204上。

通过图像信号处理单元203处理的图像信号提供到以下单元，如用作用于图像合成处理的图像存储器的图像存储器(用于图像合成处理)205、用作用于检测连续拍摄的图像之间的移动量的图像存储器的图像存储器(用于移动量检测)206、以及计算图像之间的移动量的移动量计算单元207。

移动量计算单元207获取从图像信号处理单元203提供的图像信号和图像存储器(用于移动量检测)206中存储的一帧的在前图像，并且检测一帧的当前图像和在前图像的移动量。例如，移动量计算单元207执行匹配连续拍摄的两个图像的像素的匹配处理，也就是说，确定同一被摄体的拍摄的区域以计算图像之间移动的像素数目的匹配处理。基本上基于被摄体停止的假设执行匹配处理。当存在运动的被摄体时，检测到不同于整个图像的运动矢量的运动矢量，但是对应于运动的被摄体的运动矢量处理为检测目标的例外。也就是说，检测到对应于随着相机的移动出现的整个图像的移动的运动矢量(GMV：全局运动矢量)。

例如，计算移动量作为移动像素的数目。比较图像n和在前图像n-1计算检测到的移动量(像素的数目)所获得的图像n的移动量作为对应于图像n的移动量存储在移动量存储器208中。

图像存储器(用于图像合成处理)205是存储图像以执行连续拍摄的图像的图像合成处理(即，生成全景图像)的存储器。图像存储器(用于图像合成处理)205可以存储在全景拍摄模式中拍摄的所有图像(如n+1个图像)。例如，图像存储器205可以仅选择和存储其中通过剪切图像的末端确保生成全景图像所需的条区域的图像的中间区域。在这样配置的情况下，可以减少所需的存储器容量。

在拍摄处理结束之后，图像合成单元210执行从图像存储器(用于图像合成处理)205提取图像、剪切条区域、并且连接剪切的条区域以生成左眼合成图像(左眼全景图像)和右眼合成图像(右眼全景图像)的图像合成处理。

在拍摄处理结束之后，图像合成单元210将在拍摄处理期间存储的多个图像(或部分图像)输入图像存储器(用于图像合成处理)205。此外，图像合成单元210还输入对应于移动量存储器208中存储的图像的移动量、以及用于确定左眼图像条和右眼图像条的设置位置的可允许的偏移信息、或者用于计算来自存储器209的可允许的偏移量的各种参数。

图像合成单元210使用输入的信息在连续拍摄的图像中设置左眼图像条和右眼图像条，并且通过执行剪切和连接图像条的处理生成左眼合成图像(左眼全景图像)和右眼合成图像(右眼全景图像)。图像合成单元210对于图像执行如JPEG的压缩处理，然后将压缩的图像记录在记录单元(记录介质)211中。

下面将更详细地描述图像合成单元210的特定示例性配置和处理。

记录单元(记录介质)211存储通过图像合成单元210合成的合成图像，也就是说，左眼合成图像(左眼全景图像)和右眼合成图像(右眼全景图像)。

记录单元(记录介质)211可以由任何记录介质形成，只要记录介质能够记录数字信号。记录单元的示例包括硬盘、磁光盘、DVD(数字多功能盘)、MD(迷你盘)、半导体存储器和磁带。

尽管在图11中未图示，但是除了图11中示出的配置之外，图像捕获装置200包括由用户操作的快门、执行如模式设置处理的各种输入的输入操作单元、控制在图像捕获装置200中执行的处理的控制单元、处理不同于控制单元的每个构成单元的程序、以及存储参数的存储单元(存储器)。

在图像捕获装置200的控制单元的控制下执行图11中示出的图像捕获装置200的构成单元的处理和输入和输出数据的处理。控制单元读取图像捕获装置200的存储器中预先存储的程序，并且执行根据该程序在图像捕获装置200中执行的所有的控制，如获取拍摄的图像的处理、处理数据的处理、生成合成图像的处理、记录生成的合成图像的处理、以及显示处理。

4.图像拍摄处理和图像处理处理的顺序

接下来，将参照图12所示的流程图描述在根据本发明实施例的图像处理装置中执行的图像拍摄处理和图像合成处理的示例性顺序。

例如，在图11所示的图像捕获装置200的控制单元的控制下执行图12所示的流程图的处理。

将描述图12所示的流程图中各步骤的处理。

首先，通过接通图像处理装置(例如，图像捕获装置200)执行硬件诊断或初始化，然后处理进行到步骤S101。

在步骤S101中，计算各种拍摄参数。在步骤S101中，例如，获取通过曝光表识别的关于亮度的信息，并且计算如光圈值或快门速度的拍摄参数。

随后，处理进行到步骤S102，并且控制单元确定用户是否操作快门。这里，假设预先设置3D全景拍摄模式。

在3D全景拍摄模式中，用户操作快门来连续拍摄多个图像，并且执行处理使得从拍摄的图像剪切出左眼图像条和右眼图像条，并且生成和记录可应用于显示3D图像的左眼合成图像(全景图像)和右眼合成图像(全景图像)。

在步骤S102中，当控制单元没有检测到用户操作快门时，处理返回到步骤S101。

在步骤S102中，另一方面，当控制单元检测到用户操作快门时，处理进行到步骤S103。

在步骤S103中，基于在步骤S101中计算的参数，控制单元执行控制以开始拍摄处理。具体地，例如，控制单元调整图11所示的镜头系统201的光圈驱动单元以开始拍摄图像。

执行图像拍摄处理以连续拍摄多个图像。从图11所示的图像捕获元件202顺序地读取对应于连续拍摄的图像的电信号，以便在图像信号处理单元203中执行如伽玛校正或轮廓增强校正的处理。然后，在显示单元204上显示处理结果，并且顺序地提供到存储器205和206以及移动量检测单元207。

接下来，处理进行到步骤S104以计算图像之间的移动量。通过图11所示的移动量检测单元207执行该处理。

移动量检测单元207获取从图像信号处理单元203提供的图像信号和图像存储器(用于移动量检测)206中存储的一帧的在前图像，并且检测当前图像和一帧之前的图像的移动量。

如上所述，计算的移动量对应于通过执行匹配连续拍摄的两个图像的像素的匹配处理(也就是说，确定同一被摄体的拍摄区域的匹配处理)计算的像素的数目。基本上，基于被摄体停止的假设执行处理。当存在运动被摄体时，检测到不同于整个图像的运动矢量的运动矢量，但是对应于运动的被摄体的运动矢量处理为检测目标的例外。也就是说，检测到对应于随着相机的移动出现的整个图像的移动的运动矢量(GMV：全局运动矢量)。

例如，计算移动量作为移动像素的数目。通过比较图像n和在前图像n-1并计算检测到的移动量(像素的数目)所获得的图像n的移动量作为对应于图像n的移动量存储在移动量存储器208中。

移动量存储处理对应于步骤S105的存储处理。在步骤S105中，在步骤S104中检测到的图像之间的移动量与每个连续拍摄图像的ID相关联地存储在图11所示的移动量存储器208中。

随后，处理进行到步骤S106以将在步骤S103中拍摄并且通过图像信号处理单元203处理的图像存储在图11所示的图像存储器(用于图像合成处理)205中。如上所述，图像存储器(用于图像合成处理)205存储在全景拍摄模式(或3D全景拍摄模式)中拍摄的所有图像(如n+1个图像)，但是可以例如仅选择和存储其中通过剪切图像的末端确保生成全景图像(3D全景图像)所需的条区域的图像的中间区域。在这样配置的情况下，可以减少所需的存储器容量。此外，图像存储器(用于图像合成处理)205可以在执行如JPEG的压缩处理之后存储图像。

随后，处理进行到步骤S107，并且控制单元确定用户是否继续按下快门。也就是说，控制单元确定拍摄结束时间。

当确定用户继续按下快门时，处理返回到步骤S103以继续拍摄处理，并且重复捕获被摄体的图像。

另一方面，当用户在步骤S107中停止按下快门时，处理进行到步骤S108以执行拍摄结束处理。

当在全景拍摄模式中结束连续图像拍摄处理时，处理进行到步骤S108。

在步骤S108中，图像合成单元210从存储器209获取满足形成为3D图像的左眼图像和右眼图像的生成条件的条区域的偏移条件(也就是说，可允许的偏移量)。可替代地，图像合成单元210从存储器209获取计算可允许的偏移量所需的参数，并且计算可允许的偏移量。下面将详细描述该处理。

随后，处理进行到步骤S109，以使用拍摄的图像执行第一图像合成处理。处理进行到步骤S110，以使用拍摄的图像执行第二图像合成处理。

步骤S109和S110的图像合成处理是生成应用于显示3D图像的左眼合成图像和右眼合成图像的处理。例如，生成合成图像作为全景图像。

如上所述，通过仅提取和连接左眼图像条的图像合成处理生成左眼合成图像。同样地，通过仅提取和连接右眼图像条的图像合成处理生成右眼合成图像。作为图像合成处理的结果，生成在图7的部分(2a)和(2b)中示出的两个全景图像。

在步骤S102中确定用户按下快门、然后在步骤S107中确认用户停止按下快门时，在连续图像拍摄处理中使用图像存储器(用于图像合成处理)205中存储的多个图像(或部分图像)执行步骤S109和S110的图像合成处理。

当执行图像合成处理时，图像合成单元210从移动量存储器208获取与多个图像相关联的移动量，并且从存储器209获取可允许的偏移量。可替代地，图像合成单元210从存储器209获取计算可允许的偏移量所需的参数，并且计算可允许的偏移量。

图像合成单元210基于移动量和获取的或计算的可允许的偏移量，确定作为图像的剪切区域的条区域。

也就是说，确定用于形成左眼合成图像的左眼图像条的条区域和用于形成右眼合成图像的右眼图像条的条区域。

在从图像的中间在右侧偏移预定量的位置确定用于形成左眼合成图像的左眼图像条。

在从图像的中间在左侧偏移预定量的位置确定用于形成右眼合成图像的右眼图像条。

在条区域的设置处理中，图像合成单元210确定条区域，以便满足偏移条件，该偏移条件满足形成为3D图像的左眼图像和右眼图像的生成条件。也就是说，图像合成单元210设置条的偏移，以便满足在步骤S108中从存储器获取的或基于从存储器获取的参数计算的可允许偏移量，并且执行图像剪切。下面将详细描述该处理。

图像合成单元210通过在图像中剪切和连接左眼图像条和右眼图像条来执行图像合成处理，以生成左眼合成图像和右眼合成图像。

当在图像存储器(用于图像合成处理)205中存储的图像(或部分图像)是通过JPEG等压缩的数据时，基于在步骤S104中计算的图像之间的移动量，可以仅在用作合成图像的条区域中执行设置图像区域的适应性解压处理，在该图像区域中解压通过JPEG等压缩的图像。

在步骤S109和S110的处理中，生成应用于显示3D图像的左眼合成图像和右眼合成图像。

最后，处理进行到步骤S111。根据适当的记录格式(例如，CIPADC-007多画面格式)生成在步骤S109和S110中合成的图像，并且存储在记录单元(记录介质)211中。

当执行上述步骤时，可以合成应用于显示3D图像的两个图像(也就是说，左眼图像和右眼图像)。

然而，当生成合成图像时，依赖于设置的偏移量可能生成不能适当地显示为3D图像的合成图像。

当生成参照图10描述的条区域之间的重叠区域时，导致该合成图像。

下文中，将描述避免不可应用于显示3D图像的合成图像的生成的偏移设置处理。

5.用于避免各条的重叠区域出现的控制

如参照图10所述，当条区域之间出现重叠区域时，可能生成不可用作3D图像的左眼图像和右眼图像。

主要由以下两个原因生成各条的重叠区域：

(1)当相机的移动速度快时；以及

(2)当作为左眼图像条和右眼图像条之间的距离的条间偏移小时。

由于两个原因生成条的重叠区域。

首先，将参照图13A和13B描述当相机的移动速度快时左眼图像条和右眼图像条的重叠区域的出现。

在图13A和13B中，示出以两个相机的以下移动速度拍摄图像的示例：

(A)当相机的摆动速度(移动速度)慢时；以及

(B)当相机的摆动速度(移动速度)快时。

当(A)相机的摆动速度(移动速度)慢时，如图13A所示，在图像110中设置的左眼图像条111和右眼图像条112相互远离，从而不导致重叠区域。

然而，当(B)相机的摆动速度(移动速度)快时，如图13B所示，在图像110中设置的左眼图像条111和右眼图像条112不相互远离，从而导致重叠区域113。

接下来，将参照图14A和14B描述当左眼图像条和右眼图像条之间的偏移小时重叠区域的出现。

当连续拍摄的图像之间的移动量恒定(相机的摆动速度恒定)而用于左眼图像的条区域和用于右眼图像的条区域之间的距离(条间偏移)大时，各条没有相互重叠。然而，当条间偏移小时，各条相互重叠。

在图14A和14B中，示出以下两种条之间的偏移设置的拍摄图像的示例：

(A)当条间偏移大时；以及

(B)当条间偏移小时。

当(A)条间偏移大时，如图14A所示，在图像110中设置的左眼图像条111和右眼图像条112相互远离，从而不导致重叠区域。

然而，当(B)条间偏移小时，如图14B所示，在图像110中设置的左眼图像条111和右眼图像条112不相互远离，从而导致重叠区域113。

主要由以下两个原因生成各条的重叠区域：

(1)当相机的移动速度快时；以及

(2)当作为左眼图像条和右眼图像条之间的距离的条间偏移小时。

因此，通过消除这两个原因，可能避免各条的重叠区域的出现。

也就是说，为了避免各条的重叠区域的出现，考虑相机的移动速度，需要允许作为在每个图像中设置的左眼图像条和右眼图像条之间的距离的条间偏移不小。

6.条偏移的上限

如上参照图13A、13B、14A和14B所述，为了避免各条的重叠区域的出现，考虑相机的移动速度，需要允许作为在每个图像中设置的左眼图像条和右眼图像条之间的距离的条间偏移不小。然而，当考虑该事实时，左眼图像条和右眼图像条之间的距离(即，条间偏移)可能变得过大，从而在条间偏移过度的情况下导致新的问题。

即使在连续拍摄的图像的移动量是相同的(即，条宽度w是相同的)情况下，当条间偏移小时在拍摄的图像110中设置希望使用的条区域(图15A)。另一方面，当条间偏移大时，希望使用的条区域超过拍摄的图像110或存储器(用于图像合成处理)205的存储图像区域。因此，因为数据不足够(见图15B)，所以不能生成合成图像。

即使在条间偏移相同的情况下，当连续拍摄的图像之间的移动量变大时条宽度变大。因此，在一些情况下条可能超过图像捕获面或存储器存储区域。

如上面参照图6所述，2D全景图像条115和左眼图像条111之间的距离和2D全景图像条115和右眼图像条112之间的距离定义为“偏移”或“条偏移”。

左眼图像条111和右眼图像条112之间的距离定位为“条间偏移”。

此外，满足条间偏移＝(条偏移)×2的表达式。

将参照图15A和15B描述由于左眼图像条和右眼图像条之间的过度偏移而不能生成合成图像的情况。

在图15A和15B中，示出以下两个左眼和右眼条之间的偏移：

(A)当左眼和右眼条存在于拍摄的图像110中时；以及

(B)当左眼和右眼条超过拍摄的图像110时。

当左眼和右眼条存在于拍摄的图像110中时，如图15A所示，左眼图像条111和右眼图像条112存在于拍摄的图像110中，并且图像数据存储在图11所示的图像捕获装置200的存储器(用于图像合成处理)205中。图像合成单元210可以从存储器(用于图像合成处理)205获取条，并且生成合成图像。

也就是说，图像合成单元210可以从存储器205提取左眼图像条111，合成左眼图像条111，并且生成左眼合成图像(全景图像)。此外，图像合成单元210可以从存储器205提取右眼图像条112，合成右眼图像条112，并且生成右眼合成图像(全景图像)。

然而，(B)当左眼和右眼条超过拍摄的图像110时，如图15B所示，不能生成合成图像。

在图15B所示的示例中，因为右眼图像条112存在于图像110中，所以图像合成单元210可以从存储器(用于图像合成处理)205获取右眼图像条112。

然而，左眼图像条111的一部分不存在于图像110中，而是存在于图像110外。关于图像110外的左眼图像条111的一部分的数据不是存储器(用于图像合成处理)205中存储的数据。也就是说，关于大于图像110的图像区域的图像数据没有存储在存储器(用于图像合成处理)205中，尽管存储了最大大小的数据。因此，图像合成单元210仅可以从存储器(用于图像合成处理)205获取关于左眼图像条111的一部分数据，但是不能获取整个数据。结果，不能生成左眼合成图像。

如上所述，需要在存储器(用于图像合成处理)205中存储在全景拍摄模式中拍摄的多个图像数据。因此，在一些情况下设置要预先存储通过剪切图像的末端获得的图像的中间部分。

例如，如图16所示，存储器(用于图像合成处理)205中记录的图像区域设为与存储器存储数据区域115相同。仅仅剪切右端和左端的图像设为存储在存储器(用于图像合成处理)205中。

在该设置情况下，即使当左眼图像条111和右眼图像条112设为存在于图像110中时，左眼图像条111和右眼图像条112也可能超过存储器存储数据区域115。在此情况下，图像合成单元210不能从存储器(用于图像合成处理)205获取关于条图像的整个数据，并且不能生成合成图像。

因此，当作为左眼图像条和右眼图像条之间的距离的条间偏移过度、并且因此条超过存储器(用于图像合成处理)205中存储的图像区域的外部时，不能生成合成图像。

7.控制条偏移的处理

将描述考虑上述问题通过控制条偏移生成应用于显示3D图像的左眼合成图像和右眼合成图像的配置。

如上所述，用于右眼图像的条区域和用于左眼图像的条区域之间的区域的重叠或数据的缺乏大大依赖于连续拍摄的图像之间的移动量。下面将描述计算用于确定条偏移的目标值以避免原因的示例。

如上所述，条偏移和条间偏移之间的关系满足上面条偏移＝(条间偏移)/2的关系。

通过图像的数目(像素数目)或图像捕获元件的像素定义条偏移和条间偏移。

图17所示的捕获图像的图像捕获装置(相机)的配置如下：

焦距是f[mm]；

图像捕获元件的像素间距是p[μm]；以及

图像捕获元件的水平像素的数目是h[像素]。

通过具有上面设置的相机拍摄图像。

通过相机拍摄的一个图像的视角α[度]通过以下表达式(表达式1)计算。

[表达式1]

(表示式1)

当使用通过表达式1计算的视角α[度]时，图像捕获元件的一个像素附近的视角(下文中，也称为像素密度)μ[度/像素]可以通过以下表达式(表达式2)计算。

[表达式2]

μ[度/像素]＝α/h        (表示式2)

接下来，假设连续拍摄速度(即，在移动相机的同时拍摄图像的拍摄模式(其中生成左眼图像和右眼图像的3D全景模式)中对于大约1秒拍摄的图像帧的数目)是s[fps]，可以通过以下表达式(表达式3)定义在相机的摆动角速度d[度/秒]设置的一个(最大)条宽度w[像素]。此外，在一个图像重设置的左眼图像条和右眼图像条的条宽度w是公共的。

[表达式3]

(表示式3)

通过该表达式(表达式3)，确定在相机的摆动角速度d[度/秒]的条宽度。

可以通过以下表达式(表达式4)表达对于摆动角速度可允许的条偏移，即，在左眼图像条和右眼图像条之间不出现重叠区域的可允许的最小条偏移量(即，最小条偏移量min_ofst[像素])。

[表达式4]

min_ofst[像素]＝w/2      (表示式4)

然而，参照图15A，基于左眼图像条和右眼图像条参照图像的中心双侧对称偏移的假设进行条偏移量的定义。此外，如参照图15A所述，条偏移对应于作为左眼图像条和右眼图像条之间的距离的条间偏移的1/2的距离。

也就是说，满足条偏移＝(条间偏移)/2的关系。

另一方面，设置可允许的条偏移量，即最大条偏移量max_ofst[像素]，使得用于生成参照图15A、15B和16描述的合成图像的条区域不超过图像存储器(用于图像合成处理)205中存储的图像区域，该最大条偏移量max_ofst[像素]可以由以下表达式(表达式5)表示。

[表达式5]

(表示式5)

在该表达式(表达式5)中，t是通过相机拍摄的一个图像的水平有效尺寸t[像素]。水平有效尺寸t[像素]对应于作为图11所示的图像存储器(用于图像合成处理)205中存储的图像的水平宽度的水平像素的数目。

例如，用于拍摄图像的相机的配置如下：

焦距f等于4.5[mm]；

图像捕获元件的像素间距p等于5[μm]；以及

图像捕获元件的水平像素的数目h是1000[像素]。

采用具有该配置的相机拍摄图像。

通过该相机拍摄的一个图像的视角α[度]可以通过上述表达式(表达式1)计算如下：

视角α[度]＝58.1[度]。

作为图像捕获元件的一个像素附近的视角的像素密度μ[度/像素]可以通过上述表达式(表达式2)计算如下：

像素密度μ[度/像素]＝0.0581[度/像素]。

在这些设置中，当假设每个连续拍摄的图像的水平有效尺寸t是1000[像素]，图示对应于连续拍摄的图像之间的移动量(相机的摆动角速度)或用于避免数据存储的参数的目标范围的重叠区域时，获得由图18所示的斜纹线指示的范围。

在图18所示的图中，水平轴代表相机的摆动角速度d[度/秒]，并且垂直轴代表图像的像素的数目。

垂直轴上的像素的数目是在相机的摆动方向上的像素的数目。例如，当相机在水平方向移动时，像素的数目是在图像的水平方向上的像素的数目。

在垂直轴上的像素的数目对应于在条宽度的偏移方向(在此情况下，在水平方向)的像素的数目。

图18所示的线A是通过上述定义表达式(表达式4)绘制的线。

也就是说，线A是通过可允许的最小条偏移量的定义表达式绘制的直线，在该可允许的最小条偏移量，左眼图像条和右眼图像条之间不出现重叠(左眼图像条和右眼图像条不相互重叠)。

也就是说，线A是通过最小条偏移量min_ofst[像素]＝w/2的上面表达式指示的直线。

图18所示的线B是通过上述定义表达式(表达式5)绘制的线。

也就是说，线B是通过可允许的最大条偏移量的定义表达式绘制的直线，在该可允许的最大条偏移量用于生成合成图像的条区域不超过图像存储器(用于图像合成处理)205中存储的图像区域。

也就是说，线B是通过最大条偏移量max_ofst[像素]＝(t-min_ofst[像素])/2的上面表达式指示的直线。

线C是作为参照绘制的线，并且是指示根据由上述表达式(表达式3)定义的相机的摆动角速度d[度/秒]在图像中设置的一个(最大)条宽度w[像素]的直线。该直线是根据基于关于相机的配置的信息预先计算的值计算的直线。

曲线图的数值是当考虑在图像合成处理中在连接部分中设置的余量(margin)为16[像素]时的值。

通过在图18所示的直线A和B之间的斜纹线区域中设置在拍摄的图像中设置的左眼图像条和右眼图像条之间的条偏移量(＝(条间偏移量)/2)，可能满足在左眼图像条和右眼图像条之间不出现重叠的条件(条件1)和左眼图像条和右眼图像条不存在超过图像存储器(用于图像合成处理)205中存储的图像区域的条件(条件2)。

也就是说，通过在图18所示的直线A和B之间的斜纹线区域中设置在拍摄的图像中设置的左眼图像条和右眼图像条之间的条偏移量(＝(条间偏移量)/2)，可以从拍摄的图像获取可靠地获取应用于显示3D图像的左眼合成图像和右眼合成图像的条区域。因此，可以在没有断裂部分的情况下执行生成三维图像的处理。

通过图11所示的图像合成单元210使用存储器209中存储的参数计算图18所示的斜纹线区域，即，通过上述表达式4和5定义的直线之间的范围的条偏移量。可替代地，从存储器209获取预先计算的可允许的偏移。

该处理对应于图12所示的流程图的步骤S108的处理。

在图12所示的流程图的步骤S109和S110中，在步骤S108中获取或计算的可允许的偏移的范围中设置偏移，并且确定左眼条和右眼条的位置。

在该处理中，可以从拍摄的图像获取可靠地获取应用于显示3D图像的左眼合成图像和右眼合成图像的条区域。因此，可以在没有断裂部分的情况下执行生成三维图像的处理。

图像合成单元210通过应用从移动量存储器208获取的对应于图像的移动量，确定左眼条和右眼条的条宽度。

图像捕获装置(相机)包括计算图像之间的移动量的移动量检测单元207，但是一般存在对于可通过移动量检测单元207检测的移动量的限制。也就是说，不能检测超过测量限制的移动量。例如，假设移动量的检测限制是110[度/秒]。

在此情况下，图18所示的斜纹线区域的右边区域变为实际上不可用的区域。当相机的移动量的检测限制是110[度/秒]时，偏移设置的可允许的范围变为图19所示的斜纹线区域。

图19所示的中心垂直线是指示移动量的检测限制是110[度/秒]的线。中心垂直线的左边区域是因为相机的移动量非常大所以不能检测移动量的区域。因此，条偏移设置在其中移动量的检测限制是110[度/秒]或更小的左侧并且上述直线A和B之间的范围中。

通过以此方式设置条偏移量，可能满足在左眼图像条和右眼图像条之间不出现重叠的条件(条件1)和左眼图像条和右眼图像条不存在超过图像存储器(用于图像合成处理)205中存储的图像区域的条件(条件2)。

结果，可以从拍摄的图像获取可靠地获取应用于显示3D图像的左眼合成图像和右眼合成图像的条区域。因此，可以在没有断裂部分的情况下执行生成三维图像的处理。

例如，在图19所示的设置中，当相机的摆动角速度是70[度/秒]时，图19所示的P和Q之间的像素的数目是条偏移量的可允许的范围。在P＝最小偏移量＝77[像素]，并且Q＝最大偏移量＝425[像素]的情况下，条偏移量的可允许的范围是从77像素到425像素的范围。

在图12所示的流程图的步骤S108中，获取或计算可允许的偏移。在步骤S109和S110中，在可允许的范围内设置条偏移量，在每个图像中设置左眼图像条区域和右眼图像条区域，然后通过执行连接设置的条区域的处理生成左眼合成图像和右眼合成图像。

8.图像合成单元的配置和处理的具体示例

如参照图18和19所述，根据本发明实施例的图像处理装置获取或计算作为可允许的条偏移范围的可允许的偏移，并且在每个拍摄的图像中设置左眼图像条和右眼图像条，其中设置偏移为可允许的偏移范围。此后，通过执行连接条的图像合成处理，生成可应用于显示3D图像的左眼合成图像和右眼合成图像。

将参照图20描述执行图像合成处理的图像合成单元210的配置和处理。

如图20所述，图像合成单元210包括参数输入单元301、可允许的偏移计算单元302、条设置单元303、条剪切单元304和条连接单元305。

参数输入单元301从存储器209输入在可允许的偏移计算单元302中计算可允许的偏移所需的参数，并且将参数提供到可允许的偏移计算单元302。

也就是说，参数输入单元301从存储器209输入通过应用上述表达式1到5计算上述可允许的最小偏移量和可允许的最大偏移量所需的参数。具体地，参数是如焦距[f(mm)]、图像捕获元件的像素间距[p(μm)]、水平像素的数目[h(像素)]、连续拍摄速度[s(fps)]、以及相机的摆动角速度[d(度/秒)]。

可允许的偏移计算单元302使用通过参数输入单元201从存储器209输入的参数，通过应用上述表达式1到5计算最小条偏移量和最大条偏移量。

也就是说，计算最小条偏移量min_ofst[像素]＝w/2和最大条偏移量max_ofst[像素]＝(t-min_ofst[像素])/2的值。

计算的值是使用预定参数计算的最小条偏移量和最大条偏移量，并且例如是图19所示的P和Q的值。

也就是说，输出P＝最小偏移量＝77[像素]和Q＝最大偏移量＝425[像素]的值。

可允许的偏移计算单元302将最小偏移量和最大偏移量作为可允许的偏移量提供到条设置单元303。

条设置单元303从图像存储器(用于图像合成处理)205获取用于设置条的图像，并且从移动量存储器208获取对应于图像的移动量信息。条设置单元303根据移动量确定条宽度，并且设置左眼图像条和右眼图像条的条偏移，以便在由可允许的偏移计算单元302计算的可允许的偏移范围内。

如上所述，满足条宽度偏移＝(条间偏移)/2的关系。

然而，在一些情况下，例如依赖于移动量的值，条不能设置在由可允许的偏移计算单元302计算的可允许的偏移范围内。在此情况下，条设置单元303例如输出指示不能设置条的数据到控制单元。控制单元响应于数据的输出而输出警告。例如，控制单元在相机的显示单元上显示警告消息，或者执行输出警报的处理。例如，用户可以响应于警告重试拍摄。

当可以在由可允许的偏移计算单元302计算的可允许的偏移范围内设置条时，条设置单元303设置左眼图像条区域和右眼图像条区域。接下来，条输出单元304剪切通过条设置单元303设置的条区域。条连接单元305通过连接由条输出单元304剪切的条生成合成图像。

对于左眼合成图像和右眼合成图像独立地执行条输出处理和条连接处理。

也就是说，当生成左眼合成图像时，执行仅连接左眼图像条的处理。当生成右眼合成图像时，执行仅连接右眼图像条的处理。

通过执行这些处理，可能生成在图7的部分(2a)和(2b)中示出的3D左眼全景图像和3D右眼全景图像。

上述可允许的偏移的计算值可以预先存储在存储器209中，并且图像合成单元210可以从存储器获取和使用可允许的偏移。也就是说，可以省略使用各种参数计算可允许的偏移的处理。

将参照图21描述图像合成单元210的配置和示例性处理。

图21所示的图像合成单元210包括可允许的偏移获取单元310、条设置单元303、条剪切单元304和条连接单元305。

可允许的偏移获取单元310从存储器获取预先计算的可允许的偏移信息，即，图19所示的斜纹线区域的最小条偏移量min_ofst[像素]＝w/2和最大条偏移量max_ofst[像素]＝(t-min_ofst[像素])/2的范围的可允许的偏移信息。

可允许的偏移获取单元310将从存储器获取的可允许的偏移信息提供到条设置单元303。

条设置单元303从图像存储器(用于图像合成处理)205获取用于设置条的图像，并且从移动量存储器208获取对应于图像的移动量信息。条设置单元303根据移动量确定条宽度，并且设置左眼图像条和右眼图像条的条偏移，以便在从可允许的偏移获取单元310提供的可允许的偏移范围内。

然而，在一些情况下，例如依赖于移动量的值，条不能设置在由可允许的偏移获取单元310获取的可允许的偏移范围内。在此情况下，条设置单元303例如输出指示不能设置条的数据到控制单元。控制单元响应于数据的输出输出警告。例如，控制单元在相机的显示单元上显示警告消息，或者执行输出警报的处理。例如，用户可以响应于警告重试拍摄。

当可以在从可允许的偏移获取单元310提供的可允许的偏移范围内设置条时，条设置单元303设置左眼图像条区域和右眼图像条区域。接下来，条输出单元304剪切通过条设置单元303设置的条区域。条连接单元305通过连接由条输出单元304剪切的条生成合成图像。

对于左眼合成图像和右眼合成图像独立执行条输出处理和条连接处理。

也就是说，当生成左眼合成图像时，执行仅连接左眼图像条的处理。当生成右眼合成图像时，执行仅连接右眼图像条的处理。

通过执行这些处理，可能生成在图7的部分(2a)和(2b)中示出的3D左眼全景图像和3D右眼全景图像。

上述可允许的偏移的计算值可以预先存储在存储器209中，并且图像合成单元210可以从存储器获取和使用可允许的偏移。也就是说，可以省略使用各种参数计算可允许的偏移的处理。

通过执行这些处理，可能可靠地生成可应用于显示3D图像的左眼合成图像和右眼合成图像，该左眼合成图像和右眼合成图像是来自不同观察位置的图像。

到此已经描述了根据本发明的具体实施例的细节。然而，对于本领域的技术人员显而易见的是在本发明的范围内可以出现实施例的修改和更改而不背离本发明的精神。也就是说，因为根据实施例公开了本发明，所以本发明不应理解为限制的。参照本发明的权利要求来确定本发明的精神。

可以通过硬件、软件或其组合配置执行说明书中描述的一系列处理。当通过软件执行处理时，可以在嵌入专用硬件计算机的存储器中安装和执行记录处理顺序的程序，或者可以在能够各种处理的通用计算机中安装和执行程序。例如，程序可以预先记录在记录介质中。以及从记录介质将程序安装在计算机中，程序可以经由如LAN(局域网)或因特网的网络接收，并且可以安装在如内建的硬盘的记录介质中。

可以按时间顺序执行说明书中描述的各种处理，或者取决于执行处理的装置的处理能力或根据需要并行或独立地执行各种处理。在说明书中的系统具有多个装置的逻辑集合配置，并且不限于具有每个配置的装置安装在同一底盘中的情况。

本申请包含涉及于2009年12月24日向日本专利局提交的日本优先权专利申请JP 2009-291800中公开的主题，在此通过引用并入其全部内容。

本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

Claims (10)

1.一种图像处理装置，包括：

图像合成单元，其通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像，

其中所述图像合成单元通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像，并且通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图像，并且

其中所述图像合成单元通过从存储器获取可允许的范围或计算可允许的范围，执行在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条的处理，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的、在不同观察点的左眼合成图像和右眼合成图像。

2.根据权利要求1所述的图像处理装置，其中所述图像合成单元执行从存储器获取条偏移的可允许的最小值和可允许的最大值作为可允许的范围或计算可允许的最小值和可允许的最大值作为可允许的范围的处理，所述条偏移是作为应用于生成二维合成图像的图像剪切区域的二维合成图像条和左眼图像条或右眼图像条之间的间隔距离。

3.根据权利要求1所述的图像处理装置，其中所述图像合成单元执行从存储器获取条设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设置位置左眼图像条和右眼图像条的设置区域之间不出现重叠区域。

4.根据权利要求1所述的图像处理装置，其中所述图像合成单元执行从存储器获取条设置位置作为可允许的范围或计算条设置位置作为可允许的范围的处理，在所述条设置位置左眼图像条和右眼图像条的设置区域在图像存储器的存储范围内。

5.根据权利要求2所述的图像处理装置，

其中条偏移的可允许的最小值是通过应用参数(a)到(c)的每一个计算的值：

(a)捕获多个图像的图像捕获装置的图像捕获元件的每个像素的视角μ；

(b)当捕获多个图像的图像捕获装置捕获图像时的移动角速度d；以及

(c)捕获多个图像的图像捕获装置的连续拍摄速度s，并且

其中所述图像合成单元执行通过应用参数(a)到(c)计算条偏移的可允许的最小值或从存储器获取计算的值的处理。

6.根据权利要求5所述的图像处理装置，

其中图像捕获元件的每个像素的视角μ是基于多个图像的每个的视角α计算的值，

其中视角α是通过应用参数(d)到(f)的每个计算的值：

(d)捕获多个图像的图像捕获装置的镜头的焦距f；

(e)捕获多个图像的图像捕获装置的图像捕获元件的像素间距p；以及

(f)捕获多个图像的图像捕获装置的图像捕获元件的水平像素的数目h，并且

其中所述图像合成单元执行通过应用参数(a)到(f)计算条偏移的可允许的最小值或从存储器获取计算的值的处理。

7.根据权利要求2所述的图像处理装置，

其中条偏移的可允许的最大值是基于对应于图像存储器的存储范围的一个图像的水平有效尺寸t和条偏移的可允许的最小值计算的值，并且

其中所述图像合成单元执行通过应用水平有效尺寸t和条偏移的可允许的最小值计算条偏移的可允许的最大值或从存储器获取计算的值的处理。

8.一种图像捕获装置，包括：

应用于捕获图像的镜头单元；

执行拍摄的图像的光电转换的图像捕获元件；以及

根据权利要求1的图像合成单元。

9.一种在图像处理装置中执行图像合成处理的图像处理方法，包括以下步骤：

通过图像合成单元，通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域生成合成图像，

其中生成合成图像的步骤包括以下步骤：

通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的、在不同观察点的左眼合成图像和右眼合成图像；

通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像；以及

通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图像。

10.一种使得图像处理装置执行图像合成处理的程序，

其中所述程序使得图像合成单元通过输入在不同的位置拍摄的多个图像并且连接从图像剪切的条区域执行生成合成图像的步骤，并且

其中在生成合成图像的步骤中，所述程序执行以下步骤：

通过从存储器获取可允许的范围或计算可允许的范围，在左眼图像条和右眼图像条的设置位置的可允许的范围中设置左眼图像条和右眼图像条，所述左眼图像条和右眼图像条用于生成可应用于显示三维图像的、在不同观察点的左眼合成图像和右眼合成图像；

通过连接和合成在图像中设置的左眼图像条的处理生成应用于显示三维图像的左眼合成图像；以及

通过连接和合成在图像中设置的右眼图像条的处理生成应用于显示三维图像的右眼合成图像。

Images