CN102239697B - 图像处理装置和方法 - Google Patents

Abstract

本发明涉及一种能够显示具有更适当的视差的立体图像的图像处理装置、方法及程序。图像处理装置11在绕着转动中心C11转动的状态下捕获多个拍摄图像P(1)至P(N)。响应于用于显示其中显示有待捕获区域中的特定部位的图像的指令，图像捕获装置11从其中显示有特定部位的拍摄图像中选择两个拍摄图像(在这两个拍摄图像间特定部位的被摄体中出现预定大小的视差)并且从这些拍摄图像中裁剪出其中显示有特定部位内的被摄体的部位以产生右眼和左眼子图像。这些子图像具有适当的视差，因此使用透镜方法等来同时显示。因此可以显示具有进深感的立体图像。本发明可以应用于照相机。

Description

图像处理装置和方法

技术领域

本发明涉及一种图像处理装置和方法以及程序，更具体地，本发明涉及一种设计成可以获得具有更适当视差的立体图像的图像处理装置和方法以及程序。 

背景技术

近年来，随着数字静态照相机的流行，捕获大量照片的用户数目已经增加。此外，还需要一种有效呈现大量所捕获的照片的方法。 

例如已知所谓的全景图像作为一种有效呈现捕获照片的方式。全景图像是把在特定方向上摇动图像捕获装置时通过图像捕获获得的多个静止图像并排布置以使得同一被摄体以重叠方式出现在静止图像中，从而获得的单个静止图像(例如参见PTL 1)。 

这样的全景图像允许比标准图像捕获装置捕获单个静止图像所用的区域(视角)更宽的区域作为被摄体而显示，因此能够更有效地显示被摄体拍摄图像。 

另外，在摇动图像捕获装置的同时捕获多个静止图像以便获得全景图像的情况下，若干静止图像可以包括同一被摄体。在这样的情况下，不同静止图像中的同一被摄体是在不同位置处捕获的，因此已经出现视差。利用这一点，根据多个静止图像生成相对于彼此具有视差的两个图像(下文称为立体图像)。因此使用透镜方法同时显示图像使得可以立体显示待捕获的被摄体。 

引用列表 

专利文献 

PTL 1：日本专利3168443号 

发明内容

发明要解决的问题 

同时，在想要生成立体图像的情况下，依赖于所要生成的用于显示要由图像捕获装置捕获的图像捕获区域上的部位的图像的不同，适用于生成的静止图像也不同。 

也就是说，在某个静止图像中的被摄体和在另一静止图像中的与该被摄体相同的被摄体的视差根据在捕获图像时从图像捕获装置到被摄体的距离而改变。例如在待捕获的区域中被摄体在与图像捕获装置远离的背景中的视差小于被摄体在与图像捕获装置接近的前景中的视差。 

因此即使在使用相同静止图像生成的立体图像的情况下，其中显示有前景中的被摄体的立体图像的视差不同于其中显示有背景中的被摄体的立体图像的视差。出于这一原因，在生成立体图像时有必要根据待显示的部位选择具有适当视差的静止图像作为用于生成的静止图像。 

然而在上述技术中，由于未考虑待显示的各部位的视差，所以不可能生成由具有适当视差的两个图像形成的立体图像。 

鉴于这样的情形已经作出了本发明，并且本发明意图使得能够获得具有更适当视差的立体图像。 

解决问题的方案 

本发明一个方面的图像处理装置是如下如下的图像处理装置，该图像处理装置基于在移动图像捕获装置时使用所述图像捕获装置通过图像捕获获得的多个拍摄图像，来生成第一子图像和第二子图像，所述第一子图像和所述第二子图像彼此之间具有视差并且其中显示有在捕获拍摄图像时要捕获的特定部位，并且所述图像处理装置包括：指定装置，用于利用拍摄图像进行运动估计，从显示有所述特定部位的所述多个拍摄图像中指定如下两个拍摄图像，在这两个拍摄图像间所述特定部位中的被摄体的视差具有预定大小；以及子图像生成装置，用于通过从所述两个拍摄图像中的每个拍摄图像裁剪出显示有所述特定部位的部位来生成所述第一子图像和所述第二子图像。 

可以使子图像生成装置通过从已经被连续捕获并包括所述两个拍摄图像中的一个拍摄图像的所述多个拍摄图像分别裁剪出显示有所述特定部位的所述部位，来分别生成多个第一子图像，并且通过从已经被连续捕获并包括所述两个拍摄图像中的另一个拍摄图像的所述多个拍摄图像分别裁剪出显示有所述特定部位的所述部位，来分别生成多个第二子图像。 

图像处理装置还可以包括：显示控制装置，用于使其中每一个由所述第一子图像和所述第二子图像形成的多个图像对按照一定的时间间隔依次，从而通过同时显示所述图像对来立体显示所述特定部位。 

图像处理装置还可以包括：全景图像生成装置，用于通过并排布置并组合通过裁剪所述多个拍摄图像的特定部位而获得的各个条形图像，来生成其中显示有包括要捕获的所述特定部位的所述部位的全景图像，并且用于通过并排布置并组合从所述多个拍摄图像的如下位置处裁剪出的部位而获得的另外的各个条形图像来生成另一全景图像，所述多个拍摄图像的所述特定部位沿与对应于所述图像捕获装置移动方向的方向相反的特定方向偏移到所述位置处。可以使所述指定装置通过使用全景图像和另一全景图像进行运动估计来检测全景图像中的每个部位的移动，从而确定所述特定部位中的所述被摄体的视差的大小，并且在所述特定部位中的所述被摄体的视差具有预定大小的情况下，使用分别用于生成所述全景图像和所述另一全景图像的、显示有所述特定部位中的所述被摄体的所述拍摄图像作为所述两个拍摄图像。 

在所述特定区域内沿所述特定方向的最大移动相对于沿对应于所述移动方向的方向的移动的大小的相对大小为所述预定大小的情况下，可以使所述指定装置将视差的大小识别为所述预定大小，其中沿对应于所述移动方向的方向的移动被最频繁地检测。 

本发明一个方面的图像处理方法或者程序，在该图像处理方法或程序中，基于在移动图像捕获装置时使用所述图像捕获装置通过图像捕获获得的多个拍摄图像，来生成第一子图像和第二子图像，所述第一子图像和所述第二子图像彼此之间具有视差并且其中显示有在捕获所述拍摄图像时要捕获的特定部位，并且该图像处理方法或程序包括以下步骤：利用所述拍摄图像进行运动估计，从显示有所述特定部位的所述多个拍摄图像中指定如下两个拍摄图像，在这两个拍摄图像间所述特定部位中的被摄体的视差具有预定大小；并且通过从两个拍摄图像中的每个拍摄图像裁剪出显示有所述特定部位的部位来生成所述第一子图像和所述第二子图像。 

在本发明的一个方面中，在基于在移动图像捕获装置时使用所述图像捕获装置通过图像捕获获得的多个拍摄图像，来生成彼此之间具有视差并且其中显示有在捕获所述拍摄图像时要捕获的特定部位第一子图像和第二子图像的情况下，利用所述拍摄图像进行运动估计，从显示有所述特定部位的所述多个拍摄图像中指定如下两个拍摄图像，在这两个拍摄图像间 所述特定部位中的被摄体的视差具有预定大小；以及通过从所述两个拍摄图像中的每个拍摄图像裁剪出显示有所述特定部位的部位来生成所述第一子图像和所述第二子图像。 

本发明的有利效果 

根据本发明的一个方面，能够获得具有更适当的视差的立体图像。 

附图说明

图1是描述拍摄图像捕获方式的图。 

图2是描述捕获图像时的视差的图。 

图3是图示立体全景运动图像的显示例子的图。 

图4是图示应用本发明的图像捕获装置的一个实施例的例子配置的图。 

图5是图示了信号处理单元的例子配置的图。 

图6是描述运动图像再现处理的流程图。 

图7是描述拍摄图像位置对准的图。 

图8是描述中心坐标计算的图。 

图9是描述立体全景运动图像再现处理的流程图。 

图10是描述条形图像裁剪的图。 

图11是描述立体运动图像生成的图。 

图12是描述立体子运动图像再现处理的流程图。 

图13是描述立体子运动图像生成的图。 

图14是图示计算机的例子配置的图。 

具体实施方式

下文将参照附图描述应用本发明的一个实施例。 

[立体全景运动图像的描述] 

应用本发明的图像捕获装置例如由照相机等形成，并且根据图像捕获装置在图像捕获装置移动的状态下连续捕获的多个拍摄图像生成单个立 体全景运动图像。立体全景运动图像由具有视差的两个全景运动图像组成。 

全景运动图像是具有多个全景图像的图像组，其中在比现实空间(该现实空间是图像捕获装置能够在一次图像捕获中实现捕获的范围)中的图像捕获范围(视角)更宽的范围中的部位被显示为被摄体。因此，如果将构成全景运动图像的每个全景图像视为一帧图像，则全景运动图像可以视为单个运动图像，或者如果将构成全景运动图像的每个全景图像视为单个静止图像，则全景运动图像也可以视为静止图像组。下文中为了便于描述，该描述将继续假设全景运动图像为运动图像。 

在用户希望使图像捕获装置生成立体全景运动图像的情况下，用户操作图像捕获装置以捕获用于生成立体全景运动图像的拍摄图像。 

例如如图1中所示，在捕获拍摄图像期间，用户在图像捕获装置11的光学透镜指向图中前方的情况下绕着转动中心C11在图中从右向左转动(摇动)图像捕获装置11时，使图像捕获装置11连续捕获被摄体的图像。这时，用户调节图像捕获装置11的转动速度使得在要被连续捕获的多个拍摄图像中包括同一静止的被摄体。 

在以上述方式移动图像捕获装置11的同时捕获拍摄图像，以便获得N个拍摄图像P(1)至P(N)。 

这里，拍摄图像P(1)是N个拍摄图像中捕获时间最早的拍摄图像，也就是第一捕获图像，而拍摄图像P(N)是N个拍摄图像中捕获时间最晚的拍摄图像或者最晚捕获图像。下文中还将第n(其中1≤n≤N)个捕获的拍摄图像称为拍摄图像P(n)。 

注意每个拍摄图像可以是连续拍摄的静止图像或者是在拍摄的运动图像中的一帧图像。 

此外，在图1中，在可以通过用本身旋转90度的图像捕获装置11(也就是用处于横向上的图像捕获装置1)捕获图像而获得在图中竖直方向上更长的拍摄图像的情况下，可以用处于横向上的图像捕获装置11捕获拍摄图像。在这样的情况下，生成拍摄图像在与图像捕获装置11相同的方向上被旋转90度的立体全景运动图像。 

当以上述方式获得N个拍摄图像时，图像捕获装置11使用这些拍摄图像来生成相对于彼此具有视差的两个全景运动图像。这里，全景运动图像是如下运动图像，在该运动图像中，把在捕获N个拍摄图像时捕获的 图像捕获区域中的整个部位显示为被摄体。 

由于在图像捕获装置11移动的状态下捕获多个拍摄图像，因此这些拍摄图像中的被摄体具有视差，所以根据拍摄图像获得具有视差的两个全景运动图像。 

例如如图2中所示，假设当在绕着转动中心C11在图中箭头方向上转动图像捕获装置11而捕获拍摄图像时，在位置PT1和位置PT2捕获拍摄图像。 

在这一情况下，当图像捕获装置11在位置PT1和位置PT2时捕获的拍摄图像包括同一被摄体H11。然而，捕获这些拍摄图像的位置(也就是被摄体H11的观察位置)不同，因此引起视差。在以恒定转动速度转动图像捕获装置11的情况下，从转动中心C11到图像捕获装置11的距离越长(例如从转动中心C11到位置PT1的距离越长)，视差就变得越大。 

使用以上述方式引起的视差生成具有不同观察位置(具有视差)的两个全景运动图像，并且通过使用透镜方法等同时再现这些全景运动图像。因此可以向用户呈现立体视差全景运动图像。 

注意在构成立体全景运动图像的两个全景运动图像之中，下文中把要用于用户右眼观察而显示的全景运动图像称为右眼全景运动图像。另外，在构成立体全景运动图像的两个全景运动图像之中，把要用于用户左眼观察而显示的全景运动图像称为左眼全景运动图像。 

当生成立体全景运动图像时，例如在图像捕获装置11上显示图3中所示的立体全景运动图像PMV。用户可以指定所显示的立体全景运动图像PMV中的某个部位和用于进一步显示如下新运动图像的放大率，在该新运动图像中用指定的放大率按放大比例显示该部位。 

例如当用户指定立体全景运动图像PM中的任意位置和放大率V时，在图像捕获装置11上显示立体子运动图像，在立体子运动图像中仅把以指定位置为中心并且被指定放大率限定的立体全景运动图像PMV中的部位BP用作为被摄体。也就是说，用于使立体子运动图像被显示的处理是用于使作为立体全景运动图像一部分的部位按放大比率来显示的处理。 

[图像捕获装置的配置] 

图4是图示应用本发明的图像捕获装置11的一个实施例的例子配置的图。 

图像捕获装置11由操作输入单元21、图像捕获单元22、图像捕获控制单元23、信号处理单元24、总线25、缓冲存储器26、压缩/扩展单元27、驱动28、记录介质29、显示控制单元30和显示单元31构成。 

操作输入单元21由按钮等形成。响应于用户的操作，操作输入单元21向信号处理单元24供应与该操作对应的信号。图像捕获单元22由光学透镜和图像捕获元件等形成。图像捕获单元22对来自被摄体的光进行光电转换以捕获拍摄图像，并且向图像捕获控制单元23供应拍摄图像。图像捕获控制单元23控制图像捕获单元22进行的图像捕获操作并且还向信号处理单元24供应从图像捕获单元22获得的拍摄图像。 

信号处理单元24经由总线25连接到缓冲存储器26、驱动28和显示控制单元30并且根据来自操作输入单元21的信号控制整个图像捕获装置11。 

例如信号处理单元24经由总线25向缓冲存储器26供应从图像捕获控制单元23获得的拍摄图像或者根据从缓冲存储器26获取的拍摄图像生成立体全景运动图像。此外，信号处理单元24也根据从缓冲存储器26获取的拍摄图像生成立体子运动图像。 

缓冲存储器26由SDRAM(同步动态随机存取存储器)等形成并且暂时记录经由总线25供应的拍摄图像等的数据。压缩/扩展单元27使用某种方法对经由总线25供应的图像进行编码或者解码。 

驱动28使经由总线25供应的立体全景运动图像被记录在记录介质29上，或者读取记录在记录介质29上的立体全景运动图像并且向总线25输出全景运动图像。记录介质29由可拆卸地附着到图像捕获装置11的非易失性存储器等形成并且根据驱动28的控制来记录立体全景运动图像。 

显示控制单元30向用于显示的显示单元31供应经由总线25等供应的立体全景运动图像。显示单元31例如由LCD(液晶显示器)或者透镜形成并且根据显示控制单元30的控制使用透镜方法立体地显示图像。 

[信号处理单元的配置] 

另外具体而言，图5中示出图4中的信号处理单元24的配置。 

也就是说，信号处理单元24由运动估计单元61、立体全景运动图像生成单元62和立体子运动图像生成单元63构成。 

运动估计单元61使用经由总线25供应的具有不同捕获时间的两个拍 摄图像进行运动估计。运动估计单元61包括坐标计算单元71。 

坐标计算单元71基于运动估计结果生成如下信息，该信息表明在将两个拍摄图像被放置成并排布置于特定平面中使得这两个拍摄图像上的同一被摄体以重叠方式出现于拍摄图像中时这两个拍摄图像之间的相对位置关系。具体而言，计算在绘制有二维xy坐标系的某个平面上时的拍摄图像中心的位置坐标(下文中称为中心坐标)作为表明拍摄图像之间的相对位置关系的信息。 

立体全景运动图像生成单元62使用经由总线25供应的拍摄图像和中心坐标生成立体全景运动图像。立体全景运动图像生成单元62包括条形图像生成单元72。 

条形图像生成单元72通过使用拍摄图像和中心坐标从拍摄图像裁剪出特定部位来生成右眼条形图像和左眼条形图像。立体全景运动图像生成单元62组合生成的右眼条形图像和左眼条形图像以生成右眼全景图像和左眼全景图像。此外，立体全景运动图像生成单元62通过生成多个右眼全景图像和多个左眼全景图像来生成作为全景图像组的右眼全景运动图像和左眼全景运动图像。 

这里，一帧全景运动图像(也就是一个全景图像)是如下图像，在该图像中，在捕获拍摄图像时要捕获的图像捕获区域中的整个范围(部位)被显示为被摄体。 

立体子运动图像生成单元63使用经由总线25供应的拍摄图像和中心坐标生成立体子运动图像。立体子运动图像由作为如下图像的多个子图像构成，在这些子图像中仅显示立体全景运动图像中的某个部位。 

此外，立体子运动图像生成单元63包括视差计算单元73。视差计算单元73指定适合用于通过使用构成全景运动图像的两帧全景图像进行运动估计来生成立体子运动图像的拍摄图像组。 

立体子运动图像生成单元63使用视差计算单元73指定的拍摄图像和中心坐标，通过裁剪拍摄图像中的特定部位生成右眼子图像和左眼子图像，由此生成作为子图像组的右眼子运动图像和左眼子运动图像。单个立体子运动图像由这些右眼子运动图像和左眼子运动图像构成。 

[运动图像再现处理的描述] 

接着将参照图6的流程图描述运动图像再现处理，在该处理中，图像捕获装置11捕获拍摄图像以生成各种运动图像(比如立体全景运动图像) 并且再现这些运动图像。在用户对操作输入单元21进行操作并且指示生成立体全景运动图像时开始运动图像再现处理。 

在步骤S11中，图像捕获单元22在如图1中所示图像捕获装置11移动的状态下捕获被摄体的图像。由此获得单个(下文称为一帧)拍摄图像。经由图像捕获控制单元23从图像捕获单元22向信号处理单元24供应图像捕获单元22捕获的拍摄图像。 

在步骤S12中，信号处理单元24经由总线25向缓冲存储器26供应从图像捕获单元22供应的拍摄图像用于暂时记录。这时，信号处理单元24记录分配有帧编号的拍摄图像以便指定何时捕获待记录的拍摄图像。注意下文也将第n个捕获拍摄图像P(n)称为帧n的拍摄图像P(n)。 

在步骤S13中，运动估计单元61经由总线25从缓冲存储器26获取当前帧n和先前帧(n-1)的拍摄图像，并且通过运动估计进行拍摄图像的位置对准。 

例如在紧接先前步骤S12中记录于缓冲存储器26上的拍摄图像为第n个捕获拍摄图像P(n)的情况下，运动估计单元61获取当前帧n的拍摄图像P(n)和先前帧(n-1)的拍摄图像P(n-1)。 

然后如图7中所示，运动估计单元61通过搜寻与拍摄图像P(n)中的九个块BL(n)-1至BR(n)-3的图像相同的图像在先前帧的拍摄图像P(n-1)中所在的位置来进行位置对准。 

这里，块BC(n)-1至BC(n)-3是沿着如下边界CL-n在图中竖直并排布置的矩形部位，该边界是基本上位于拍摄图像P(n)的中心，在图中竖直延伸的假想直线。 

此外，块BL(n)-1至BL(n)-3是沿着如下边界LL-n在图中竖直并排布置的矩形部位，该边界是在拍摄图像P(n)中位于边界CL-n的左侧、在图中竖直延伸的假想直线。类似地，块BR(n)-1至BR(n)-3是沿着如下边界RL-n在图中竖直并排布置的矩形部位，该边界是在拍摄图像P(n)中位于边界CL-n的右侧、在图中竖直延伸的假想直线。预先确定九个块BL(n)-1至BR(n)-3的位置。 

运动估计单元61针对拍摄图像P(n)中的九个块中的每一个块搜寻拍摄图像P(n-1)中的形状和尺寸与该块相同并且与该块的差异最小的部位(下文将该部位称为块对应部位)。这里假设与块的差异是在待处理的块(例如块BL(n)-1)和被视为候选块对应部位的部位中的相同位置 的像素的像素值之间的绝对差值之和。 

上述运动估计使得针对拍摄图像P(n)中的各块BL(n)-1至BR(n)-3获得位置关系与在这些块之间的相对位置关系相同的、定位于拍摄图像P(n-1)中的块对应部位。 

拍摄图像P(n-1)中的与拍摄图像P(n)中的待处理的块对应的块对应部位是与拍摄图像P(n-1)中的待处理的块差异最小的部位。出于这一原因，估计与待处理的块的图像相同的图像被显示在块对应部位中。 

因此，并排布置拍摄图像P(n)和拍摄图像P(n-1)以便以块BL(n)-1至BR(n)-3与对应的块对应部位重叠这样的方式在某个平面中重叠以便拍摄图像中的同一被摄体在以重叠方式出现。 

然而实际上在一些情况下，块和块对应部位可能未必具有完全相同位置关系。出于这一原因，具体而言，运动估计单元61在平面中并排布置拍摄图像P(n)和拍摄图像P(n-1)使得所有块基本上与块对应部位重叠并且使用该结果作为拍摄图像的位置对准结果。 

注意在运动被摄体出现于拍摄图像中并且在拍摄图像P(n)中的块中包括该被摄体的情况下，获得的九个块对应部位没有与块BL(n)-1至BR(n)-3相同的位置关系。 

因此，在所获得的块对应部位之间的相对位置关系不同于在拍摄图像P(n)中的块之间的相对位置关系的情况下，运动估计单元61排除被估计为包括运动被摄体的块并且再次基于运动估计进行位置对准。也就是说，检测到相对位置关系与其它块对应部位不同的块对应部位，从待处理的目标排除拍摄图像P(n)中的与检测到的块对应部位对应的块，并且仅使用其余块再次进行运动估计。 

具体而言，假设块BL(n)-1至BR(n)-3按相等间隔竖直和水平并排布置于图7中而该间隔为距离QL。例如在相邻的块BL(n)-1与块BL(n)-2之间的距离和在相邻的块BL(n)-1与块BC(n)-1之间的距离为QL。在这一情况下，运动估计单元61基于与各个块对应的块对应部位之间的相对位置关系检测拍摄图像P(n)中的包括运动的块。 

也就是说，运动估计单元61确定在相邻块对应部位之间的距离QM，比如在与块BR(n)-3与对应的块对应部位和与块BC(n)-3对应的块对应部位之间的距离。 

因而对于块BR(n-2)和BC(n)-3，假设在与这些块对应的块对应 部位和与块BR(n)-3对应的块对应部位之间的距离QM与距离QL之差的绝对值大于或者等于预定阈值。 

此外假设在与块BR(n)-2和BC(n)-3对应的块对应部位与其它相邻块对应部位(排除块BR(n)-3的块对应部位)之间的距离QM与距离QL之差的绝对值少于预定阈值。 

在这一情况下，与块BR(n)-3不同的其它块的块对应部位按与各个块之间的相对位置关系相同的位置关系来并排布置。然而仅块BR(n)-3的块对应部位与其它块对应部位之间的位置关系不同于各个块之间的位置关系。在获得这样的检测结果的情况下，运动估计单元61确定块BR(n)-3包括运动被摄体。 

应注意的是，不仅可以使用在相邻的块对应部位之间的距离，还可以使用关注的块对应部位相对于另一相邻块对应部位的旋转角度等进行对包括运动的块的检测。也就是说，例如，如果存在相对于其它块对应部位倾斜某一角度或以上的块对应部位，则确定与块对应部位对应的块包括运动被摄体。 

当以上述方式检测到包括运动的块时，运动估计单元61使用除了包括运动的块之外的其余块再次进行运动估计以进行在拍摄图像P(n)与拍摄图像P(n-1)之间的位置对准。 

以这一方式，仅使用除了包括运动被摄体的块之外的、包括非运动被摄体的块(也就是仅包括所谓的背景)的位置对准使得能够更准确地进行位置对准。根据位置对准结果来并排布置拍摄图像P(n)和拍摄图像P(n-1)，因此允许这些拍摄图像并排布置以使非运动被摄体以重叠方式呈现。 

当进行位置对准时，坐标计算单元71计算在先前捕获的拍摄图像P(1)至P(n)根据各帧的位置对准结果并排布置于某个平面中(也就是xy坐标系中)时的拍摄图像P(n)的中心坐标。 

例如如图8中所示，各个拍摄图像被并排布置以使得拍摄图像P(1)的中心位于xy坐标系的原点并且使得包括在拍摄图像中的同一被摄体以重叠方式出现。注意在图中，水平方向代表x方向而竖直方向代表y方向。此外，拍摄图像P(1)至P(n)中的相应点O(1)至O(n)代表对应拍摄图像的中心位置。 

例如如果假设待处理的当前帧的拍摄图像为拍摄图像P(n)，则在拍 摄图像P(1)至P(n-1)的中心的点O(1)至O(n-1)的中心坐标已被确定并且被记录在缓冲存储器26上。 

坐标计算单元71从缓冲存储器26读取拍摄图像P(n-1)的中心坐标并且根据读取的中心坐标和在拍摄图像P(n)与拍摄图像P(n-1)之间的位置对准结果确定拍摄图像P(n)的中心坐标。也就是说，确定点O(n)的x坐标和y坐标为中心坐标。 

回到图6的流程图描述，在步骤S13中进行位置对准，并且确定拍摄图像P(n)的中心坐标。然后该处理继续到步骤S14。 

在步骤S14中，运动估计单元61向缓冲存储器26供应所得到的拍摄图像P(n)的中心坐标并且与拍摄图像P(n)关联地记录中心坐标。 

在步骤S15中，信号处理单元24确定是否已经捕获某一预定数目的拍摄图像。例如如图1中所示，在分别N次捕获某个区域中的部位的情况下，当捕获了N个拍摄图像时确定已经捕获了某一数目的拍摄图像。 

注意在图像捕获装置11具有能够检测图像捕获装置11的转动角度的部件(如陀螺传感器)而不是确定捕获的拍摄图像数目的情况下，可以确定图像捕获装置11是否已经从开始捕获拍摄图像起被转动了特定角度。即使在这一情况下仍然可以指定是否已经进行对如下拍摄图像的捕获，在这些拍摄图像中，在特定区域中的整个特定部位被设置为被摄体。 

在步骤S15中确定尚未捕获某一数目的拍摄图像的情况下，该处理返回到步骤S11，并且捕获下一帧的拍摄图像。 

另一方面，在步骤S15中确定已经捕获某一数目的拍摄图像的情况下，该处理继续至步骤S16。 

在步骤S16中，图像捕获装置11进行立体全景运动图像再现处理。也就是说，信号处理单元24从缓冲存储器26获取拍摄图像和中心坐标并且基于这些拍摄图像和中心坐标生成具有视差的两个全景运动图像。此外，显示控制单元30再现生成的两个全景运动图像(也就是立体全景运动图像)并且使显示单元31依次显示成对右眼和左眼全景图像。注意下文中将描述立体全景运动图像再现处理的详情。 

在步骤S17中，信号处理单元24接收用于指示放大显示如下部位(也就是再现立体子运动图像)的操作，该部位是当前再现的立体全景运动图像的一部分。 

当开始再现立体全景运动图像时，例如在显示单元31上显示图3中所示立体全景运动图像。然后用户根据需要对操作输入单元21进行操作并且通过进行比如指定显示的立体全景运动图像中的预期位置和用于放大的放大率这样的操作来指示再现立体子运动图像。当用户进行操作时，从操作输入单元21向信号处理单元24供应与该操作对应的信号。 

在步骤S18中，信号处理单元24基于来自操作输入单元21的信号确定是否已经指示对作为立体全景运动图像一部分的部位进行放大显示。 

在步骤S18中确定已经指示放大显示的情况下，在步骤S19中，图像捕获装置11进行立体子运动图像再现处理，并且运动图像再现处理结束。也就是说，基于记录在缓冲存储器26上的拍摄图像和中心坐标生成立体子运动图像，并且再现生成的立体子运动图像。注意下文中将描述立体子运动图像再现处理的详情。 

另一方面，在步骤S18中确定尚未指示放大显示的情况下，运动图像再现处理在显示于显示单元31上的立体全景运动图像的再现完成时结束。 

以上述方法，图像捕获装置11使用在不同时间捕获的多个拍摄图像生成立体全景运动图像并且再现该图像。此外，当用户在再现立体全景运动图像期间通知放大显示作为立体全景运动图像一部分的部位时，图像捕获装置11生成立体子运动图像(其中显示被指示的部位)并且再现该图像。 

[立体全景运动图像再现处理的描述] 

接着将参照图9的流程图描述与图6中的步骤S16的处理对应的立体全景运动图像再现处理。 

在步骤S41中，条形图像生成单元72从缓冲存储器26获取N个拍摄图像及其中心坐标，并且通过基于获取的拍摄图像和中心坐标从各个拍摄图像中裁剪出特定部位来生成右眼和左眼条形图像。 

例如如图10中所示，条形图像生成单元72把使用拍摄图像P(n)中的边界LL-n为参考而设定的部位设置为裁剪部位TR(n)，并且裁剪出该裁剪部位TR(n)以产生右眼条形图像。此外，条形图像生成单元72把使用拍摄图像P(n)中的边界RL-n为参考而设定的部位设置为裁剪部位TL(n)，并且裁剪出该裁剪部位TL(n)以产生左眼条形图像。注意在图10中向与图7中所示的情况下的部分对应的部分分配相同的附 图标记并且省略其描述。 

在图10中，并排布置已经相继捕获的拍摄图像P(n)和拍摄图像P(n+1)使得相同被摄体基于图像的中心位置以重叠方式出现。拍摄图像P(n+1)中的边界LL-(n+1)是与拍摄图像P(n)中的边界LL-n对应的边界。也就是说，边界LL-n和边界LL-(n+1)是分别位于拍摄图像P(n)和拍摄图像P(n+1)中相同位置处的、在图中竖直延伸的假想直线。 

类似地，拍摄图像P(n+1)中的边界RL-(n+1)(在图中竖直延伸的直线)是与拍摄图像P(n)中的边界RL-n对应的边界。 

此外，边界ML(L)-n和边界MR(L)-n(在图中竖直延伸的直线)是位于拍摄图像P(n)中的边界LL-n附近的直线并且分别被定位成在边界LL-n的左边和右边隔开预定距离。 

类似地，边界ML(L)-(n+1)和边界MR(L)-(n+1)(在图中竖直延伸的直线)是位于拍摄图像P(n+1)中的边界LL-(n+1)附近的直线并且分别定位成在边界LL-(n+1)的左边和右边隔开预定距离。 

另外，边界ML(R)-n和边界MR(R)-n(在图中竖直延伸的直线)是位于拍摄图像P(n)中的边界RL-n附近的直线并且分别被定位成在边界RL-n的左边和右边隔开预定距离。类似地，边界ML(R)-(n+1)和边界MR(R)-(n+1)(在图中竖直延伸的直线)是位于拍摄图像P(n+1)中的边界RL-(n+1)附近的直线并且分别被定位成在边界RL-(n+1)的左边和右边隔开预定距离。 

例如在从拍摄图像P(n)裁剪右眼条形图像的情况下，条形图像生成单元72裁剪在拍摄图像P(n)中从边界ML(L)-n向边界MR(L)-(n+1)的位置延伸的裁剪部位TR(n)作为右眼条形图像。这里，边界MR(L)-(n+1)在拍摄图像P(n)中的位置是在并排布置拍摄图像P(n)和拍摄图像P(n+1)时拍摄图像P(n)中的与边界MR(L)-(n+1)重叠的位置。此外，下文中还把从帧n的拍摄图像P(n)裁剪出的右眼条形图像称为条形图像TR(n)。 

类似地，在从拍摄图像P(n-1)裁剪右眼条形图像的情况下，裁剪拍摄图像P(n-1)中从边界ML(L)-(n-1)向边界MR(L)-(n)的位置延伸的裁剪部位TR(n-1)作为右眼条形图像。 

因此，在条形图像TR(n)中从边界ML(L)-n向边界MR(L)-n的位置延伸的部位中的被摄体与在条形图像TR(n-1)中从边界ML (L)-n向边界MR(L)-n的位置延伸的部位中的被摄体基本上相同。注意由于条形图像TR(n)和条形图像TR(n-1)分别是从拍摄图像P(n)和拍摄图像P(n-1)裁剪的图像，所以即使是同一被摄体的图像的捕获时间也不同。 

类似地，在条形图像TR(n)中从边界ML(L)-(n+1)向边界MR(L)-(n+1)的位置延伸的部位中的被摄体与在条形图像TR(n+1)中从边界ML(L)-(n+1)向边界MR(L)-(n+1)的位置延伸的部位中的被摄体基本上相同。 

此外，例如在从拍摄图像P(n)裁剪左眼条形图像的情况下，条形图像生成单元72裁剪在拍摄图像P(n)中从边界ML(R)-n向边界MR(R)-(n+1)的位置延伸的裁剪部位TL(n)作为左眼条形图像。这里，边界MR(R)-(n+1)在拍摄图像P(n)中的位置是在并排布置拍摄图像P(n)和拍摄图像P(n+1)时拍摄图像P(n)中的与边界MR(R)-(n+1)重叠的位置。此外，下文中还将从帧n的拍摄图像P(n)裁剪的左眼图像称为条形图像TL(n)。 

以这一方式，从拍摄图像裁剪使用从图中的拍摄图像的中心向左定位的边界为参考而设定的部位以产生右眼条形图像，并且并排布置这些条形图像。因此显示在捕获N个拍摄图像时要捕获的图像捕获区域中的整个范围(部位)。通过并排布置并且组合从各个拍摄图像获得的右眼条形图像而获得的单个图像用作为包含在右眼全景运动图像中的一帧的全景图像。 

此外，从拍摄图像裁剪使用从图中的拍摄图像的中心向右定位的边界为参考而设定的部位以产生左眼条形图像，并且并排布置这些条形图像。因此显示待捕获的图像捕获区域中的整个范围。通过并排布置并且组合左眼条形图像而获得的单个图像用作为包含在左眼全景运动图像中的一帧的全景图像。 

然后同一被摄体被显示在这些右眼和左眼全景图像中并且在这些图像中的被摄体具有视差。出于这一原因，同时显示右眼和左眼全景图像，因此允许观察这些全景图像的用户以立体方式查看全景图像中的被摄体。 

回到图9的流程图描述，当根据拍摄图像获得右眼和左眼条形图像时，该处理从步骤S41继续至步骤S42。 

在步骤S42中，立体全景运动图像生成单元62基于右眼和左眼条形 图像以及拍摄图像的中心坐标并排布置并且组合各个帧的条形图像并且生成立体全景运动图像中的一帧图像数据。 

也就是说，立体全景运动图像生成单元62并排布置和组合右眼条形图像并且生成右眼全景运动图像中的一帧图像数据。此外，立体全景运动图像生成单元62并排布置和组合左眼图像并且生成左眼全景运动图像中的一帧图像数据。以上述方式获得的图像数据(也就是右眼全景图像和左眼全景图像)构成立体全景运动图像的一帧。 

例如在组合图10中的条形图像TR(n)和条形图像TR(n-1)之前，立体全景运动图像生成单元62针对这些条形图像中从边界ML(L)-n向边界MR(L)-n的位置延伸的部位使用加权加法确定全景图像的像素的像素值。 

也就是说，如果基于中心坐标并排布置条形图像TR(n)和条形图像TR(n-1)，则从边界ML(L)-n向边界MR(L)-n的位置延伸的部位以重叠方式出现于这些条形图像中。立体全景运动图像生成单元62进行条形图像TR(n)和条形图像TR(n-1)中的重叠像素的像素值的加权加法并将所得值设置为全景图像中的在与这些像素对应的位置的像素的像素值。 

应当注意，用于对从条形图像TR(n)和TR(n-1)中的边界ML(L)-n向边界MR(L)-n的位置延伸的部位中的像素进行加权加法的加权值被限制从而具有以下特征。 

也就是说，从边界LL-n到边界MR(L)-n的位置的像素被设计成使得用于生成全景图像的条形图像TR(n)中的像素的贡献比随着像素的位置变得更接近从边界LL-n到边界MR(L)-n的位置而变得更高。相反，从边界LL-n到边界ML(L)-n的位置的像素被设计成使得用于生成全景图像的条形图像TR(n-1)中的像素的贡献比随着像素的位置变得更接近从边界LL-n的位置到边界ML(L)-n的位置而变得更高。 

此外，在生成全景图像时，关于条形图像TR(n)中的从边界MR(L)-n向边界ML(L)-(n+1)延伸的部位，直接设置该部位为全景图像。 

另外，在组合条形图像TR(n)和条形图像TR(n+1)时，对于这些条形图像中从边界ML(L)-(n+1)向边界MR(L)-(n+1)的位置延伸的部位，使用加权加法来确定全景图像的像素的像素值。 

也就是说，从边界LL-(n+1)到边界MR(L)-(n+1)的位置的像素被设计成使得用于生成全景图像的条形图像TR(n+1)中的像素的贡献比随着像素的位置变得更接近从边界LL-(n+1)到边界MR(L)-(n+1)的位置而变得更高。反言之，从边界LL-(n+1)到边界ML(L)-(n+1)的位置的像素被设计成使得用于生成全景图像的条形图像TR(n)中的像素的贡献比随着像素的位置变得更接近从边界LL-(n+1)到边界ML(L)-(n+1)的位置而变得更高。 

另外，在组合左眼条形图像TL(n)和条形图像TL(n-1)时和在组合条形图像TL(n)和条形图像TL(n+1)时，也与条形图像TR(n)的情况类似，对这些条形图像的重叠部分进行加权加法。 

以这一方式，在组合条形图像之前，对在连续帧的条形图像的边缘附近的部位进行加权加法以产生全景图像的像素的像素值。因此可以获得比在仅并排布置条形图像以产生单个图像的情况下看起来更自然的图像。 

例如在通过仅并排布置条形图像来产生全景图像的情况下，被摄体在条形图像的边缘附近的轮廓可能失真，或者连续帧的条形图像的亮度差可能引起全景图像各部位的亮度变化。 

因此，立体全景运动图像生成单元62使用加权加法来组合在条形图像的边缘附近的部位。这可以防止被摄体的轮廓失真或者出现亮度变化从而获得看起来更自然的全景图像。 

此外，在拍摄图像位置对准时，运动估计单元61可以基于拍摄图像检测由包括在图像捕获单元22中的光学透镜引起的透镜失真。在组合条形图像时，条形图像生成单元72可以使用检测到的透镜失真的结果来校正条形图像。也就是说，基于检测到的透镜失真的结果，使用图像处理来校正在条形图像中引起的失真。 

已经用上述方式获得的一帧立体全景运动图像是如下图像，在该图像中，在捕获N个拍摄图像时要捕获的图像捕获区域中的整个图像捕获范围的部位被显示为被摄体。当生成一帧立体全景运动图像时，立体全景运动图像生成单元62经由总线25向压缩/扩展单元27供应生成的立体全景运动图像的图像数据。 

在步骤S43中，压缩/扩展单元27例如使用JPEG(联合相片专家组)方法对从立体全景运动图像生成单元62供应的立体全景运动图像的图像数据进行编码并且经由总线25向驱动28供应所得图像数据。 

驱动28向记录介质29供应从压缩/扩展单元27获得的立体全景运动图像的图像数据以记录该数据。在记录图像数据时，立体全景运动图像生成单元62向图像数据分配帧编号。 

在步骤S44中，信号处理单元24确定是否已经生成预定帧数的立体全景运动图像的图像数据。例如在限定为生成由M帧图像数据形成的立体全景运动图像的情况下，在获得M帧图像数据时确定已经生成特定数目的帧的立体全景运动图像。 

在步骤S44中确定尚未生成特定数目的帧的立体全景运动图像的情况下，该处理返回到步骤S41，并且生成立体全景运动图像的下一帧的图像数据。 

例如在生成立体全景运动图像的第一帧的右眼全景图像的情况下，如参照图10所述，通过裁剪出拍摄图像P(n)中从边界ML(L)-n到边界MR(L)-(n+1)的位置的裁剪部位TR(n)来产生条形图像。 

然后在生成立体全景运动图像的第二帧和后续帧的右眼全景图像的情况下，来自拍摄图像P(n)的条形图像的裁剪部位TR(n)的位置在图10中被向左偏移与从边界LL-n到边界LL-(n+1)的宽度CW对应的量。 

也就是说，假设右眼全景运动图像中的第m帧的条形图像是条形图像TR(n)-m(其中1≤m≤M)。在这一情况下，第m帧的条形图像TR(n)-m的裁剪位置设置成如下位置，在该位置，条形图像TR(n)-1的裁剪位置处的裁剪部位TR(n)在图10中被向左偏移与宽度CW的(m-1)倍对应的距离。 

因此，例如，第二帧条形图像TR(n)-2的要被裁剪的部位被设置成如下部位，该部位的形状和尺寸与拍摄图像P(n)上在图10中的裁剪部位TR(n)相同，并且该部位的右边缘位于边界MR(L)-n的位置。 

这里，根据在捕获拍摄图像时图像捕获装置11被转动的方向来预先确定条形图像的裁剪部位将要偏移的方向。例如图10中的例子基于如下假设：转动图像捕获装置11使得下一帧拍摄图像中心处的位置相对于特定帧的拍摄图像的中心的位置总是定位于图中的右侧。也就是说，图10中的例子基于图像捕获装置11的移动方向为图中的向右方向的假设。 

其原因在于，如果在与拍摄图像中心处的位置随着图像捕获装置11的移动而移动的方向相反的方向上，条形图像的裁剪位置按每一帧被偏 移，则未发生运动的同一被摄体将被显示在构成全景运动图像的各个全景图像中的相同位置处。 

与右眼全景图像的情况类似，在要生成左眼全景图像的情况下，来自拍摄图像P(n)的条形图像的裁剪区域TL(n)的位置在图10中被向左偏移与从边界RL-n到边界RL-(n+1)的宽度对应的量。 

根据上述方式，在按每一帧偏移条形图像的裁剪位置的同时生成全景运动图像的各帧图像数据，从而获得例如如图11中所示的立体全景运动图像。注意在图11中，图中的水平方向对应于图10中的水平方向。例如图11中的水平方向对应于xy坐标系中的x方向。 

在图11中的例子中，分别根据N个拍摄图像P(1)至P(N)生成条形图像TL(1)-1至TL(N)-1，并且组合这些条形图像以获得左眼全景图像PL-1。 

类似地，分别根据N个拍摄图像P(1)至P(N)生成条形图像TL(1)-2至TL(N)-2，并且组合这些条形图像以获得左眼全景图像PL-2。这里，全景图像PL-1和全景图像PL-2分别是构成左眼全景运动图像的第一帧和第二帧的图像。 

此外，分别根据N个拍摄图像P(1)至P(N)生成条形图像TR(1)-1至TR(N)-1，并且组合这些条形图像以获得右眼全景图像PR-1。 

类似地，分别根据N个拍摄图像P(1)至P(N)生成条形图像TR(1)-2至TR(N)-2，并且组合这些条形图像以获得右眼全景图像PR-2。这里，全景图像PR-1和全景图像PR-2是构成右眼全景运动图像的第一帧和第二帧的图像。 

这里例如拍摄图像P(2)中的条形图像TL(2)-2的裁剪部位是在图中将条形图像TL(2)-1的裁剪部位向左偏移与宽度CW对应的量所到达位置处的部位。宽度CW的值根据拍摄图像中的每一帧而改变。 

另外，例如，在条形图像TL(1)-1和条形图像TL(2)-2上显示出在不同时刻的同一被摄体。另外，还在条形图像TL(1)-1和条形图像TR(m)-1上显示出在不同时刻的同一被摄体。 

以这一方式，在全景图像PL-1至PR-2上显示出在不同时刻的同一被摄体。此外，构成立体全景运动图像的每一帧的右眼和左眼全景图像具有视差。 

另外，由于通过组合根据多个帧的拍摄图像获得的不同条形图像来生成全景图像，所以即使在单个全景图像中，捕获显示在各个部位中的被摄体的时刻也不相同。 

应当注意，具体而言，使用拍摄图像P(1)和拍摄图像P(N)来生成每个全景图像的边缘部分。例如，图中的全景图像PL-1的左边缘部分是从拍摄图像P(1)的左边缘到条形图像TL(1)-1的右边缘部分的图像。 

回到图9的流程图描述，在步骤S44中确定已经生成特定帧数的立体全景运动图像的情况下，信号处理单元24经由驱动28从记录介质29读取构成立体全景运动图像的每一帧的全景图像。然后，信号处理单元24向压缩/扩展单元27供应读取的右眼和左眼全景图像并且指示压缩/扩展单元27对右眼和左眼全景图像进行解码。然后该处理继续到步骤S45。 

在步骤S45中，压缩/扩展单元27例如使用JPEG方法对从信号处理单元24供应的立体全景运动图像的图像数据进行解码并且向信号处理单元24供应所得到的图像数据。 

在步骤S46中，信号处理单元24将构成立体全景运动图像的每一帧的右眼和左眼全景图像的尺寸减小至预定尺寸。例如，进行尺寸减小处理以获得允许将整个全景图像显示在显示单元31的显示屏上的尺寸。 

当立体全景运动图像的尺寸被减小时，信号处理单元24向显示控制单元30供应尺寸被减小的立体全景运动图像。注意还可以向记录介质29供应并且在记录介质29上记录尺寸减小的立体全景运动图像。 

在步骤S47中，显示控制单元30向显示单元31供应从信号处理单元24获得的立体全景运动图像以开始立体全景运动图像的再现。也就是说，显示控制单元30按一定的时间间隔向显示单元31依次供应右眼和左眼全景运动图像的各个帧，从而使用透镜方法立体显示这些帧。 

具体而言，显示单元31将每一帧的右眼和左眼全景图像划分成若干条状图像，并且在特定方向上交替地并排布置并且显示通过划分得到的右眼图像和左眼图像。由此显示立体全景运动图像。使用包括在显示单元31中的透镜，将以上述方式划分获得并且显示的右眼全景图像和左眼全景图像的光线引向观看显示单元31的用户的右眼和左眼。由此，用户的眼睛观察到立体全景运动图像。 

当立体全景运动图像显示于显示单元31上(由显示单元31再现)时， 立体全景运动图像再现处理结束。随后，该处理继续到图6中的步骤S17。 

以上述方式，图像捕获装置11从在不同时刻捕获的多个拍摄图像中的每个拍摄图像中，在使裁剪部位偏移的同时生成多个右眼条形图像和多个左眼条形图像，并且组合条形图像以生成每一帧的立体全景运动图像。 

除了向捕获的被摄体给予运动并且表现出该运动之外，以上述方式生成的立体全景运动图像还实现被摄体的立体显示。因此可以更有效地显示被摄体的捕获图像。 

此外，已经在不同时刻捕获了单个全景图像中各个的区域上的被摄体。因此可以呈现更吸引人的图像。也就是说，可以更有效地显示被摄体的捕获图像。 

注意在前文描述中，捕获N个拍摄图像，并且所有拍摄图像暂时记录在缓冲存储器26上，此后使用这些拍摄图像生成立体全景运动图像。然而可以在捕获拍摄图像的同时进行立体全景运动图像的生成。 

另外，在上文描述中，在生成立体全景运动图像之后减小立体全景运动图像的尺寸。然而可以从拍摄图像直接生成尺寸减小的立体全景运动图像。在这一情况下，可以使直到立体全景运动图像被再现为止所需的处理量更小，从而更快速地显示立体全景运动图像。另外，比如个人计算机这样的装置可以具有用于从拍摄图像生成立体全景运动图像的功能并且可以设计成从使用相机捕获的拍摄图像生成立体全景运动图像。 

[立体子运动图像再现处理的描述] 

接着将参照图12的流程图描述与图6中的步骤S19的处理对应的立体子运动图像再现处理。当用户指定立体全景运动图像中的某一位置并且指示再现立体子运动图像时开始立体子运动图像再现处理。 

在步骤S81中，立体子运动图像生成单元63的视差计算单元73根据来自操作输入单元21的信号，基于记录在缓冲存储器26上的拍摄图像和中心坐标并且基于立体全景运动图像，在拍摄图像之中指定要处理的拍摄图像。 

也就是说，视差计算单元73指定在构成立体全景运动图像的全景图像中的、以用户指定位置为中心并由用户指定的放大率限定的部位。例如指定图3中的部位BP为要在立体子运动图像中显示的部位。 

然后，视差计算单元73设置如下拍摄图像为待处理的拍摄图像，在 这些拍摄图像中显示有包括在部位BP中的被摄体。也就是说，在每个拍摄图像布置于xy坐标系中的情况下，把多个拍摄图像中在xy坐标系中包括与部位BP对应的部位的拍摄图像设置为待处理的拍摄图像。因此，指定多个连续帧的拍摄图像为待处理的对象。 

在步骤S82中，视差计算单元73选择构成当前再现的立体全景运动图像的一个全景运动图像的全景图像，例如构成左眼全景运动图像的两个全景图像。 

例如，从待处理的拍摄图像组之中，选择如下的左眼全景运动图像中的全景图像和在该全景图像之后的帧的全景图像，其中所述左眼全景运动图像中的全景图像是使用帧编号最早的拍摄图像中与部位BP中的被摄体相同的被摄体的部分来生成的。应当注意，在存在多个使用帧编号最早的拍摄图像中与部位BP中的被摄体相同的被摄体的部分而生成的左眼全景图像的情况下，从这些全景图像之中选择帧编号最早的全景图像和后续帧的全景图像。 

在步骤S83中，视差计算单元73使用所选择的两个全景图像进行运动估计并且确定视差大小。 

例如，假设已经选择了帧m的左眼全景图像PL-m和帧(m+1)的全景图像PL-(m+1)。在这种情况下，视差计算单元73将全景图像PL-(m+1)划分成若干个块，并且搜索显示在这些块中的被摄体在全景图像PL-m中被显示的位置，从而计算各个块的运动矢量。由此检测全景图像中的各部位的运动。 

这里，在图像捕获区域中，更接近图像捕获装置11的一侧称为前景侧，更远离图像捕获装置11的一侧称为背景侧。然后，通过运动估计获得的各个块的运动矢量具有以下特征。 

也就是说，块的运动矢量是：包括更接近背景侧的被摄体的块在与图像捕获装置11捕获拍摄图像时的移动方向(x方向)相同的方向上(例如在图11中向右的方向上)具有更大的矢量。相反，包括更接近前景侧的被摄体的块在与图像捕获装置11捕获拍摄图像时的移动方向相反的方向上(例如在图11中向左方向上)具有更大矢量。 

因此，各个块之中在图像捕获装置11的移动方向上获得最大运动矢量的块中，显示有在全景图像中最接近于背景侧的位置处的被摄体。相反，各个块之中在与图像捕获装置11的移动方向相反的方向上获得最大运动 矢量的块中，显示有在全景图像中最接近于前景侧的位置处的被摄体。 

一般而言，整个全景图像在背景中包括比在前景中的被摄体更多的被摄体，并且许多块的运动矢量应当是在图像捕获装置11的移动方向上的矢量。视差计算单元73在方向为图像捕获装置11的移动方向的块的运动矢量当中选择具有被最频繁地检测到的大小的运动矢量。也就是说，使用由所选择的运动矢量表示的运动作为全景图像中背景的平均运动。 

然后，视差计算单元73提取从现在起要在全景图像中显示的部位BP(在与部位BP相同位置处的部位)中的块，并且确定在提取的块的运动矢量与所选运动矢量之间的差值。差值计算等效于如下处理，该处理从并排布置两个全景图像以便重叠的状态将全景图像之一偏移与所选择的运动矢量对应的量以便抵消背景的视差。也就是说，差值计算等效于并排布置两个全景图像以使得在背景中的被摄体以重叠方式出现。 

视差计算单元73在差值计算之后获得的运动矢量之中指定方向与图像捕获装置11的移动方向相反的具有最大大小的运动矢量，并且使用指定的运动矢量的大小作为两帧之间全景图像中的部位BP的视差大小。 

具有以上述方式指定的运动矢量的块应当包括部位BP内最接近前景侧的位置处的被摄体。因此，部位BP的确定的视差大小对应于部位BP内位于最接近前景侧的被摄体相对于全景图像的平均背景的相对运动的大小。换言之，该确定的大小对应于部位BP内最接近前景侧的被摄体的相对于全景图像的平均背景的视差的相对视差的大小。 

进一步地说，由于平均而言背景中的被摄体也可能包括在部位BP中，所以部位BP的视差大小对应于前景侧上的被摄体的相对于部位BP内的背景的视差的相对视差的大小。 

在步骤S84中，视差计算单元73确定所确定的视差大小是否为预定的适当大小。例如在所确定的视差大小大于或者等于预定大小的情况下确定该确定大小是适当的大小。 

在步骤S84中确定该确定的大小不是适当的大小的情况下，处理返回到步骤S82，并且反复进行上述处理。也就是说，选择两个新的全景图像，并且确定部位BP的视差大小。 

例如，如图13中所示，假设已经指定十个拍摄图像(即拍摄图像P(1)至P(10))为待处理的拍摄图像，在待处理的拍摄图像中，显示有立体全景运动图像PMV上的部位BP中的被摄体。注意在图13中，向与 图3中所示情况下的部分对应的部分分配相同的附图标记并且省略其描述。此外，在图13中，图中的水平方向对应于图10中的水平方向，也就是xy坐标系中的x方向。 

在图13中，并排布置各个拍摄图像和全景图像(立体全景运动图像PMV)使得这些图像中的相同被摄体出现于水平方向上的相同位置。在上述步骤S82中，在一开始选择两个全景图像的情况下，首先选择帧编号最早的拍摄图像P(1)和帧编号第二早的拍摄图像P(2)。然后选择使用这些拍摄图像生成的全景图像。也就是说，选择如下两个全景图像：即其中显示有拍摄图像P(1)上的部位BP中的被摄体的区域被用作条形图像的全景图像；以及其中显示有拍摄图像P(2)上的部位BP中的被摄体的区域被用作条形图像的全景图像。 

随后根据所选择的全景图像确定部位BP的视差。在步骤S84中确定视差的大小不适当的情况下，选择拍摄图像P(1)和拍摄图像P(3)，并且选择使用这些拍摄图像生成的全景图像。 

以这一方式，选择拍摄图像P(1)和未选择拍摄图像之中帧最接近于拍摄图像P(1)的拍摄图像，直至所确定的部位BP的视差的大小适当。然后使用利用这些所选拍摄图像生成的全景图像，来确定部位BP的视差大小。 

因而例如，假定为当选择了拍摄图像P(1)和拍摄图像(4)时部位BP的视差大小合适。在这种情况下，裁剪拍摄图像P(1)中的部位GL(1)以产生构成立体子运动图像中的第一帧的左眼子图像，并且裁剪拍摄图像P(4)中的部位GR(1)以产生构成立体子运动图像中的第一帧的右眼子图像。 

这里，部位GL(1)和部位GR(1)是显示有部位BP中的被摄体的部位。也就是说，在拍摄图像并排布置于xy坐标系中的情况下，裁剪拍摄图像中与部位BP相同的位置处的部位以产生子图像。 

类似地，裁剪拍摄图像P(2)中的部位GL(2)以产生立体子运动图像中的第二帧的左眼子图像，并且裁剪拍摄图像P(5)中的部位GR(2)以产生立体子运动图像中的第二帧的右眼子图像。 

以上述方式，从下一帧的拍摄图像顺次生成立体子运动图像中的下一帧的右眼和左眼子图像。在图13中的例子中，从拍摄图像P(1)至P(7)裁剪出其中显示有部位BP中的被摄体的部位，并且生成第一至第七帧的 左眼子图像。此外，从拍摄图像P(4)至P(10)裁剪出其中显示有部位BP中的被摄体的部位，并且生成第一至第七帧的右眼子图像。由此获得共计七帧的立体子运动图像。 

这里，用于生成立体子运动图像的第一帧的拍摄图像P(1)和拍摄图像P(4)具有大小与部位BP的视差大小相同的视差。具体而言，部位GL(1)和部位GR(1)中最接近前景侧的被摄体之间的相对于背景中的被摄体的视差的相对视差的大小对应于用于步骤S84的确定处理的视差的大小。 

因此，如果用于确定处理的视差的大小被限定成适当大小，则构成立体子运动图像的同一帧的右眼和左眼子图像中在前景侧上的被摄体相对于背景中的被摄体的视差相对而言具有预定的适当视差大小。也就是说，能够对待显示的被摄体给出适当的远近感，并且可以显示具有进深的立体图像。 

这时，基于最接近前景侧的被摄体的视差大小来限定用于生成立体子运动图像中的第一帧的两个拍摄图像，这是因为相比于背景中的被摄体，前景中的被摄体在拍摄图像帧之间的视差更大。也就是说，原因在于：如果使用背景侧上的被摄体作为参考，来选择用于生成立体子运动图像中的第一帧的拍摄图像，则在一些情况下前景侧上的被摄体的视差可能过大或者过小从而造成图像立体效果下降。 

以这一方式，在按照大的放大率以放大比例显示立体全景运动图像中的背景的情况下，背景具有小视差并且没有进深感。因此，图像捕获装置11使用帧在一定程度上被分离开的拍摄图像来生成左眼和右眼子图像使得能够获得充分的视差。 

相反，在按照小的放大率以放大比例显示立体全景运动图像中的前景的情况下，前景具有大的视差，并且即便对于帧彼此接近的拍摄图像，也可以获得充分的视差。因此，图像捕获装置11使用帧在一定程度上接近的拍摄图像来生成左眼和右眼子图像。 

也就是说，根据是哪个在捕获拍摄图像时被捕获的图像捕获区域要被以放大比例显示，来进行适当视差控制，并且生成具有最佳视差的立体子运动图像。 

应当注意，尽管在前文描述中使用全景图像进行运动估计，但是可以使用全景图像中的部位(这些部位中显示有在部位BP中的被摄体)或者 拍摄图像本身(这些拍摄图像中显示有在部位BP中的被摄体)进行运动估计，原因在于：如果利用拍摄图像(比如全景图像或者拍摄图像本身)进行运动估计，则可以确定部位BP的视差。 

回到图12的流程图描述，如果在步骤S84中确定所确定的部位BP的视差的大小是适当大小，则该处理进行到步骤S85。 

在步骤S85中，立体子运动图像生成单元63使用拍摄图像的中心坐标，从待处理的拍摄图像中裁剪出其中显示有部位BP中的被摄体的部位来生成右眼和左眼子图像。 

例如，如图13中所示，立体子运动图像生成单元63从拍摄图像P(1)至P(7)裁剪出其中显示有部位BP中的被摄体的部位以生成构成右眼子运动图像中的第一至第七帧的子图像。 

此外，立体子运动图像生成单元63从拍摄图像P(4)至P(10)裁剪出其中显示有部位BP中的被摄体的部位以生成构成左眼子运动图像中的第一至第七帧的子图像。然后，这些右眼和左眼子图像组用作为立体子运动图像。 

当生成立体子运动图像时，立体子运动图像生成单元63向显示控制单元30供应所得到的立体子运动图像。 

在步骤S86中，显示控制单元30向显示单元31供应从立体子运动图像生成单元63供应的立体子运动图像以显示立体子运动图像。也就是说，显示控制单元30按照一定的时间间隔向显示单元31依次供应构成立体子运动图像中的各个帧的成对的右眼和左眼子图像，并且使用透镜方法来立体地显示图像对。 

在立体子运动图像显示于显示单元31上时，立体子运动图像再现处理结束。随后，图6中的运动图像再现处理也结束。 

以上述方式，图像捕获装置11根据要在待捕获的图像捕获区域中显示的部位的大小(也就是根据全景图像中的指定位置和指定的放大率)，；来指定两个拍摄图像，这两个拍摄图像具有对于待显示的部位而言适当的视差并且包括该部位。然后，图像捕获装置11根据包括两个拍摄图像之一的连续帧的拍摄图像生成右眼子图像，并且根据包括另一拍摄图像的连续帧的拍摄图像生成左眼子图像，由此获得立体子运动图像。 

以这一方式，根据待显示的部位指定具有适当视差的拍摄图像，并且根据这些拍摄图像生成立体子运动图像。因此，不管要显示哪个部位，总 是可以获得具有更适当的视差的立体子运动图像。 

应当注意，尽管在前文描述中显示立体全景运动图像以便将待显示部位指定为立体子运动图像，但是可以显示由右眼和左眼全景图像形成的立体全景图像。在这种情况下，用户指定全景运动图像中的位置和用于放大显示的放大率并且指示再现立体子运动图像。 

此外，可以显示由右眼和左眼子图像形成的立体子图像，而不是在指定立体全景运动图像中的位置和放大率时显示立体子运动图像。在这种情况下，例如显示从图13中的部位GL(1)和部位GR(1)裁剪的一对子图像作为立体子图像。 

上述一系列处理可以由硬件执行或者可以由软件执行。在一系列处理由软件执行的情况下，构成软件的程序可以从程序记录介质安装到并入于专用硬件中的计算机或者例如能够通过将各种程序安装到其中来执行各种功能的通用个人计算机等当中。 

图14是图示了使用程序执行上述一系列处理的计算机的硬件配置例子的框图。 

在计算机中，CPU(中央处理单元)301、ROM(只读存储器)302和RAM(随机存取存储器)303经由总线304彼此连接。 

另外，输入/输出接口305连接到总线304。由键盘、鼠标和麦克风等形成的输入单元306、由显示器和扬声器等形成的输出单元307、由硬盘和非易失性存储器等形成的记录单元308、由网络接口等形成的通信单元309和驱动可拆卸介质311(比如磁盘、光盘、磁光盘或者半导体存储器)的驱动310连接到输入/输出接口305。 

在如上述配置的计算机中，CPU 301经由输入/输出接口305和总线304将例如记录于记录单元308上的程序加载到RAM 303中并且执行程序。由此进行上述一系列处理。 

在可拆卸介质311(该可拆卸介质是例如由磁盘(包括软盘)、光盘(比如CD-ROM(光盘-只读存储器)或者DVD(数字通用盘)、磁光盘或半导体存储器等形成的封装介质)上记录或者经由有线或者无线传输介质(比如局域网、因特网或者数字卫星广播)提供计算机(CPU 301)执行的程序。 

然后可以通过将可拆卸介质311附着到驱动310来经由输入/输出接口305将程序安装到记录单元308上。另外，通信单元309可以经由有线 或者无线传输介质接收程序，并且程序可以安装到记录单元308中。可选地，程序可以预先安装到ROM 302或者记录单元308中。 

应当注意，计算机执行的程序可以是其中根据在此描述的顺序以时序方式进行处理的程序，或者可以是其中并行或者在必要定时(比如在调用时)进行处理的程序。 

应当注意，本发明的实施例并不限于上述实施例并且可以在不脱离本发明的范围的情况下进行多种修改。 

附图标记说明 

11图像捕获装置，22图像捕获单元，24信号处理单元，61运动估计单元，62立体全景运动图像生成单元，63立体子运动图像生成单元，71坐标计算单元，72条形图像生成单元，73视差计算单元。 

Claims (6)

1.一种图像处理装置，基于在移动图像捕获装置时使用所述图像捕获装置通过图像捕获获得的多个拍摄图像，来生成第一子图像和第二子图像，所述第一子图像和所述第二子图像彼此之间具有视差并且其中显示有在捕获所述拍摄图像时要捕获的特定部位，所述图像处理装置包括：

指定装置，用于利用所述拍摄图像进行运动估计，从显示有所述特定部位的所述多个拍摄图像中指定如下两个拍摄图像：在这两个拍摄图像间所述特定部位中的被摄体的视差具有预定大小；以及

子图像生成装置，用于通过从所述两个拍摄图像中的每个拍摄图像裁剪出显示有所述特定部位的部位来生成所述第一子图像和所述第二子图像。

2.根据权利要求1所述的图像处理装置，

其中所述子图像生成装置通过从已经被连续捕获并包括所述两个拍摄图像中的一个拍摄图像的所述多个拍摄图像中分别裁剪出显示有所述特定部位的所述部位，来分别生成多个第一子图像，并且通过从已经被连续捕获并包括所述两个拍摄图像中的另一个拍摄图像的所述多个拍摄图像中分别裁剪出显示有所述特定部位的所述部位，来分别生成多个第二子图像。

3.根据权利要求2所述的图像处理装置，还包括：

显示控制装置，用于使其中每一个由所述第一子图像和所述第二子图像形成的多个图像对按照一定的时间间隔依次显示，从而通过同时显示所述图像对来立体显示所述特定部位。

4.根据权利要求2所述的图像处理装置，还包括：

全景图像生成装置，用于通过并排布置并组合通过裁剪所述多个拍摄图像的特定部位而获得的各个条形图像，来生成其中显示有包括要捕获的所述特定部位的所述部位的全景图像，并且用于通过并排布置并组合从所述多个拍摄图像的如下位置处裁剪出的部位而获得的另外的各个条形图像来生成另一全景图像：所述多个拍摄图像的所述特定部位沿与对应于所述图像捕获装置移动方向的方向相反的特定方向偏移到所述位置处，

其中所述指定装置通过使用所述全景图像和所述另一全景图像进行运动估计来检测所述全景图像中的每个部位的移动，从而确定所述特定部位中的所述被摄体的视差的大小，并且在所述特定部位中的所述被摄体的视差具有所述预定大小的情况下，使用分别用于生成所述全景图像和所述另一全景图像的、显示有所述特定部位中的所述被摄体的所述拍摄图像作为所述两个拍摄图像。

5.根据权利要求4所述的图像处理装置，

其中在所述特定区域内沿所述特定方向的最大移动相对于沿对应于所述移动方向的方向的移动的大小的相对大小为所述预定大小的情况下，所述指定装置将视差的大小识别为所述预定大小，其中沿对应于所述移动方向的方向的移动被最频繁地检测。

6.一种用于图像处理装置的图像处理方法，所述图像处理装置基于在移动图像捕获装置时使用所述图像捕获装置通过图像捕获获得的多个拍摄图像，来生成第一子图像和第二子图像，所述第一子图像和所述第二子图像彼此之间具有视差并且其中显示有在捕获所述拍摄图像时要捕获的特定部位，所述图像处理装置包括：

指定装置，用于利用所述拍摄图像进行运动估计，从显示有所述特定部位的所述多个拍摄图像中指定如下两个拍摄图像：在这两个拍摄图像间所述特定部位中的被摄体的视差具有预定大小；以及

子图像生成装置，用于通过从所述两个拍摄图像中的每个拍摄图像裁剪出显示有所述特定部位的部位来生成所述第一子图像和所述第二子图像，所述图像处理方法包括以下步骤：

通过所述指定装置指定在所述多个拍摄图像中所述特定部位的所述视差具有预定大小的所述两个拍摄图像；并且

通过所述子图像生成装置从所述两个拍摄图像的每一个拍摄图像裁剪出显示有所述特定部位的部位来生成所述第一子图像和所述第二子图像。