CN102045501A - 图像处理装置和方法以及程序 - Google Patents

Abstract

提供了一种图像处理装置和方法以及程序，该图像处理装置包括：输出图像产生单元，其被配置成产生多张连续的输出图像；检测单元，其被配置成检测有运动的运动被摄物；校正单元，其被配置成当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像；以及三维输出图像产生单元，其被配置成产生包括与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

Description

图像处理装置和方法以及程序

技术领域

本发明涉及图像处理装置和方法以及程序，更具体地，涉及能够获得无不适感的、更自然的三维图像的图像处理装置和方法以及程序。

背景技术

近来，随着数字静止照相机的广泛普及，喜爱摄影术的用户的数量增加。此外，希望提供有效地呈现大量拍摄照片的方法。

例如，作为有效地呈现拍摄照片的方法，在现有技术中使用所谓全景图像。全景图像是将一边在预定方向上平移拍摄装置一边拍摄到的多张静止图像并排地摆在一起、以使那些静止图像上的相同被摄物重叠而得到的单张静止图像(例如，参照日本特许第3168443号公报)。

在这种全景图像中，被摄物可被显示在具有比由典型拍摄装置得到的单张静止图像的拍摄范围(视角)更宽广的范围的空间中。因此，可以更有效地显示被摄物的拍摄图像。

为了获得全景图像，当一边平移拍摄装置一边拍摄多张静止图像时，相同被摄物通常可能包含在多张静止图像中。在这种情况下，由于不同静止图像上的相同被摄物是在不同位置拍摄的，因而差异出现。如果基于这一事实而从多张静止图像产生彼此有差异的2张图像(以下称作三维图像)，则可以通过用透镜法同时显示这些图像来三维地显示拍摄对象被摄物。

然而，由于包含在三维图像中的2张图像的各区域中的图像具有不同的拍摄时刻，因而在有运动的被摄物(以下称作运动被摄物)包含在拍摄对象区域中的情况下，相同被摄物可能不会显示在这2张图像的相同区域中。

例如，相同的运动被摄物有可能显示在包含在三维图像中的2张图像上的不同位置处。在这种情况下，如果用透镜法同时显示这2张图像，则有不适感的、不自然的图像可能会显示在运动被摄物附近的区域中。

发明内容

希望获得无不适感的、更自然的三维图像。

根据本发明的第一实施例，提供了一种图像处理装置，包括：输出图像产生单元，所述输出图像产生单元被配置成：基于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；检测单元，所述检测单元被配置成：基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物；校正单元，所述校正单元被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物；以及三维输出图像产生单元，所述三维输出图像产生单元被配置成：产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

所述输出图像产生单元可以从多张所述拍摄图像中切出所述特定区域被显示于的区域，并产生多张所述输出图像。

所述校正单元对于多张所述输出图像中的每一个，可以当所述输出图像包含所述运动被摄物时，通过将所述输出图像的所述被摄物区域替换为与所述被摄物区域对应的、另一不同的输出图像上的所述运动被摄物未被显示于的区域的图像，来校正所述输出图像，而所述三维输出图像产生单元可以在包含经校正的所述输出图像的多张所述输出图像中产生三维输出图像组，所述三维输出图像组由拥有从连续拍摄的多张拍摄图像得到的所述输出图像的第一输出图像组以及拥有从连续拍摄的多张拍摄图像得到的所述输出图像并与所述第一输出图像组有所述差异的第二输出图像组构成。

所述校正单元对于拥有从连续拍摄的一些拍摄图像得到的所述输出图像也即第一输出图像的第一输出图像组，可以当所述运动被摄物包含在所述第一输出图像中、且所述运动被摄物包含在多张所述输出图像中与所述第一输出图像有所述差异的输出图像也即第二输出图像中的与所述第一输出图像的所述被摄物区域对应的区域中时，通过将所述第一输出图像的所述被摄物区域替换为与所述被摄物区域对应的所述第二输出图像的区域的图像，来校正所述第一输出图像，而所述三维输出图像产生单元可以产生三维输出图像组，所述三维输出图像组由经校正的所述第一输出图像组以及拥有与包含在所述第一输出图像组中的每个所述第一输出图像有所述差异的每个所述第二输出图像的第二输出图像组构成。

根据本发明的第一实施例，提供了一种图像处理方法或程序，包括以下步骤：基于一边移动拍摄单元一边使用所述拍摄单元进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物；基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物；以及产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

在本发明的第一实施例中，基于一边移动拍摄单元一边使用所述拍摄单元进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像。基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物。基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物。产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

根据本发明的第二实施例，提供了一种图像处理装置，包括：窄条图像产生单元，所述窄条图像产生单元被配置成：对于一边移动拍摄单元一边使用所述拍摄单元进行拍摄而得到的多张拍摄图像中的每一个，通过切出所述拍摄图像上的预定区域来产生第一窄条图像，并且还通过切出所述拍摄图像上的与所述预定区域不同的区域来产生第二窄条图像；全景图像产生单元，所述全景图像产生单元被配置成：通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像；检测单元，所述检测单元被配置成：基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物；以及校正单元，所述校正单元被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物。

所述校正单元可以当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的所述被摄物区域替换为所述拍摄图像上的所述运动被摄物未被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第一全景图像，并且所述校正单元可以当所述运动被摄物包含在所述第二全景图像中时，通过将所述第二全景图像上的所述被摄物区域替换为所述拍摄图像上的所述运动被摄物未被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第二全景图像。

当所述运动被摄物包含在所述第一全景图像中时，所述校正单元通过将所述第一全景图像上的所述被摄物区域替换为所述拍摄图像上的所述运动被摄物被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第一全景图像，并且所述校正单元通过将与所述被摄物区域对应的所述第二全景图像的区域替换为所述拍摄图像上的所述运动被摄物被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第二全景图像。

根据本发明的第二实施例，提供了一种图像处理方法或程序，包括以下步骤：对于一边移动拍摄单元一边使用所述拍摄单元进行拍摄而得到的多张拍摄图像中的每一个，通过切出所述拍摄图像上的预定区域来产生第一窄条图像，并且还通过切出所述拍摄图像上的与所述预定区域不同的区域来产生第二窄条图像；通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像；基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物；以及基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物。

在本发明的第二实施例中，对于一边移动拍摄单元一边使用所述拍摄单元进行拍摄而得到的多张拍摄图像中的每一个，通过切出所述拍摄图像上的预定区域来产生第一窄条图像，并且还通过切出所述拍摄图像上的与所述预定区域不同的区域来产生第二窄条图像。同时，通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像。基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物。基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物。

根据本发明的第一实施例，可能获得无不适感的、更自然的三维图像。

根据本发明的第二实施例，可能获得无不适感的、更自然的三维图像。

附图说明

图1示出了拍摄图像的拍摄方法。

图2示出了拍摄期间产生的差异；

图3示出了三维全景运动图像的显示例子；

图4示出了根据本发明的实施例的拍摄装置的示例配置；

图5示出了信号处理部的示例配置；

图6是示出了运动图像的再现处理的流程图；

图7示出了拍摄图像的位置匹配；

图8示出了中心坐标的计算；

图9是示出了三维全景运动图像的再现处理的流程图；

图10示出了窄条图像的切出；

图11示出了三维全景运动图像的产生；

图12是示出了三维部分运动图像的再现处理的流程图；

图13示出了三维部分运动图像的产生；

图14是示出了三维全景图像的显示处理的流程图；

图15示出了计算机的示例配置。

具体实施方式

以下参照附图更详细地说明本发明的实施例。

三维全景运动图像的说明

根据本发明的实施例的拍摄装置包括例如照相机等，并且从在拍摄装置移动时由拍摄装置连续地拍摄的多张拍摄图像中产生单张三维全景运动图像。三维全景运动图像包括有差异的2张全景运动图像。

全景运动图像是包括多张全景图像的图像组，该图像组将具有比可由拍摄装置通过一次拍摄尝试而拍摄的真实空间中的视角更宽广的范围的区域作为被摄物而显示。因此，假设包含在全景运动图像中的各全景图像是对应于一帧的图像，则全景运动图像可以是单张运动图像。同理，假设包含在全景运动图像中的各全景图像是单张静止图像，则全景运动图像可以是静止图像组。以下为了简便起见，假设全景运动图像是运动图像。

当用户尝试使用拍摄装置来产生三维全景运动图像时，用户操作拍摄装置以拍摄用于产生三维全景运动图像的拍摄图像。

例如，如图1所示，为了拍摄拍摄图像，用户通过将拍摄装置11的光学透镜移向图中的前侧、并关于转动中心C11从图中右侧到左侧转动(平移)拍摄装置11，来连续地拍摄被摄物的图像。此时，用户调整拍摄装置11的转动速度，以使静止的被摄物可包含在连续地拍摄的多张拍摄图像中。

以此方式，通过一边使拍摄装置11移动一边拍摄拍摄图像，可能获得N张拍摄图像P(1)直至P(N)。

此处，拍摄图像P(1)是N张拍摄图像中拍摄时刻最早的图像，即首先拍摄的图像。拍摄图像P(N)是N张拍摄图像中拍摄时刻最晚的图像，即最后拍摄的图像。以下，将第n张拍摄图像(其中1≤n≤N)称作拍摄图像P(n)。

此外，各拍摄图像可以是以下两种之一：连拍的静止图像、或运动图像的对应于一帧的图像。

尽管在图1中将拍摄装置11自身旋转90°即令拍摄装置11横向放置而进行拍摄，但当可能获得在图中纵向上更长的拍摄图像时，可将拍摄装置11纵向放置而对拍摄图像进行拍摄。在这种情况下，拍摄图像在与拍摄装置11相同的方向上旋转90°以产生三维全景运动图像。

当以此方式获得N张拍摄图像时，拍摄装置11使用这些拍摄图像来产生彼此有差异的2张全景运动图像。此处，在全景运动图像中，当拍摄N张拍摄图像时成为拍摄对象的拍摄空间的整体区域作为被摄物而显示。

可以从拍摄图像获得有差异的2张全景运动图像是因为当拍摄装置11移动时拍摄多张拍摄图像，且这些拍摄图像上的被摄物有差异。

例如，如图2所示，当通过关于转动中心C11按图中箭头方向转动拍摄装置11来拍摄拍摄图像时，在位置PT1和PT2处拍摄拍摄图像。

在这种情况下，尽管相同被摄物H11包含在当拍摄装置11分别位于位置PT1和PT2时拍摄的拍摄图像中，但那些拍摄图像的拍摄位置即被摄物H11的观察位置不同。结果，差异出现。当拍摄装置11以恒定的转动速度转动时，从转动中心C11到拍摄装置11的距离越增长、例如从转动中心C11到位置PT1的距离越增长，差异也越增大。

基于以此方式出现的差异，如果在不同的观察位置(即差异出现)产生2张全景运动图像并使用透镜法等同时再现全景运动图像，则可向用户提供三维全景运动图像。

以下，在三维全景运动图像的其中2张全景运动图像中，为了由用户的右眼观察而显示的全景运动图像称作右眼全景运动图像。同理，在三维全景运动图像的其中2张全景运动图像中，为了由用户的左眼观察而显示的全景运动图像称作左眼全景运动图像。

当产生三维全景运动图像时，图3所示的三维全景运动图像PMV显示在例如拍摄装置11上。如果用户当三维全景运动图像PMV被显示时指示显示与三维全景运动图像PMV关联的另一图像，则可以进一步显示与该指示相应的图像。

例如，当用户指定三维全景运动图像PMV的任意位置和放大倍率时，拍摄装置11关于所指定的位置显示这样的三维部分运动图像：其中仅将由所指定的放大倍率确定的三维全景运动图像PMV上的区域BP用作被摄物。即，显示三维部分运动图像的处理是放大并显示三维全景运动图像的一部分区域的处理。

此外，响应于用户的指示，在拍摄装置11上显示三维全景图像。三维全景图像是与显示在三维全景运动图像PMV上的拍摄空间的区域相同的区域被显示于的静止图像。即，三维全景图像是这样的图像对：其包括包含在三维全景运动图像PMV的一帧中的右眼和左眼全景图像。

拍摄装置的配置

图4示出了根据本发明的实施例的拍摄装置11的示例配置。

拍摄装置11包括操作输入部21、拍摄部22、拍摄控制部23、信号处理部24、总线25、缓冲存储器26、压缩/解压缩部27、驱动器28、记录介质29、显示控制部30和显示部31。

操作输入部21包括按钮等，以接受用户的操作并将与该操作对应的信号供给信号处理部24。拍摄部22包括光学透镜、拍摄元件等，以通过对来自被摄物的光进行光电变换来拍摄拍摄图像，并将其供给拍摄控制部23。拍摄控制部23对拍摄部22的拍摄进行控制，还将从拍摄部22获得的拍摄图像供给信号处理部24。

信号处理部24经过总线25连接至缓冲存储器26直至驱动器28以及显示控制部30，以响应于来自操作输入部21的信号对拍摄装置11的整体进行控制。

例如，信号处理部24将来自拍摄控制部23的拍摄图像经过总线25供给缓冲存储器26，或基于从缓冲存储器26获得的拍摄图像产生三维全景运动图像。此外，信号处理部24还基于从缓冲存储器26获得的拍摄图像产生三维部分运动图像。

缓冲存储器26包括同步动态随机存取存储器(Synchronous Dynamic Random Access Memory(SDRAM))等，以暂时记录经过总线25供给的拍摄图像等数据。压缩/解压缩部27使用预定方式对经过总线25供给的图像进行编码或解码。

驱动器28将从总线25供给的三维全景运动图像记录在记录介质29中，或读出记录在记录介质29中的三维全景运动图像以将其输出至总线25。记录介质29包括可从拍摄装置11拆卸的非易失性存储器，以在驱动器28的控制下记录三维全景运动图像。

显示控制部30将经过总线25供给的三维全景运动图像供给显示部31以进行显示。显示部31包括液晶显示器(LCD)或双面凸透镜，以在显示控制部30的控制下以透镜法显示三维图像。

信号处理部的配置

图4的信号处理部24更详细地如图5所示那样配置。

具体地，信号处理部24包括运动估计部61、三维全景运动图像产生部62、三维部分运动图像产生部63以及三维全景图像产生部64。

运动估计部61使用经过总线25供给的且具有不同拍摄时刻的2张拍摄图像来进行运动估计。运动估计部61包括坐标计算部71和运动被摄物信息产生部72。

坐标计算部71基于运动估计的结果产生这样的信息：该信息表示当这些拍摄图像并排地摆在预定平面上以使相同被摄物的两个拍摄图像可被重叠时各拍摄图像之间的相对位置关系。具体地，计算出当在预定平面上设有二维x-y坐标系时得到的拍摄图像的中心位置的坐标(以下称作中心坐标)，以作为表示拍摄图像的相对位置关系的信息。

运动被摄物信息产生部72当2张拍摄图像基于中心坐标而被并排地摆在平面上时，通过获得这些拍摄图像的重叠部分之间的差别而从拍摄图像检测出有运动的被摄物，并产生表示检测结果的运动被摄物信息。以下，在拍摄图像等图像上移动的被摄物称作运动被摄物。

三维全景运动图像产生部62使用经过总线25供给的拍摄图像和中心坐标来产生包括右眼和左眼全景运动图像的三维全景运动图像。三维全景运动图像产生部62具有窄条图像产生部73。

窄条图像产生部73使用拍摄图像和中心坐标来切出拍摄图像上的预定区域，并产生右眼和左眼窄条图像。三维全景运动图像产生部62将所产生的右眼和左眼窄条图像合成，以产生右眼和左眼全景图像。此外，三维全景运动图像产生部62通过产生多张右眼和左眼全景图像来产生作为全景图像组的右眼和左眼全景运动图像。

此处，对应于一帧的全景运动图像、即单张全景图像是当拍摄图像被拍摄时担当拍摄对象的拍摄空间的全体范围(区域)作为被摄物而被显示于的图像。

三维部分运动图像产生部63使用经过总线25供给的拍摄图像和中心坐标来产生三维部分运动图像。三维部分运动图像包括这样的多张部分图像：即，仅显示三维全景运动图像上的预定区域的图像。

此外，三维部分运动图像产生部63包括部分图像产生部74、运动检测部75以及校正部76。部分图像产生部74从多张拍摄图像中指定三维全景运动图像上的预定区域被显示于的拍摄图像，并从该指定的拍摄图像中切出该预定区域被显示于的区域，以产生部分图像。

运动检测部75通过使用所产生的部分图像进行的运动估计，从部分图像中检测运动被摄物。校正部76基于来自运动检测部75的运动的检测结果来校正部分图像，并且从部分图像中去除(删除)运动被摄物或者允许将相同运动被摄物显示在相同帧的右眼和左眼部分图像的相同位置。

三维部分运动图像产生部63将一些经校正的连续帧的部分图像设定为右眼部分运动图像并将一些经校正的连续帧的部分图像设定为左眼部分运动图像，从而产生构成部分图像组的右眼和左眼部分运动图像。这些右眼和左眼部分运动图像构成单张三维部分运动图像。

三维全景图像产生部64将由信号处理部24获得的三维全景运动图像的对应于一帧的右眼和左眼全景图像对设定为三维全景图像。三维全景图像产生部64包括校正部77。

校正部77基于经过总线25供给的拍摄图像、中心坐标以及运动被摄物信息来校正右眼和左眼全景图像，以从全景图像删除运动被摄物或者将相同运动被摄物显示在右眼和左眼全景图像的相同位置。由校正部77校正的右眼和左眼全景图像被用作最终的三维全景图像。

运动图像再现处理的说明

接下来，参照图6的流程图来说明拍摄装置11拍摄拍摄图像并产生三维全景运动图像等各种运动图像、以再现那些运动图像的运动图像再现处理。该运动图像再现处理是当用户对操作输入部21进行操作、以指示三维全景运动图像的产生时启动的。

在步骤S11中，拍摄部22当拍摄装置11如图1所示移动时拍摄被摄物的图像。结果可获得单张拍摄图像(以下称作一帧)。由拍摄部22拍摄的拍摄图像从拍摄部22经过拍摄控制部23供给信号处理部24。

在步骤S12中，信号处理部24将从拍摄部22供给的拍摄图像经过总线25供给缓冲存储器26以暂时地记录。此时，信号处理部24通过对拍摄图像赋予帧编号来进行记录，以确定所记录的拍摄图像是第几编号处拍摄的。此外，以下将第n张拍摄的图像P(n)称作帧n的拍摄图像P(n)。

在步骤S13中，运动估计部61经过总线25从缓冲存储器26获得当前帧n和其前一帧(n-1)的拍摄图像，并基于运动估计来进行拍摄图像的位置匹配。

例如，如果在上一步骤S12中记录在缓冲存储器26中的拍摄图像是第n次拍摄的拍摄图像P(n)，则运动估计部61获得当前帧n的拍摄图像P(n)和其前一帧(n-1)的拍摄图像P(n-1)。

接着，如图7所示，运动估计部61通过搜索与拍摄图像P(n)上的9个块BL(n)-1直至块BR(n)-3相同的图像位于其前一帧的拍摄图像P(n-1)上的何处，来进行位置匹配。

此处，块BC(n)-1直至块BC(n)-3在位于拍摄图像P(n)的中央附近的图中在作为假想的纵向直线的边界CL-n上，包含在图中纵向上并排摆放的矩形区域中。

此外，块BL(n)-1直至块BL(n)-3在拍摄图像P(n)的图中位于边界CL-n的左侧的、作为假想的纵向直线的边界LL-n上，包含在图中纵向上并排摆放的矩形区域中。同理，块BR(n)-1直至块BR(n)-3在拍摄图像P(n)的图中位于边界CL-n的右侧的、作为假想的纵向直线的边界RL-n上，包含在图中纵向上并排摆放的矩形区域中。这9个块BL(n)-1直至块BR(n)-3的位置是预定的。

运动估计部61对于拍摄图像P(n)上的9个块中的每一个，在与该块具有相同形状和大小的拍摄图像P(n-1)的区域中搜索块之间的差别最小的区域(以下称作块匹配区域)。此处，块之间的差别被设定为处理对象块(例如块BL(n)-1)和与块匹配区域的候补相应的区域之间的位于相同位置处的像素的像素值的差的绝对值之和。

当进行这种运动估计时，对于拍摄图像P(n)上的块BL(n)-1直至块BR(n)-3中的每一个，有可能以与那些块的相对位置关系相同的位置关系而获得位于拍摄图像P(n-1)上的块对应区域。

与拍摄图像P(n)上的处理对象块对应的拍摄图像P(n-1)上的块对应区域是在拍摄图像P(n-1)上与处理对象块的差别最小的区域。因此，估计为：与处理对象块相同的图像显示在块对应区域中。

因此，如果拍摄图像P(n)和拍摄图像P(n-1)重叠地摆在预定平面上、以使块BL(n)-1直至块BR(n)-3和对应的块对应区域相重叠，则那些拍摄图像上的相同被摄物会重叠。

然而，在实际中，块与块对应区域未必具有相同的位置关系。因此，更具体地，运动估计部61将拍摄图像P(n)和拍摄图像P(n-1)摆在平面上以使全部块与块对应区域大致重叠，并将其结果用作拍摄图像的位置匹配的结果。

此外，当拍摄图像上存在有运动的被摄物、且该被摄物包含在拍摄图像P(n)上的块内时，所得到的9个块对应区域不具有与块BL(n)-1直至块BR(n)-3相同的位置关系。

对此，当所得到的块对应区域的相对位置关系与拍摄图像P(n)上的块的相对位置关系不同时，运动估计部61通过将被估计为包含有运动的被摄物的块除外，来再次进行基于运动估计的位置匹配。也就是说，检测与其它块对应区域具有不同的相对位置关系的块对应区域，并将与检测到的块对应区域对应的拍摄图像P(n)上的块从处理对象中除外，从而仅使用剩余的块再度进行运动估计。

具体地，块BL(n)-1直至块BR(n)-3以图7中距离QL的相等间隔并排摆放。例如，相邻的块BL(n)-1和块BL(n)-2之间的距离、以及相邻的块BL(n)-1和块BC(n)-1之间的距离都设定为QL。在这种情况下，运动估计部61基于与各块对应的块对应区域的相对位置关系来检测拍摄图像P(n)上的有运动的块。

即，运动估计部61求得例如与块BR(n)-3对应的块对应区域和与块BC(n)-3对应的块对应区域等相邻的块对应区域之间的距离QM。

结果，对于块BR(n)-2和块BC(n)-3，与那些块对应的块对应区域和与块BR(n)-3对应的块对应区域之间的距离QM与距离QL之间的差的绝对值等于或大于预定阈值。

此外，与块BR(n)-2和块BC(n)-3对应的块对应区域与其它相邻的块对应区域(除去块BR(n)-3的块对应区域以外)之间的距离QM与距离QL之间的差的绝对值小于预定阈值。

在这种情况下，与块BR(n)-3不同的其它块的块对应区域以与各块的相对位置关系相同的位置关系来并排摆放。然而，只有块BR(n)-3的块对应区域相对于其它块对应区域具有与各块的位置关系不同的位置关系。在获得这种检测结果时，运动估计部61认定为有运动的被摄物包含在块BR(n)-3中。

此外，为了检测有运动的块，可以不仅使用相邻的块对应区域之间的距离，还可以使用与所关注的块对应区域的其它相邻块对应区域相对的旋转角度。即，例如如果有相对于其它块对应区域倾斜了预定角度以上的块对应区域，则认为在与该块对应区域对应的块中存在有运动的被摄物。

以此方式，当检测到有运动的块时，运动估计部61基于使用除去该有运动的块以外的剩余块进行的运动估计，来再度进行拍摄图像P(n)和拍摄图像P(n-1)之间的位置匹配。

这样，仅使用包含在除去包含有运动的被摄物以外、没有运动的被摄物中即包含在背景中的块来进行位置匹配，从而有可能更精确地进行位置匹配。如果基于该位置匹配的结果将拍摄图像P(n)和拍摄图像P(n-1)并排摆放，则有可能使那些拍摄图像重叠摆放、以使没有运动的被摄物被重叠。

在进行了位置匹配后，坐标计算部71计算当基于各帧的位置匹配的结果将迄今为止拍摄的拍摄图像P(1)直至拍摄图像P(n)并排摆放在预定平面上即x-y坐标系上时的拍摄图像P(n)的中心坐标。

例如，如图8所示，将各拍摄图像摆放得致使拍摄图像P(1)的中心位于x-y坐标系的原点、且包含在拍摄图像中的相同被摄物重叠。此外，图中横向表示x方向，纵向表示y方向。另外，拍摄图像P(1)直至拍摄图像P(n)上的各点O(1)直至点O(n)表示该拍摄图像的中心的位置。

例如，如果当前的处理对象帧的拍摄图像是拍摄图像P(n)，则已求得了拍摄图像P(1)直至拍摄图像P(n-1)的各自中心的点O(1)直至点O(n-1)并将其记录在缓冲存储器26中。

坐标计算部71从缓冲存储器26中读出拍摄图像P(n-1)的中心坐标，并基于所读出的中心坐标以及拍摄图像P(n)和拍摄图像P(n-1)之间位置匹配的结果而求得拍摄图像P(n)的中心坐标。也就是说求得点O(n)的x坐标和y坐标作为中心坐标。

返回图6的流程图的说明，在步骤S13中，当通过位置匹配来求得拍摄图像P(n)的中心坐标时，处理前进至步骤S14。

在步骤S14中，运动被摄物信息产生部72基于中心坐标，当将当前帧的拍摄图像P(n)和拍摄图像P(n-1)摆放在x-y坐标系上时从那些拍摄图像的彼此重叠的部分中检测运动被摄物，并产生运动被摄物信息。

具体地，运动被摄物信息产生部72基于拍摄图像P(n)和拍摄图像P(n-1)的中心坐标，将那些拍摄图像摆放在x-y坐标系上。接着运动被摄物信息产生部72按需要参照记录在缓冲存储器26中的运动被摄物信息，对于拍摄图像P(n)和拍摄图像P(n-1)重叠的部分求得各区域的像素的像素值的差，从而检测运动被摄物。

当将拍摄图像P(n)和拍摄图像P(n-1)重叠摆放时，没有运动的被摄物应重叠。为此，运动被摄物信息产生部72当从拍摄图像中检测到包含像素值的差的绝对值等于或大于预定阈值的像素的、且大小等于或大于预定大小的区域时，设定那些区域为显示运动被摄物的区域。

运动被摄物信息产生部72使用连续的2帧拍摄图像来检测运动被摄物。因此，运动被摄物信息产生部72基于那些检测结果和各帧的拍摄图像可得知运动被摄物从哪一帧起出现在拍摄图像上、以及迄今为止显示的运动被摄物在哪一帧处未显示在拍摄图像上。此外，运动被摄物信息产生部72基于对运动被摄物检测的结果和拍摄图像，可通过块匹配等来识别各运动被摄物。也就是说有可能指定各拍摄图像上的运动被摄物是否一致。

运动被摄物信息产生部72从拍摄图像P(n)中检测运动被摄物并产生表示该检测结果的运动被摄物信息。例如，运动被摄物信息包括表示拍摄图像P(n)中有无运动被摄物的信息、表示运动被摄物处在拍摄图像P(n)上何处的位置信息、以及用于指定拍摄图像P(n)所包含的各运动被摄物的指定信息。

在步骤S15中，运动估计部61将所得到的拍摄图像P(n)的中心坐标和运动被摄物信息供给缓冲存储器26，并将其与拍摄图像P(n)关联地记录。

在步骤S16中，信号处理部24判断是否拍摄了预定数量的拍摄图像。例如，如图1所示，在将预定空间内的区域分成N分并进行N次拍摄的情况下，当拍摄N张拍摄图像时判断为拍摄了预定数量的拍摄图像。

此外，在拍摄装置11设有陀螺传感器等使得拍摄装置11能够检测其转动角度的设备的情况下，可以不判断拍摄图像的数量而是判断启动了拍摄后拍摄装置11是否转动了预定角度。即使在这种情况下，也有可能通过将预定空间内的特定区域整体用作被摄物来指定是否进行了拍摄图像的拍摄。

在步骤S16中，在判断为还未拍摄预定数量的拍摄图像的情况下，处理返回步骤S11并拍摄下一帧的拍摄图像。

反之，在步骤S16中，在判断为已拍摄了预定数量的拍摄图像的情况下，处理前进至步骤S17。

在步骤S17中，拍摄装置11进行三维全景运动图像的再现处理。具体地，信号处理部24从缓冲存储器26获得拍摄图像和中心坐标，并基于该拍摄图像和中心坐标来产生有差异的2张全景运动图像。此外，显示控制部30再现所产生的2张全景运动图像即三维全景运动图像，并将右眼和左眼全景图像对顺序地显示在显示部31上。此外，三维全景运动图像的再现处理将在后面更详细地说明。

在步骤S18中，信号处理部24基于来自操作输入部21的信号来判断是否指示了三维部分运动图像的再现。例如，如果用户对操作输入部21进行操作以指定三维全景运动图像上的预定区域和放大倍率、并指示了三维部分运动图像的再现，则判断为指示了三维部分运动图像的再现。

在步骤S18中如果判断为指示了三维部分运动图像的再现，则在步骤S19中，拍摄装置11进行三维部分运动图像的再现处理，于是运动图像再现处理结束。

即，基于记录在缓冲存储器26中的拍摄图像和中心坐标而产生三维部分运动图像，并再现所产生的三维部分运动图像。此外，三维部分运动图像的再现处理将在后面更详细地说明。

反之，在步骤S18中如果判断为未指示三维部分运动图像的再现，则处理前进至步骤S20。

在步骤S20中，信号处理部24基于来自操作输入部21的信号来判断是否指示了三维全景图像的显示。

在步骤S20中如果判断为指示了三维全景图像的显示，则在步骤S21中，拍摄装置11进行三维全景图像的显示处理，并结束运动图像再现处理。即，基于正在显示的三维全景图像、记录在缓冲存储器26中的拍摄图像、中心坐标以及运动被摄物信息而产生并显示三维全景图像。此外，三维全景图像的显示处理将在后面更详细地说明。

反之，在步骤S20中如果判断为未指示三维全景图像的显示，则当显示在显示部31上的三维全景运动图像的再现结束时，运动图像再现处理结束。

以此方式，拍摄装置11使用不同时刻拍摄的多张拍摄图像来产生三维全景运动图像并再现之。此外，在三维全景运动图像的再现期间当由用户指示拍摄装置11再现三维部分运动图像或显示三维全景运动图像时，拍摄装置11响应于该指示再现三维部分运动图像或显示三维全景运动图像。

三维全景运动图像的再现处理

接下来，参照图9的流程图来说明与图6的步骤S17的处理对应的三维全景运动图像的再现处理。

在步骤S51中，窄条图像产生部73从缓冲存储器26获得N张拍摄图像和其中心坐标，并基于所获得的拍摄图像和中心坐标来切出各拍摄图像的预定区域，来产生右眼和左眼窄条图像。

例如，如图10所示，窄条图像产生部73设将拍摄图像P(n)上的边界LL-n用作基准而限定的区域为切出区域TR(n)，并将切出区域TR(n)切出以设定为右眼窄条图像。此外，窄条图像产生部73还设将拍摄图像P(n)上的边界RL-n用作基准而限定的区域为切出区域TL(n)，并将切出区域TL(n)切出以设定为左眼窄条图像。在图10中相同附图标记表示与图7相同的部分，并省略其说明。

在图10中，连续拍摄的拍摄图像P(n)和拍摄图像P(n+1)基于它们的中心坐标而并排摆放，以使相同被摄物重叠。拍摄图像P(n+1)的边界LL-(n+1)对应于拍摄图像P(n)的边界LL-n。也就是说，边界LL-n和边界LL-(n+1)是在拍摄图像P(n)和拍摄图像P(n+1)处在相同位置的图中的假想的纵向直线。

同样，图中作为纵向直线的拍摄图像P(n+1)的边界RL-(n+1)对应于拍摄图像P(n)的边界RL-n。

此外，图中作为纵向直线的边界ML(L)-n和边界MR(L)-n是位于拍摄图像P(n)的边界LL-n附近的直线，并以预定距离分别位于边界LL-n的左侧和右侧。

同样，图中作为纵向直线的边界ML(L)-(n+1)和边界MR(L)-(n+1)是位于拍摄图像P(n+1)的边界LL-(n+1)附近的直线，并以预定距离分别位于边界LL-(n+1)的左侧和右侧。

进而，图中作为纵向直线的边界ML(R)-n和边界MR(R)-n是位于拍摄图像P(n)的边界RL-n附近的直线，并以预定距离分别位于边界RL-n的左侧和右侧。同样，图中作为纵向直线的边界ML(R)-(n+1)和边界MR(R)-(n+1)是位于拍摄图像P(n+1)的边界RL-(n+1)附近的直线，并以预定距离分别位于边界RL-(n+1)的左侧和右侧。

例如，当从拍摄图像P(n)切出右眼窄条图像时，窄条图像产生部73切出在拍摄图像P(n)上从边界ML(L)-n到边界MR(L)-(n+1)的切出区域TR(n)作为右眼窄条图像。此处，当将拍摄图像P(n)和拍摄图像P(n+1)并排摆放时，拍摄图像P(n)上的边界MR(L)-(n+1)的位置是与边界MR(L)-(n+1)重叠的拍摄图像P(n)上的位置。以下，从帧n的拍摄图像P(n)切出的右眼窄条图像称作窄条图像TR(n)。

同样，当从拍摄图像P(n-1)切出右眼窄条图像时，切出在拍摄图像P(n-1)上从边界ML(L)-(n-1)到边界MR(L)-n的切出区域TR(n-1)作为右眼窄条图像。

因此，在窄条图像TR(n)中，从边界ML(L)-n到边界MR(L)-n的区域的被摄物变成与窄条图像TR(n-1)中从边界ML(L)-n到边界MR(L)-n的区域的被摄物基本相同的被摄物。然而，由于窄条图像TR(n)和窄条图像TR(n-1)分别是从拍摄图像P(n)和拍摄图像P(n-1)切出的图像，因而即使它们是相同被摄物也具有被拍摄的不同角度。

同样，在窄条图像TR(n)中，从边界ML(L)-(n+1)到边界MR(L)-(n+1)的区域的被摄物与窄条图像TR(n+1)中从边界ML(L)-(n+1)到边界MR(L)-(n+1)的区域的被摄物基本相同。

此外，例如，当从拍摄图像P(n)切出左眼窄条图像时，窄条图像产生部73切出在拍摄图像P(n)上从边界ML(R)-n到边界MR(R)-(n+1)的切出区域TL(n)作为左眼窄条图像。此处，当将拍摄图像P(n)和拍摄图像P(n+1)并排摆放时，拍摄图像P(n)上的边界MR(R)-(n+1)的位置是与边界MR(R)-(n+1)重叠的拍摄图像P(n)上的位置。以下，从帧n的拍摄图像P(n)切出的左眼窄条图像称作窄条图像TL(n)。

这样，从拍摄图像中切出拍摄图像图中的、将相对于中心位于左侧的边界用作基准而限定的区域，并将该区域设定为右眼窄条图像，如果将那些窄条图像并排摆放，则显示N张拍摄图像的拍摄期间作为拍摄对象的拍摄空间上的整体范围(区域)。通过将从各拍摄图像得到的右眼窄条图像排在一起加以合成而得到的单张图像成为包含在右眼全景运动图像中的对应于一帧的全景图像。

同样，从拍摄图像中切出拍摄图像图中的、将相对于中心位于右侧的边界用作基准而限定的区域，并将该区域设定为左眼窄条图像，如果将那些窄条图像并排摆放，则显示作为拍摄对象的拍摄空间上的整体范围。通过将左眼窄条图像排在一起加以合成而得到的单张图像成为包含在左眼全景运动图像中的对应于一帧的全景图像。

尽管相同被摄物显示在右眼和左眼全景图像中，但那些被摄物之间出现差异。因此，当同时显示右眼和左眼全景图像时，对观察该全景图像的用户以三维方式显示全景图像上的被摄物。

返回图9的流程图的说明，如果从拍摄图像获得右眼和左眼窄条图像，则处理从步骤S51前进至步骤S52。

在步骤S52中，三维全景运动图像产生部62基于右眼和左眼窄条图像以及拍摄图像的中心坐标而将各帧的窄条图像排在一起加以合成，以产生三维全景运动图像的对应于一帧的图像数据。

即，三维全景运动图像产生部62将右眼窄条图像排在一起加以合成，以产生右眼全景运动图像的对应于一帧的图像数据，并将左眼窄条图像排在一起加以合成，以产生左眼全景运动图像的对应于一帧的图像数据。这样得到的图像数据、即右眼全景图像和左眼全景图像，构成三维全景运动图像的一帧。

例如，当如图10所示窄条图像TR(n)和窄条图像TR(n-1)被合成时，三维全景运动图像产生部62对于那些窄条图像TR(n)和TR(n-1)中的从边界ML(L)-n到边界MR(L)-n的区域，由加权加法求得全景图像的像素的像素值。

即，如果基于中心坐标将窄条图像TR(n)和窄条图像TR(n-1)并排摆放，则那些窄条图像的从边界ML(L)-n到边界MR(L)-n的区域彼此重叠。三维全景运动图像产生部62对窄条图像TR(n)和窄条图像TR(n-1)彼此重叠的像素的像素值进行加权加法，并将结果所得到的值设定为与那些像素对应的位置的全景图像的像素的像素值。

此外，在窄条图像TR(n)和窄条图像TR(n-1)中，从边界ML(L)-n到边界MR(L)-n的区域的像素的加权加法所使权重被定义为具有以下特征。

即，对于从边界LL-n到边界MR(L)-n的位置的像素，随着像素的位置从边界LL-n趋近边界MR(L)-n的位置，窄条图像TR(n)的像素对于全景图像的产生的贡献率相对地增高。反之，对于从边界LL-n到边界ML(L)-n的位置的像素，随着像素的位置从边界LL-n趋近边界ML(L)-n的位置，窄条图像TR(n-1)的像素对于全景图像的产生的贡献率相对地增高。

当产生全景图像时，窄条图像TR(n)的从边界MR(L)-n到边界ML(L)-(n+1)的区域被直接用作全景图像。

进而，当将窄条图像TR(n)和窄条图像TR(n+1)合成时，对于窄条图像中从边界ML(L)-(n+1)到边界MR(L)-(n+1)的区域，通过加权加法求得全景图像的像素的像素值。

具体地，对于从边界LL-(n+1)到边界MR(L)-(n+1)的位置的像素，随着像素的位置从边界LL-(n+1)趋近边界MR(L)-(n+1)的位置，窄条图像TR(n+1)的像素对于全景图像的产生的贡献率相对地增高。反之，对于从边界LL-(n+1)到边界ML(L)-(n+1)的位置的像素，随着像素的位置从边界LL-(n+1)趋近边界ML(L)-(n+1)的位置，窄条图像TR(n)的像素对于全景图像的产生的贡献率相对地增高。

进而，当将左眼窄条图像TL(n)与窄条图像TL(n-1)合成、或将窄条图像TL(n)与窄条图像TL(n+1)合成时，与窄条图像TR(n)的情况类似，对于那些窄条图像彼此重叠的部分施行加权加法。

以此方式，通过将窄条图像合成并对连续帧的窄条图像的边缘附近区域进行加权加法而得到的值被设定为全景图像的像素的像素值，结果，与简单地将窄条图像并排摆放而获得单张图像的情况相比，有可能获得更自然的图像。

例如，在将窄条图像简单地并排摆放而获得全景图像的情况下，在窄条图像的边角附近的被摄物的轮廓中会出现失真，如果连续帧中窄条图像的亮度不同，则在全景图像的各区域中会出现亮度不均匀。

对此，在三维全景运动图像产生部62中，通过由加权加法将窄条图像的边缘附近的区域合成，有可能防止被摄物的轮廓中出现失真或亮度不均匀，并获得更自然的全景图像。

此外，在拍摄图像的位置匹配期间，运动估计部61可基于拍摄图像来检测包含在拍摄部22中的光学透镜所造成的透镜失真，并且窄条图像产生部73在窄条图像的合成期间可使用对透镜失真检测的结果来校正窄条图像。也即，基于对透镜失真检测的结果，由图像处理来校正窄条图像中出现的失真。

如上所述所得到的对应于一帧的三维全景运动图像是这样的图像：其中，将N张拍摄图像的拍摄期间用作拍摄对象的拍摄空间上的整体拍摄范围的区域用作被摄物。三维全景运动图像产生部62当产生对应于一帧的三维全景运动图像时，将所产生的三维全景运动图像的图像数据经过总线25供给压缩/解压缩部27。

在步骤S53中，压缩/解压缩部27例如基于JPEG(联合图像专家组)方式对从三维全景运动图像产生部62供给的三维全景运动图像的图像数据进行编码，并经过总线25供给驱动器28。

驱动器28将来自压缩/解压缩部27的三维全景运动图像的图像数据供给记录介质29并记录之。在图像数据的记录期间，三维全景运动图像产生部62对图像数据赋予帧编号。

此外，在将三维全景运动图像记录在记录介质29中的情况下，可以不仅将三维全景运动图像还将中心坐标和运动被摄物信息记录在记录介质29中。

在步骤S54中，信号处理部24判断是否产生了预定数量的帧的三维全景运动图像的图像数据。例如，在认定为产生了包含M帧的图像数据的三维全景运动图像的情况下，当获得对应于M帧的图像数据时，判断为产生了对应于预定数量的帧的三维全景运动图像。

在步骤S54中，在判断为未产生对应于预定数量的帧的三维全景运动图像的情况下，处理返回步骤S51，产生三维全景运动图像的对应于下一帧的图像数据。

例如，当产生三维全景运动图像的对应于第一帧的右眼全景图像时，如以上参照图10所说明的，切出拍摄图像P(n)的从边界ML(L)-n到边界MR(L)-(n+1)的位置的切出区域TR(n)作为窄条图像。

在产生了三维全景运动图像的第二帧及后续帧的右眼全景图像的情况下，来自拍摄图像P(n)的窄条图像的切出区域TR(n)的位置在图10中向左平移从边界LL-n到边界LL-(n+1)为止的幅度CW。

也就是说，将右眼全景运动图像的第m帧的窄条图像设定为窄条图像TR(n)-m(其中1≤m≤M)。在这种情况下，将第m帧的窄条图像TR(n)-m的起始位置设定为将窄条图像TR(n)-1的起始位置也即切出区域TR(n)在图10中向左平移幅度CW的(m-1)倍而得到的位置。

因此，例如，将第二帧的窄条图像TR(n)-2切出的区域与拍摄图像P(n)的图10中的切出区域TR(n)具有相同的形状和大小，且其右端的位置成为边界MR(L)-n的位置。

此处，窄条图像的起始区域的平移方向是依拍摄图像的拍摄期间拍摄装置11的转动方向预先确定的。例如，在图10的例中，对于预定帧的拍摄图像的中心位置，假定转动拍摄装置11以使下一帧的拍摄图像的中心位置通常处于图中右侧。也就是说，在图10的例中，假定拍摄装置11的移动方向是图中右方向。

如果逐帧地使窄条图像的起始位置在与由拍摄装置11的移动造成的拍摄图像的中心位置的移动方向相反的方向上平移，则在全景运动图像的各全景图像中、没有运动的被摄物位于相同位置。

与右眼全景图像相同，即使在产生左眼全景图像的情况下，也是来自拍摄图像P(n)的窄条图像的切出区域TL(n)的位置在图10中向左平移从边界RL-n到边界RL-(n+1)为止的幅度。

以此方式，如果一边逐帧地平移窄条图像的起始位置一边产生全景运动图像的各帧的图像数据，则可能获得例如图11所示的三维全景运动图像。此外，在图11中，图11的横向对应于图10的横向。例如，图11中的横向对应于x-y坐标系的x方向。

在图11的例中，从N张拍摄图像P(1)直至拍摄图像P(N)中的每一个中产生窄条图像TL(1)-1直至窄条图像TL(N)-1并将其合成，以获得左眼全景图像PL-1。

同样，从N张拍摄图像P(1)直至拍摄图像P(N)中的每一个中产生窄条图像TL(1)-2直至窄条图像TL(N)-2并将其合成，以获得左眼全景图像PL-2。全景图像PL-1和全景图像PL-2分别包含在左眼全景运动图像的第一和第二帧中。

从N张拍摄图像P(1)直至拍摄图像P(N)中的每一个中产生窄条图像TR(1)-1直至窄条图像TR(N)-1并将其合成，以获得右眼全景图像PR-1。

同样，从N张拍摄图像P(1)直至拍摄图像P(N)中的每一个中产生窄条图像TR(1)-2直至窄条图像TR(N)-2并将其合成，以获得右眼全景图像PR-2。全景图像PR-1和全景图像PR-2分别包含在右眼全景运动图像的第一和第二帧中。

此处，例如拍摄图像P(2)中的窄条图像TR(2)-2的起始位置是将窄条图像TR(2)-1的起始位置在图中向左平移幅度CW而得到的。该幅度CW的大小随拍摄图像的各帧而异。

进而，相同被摄物例如在不同时刻处显示在窄条图像TL(1)-1和窄条图像TL(2)-2中。同样，相同被摄物在不同时刻处显示在窄条图像TL(1)-1和窄条图像TR(m)-1中。

以此方式，相同被摄物在不同时刻处显示在各全景图像PL-1直至全景图像PR-2中。此外，包含在三维全景运动图像中的各帧的右眼和左眼全景图像有差异。

由于全景图像是将从多个不同帧的拍摄图像得到的窄条图像合成而产生的，因而即使在单张全景图像中，显示在各区域中的被摄物也具有不同的拍摄时刻。

更具体地，各全景图像的末端是使用拍摄图像P(1)和拍摄图像P(N)产生的。例如，图中全景图像PL-1的左端包括从拍摄图像P(1)的左端到窄条图像TL(1)-1的右端为止的图像。

返回图9的流程图的说明，在步骤S54中如果判断为产生了对应于预定数量的帧的三维全景运动图像，则信号处理部24经过驱动器28从记录介质29读出包含在三维全景运动图像中的各帧的全景图像。信号处理部24将所读出的右眼和左眼全景图像供给压缩/解压缩部27并指示解码，以使处理前进至步骤S55。

在步骤S55中，压缩/解压缩部27例如基于JPEG方式对从信号处理部24供给的三维全景运动图像的图像数据即全景图像进行解码，并将其结果供给信号处理部24。

在步骤S56中，信号处理部24使包含在来自压缩/解压缩部27的三维全景运动图像中的、各帧的右眼和左眼全景图像缩小至预定大小。例如，进行缩小处理以提供能够将全景图像整体完全显示在显示部31的显示画面上这样的大小。

当使三维全景运动图像缩小时，信号处理部24将缩小的三维全景运动图像供给显示控制部30。或者也可将缩小的三维全景运动图像供给记录介质29并记录在其中。

在步骤S57中，显示控制部30将来自信号处理部24的三维全景运动图像供给显示部31并开始三维全景运动图像的再现。也就是说，显示控制部30将右眼和左眼全景运动图像以预定时间间隔依次供给显示部31，并使用透镜法三维地显示它们。

具体地，显示部31通过将各帧的右眼和左眼全景图像分割成一些窄条图像并在预定方向上交替地摆放并显示分割的右眼和左眼图像，来显示三维全景运动图像。所分割并显示的右眼和左眼全景图像的光通过显示部31的双面凸透镜分别导入观看显示部31的用户的右眼和左眼。结果，由用户的眼睛观察到三维全景运动图像。

当将三维全景运动图像显示(再现)在显示部31上时，三维全景运动图像的再现处理结束，接着处理前进至图6的步骤S18。

这样，拍摄装置11通过平移切出区域而从不同时刻拍摄的多张拍摄图像中的每一个产生多张右眼和左眼窄条图像，并通过将窄条图像合成来产生各帧的三维全景运动图像。

以此方式产生的三维全景运动图像可通过使所拍摄的被摄物具有运动来表现该运动，并可以三维方式显示被摄物，因此有可能更有效地显示所拍摄的被摄物的图像。

而且，由于单张全景图像上的各区域的被摄物是在不同时刻拍摄的，因而可呈现更诱人的图像。也即，有可能更有效地显示所拍摄的被摄物。

在以上说明中，一旦拍摄了N张拍摄图像且将全部拍摄图像都记录在缓冲存储器26中，则使用那些拍摄图像来产生三维全景运动图像。然而也可在拍摄图像的拍摄同时产生三维全景运动图像。

在以上说明中，一旦产生了三维全景运动图像则将该三维全景运动图像缩小。然而，也可从拍摄图像直接产生缩小的三维全景运动图像。在这种情况下，由于有可能进一步减少直到对三维全景运动图像进行再现为止的处理量，因而有可能更迅速地显示三维全景运动图像。此外，在个人计算机等中可设有从拍摄图像产生三维全景运动图像的功能，并可从由照相机拍摄的拍摄图像产生三维全景运动图像。

三维部分运动图像的再现处理的说明

接下来，参照图12的流程图来说明与图6的步骤S19的处理对应的三维部分运动图像的再现处理。该三维部分运动图像的再现处理是当由用户指定三维全景运动图像上的预定位置和放大倍率并指示三维部分运动图像的再现时启动的。

在步骤S81中，部分图像产生部74响应于来自操作输入部21的信号基于记录在缓冲存储器26中的拍摄图像以及中心坐标和三维全景运动图像，从拍摄图像中指定作为处理对象的拍摄图像。

即，部分图像产生部74相对于三维全景运动图像的全景图像上由用户指定的位置，来指定由用户所指定的放大倍率而限定的区域。具体地，当由所指定的放大倍率放大并显示被缩小显示的全景图像时，指定具有可在显示部31上完全显示的大小的区域。结果，例如图3的区域BP被指定为作为三维部分运动图像而显示的区域。

部分图像产生部74将包含在区域BP中的被摄物被显示于的拍摄图像设定为处理对象的拍摄图像。也就是说，当将各拍摄图像配置在x-y坐标系上时，将多张拍摄图像中与拍摄图像内区域BP对应的x-y坐标系上的区域当作处理对象的拍摄图像。因此，多个连续帧的拍摄图像被指定为处理对象。

在步骤S82中，部分图像产生部74对于处理对象的拍摄图像，通过使用拍摄图像的中心坐标切出拍摄图像中的、被摄物被显示在区域BP中的区域，来产生部分图像。结果，有可能获得多个连续帧的部分图像。

在步骤S83中，运动检测部75在所获得的部分图像的帧之间检测运动。即，运动检测部75使用连续2帧的部分图像进行运动估计，并基于该结果将2张部分图像摆放在预定平面上以使没有运动的被摄物重叠。运动检测部75对于那些部分图像的重叠部分求得各区域的像素的像素值的差，并检测运动被摄物。

例如，在部分图像中，当检测到包含像素值的差的绝对值等于或大于预定阈值的像素的、具有预定或更大的大小的区域时，将该区域设定为运动被摄物的区域。以此方式，对于全部的部分图像，求得2张部分图像之间的差别并检测运动被摄物。

结果，从对运动被摄物检测的结果和部分图像有可能得知运动被摄物从哪一帧起出现在部分图像上、以及迄今为止显示的运动被摄物在哪一帧处未显示在部分图像上。此外，从对运动被摄物检测的结果和部分图像，有可能通过块匹配等来识别各运动被摄物。

在步骤S84中，运动检测部75基于来自部分图像的运动被摄物的检测结果来指定多个连续帧的部分图像中运动被摄物被显示于的部分图像。

在步骤S85中，校正部76基于对运动被摄物检测的结果和对包含运动被摄物的部分图像进行指定的结果，来校正部分图像。

例如，在帧1直至帧4的连续的部分图像中，尽管帧1和帧4的部分图像中不包含运动被摄物，但在帧2和帧3的部分图像中包含相同的运动被摄物。由于在那些帧中拍摄图像的拍摄时刻不同，因而对于各帧将运动被摄物显示在不同位置处。

在这种情况下，校正部76基于对运动被摄物检测的结果而切出设在与包含帧2的部分图像上的运动被摄物的区域相同的位置处的、帧1的部分图像的区域，并将该区域设定为替换图像。校正部76通过将帧2的部分图像上的运动被摄物附近的区域替换为通过切出得到的替换图像、即将替换图像附在帧2的部分图像处，来校正帧2的部分图像。

从帧1的部分图像切出的替换图像与帧2的部分图像的运动被摄物后面的静止背景具有相同背景。也即，该校正是这样的处理：将处理对象部分图像上的运动被摄物附近的区域的图像替换为与处理对象部分图像上的运动被摄物附近的区域的图像不同的、运动被摄物未被显示于的其它部分图像中与处理对象部分图像上的运动被摄物对应的区域的图像。

通过校正处理，帧2的部分图像的运动被摄物被替换为运动被摄物后面的背景，从而从部分图像中无不适感地去除了运动被摄物。

此外，由于帧1和帧2的部分图像彼此有差异，因而更详细地、有可能基于替换图像和帧2的部分图像的运动被摄物附近的区域的图像之间共同包含的被摄物来附上替换图像。也即，当将帧2的部分图像和替换图像配置为使包含在那些图像中的被摄物彼此重叠时，在帧2的部分图像中，与替换图像重叠的区域被替换为替换图像。结果，有可能防止因差异的影响导致校正后获得的部分图像变成不自然的图像。

同样，校正部76基于对运动被摄物检测的结果而切出位于与包含帧3的部分图像上的运动被摄物的区域相同的位置处的、帧1的部分图像的区域，并将该区域设定为替换图像。校正部76将帧3的部分图像上的运动被摄物附近的区域替换为替换图像。结果，也校正了帧3的部分图像，并从部分图像中去除了运动被摄物。

在帧2的部分图像中，如果与在帧3的部分图像中设有运动被摄物的区域相同的区域中不设有运动被摄物，则也可从帧2的部分图像产生替换图像。在这种情况下，将从帧2的部分图像切出的替换图像附在帧3的部分图像处，以使帧3的部分图像被校正。

为了将差异的影响抑制到最小，希望将替换图像被切出的帧设在位于距包含运动被摄物的处理对象的帧最近位置的帧处。

以此方式，对于多个连续帧的部分图像全部，在运动被摄物包含在部分图像中的情况下，校正部76校正该区域的图像。结果，有可能获得不包含运动被摄物的多个连续帧的部分图像。

此后，三维部分运动图像产生部63基于预定三维部分运动图像的差异的大小，从经校正的连续帧的部分图像产生三维部分运动图像。

例如，如图13所示，从10个连续帧的拍摄图像P(1)直至拍摄图像P(10)中产生10个连续帧的部分图像，并按需要校正那些部分图像。

此外，在图13中，相同附图标记表示与图3相同的部分，并省略其说明。在图13中，横向对应于图10的横向即x-y坐标系的x方向。

在图13中，将各拍摄图像和各全景图像(三维全景运动图像PMV)并排摆放以使那些图像上的相同被摄物在横向上具有相同位置，从拍摄图像P(1)切出区域GL(1)并将其用作部分图像。此外，从拍摄图像P(2)切出区域GL(2)并将其用作部分图像。进而，例如，从拍摄图像P(4)和拍摄图像P(5)切出区域GR(1)和区域GR(2)并将其用作部分图像。

此处，区域GR(1)和区域GR(2)是区域BP内的被摄物被显示于的区域。也就是说，在将拍摄图像区域并排摆放在x-y坐标系上的情况下，切出位于与区域BP相同位置处的拍摄图像的区域并将其用作部分图像。

以此方式，当从拍摄图像P(1)直至拍摄图像P(10)中的每一个分别产生部分图像时，按需要校正那些部分图像，并例如从部分图像中去除运动被摄物。接着，三维部分运动图像产生部63基于预定三维部分运动图像的差异的大小而产生由彼此有差异的部分运动图像对构成的三维部分运动图像。

例如，从拍摄图像P(1)直至拍摄图像P(7)所得到的部分图像分别被用作左眼部分运动图像的第一帧直至第7帧的部分图像。此外，从拍摄图像P(4)直至拍摄图像P(10)所得到的部分图像分别被用作右眼部分运动图像的第一帧直至第7帧的部分图像。结果，有可能获得由右眼和左眼部分运动图像构成的共计7帧的三维部分运动图像。

此处，用于产生三维部分运动图像的第一帧的拍摄图像P(1)和拍摄图像P(4)有预定大小的差异。以此方式，如果选择三维部分运动图像的第一帧的左眼和右眼的部分图像以致有预定差异大小、并将使用该帧作为开头而得到的连续帧的部分图像用作右眼和左眼部分运动图像，则有可能获得有适宜差异的三维部分运动图像。

接着，如果对以此方式获得的三维部分运动图像进行再现，则有可能对所显示的被摄物给予立体感并显示有纵深的立体图像。

尽管在以上说明中作为校正部分图像的一例而从部分图像中去除运动被摄物，但也可以校正部分图像以将相同运动被摄物显示在三维部分运动图像的相同帧的左眼和右眼的部分图像的相同位置处。

在这种情况下，三维部分运动图像产生部63基于三维部分运动图像的差异的预定大小，从校正前的连续帧的部分图像产生三维部分运动图像。例如，在图13的例中，从拍摄图像P(1)直至拍摄图像P(7)所得到的部分图像分别被用作左眼部分运动图像的第一帧直至第7帧的部分图像。此外，从拍摄图像P(4)直至拍摄图像P(10)所得到的部分图像分别被用作右眼部分运动图像的第一帧直至第7帧的部分图像，于是有可能获得由这2张部分运动图像构成的共计7帧的三维部分运动图像。

当获得三维部分运动图像时，校正部76基于对运动被摄物检测的结果和对包含运动被摄物的部分图像进行指定的结果，来校正三维部分运动图像的各部分图像。

具体地，校正部76将三维部分运动图像的第一帧的右眼和左眼部分图像做比较。结果，例如，假设在这种部分图像中包含作为静止的被摄物的车辆和作为运动被摄物的人，在右眼帧中人位于距车辆某一距离的位置处，而在左眼帧中人位于车辆附近。

在这种情况下，校正部76切出第一帧的右眼部分图像中包含车辆和人的区域的图像作为替换图像。也即，切出右眼部分图像中包括该部分图像上的运动被摄物和位于与左眼部分图像上的运动被摄物相同位置处的区域这两者的区域作为替换图像。

校正部76通过将第一帧的左眼部分图像中的包含人的与替换图像对应的区域替换为替换图像，来校正第一帧的左眼部分图像。也即，可将替换图像附在左眼部分图像中包括该左眼部分图像上的运动被摄物和位于与右眼部分图像上的运动被摄物相同位置处的区域这两者的区域上。

即使在这种情况下，为了抑制差异的影响，当将左眼部分图像和替换图像配置为使包含在该图像中的没有运动的相同被摄物重叠时，部分图像的与替换图像重叠的区域被替换为替换图像。

当以此方式校正第一帧的左眼部分图像时，在第一帧的右眼和左眼的部分图像中显示人距车辆某一距离。也即，相同的运动被摄物显示在与左眼和右眼的部分图像对应的各位置处，结果，当使用透镜法等三维地显示该部分图像时，有可能无不适感地三维地显示运动被摄物。

同样，校正部76对于包含在三维部分运动图像中的各帧，将相同帧的左眼和右眼的部分图像做比较，并从右眼部分图像中切出替换图像以将该替换图像附在左眼部分图像上。

例如，当在右眼部分图像中未显示运动被摄物但在左眼部分图像中显示运动被摄物的情况下，切出右眼部分图像中位于与左眼部分图像的运动被摄物相同的位置处的区域作为替换图像。然后，所得到的替换图像可附在左眼部分图像上，以从左眼部分图像中去除运动被摄物。

反之，当在右眼部分图像中显示运动被摄物但在左眼部分图像中未显示运动被摄物的情况下，切出右眼部分图像中的运动被摄物的区域作为替换图像。替换图像可附在左眼部分图像中位于与右眼部分图像的运动被摄物相同的位置处的区域上，以使运动被摄物附加至左眼部分图像。

以此方式，当按需要校正左眼部分图像时，三维部分运动图像产生部63选择包含校正后的右眼和左眼部分运动图像的部分运动图像对作为最终的三维部分运动图像。

在运动被摄物不包含在相同帧的左眼和右眼的部分图像中的情况下，不进行该帧的部分图像的校正。即，在运动被摄物包含在相同帧的左眼和右眼的任一的情况下，或在运动被摄物包含在相同帧的左眼和右眼双方且那些运动被摄物的显示位置不同的情况下，校正左眼部分图像。

尽管在以上说明中，将右眼部分图像用作基准来校正左眼部分图像，但也可将左眼部分图像用作基准来校正右眼部分图像。

此外，当在相同帧的左眼和右眼的部分图像中、被摄物彼此分离地显示时，可为那些运动被摄物逐一产生替换图像。

例如，切出右眼部分图像上的包含运动被摄物的区域作为替换图像，并可将替换图像附在左眼部分图像中位于与右眼部分图像的运动被摄物相同的位置处的区域上。结果，左眼部分图像中的运动被摄物显示在大致与右眼部分图像上的运动被摄物相同的位置处。

另外，切出右眼部分图像中位于与左眼部分图像的运动被摄物相同的位置处的区域作为替换图像，并可将替换图像附在左眼部分图像中的包含运动被摄物的区域上。结果，从左眼部分图像中去除了原本存在的运动被摄物。

在这种情况下，附在左眼部分图像中的包含运动被摄物的区域上的替换图像可以不是从右眼部分图像、而是从距处理对象的左眼部分图像的帧近的帧的左眼部分图像产生的。即，在位于距处理对象的帧最近的位置处的帧的左眼部分图像中，未显示运动被摄物的部分图像被指定在与处理对象的帧的左眼部分图像上的运动被摄物的位置相同的位置处，并从所指定的部分图像产生替换图像。

返回图12的流程图的说明，当在步骤S85中校正部分图像并获得三维部分运动图像时，三维部分运动图像产生部63将所得到的三维部分运动图像经过总线25供给显示控制部30，并且处理前进至步骤S86。

在步骤S86中，显示控制部30将从三维部分运动图像产生部63供给的三维部分运动图像供给显示部31并显示之。也即，显示控制部30将包含在三维部分运动图像的各帧中的右眼和左眼部分图像对以预定时间间隔依次供给显示部31，并使用透镜法三维地显示它们。

显示所产生的三维部分运动图像，进而三维部分运动图像可从三维部分运动图像产生部63供给驱动器28，以被记录在记录介质29中。

当三维部分运动图像显示在显示部31上时，三维部分运动图像的再现处理结束，然后图6的运动图像再现处理也结束。

以此方式，拍摄装置11依据要在成为拍摄对象的拍摄空间上显示的区域的大小即全景图像上所指定的位置和放大倍率，产生使指定的区域被显示于的部分图像。拍摄装置11适宜地校正多张所得到的部分图像，并从校正后的部分图像产生三维部分运动图像。

以此方式，通过对部分图像的校正而从三维部分运动图像的左眼和右眼的部分图像中去除运动被摄物、或是在左眼和右眼的部分图像中将运动被摄物显示在大致相同的位置，从而有可能获得无不适感的、更自然的三维图像。

此外，当指定三维全景运动图像上的位置和放大倍率时，可以不显示三维部分运动图像、而是显示包含右眼和左眼的用部分图像的三维部分图像。在这种情况下，例如从图13的区域GL(1)和区域GR(1)切出的一对部分图像被校正并作为三维部分图像而显示。

此外，对于三维全景运动图像通过进行参照图12所说明的处理，而有可能从三维全景运动图像中去除运动被摄物、或是将运动被摄物显示在左眼和右眼的全景图像中大致相同的位置。在这种情况下，从供右眼和左眼各自的连续帧的全景图像中检测运动被摄物，以校正各全景图像。

三维全景图像的显示处理的说明

接下来，参照图14的流程图来说明与图6的步骤S21的处理对应的三维全景图像的显示处理。该三维全景图像的显示处理是当在三维全景运动图像的再现期间指示三维全景图像的显示时启动的。

在步骤S121中，信号处理部24响应于来自操作输入部21的信号来控制显示控制部30，以暂停三维全景运动图像的再现。结果，三维地显示在显示部31上的三维全景运动图像被暂停(挂起)。

此外，通过允许所谓逐帧播放操作，即使在三维全景运动图像的再现暂停后，用户也可对操作输入部21进行操作以将该帧前或后的帧显示在显示部31上。结果，用户可以在所希望的帧被显示在显示部31上的同时暂停三维全景运动图像的再现。

在步骤S122中，三维全景图像产生部64指定来自被暂停的三维全景运动图像的、显示在显示部31上的帧。接着，三维全景图像产生部64从信号处理部24获得三维全景运动图像的所指定的帧的左眼和右眼全景图像。

例如，在再现三维全景运动图像的情况下，信号处理部24存储被解码的、缩小前的三维全景运动图像，直到再现结束为止。三维全景图像产生部64从信号处理部24获得所指定的帧的缩小前的右眼和左眼全景图像。此外，三维全景图像产生部64还从缓冲存储器26获得N张拍摄图像、中心坐标以及运动被摄物信息。

在步骤S123中，三维全景图像产生部64基于中心坐标和运动被摄物信息来指定所获得的帧的右眼和左眼全景图像上的、运动被摄物被显示于的位置。

例如，三维全景图像产生部64使用处理对象的帧的编号和中心坐标可以指定处理对象的全景图像的哪个区域是从哪张拍摄图像的哪个区域产生的。另外，当指定用于产生全景图像的各区域的拍摄图像时，三维全景图像产生部64可从该拍摄图像的运动被摄物信息来指定运动被摄物被显示在全景图像上的何处。也就是说，指定全景图像上的运动被摄物的显示位置。

在步骤S124中，校正部77基于对运动被摄物的显示位置进行指定的结果、拍摄图像、中心坐标以及运动被摄物信息来校正全景图像。

例如，假设运动被摄物显示在右眼全景图像上的预定位置处，且该运动被摄物被显示于的部分是使用拍摄图像P(n)产生的。在这种情况下，校正部77基于运动被摄物信息，在位于距拍摄图像P(n)的帧最近的位置处的帧的拍摄图像中，将未显示运动被摄物的拍摄图像指定在与拍摄图像P(n)上的运动被摄物的位置相同的位置处。

校正部77切出所指定的拍摄图像中与拍摄图像P(n)上的包含运动被摄物的区域相同的区域，并将该区域设定为替换图像。校正部77通过将右眼全景图像上的运动被摄物附近的区域替换为所得到的替换图像，来校正右眼全景图像。

从拍摄图像切出的替换图像是与右眼全景图像的运动被摄物后面的静止背景具有相同背景的图像。也即，该校正是这样的处理：将全景图像上的运动被摄物附近的区域的图像替换为与用于产生该区域的拍摄图像不同的、运动被摄物未被显示于的其它拍摄图像中与全景图像上的运动被摄物对应的区域的图像。

通过该校正，右眼全景图像上的运动被摄物被替换为运动被摄物后面的背景，从而从全景图像中无不适感地去除了运动被摄物。

更详细地，当附上替换图像时，为了抑制差异的影响，在将全景图像和替换图像配置为使包含在那些图像中的相同被摄物重叠的情况下，在全景图像中与替换图像重叠的区域被替换为替换图像。

与右眼的情况类似，校正部77还从左眼全景图像中去除运动被摄物。在运动被摄物不包含在全景图像中的情况下，不进行该全景图像的校正。三维全景图像产生部64将校正后的一对右眼和左眼全景图像用作最终的三维全景图像。以此方式，如果通过从全景图像中去除运动被摄物而获得三维全景图像，并三维地显示该三维全景图像，则有可能显示无不适感的、更自然的三维图像。

尽管在以上说明中作为校正全景图像的一例而从全景图像中去除运动被摄物，但也可以校正全景图像以将相同运动被摄物显示在三维全景运动图像的左眼和右眼的全景图像的大致相同位置处。

在这种情况下，校正部77基于对运动被摄物的显示位置进行指定的结果、拍摄图像、中心坐标以及运动被摄物信息，将从拍摄图像切出的相同替换图像附至左眼和右眼的全景图像，从而校正该全景图像。

例如，假设在左眼和右眼的全景图像中显示静止的车辆和作为运动被摄物的人，在右眼全景图像中人位于距车辆某一距离的位置处，而在左眼全景图像中人位于车辆附近。此外，右眼全景图像的人的附近区域是从拍摄图像P(n)产生并指定的。

在这种情况下，校正部77从拍摄图像P(n)中切出包含车辆和人的区域的图像作为替换图像。也即，在将拍摄图像P(n)和全景图像并排摆放在x-y坐标系上以使没有运动的相同被摄物重叠的情况下，从拍摄图像P(n)中切出包括该拍摄图像上的运动被摄物和位于与左眼全景图像上的运动被摄物相同位置处的区域这两者的区域作为替换图像。

校正部77通过在右眼和左眼全景图像中、将包含与替换图像对应的人的区域替换为替换图像，来校正该右眼和左眼全景图像。即使在这种情况下，为了抑制差异的影响，当将全景图像和替换图像配置为使包含在那些图像中的相同被摄物重叠时，在全景图像中与替换图像重叠的区域被替换为替换图像。

当以此方式校正左眼和右眼的全景图像时，在那些全景图像上将作为运动被摄物的人显示在距车辆某一距离的位置处。也即，如果相同的运动被摄物显示在左眼和右眼的全景图像的各对应位置处，并使用透镜法等三维地显示该全景图像时，有可能无不适感地三维地显示运动被摄物。

三维全景图像产生部64将如上所述那样校正的左眼和右眼的全景图像对设定为三维全景图像。

此外，在运动被摄物未显示在左眼或右眼的全景图像中的情况下，不进行全景图像的校正。即，在运动被摄物包含在左眼和右眼的任一全景图像中的情况下，进行全景图像中的校正。

另外，在左眼和右眼的全景图像中，在运动被摄物彼此分离地显示的情况下，为运动被摄物逐一产生替换图像。

例如，从用于产生右眼全景图像上的运动被摄物的部分的拍摄图像中切出该运动被摄物的部分作为替换图像，该替换图像可附至右眼全景图像上的运动被摄物的部分的区域。此外，该替换图像可附至左眼全景图像中与右眼全景图像上的运动被摄物相同位置的区域。结果，在左眼全景图像中显示包括原已存在的运动被摄物和通过校正而显示的运动被摄物的2个运动被摄物。

对此，校正部77进一步在位于距用于产生左眼全景图像上的运动被摄物的部分的拍摄图像P(n)的帧最近的位置处的帧的拍摄图像中，将未显示运动被摄物的拍摄图像指定在与拍摄图像P(n)上的运动被摄物的位置相同的位置处。

校正部77切出所指定的拍摄图像中与拍摄图像P(n)上的包含运动被摄物的区域相同的区域作为替换图像，并将左眼全景图像上早已存在的运动被摄物附近的区域替换为替换图像。结果，去除了左眼全景图像上早已存在的运动被摄物。通过上述校正，有可能校正全景图像以使相同运动被摄物显示在与左眼和右眼的全景图像各自对应的位置处。

在这种情况下，为了从左眼全景图像中去除早已存在的运动被摄物，位于与该运动被摄物所在的左眼全景图像上的位置相同位置处的右眼全景图像的区域可被用作替换图像。以此方式获得的替换图像可附至左眼全景图像的运动被摄物的位置以去除该运动被摄物。然而，在这种情况下假定：右眼全景图像中运动被摄物不存在于与左眼全景图像的运动被摄物相同的位置处。

返回图14的流程图的说明，如果在步骤S124中通过校正全景图像而获得三维全景图像，则三维全景图像产生部64将所得到的三维全景图像供给显示控制部30，并且处理前进至步骤S125。

在步骤S125中，显示控制部30将从三维全景图像产生部64供给的三维全景图像供给显示部31并显示之。也即，显示控制部30将三维全景图像的右眼和左眼全景图像对供给显示部31，并使用透镜法三维地显示它们。

此外，不仅显示所产生的三维全景图像，进而三维全景图像还可从三维全景图像产生部64供给驱动器28，并被记录在记录介质29中。

当三维全景图像显示在显示部31上时，三维全景图像的再现处理结束，然后图6的运动图像再现处理也结束。

以此方式，拍摄装置11通过校正包含在正在再现的三维全景运动图像中的特定图像的全景图像，来产生三维全景图像。

以此方式，通过对全景图像的校正而从三维全景图像的全景图像中去除运动被摄物、并在左眼和右眼的全景图像中将运动被摄物显示在大致相同的位置，从而有可能获得无不适感的、更自然的三维图像。

上述一系列的处理可由硬件或软件来执行。在由软件来执行该处理的情况下，包含在该软件中的程序是从程序记录介质安装至嵌入专用硬件中的计算机、或是通过安装各种程序而能够执行各种功能的例如通用的个人计算机的。

图15是示出了使用程序来执行上述一系列的处理的计算机的硬件结构示例的方框图。

在计算机中，CPU(中央处理单元)301、ROM(只读存储器)302和RAM(随机存取存储器)303经过总线304彼此连接。

另外，输入/输出接口305连接至总线304。输入/输出接口305连接至键盘、鼠标器或麦克风等输入部306，显示器或扬声器等输出部307，硬盘或非易失性存储器等记录部308，网络接口等通信部309，以及对磁盘、光盘或半导体存储器等可移动介质311进行驱动的驱动器310。

在如上所述构成的计算机中，例如在CPU 301中执行上述一系列的处理，于是将记录在记录部308中的程序经过输入/输出接口305和总线304而载入RAM 303并在其上执行。

计算机(CPU 301)所执行的程序记录在例如磁盘(包括可活动盘)、光盘(CD-ROM(光盘只读存储器)或DVD(数字多用盘)等)、光磁盘或半导体存储器等封装媒介或者说可移动媒介311中，或经过局域网、因特网或数字卫星广播等有线/无线传输媒介而提供。

此外，程序可通过将可移动媒介311装配至驱动器310而经过输入/输出接口305安装在记录部308中。另外，程序可还经过有线/无线传输媒介由通信部309接收，并安装在记录部308中。此外，程序可预先安装在ROM 302或记录部308中。

计算机所执行的程序可以是根据在本说明书中说明的时间顺序来处理、或是并列地或以被调用时等需要的时序来处理的程序。

本发明包含与2009年10月9日在日本专利局提交的日本优先权专利申请特愿2009-235405所公开的主题内容相关的主题内容，其全部内容通过引用而合并于此。

本领域的熟练人员应当理解：取决于设计需求和其它各种因素，会出现各种修改、合并、下级合并和替代，它们都落入所附权利要求或其等价的范围内。

Claims (13)

1.一种图像处理装置，包括：

输出图像产生单元，所述输出图像产生单元被配置成：基于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；

检测单元，所述检测单元被配置成：基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物；

校正单元，所述校正单元被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物；以及

三维输出图像产生单元，所述三维输出图像产生单元被配置成：产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

2.根据权利要求1所述的图像处理装置，其中所述输出图像产生单元从多张所述拍摄图像中切出所述特定区域被显示于的区域，并产生多张所述输出图像。

3.根据权利要求2所述的图像处理装置，其中所述校正单元对于多张所述输出图像中的每一个，当所述输出图像包含所述运动被摄物时，通过将所述输出图像的所述被摄物区域替换为与所述被摄物区域对应的、另一不同的输出图像上的所述运动被摄物未被显示于的区域的图像，来校正所述输出图像，并且

所述三维输出图像产生单元在包含经校正的所述输出图像的多张所述输出图像中产生三维输出图像组，所述三维输出图像组由拥有从连续拍摄的多张拍摄图像得到的所述输出图像的第一输出图像组以及拥有从连续拍摄的多张拍摄图像得到的所述输出图像并与所述第一输出图像组有所述差异的第二输出图像组构成。

4.根据权利要求2所述的图像处理装置，其中所述校正单元对于拥有从连续拍摄的一些拍摄图像得到的所述输出图像也即第一输出图像的第一输出图像组，当所述运动被摄物包含在所述第一输出图像中、且所述运动被摄物包含在多张所述输出图像中与所述第一输出图像有所述差异的输出图像也即第二输出图像中的与所述第一输出图像的所述被摄物区域对应的区域中时，通过将所述第一输出图像的所述被摄物区域替换为与所述被摄物区域对应的所述第二输出图像的区域的图像，来校正所述第一输出图像，并且

所述三维输出图像产生单元产生三维输出图像组，所述三维输出图像组由经校正的所述第一输出图像组以及拥有与包含在所述第一输出图像组中的每个所述第一输出图像有所述差异的每个所述第二输出图像的第二输出图像组构成。

5.一种图像处理装置的图像处理方法，所述图像处理装置包括：

输出图像产生单元，所述输出图像产生单元被配置成：基于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；

检测单元，所述检测单元被配置成：基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物；

校正单元，所述校正单元被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物；以及

三维输出图像产生单元，所述三维输出图像产生单元被配置成：产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像，

所述图像处理方法包括以下步骤：

使用所述输出图像产生单元，基于所述拍摄图像来产生多张连续的所述输出图像；

使用所述检测单元，从所述输出图像中检测所述运动被摄物；

使用所述校正单元，在所述运动被摄物包含在所述预定输出图像中的情况下校正所述预定输出图像；以及

使用所述三维输出图像产生单元，产生所述三维输出图像。

6.一种配置在计算机中的程序，用以执行包括以下步骤的处理：

基于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；

基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物；

基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物；以及

产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

7.一种图像处理装置，包括：

窄条图像产生单元，所述窄条图像产生单元被配置成：对于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像中的每一个，通过切出所述拍摄图像上的预定区域来产生第一窄条图像，并且还通过切出所述拍摄图像上的与所述预定区域不同的区域来产生第二窄条图像；

全景图像产生单元，所述全景图像产生单元被配置成：通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像；

检测单元，所述检测单元被配置成：基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物；以及

校正单元，所述校正单元被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物。

8.根据权利要求7所述的图像处理装置，其中所述校正单元当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的所述被摄物区域替换为所述拍摄图像上的所述运动被摄物未被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第一全景图像，并且

所述校正单元当所述运动被摄物包含在所述第二全景图像中时，通过将所述第二全景图像上的所述被摄物区域替换为所述拍摄图像上的所述运动被摄物未被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第二全景图像。

9.根据权利要求7所述的图像处理装置，其中当所述运动被摄物包含在所述第一全景图像中时，所述校正单元通过将所述第一全景图像上的所述被摄物区域替换为所述拍摄图像上的所述运动被摄物被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第一全景图像，并且所述校正单元通过将与所述被摄物区域对应的所述第二全景图像的区域替换为所述拍摄图像上的所述运动被摄物被显示于的、与所述被摄物区域对应的区域的图像，来校正所述第二全景图像。

10.一种图像处理装置的图像处理方法，所述图像处理装置包括：

窄条图像产生单元，所述窄条图像产生单元被配置成：对于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像中的每一个，通过切出所述拍摄图像上的预定区域来产生第一窄条图像，并且还通过切出所述拍摄图像上的与所述预定区域不同的区域来产生第二窄条图像；

全景图像产生单元，所述全景图像产生单元被配置成：通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像；

检测单元，所述检测单元被配置成：基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物；以及

校正单元，所述校正单元被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物，

所述图像处理方法包括以下步骤：

使用所述窄条图像产生单元，从所述拍摄图像产生第一窄条图像和第二窄条图像；

使用所述全景图像产生单元，通过将所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成来产生所述第一全景图像和第二全景图像；

使用所述检测单元，从所述拍摄图像中检测所述运动被摄物；以及

使用所述校正单元，基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，校正所述第一全景图像。

11.一种配置在计算机中的程序，用以执行包括以下步骤的处理：

对于一边移动拍摄单元一边用所述拍摄单元进行拍摄而得到的多张拍摄图像中的每一个，通过切出所述拍摄图像上的预定区域来产生第一窄条图像，并且还通过切出所述拍摄图像上的与所述预定区域不同的区域来产生第二窄条图像；

通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像；

基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物；以及

基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物。

12.一种图像处理装置，包括：

输出图像产生部，所述输出图像产生部被配置成：基于一边移动拍摄部一边用所述拍摄部进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；

检测部，所述检测部被配置成：基于使用所述输出图像进行的运动估计，从所述输出图像中检测有运动的运动被摄物；

校正部，所述校正部被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在预定输出图像中时，通过将所述预定输出图像的所述运动被摄物被显示于的被摄物区域替换为另一不同的输出图像的与所述被摄物区域对应的区域的图像，来校正所述预定输出图像以去除包含在所述预定输出图像中的所述运动被摄物；以及

三维输出图像产生部，所述三维输出图像产生部被配置成：产生包括经校正的所述预定输出图像以及多张所述输出图像中的与所述预定输出图像有预定差异的所述输出图像的三维输出图像。

13.一种图像处理装置，包括：

窄条图像产生部，所述窄条图像产生部被配置成：基于一边移动拍摄部一边用所述拍摄部进行拍摄而得到的多张拍摄图像，来产生在所述拍摄图像的拍摄期间作为拍摄对象的特定区域被显示于的多张连续的输出图像；

全景图像产生部，所述全景图像产生部被配置成：通过将从多张所述拍摄图像得到的所述第一窄条图像和第二窄条图像中的每一种排在一起加以合成，并对在多张所述拍摄图像的拍摄期间被用作拍摄对象的拍摄空间上的相同区域进行显示，来产生包括彼此有差异的第一全景图像和第二全景图像的三维全景图像；

检测部，所述检测部被配置成：基于使用所述拍摄图像进行的运动估计，从所述拍摄图像中检测有运动的运动被摄物；以及

校正部，所述校正部被配置成：基于对所述运动被摄物检测的结果，当所述运动被摄物包含在所述第一全景图像中时，通过将所述第一全景图像上的包含所述运动被摄物的被摄物区域替换为所述拍摄图像上的与所述被摄物区域对应的区域的图像，来校正所述第一全景图像以去除包含在所述第一全景图像中的所述运动被摄物。

Images