CN102326397A - 图像处理设备、方法和程序 - Google Patents

Abstract

公开了一种可显示具有更适当的差异的多视点图像的设备、方法和程序。对于在成像设备11正移动的状态下连续捕获的多个捕获图像，带形区域确定部23在每个捕获图像中设置带形区域，带形区域的数目和位置关系是由指示多视点图像的观看环境的观看环境参数确定的。全景图像生成部25通过提取和合成多个捕获图像中的带形区域来生成多个全景图像。通过使用多个全景图像，显示选择部27生成以随用户的视点位置变化的差异显示对象的多视点图像，并使得多视点图像显示在显示部28上。通过根据观看环境参数确定每个捕获图像中的带形区域之间的位置关系，能够获得具有关于观看环境的更适当的差异的多视点图像。本发明可应用于摄像装置。

Description

图像处理设备、方法和程序

技术领域

本发明涉及图像处理设备、方法和程序，具体涉及可显示具有更适当的差异的多视点图像的图像处理设备、方法和程序。

背景技术

在现有技术中，已知如下技术：其通过重叠和合成通过在使成像设备在预定方向上摇动的同时利用成像设备捕获而获得的多个静止图像来生成全景图像(例如参见PTL 1)。由于全景图像是通过布置和合成多个静止图像而获得的图像，因此，根据全景图像，比在捕获单个静止图像时要捕获的空间中的区域更宽的区域可被显示作为对象。

此外，在摇动成像设备的同时捕获多个静止图像以获得全景图像的情况下，同一对象有时包括在若干个静止图像中。在这样的情况下，由于不同静止图像中的同一对象是从彼此不同的位置捕获的，因此，这意味着产生了差异或视差。

当这被用于通过利用双凸透镜方案同时显示这些全景图像中的一些或全部来从多个静止图像生成相对于彼此具有差异的多个全景图像时，可显示多视点图像。

这里，多视点图像是如下图像：其中，以随观看显示图像的显示屏幕的位置(即，用户的视点位置)而变化的差异显示同一对象。例如，当按原样使用多个全景图像来创建多视点图像时，显示全景图像，使得分别由用户的右眼和左眼来观察由用户的视点位置确定的这些多个全景图像中的两个全景图像。此时，由于用户观察的两个全景图像具有差异，所以全景图像中的对象立体地呈现给用户。

引用列表

专利文献

PTL 1：日本专利第3168443号

发明内容

技术问题

然而，根据诸如要显示多视点图像的显示设备的屏幕尺寸的观看环境，应在组成多视点图像的各图像之间设置的适当的差异幅度会变化。然而，利用上述技术，无法获得具有根据观看环境的适当差异的多视点图像。

考虑到以上情形做出本发明，并且因此本发明的目的是使得可获得具有适合观看环境的更适当的差异的多视点图像。

问题的解决方案

根据本发明的第一方面的图像处理设备是如下的图像处理设备：其基于通过在移动成像装置的同时利用成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，并且该图像处理设备包括：带形区域确定装置，用于基于指示多视点图像的观看环境的信息，针对每个合成图像来确定每个捕获图像中的带形区域，其中从该带形区域提取用于每个合成图像的生成的图像；合成图像生成装置，用于通过从捕获图像提取带形区域中的图像并合成图像来生成每个合成图像；以及多视点图像生成装置，用于通过使用合成图像来生成多视点图像，其中，立体地显示其差异随用户的视点位置变化的对象。

带形区域确定装置可被配置成确定带形区域的各个位置，使得每个捕获图像中的带形区域具有由用于多视点图像的显示目的地的屏幕尺寸确定的位置关系，该显示目的地由指示观看环境的信息来指示。

带形区域确定装置可被配置成确定带形区域的位置，使得在每个捕获图像中，对于位于更接近每个捕获图像的边缘的带形区域，彼此相邻的带形区域之间的距离变得较短。

根据本发明的第一方面的图像处理方法或程序是如下的图像处理方法或程序：其基于通过在移动成像装置的同时利用成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，并且该图像处理方法或程序包括步骤：基于指示多视点图像的观看环境的信息，针对每个合成图像来确定每个捕获图像中的带形区域，其中从该带形区域提取用于每个合成图像的生成的图像；通过从捕获图像提取带形区域中的图像并合成图像来生成每个合成图像；以及通过使用合成图像来生成多视点图像，其中，立体地显示其差异随用户的视点位置变化的对象。

在本发明的第一方面中，在基于通过在移动成像装置的同时利用成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像的图像处理中，基于指示多视点图像的观看环境的信息，针对每个合成图像来确定每个捕获图像中的带形区域，其中从该带形区域提取用于每个合成图像的生成的图像；通过从捕获图像提取带形区域中的图像并合成图像来生成每个合成图像；以及通过使用合成图像来生成多视点图像，其中，立体地显示其差异随用户的视点位置变化的对象。

根据本发明的第二方面的图像处理设备是如下的图像处理设备：其基于通过在移动成像装置的同时利用成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，并且该图像处理设备包括：带形区域确定装置，用于针对每个合成图像，确定每个捕获图像中的带形区域，其中从该带形区域提取用于每个合成图像的生成的图像；合成图像生成装置，用于通过从捕获图像提取带形区域中的图像并合成图像来生成每个合成图像；以及多视点图像生成装置，用于基于指示多视点图像的观看环境的信息选择若干个合成图像，并且通过使用所选择的合成图像来生成多视点图像，其中立体地显示其差异随用户的视点位置变化的对象。

多视点图像生成装置可被配置成通过选择从带形区域中的图像生成的合成图像来生成多视点图像，该带形区域具有由用于多视点图像的显示目的地的屏幕尺寸确定的位置关系，该显示目的地由指示观看环境的信息来指示。

多视点图像生成装置可被配置成当观看环境改变时，基于指示改变的观看环境的信息重新生成多视点图像。

多视点图像生成装置可被配置成当使得作为观看环境的多视点图像的显示放大率改变时，根据显示放大率的改变来改变由屏幕尺寸确定的位置关系。

根据本发明的第二方面的图像处理方法或程序是如下的图像处理方法或程序：其基于通过在移动成像装置的同时利用成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，并且该图像处理方法或程序包括步骤：针对每个合成图像确定每个捕获图像中的带形区域，其中从该带形区域提取用于每个合成图像的生成的图像；通过从捕获图像提取带形区域中的图像并合成图像来生成每个合成图像；以及基于指示多视点图像的观看环境的信息选择若干个合成图像，并且通过使用所选择的合成图像来生成多视点图像，其中立体地显示其差异随用户的视点位置变化的对象。

在本发明的第二方面，在基于通过在移动成像装置的同时利用成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像的图像处理中，针对每个合成图像确定每个捕获图像中的带形区域，其中从该带形区域提取用于每个合成图像的生成的图像；通过从捕获图像提取带形区域中的图像并合成图像来生成每个合成图像；以及基于指示多视点图像的观看环境的信息选择若干个合成图像，并且通过使用所选择的合成图像来生成多视点图像，其中立体地显示其差异随用户的视点位置变化的对象。

本发明的有利效果

根据本发明的第一方面，可获得具有适合观看环境的更适当的差异的多视点图像。

此外，根据本发明的第二方面，可获得具有适合观看环境的更适当的差异的多视点图像。

附图说明

图1是用于说明全景图像的图。

图2是用于说明多视点图像的图。

图3是示出了应用本发明的成像设备的实施例的配置的示例的图。

图4是用于说明多视点图像显示处理的流程图。

图5是用于说明带形区域的图。

图6是用于说明主差异的检测的图。

图7是用于说明主差异的检测的图。

图8是用于说明主差异的检测的图。

图9是用于说明主差异的检测的图。

图10是用于说明多视点图像的生成的图。

图11是示出了应用本发明的成像设备的配置的另一示例的图。

图12是用于说明多视点图像显示处理的流程图。

图13是用于说明多视点图像的生成的图。

图14是用于说明偏移量与差异之间的关系的图。

图15是示出了计算机的配置的示例的图。

具体实施方式

以下，将参照附图来描述应用本发明的实施例。

<第一实施例>

[多视点图像的说明]

应用本发明的成像设备由例如摄像装置形成。从在成像设备正移动的状态下由成像设备连续捕获的多个捕获图像生成多视点图像。多视点图像由相对于彼此具有差异的多个全景图像组成。

当用户希望具有成像设备生成的多视点图像时，用户操作成像设备以捕获用于多视点图像的生成的捕获图像。

例如，如图1中的左侧所示，当在成像设备的透镜主点在位置fp1处的状态下捕获虚成像表面VS时，获得捕获图像IM。例如，存在于实空间中的区域SER和区域SEL中的对象分别显示在捕获图像IM中的区域TRR和区域TRL中。

然后，当在图1中用户在横向移动成像设备的同时使得成像设备捕获多个捕获图像时，得到的捕获图像具有差异。具体地，如图1的中间所示，当在透镜主点在时间T＝t处在位置fp1处的状态下捕获捕获图像并且在透镜主点在时间T＝t+Δt处在位置fp2处的状态下捕获捕获图像时，同一对象OB1显示在这些捕获图像中。此时，由于从不同的位置捕获对象OB1，因此产生了差异。利用此，获得显示同一对象且相对于彼此具有差异的全景图像。

即，当从通过在移动成像设备的同时利用成像设备进行捕获而获得的每个捕获图像提取对应于捕获图像IM的区域TRR和区域TRL的区域，并将其合成到一起时，如图1中的右侧所示，获得全景图像PR和全景图像PL。

这里，全景图像PR是通过布置和合成对应于区域TRR的捕获图像的区域而获得的图像。该全景图像PR是通过以位置fp3作为虚透镜主点的位置捕获对象而获得的图像。另一方面，全景图像PL是通过布置和合成对应于区域TRL的捕获图像的区域而获得的图像。该全景图像PL是通过以位置fp4作为虚透镜主点的位置捕获对象而获得的图像。另外，全景图像PR和全景图像PL是相对于彼此具有差异且显示同一对象的图像。

因此，利用全景图像PR作为用于右眼的图像，并且利用全景图像PL作为用于左眼的图像，当通过双凸透镜方案同时显示全景图像时，立体的全景图像呈现给用户的眼睛。

以这种方式，当提取多个捕获图像中的预定区域(下文中，被称作带形区域)并且将这些部分图像布置和合成在一起成为单个图像时，获得单个全景图像。此外，当带形区域被移位以生成不同的全景图像时，可获得相对于彼此具有差异的一对全景图像。通过使用这些全景图像，可立体地显示对象。

同样，如果从捕获图像提取三个或更多个带形区域并且合成这些带形区域中的图像，则可获得视点彼此不同的多个全景图像。于是，如果通过双凸透镜方案同时显示这些多个全景图像，则根据用户的视点以不同的差异显示同一对象。也就是，显示多视点图像。

在例如如图2所示生成这样的多视点图像的情况下，在每个捕获图像IM中，设置彼此不同的多个带形区域，并且合成从这些带形区域提取的图像，从而生成多个全景图像。

在图2的示例中，在捕获图像IM中按照在图中从左侧到右侧的顺序设置九个不同的带形区域V(0)至V(8)。带形区域在捕获图像IM中的布置为使得带形区域朝向捕获图像IM的中间处的区域变稀疏，而在更接近捕获图像IM的边缘的区域中变密集。

利用指示距用作参考的带形区域V(0)的距离的偏移量来设置这些带形区域中的每个带形区域的位置。例如，如果带形区域V(1)的偏移量是OF1，则带形区域V(1)的位置被设置为使得从带形区域V(0)到带形区域V(1)的距离变为OF1。

当以这种方式设置多个带形区域时，从已经连续捕获的多个捕获图像IM提取带形区域V(0)至V(8)中的图像，并且将它们合成到一起以生成全景图像PV(0)至PV(8)。例如，从多个捕获图像IM的每个提取每个带形区域V(0)并将它们合成到一起以生成全景图像PV(0)。然后，所获得的多组全景图像被用于多视点图像。

[成像设备的配置]

图3是示出了应用本发明的成像设备的实施例的配置的示例的图。

成像设备11连续捕获对象，并且从所获得的捕获图像生成多视点图像。成像设备11在设置在成像设备11本身中的显示部上或者在连接到成像设备11的显示部12上显示生成的多视点图像。

显示部12例如是用于多视点显示的裸眼三维显示器，其由液晶显示器(LCD)或双凸透镜形成。显示部12立体地显示来自成像设备11的多视点图像。

成像设备11包括成像部21、运动计算部22、带形区域确定部23、合成区域确定部24、全景图像生成部25-1至25-N、差异控制部26、显示选择部27、以及显示部28。

成像部21由诸如光学透镜的光学系统、成像装置等形成。成像部21通过将来自对象的光转换成电信号来捕获对象的图像，并将作为结果获得的捕获图像提供给运动计算部22。

例如，当用户指示在预定方向上移动成像设备11的同时连续捕获捕获图像时，将时间上连续捕获的捕获图像从成像部21顺序提供给运动计算部22。应注意，在下文中，在连续捕获的捕获图像之中，第m个捕获图像将被称作帧m的捕获图像。

运动计算部22基于从成像部21提供的捕获图像来计算运动补偿参数，用于补偿成像设备11在捕获图像的帧之间的运动(移动)，并且将捕获图像和运动补偿参数提供给带形区域确定部23。

在多个捕获图像被单独布置在实空间中使得没有运动的同一对象基本重叠的情况下，运动补偿参数表示指示捕获图像之间的相对位置关系的信息。

例如，考虑由彼此正交的x方向和y方向定义的二维平面(下文中，被称作投影平面)，x方向是与用户在捕获捕获图像时移动成像设备11的方向对应的方向。此外，假定每个捕获图像的边缘基本平行于x方向和y方向。在此情况下，当各捕获图像被布置在投影平面上时，运动计算部22计算指示两个相邻捕获图像之间(也就是，连续帧的捕获图像之间)的相对位置关系的信息作为运动补偿参数。

应注意，下文中，在平行于x方向的方向之中，与成像设备11的移动方向相同的方向还将被具体称作+x方向，并且与+x方向相反的方向还将被称作-x方向。因此，当各帧的捕获图像被布置在投影平面上时，帧m的捕获图像位于相对于帧(m-1)的捕获图像的+x方向侧。

带形区域确定部23基于从运动计算部22提供的捕获图像和运动补偿参数以及输入的观看环境参数来确定带形区域，带形区域是要在捕获图像中提取以生成全景图像的区域。

这里，观看环境参数表示指定用户观看多视点图像的环境的信息。例如，观看环境参数包括诸如显示多视点图像的显示设备的显示屏幕的尺寸(下文中，被称作屏幕尺寸)、从显示屏幕到用户的距离(下文中，还被称作观看距离)和多视点图像的视点数目的信息。

应注意，显示屏幕的尺寸和观看距离、多视点图像的视点数目等可以由用户输入，或者可以由成像设备11指定。例如，当指派用于多视点图像的显示目的地时，成像设备11根据用作显示目的地的显示设备指定屏幕尺寸或视点数目，或者从未示出的传感器获取距观看距离，该传感器检测从显示屏幕到用户的距离。

带形区域确定部23基于输入的观看环境参数设置带形区域的数目和每个单独带形区域的偏移量，并且确定各捕获图像中的带形区域。在确定各捕获图像中的带形区域时，带形区域确定部23将捕获图像、运动补偿参数和指示带形区域的位置的带形区域位置信息提供给合成区域确定部24。

合成区域确定部24基于从带形区域确定部23提供的捕获图像、运动补偿参数和带形区域位置信息来确定合成区域。

在成像设备11中，提取并合成各捕获图像中的带形区域以生成单个全景图像。甚至当用户在x方向上移动成像设备11的同时捕获捕获图像时，成像设备11也在y方向上稍微移动。因此，当捕获图像被布置在投影平面上时，存在关于y方向的捕获图像的位置的变化。

因此，合成区域确定部24在将捕获图像布置在投影平面上时确定由各捕获图像的带形区域组成的区域中内接的最大矩形区域，作为合成区域，从该合成区域提取用于每个全景图像的生成的图像。因此，当从各捕获图像的带形区域提取合成区域内包括的区域并进行合成时，获得具有矩形形状的全景图像。

合成区域确定部24将所确定的合成区域(即，指示各带形区域的最终校正位置的合成区域信息)、捕获图像和运动补偿参数提供给全景图像生成部25-1至25-N。

全景图像生成部25-1至25-N通过使用从合成区域确定部24提供的合成区域信息、捕获图像和运动补偿参数而分别生成全景图像PV(0)至PV(N-1)，并将全景图像提供给差异控制部26。

应注意，更具体地，例如，在带形区域的数目被设置为四并且要生成四个全景图像的情况下，全景图像生成部25-1至25-N生成全景图像PV(0)至PV(3)。然后，在全景图像生成部25-5至25-N中，不执行全景图像的生成。

应注意，在下文中，在不是特别需要在全景图像生成部25-1至25-N之间区分时，全景图像生成部25-1至25-N还将被称作全景图像生成部25。

差异控制部26操纵从全景图像生成部25提供的全景图像以执行全景图像的差异调整，并将作为结果获得的全景图像提供给显示选择部27。

显示选择部27基于从差异控制部26提供的全景图像生成多视点图像，并将多视点图像提供给显示部12或显示部28。显示部28例如是用于多视点显示的裸眼三维显示器，其由LCD或双凸透镜形成。此外，例如，与显示部12相比，显示部28是具有小屏幕尺寸的紧凑显示设备。

[多视点图像显示处理的说明]

顺便提及，当用户操作成像设备11以指示生成多视点图像时，成像设备11开始多视点图像显示处理，该处理是用于生成和显示多视点图像的处理。以下，将参照图4中的流程图来描述由成像设备11进行的多视点图像显示处理。

在步骤S11中，成像部21在成像设备11正移动的状态下捕获对象。例如，用户在预定方向上转动成像设备11的同时使得成像设备11连续捕获多个捕获图像。

由于来自对象的光入射到成像部21上，所以成像部21对入射光执行光电转换，从而捕获捕获图像。将所获得的捕获图像从成像部21顺序提供给运动计算部22。应注意，每个捕获图像可以是已经捕获的单个静止图像，或者可以是组成已拍摄的运动图像的图像的一个帧。

在步骤S12中，对于从成像部21提供的每个单独捕获图像，运动计算部22计算捕获图像的运动补偿参数，并将捕获图像和运动补偿参数提供给带形区域确定部23。

例如，运动计算部22使用两个连续帧的捕获图像，以通过块匹配来计算每个捕获图像的全局运动向量作为运动补偿参数。

也就是，运动计算部22将目标帧的捕获图像分离成多个块，并且针对每个块，与紧接在目标之前的帧的捕获图像执行块匹配，从而检测该块的运动向量。于是，在针对每个块确定的运动向量当中，在幅度和方向方面具有最大发生概率的运动向量被确定作为捕获图像的全局运动向量。

全局运动向量是指示捕获图像中的整个对象的帧之间的运动的全局运动向量。由于捕获图像中的许多对象是在实空间中未移动的静止物体，所以可以认为，全局运动向量是指示捕获图像中的静止物体的帧之间的运动(也就是，成像设备11在捕获捕获图像时的运动)的向量。

应注意，替选地，可通过使用扩展仿射变换等来确定运动补偿参数。例如，在通过使用扩展仿射变换计算运动补偿参数的情况下，运动计算部22通过计算以下等式(1)来确定指示捕获图像的帧之间的运动的向量(V，W)，并将所获得的向量(V，W)设置为运动补偿参数。

[等式1]

$\left(\begin{array}{c}V\\ W\end{array}\right)=\left(\begin{array}{cccccc}a& b& c& d& e& f\\ g& h& i& j& k& l\end{array}\right)\left(\begin{array}{c}{x}^2\\ \mathrm{xy}\\ y^2\\ x\\ y\\ 1\end{array}\right)=\left(\begin{array}{c}{\mathrm{ax}}^2+\mathrm{bxy}+{\mathrm{cy}}^2+\mathrm{dx}+\mathrm{ey}+f\\ {\mathrm{gx}}^2+\mathrm{hxy}+i{y}^2+\mathrm{jx}+\mathrm{ky}+l\end{array}\right)\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

应注意，在等式(1)中，a至l均表示仿射参数，并且x和y分别表示在xy坐标系上捕获图像中的特征块的中心位置处的x分量和y分量。

也就是，运动计算部22将目标帧的捕获图像分离成多个块，并且针对每个块，与紧接在目标之前的帧的捕获图像执行块匹配，从而检测块的运动向量。于是，通过使用角点检测器等，运动计算部22确定各个块的运动向量的可靠性，选择具有最可靠的运动向量的块作为特征块，并且计算上述等式(1)。

应注意，通过使用每个块的中心坐标和每个块的运动向量，利用最小二乘法来计算仿射参数。

在步骤S13中，基于输入的观看环境参数，带形区域确定部23设置带形区域的数目和每个单独带形区域的偏移量。

具体地，带形区域确定部23设置由视点环境参数指示的多视点图像的视点数目，作为要生成的带形区域的数目。

此外，带形区域确定部23预先保存偏移表，其中，显示多视点图像的显示部的屏幕尺寸和观看距离与每个单独带形区域的偏移量相关联。

例如，假定关于预定屏幕尺寸设置特定偏移量，当屏幕尺寸变为N倍时，偏移量被设置成偏移量的1/N倍。这是因为如果观看距离相同，则从用户观看的多视点图像的差异随着屏幕尺寸越大而越大。也就是，通过在差异随屏幕尺寸增大时使得偏移量变小，多视点图像的差异被调整以变小，从而获得具有更适当的差异的多视点图像。

此外，例如，假定关于预定观看距离设置特定偏移量，当观看距离变为N倍时，偏移量被设置成变为偏移量的N倍。这是因为如果屏幕尺寸相同，则从用户观看的多视点图像的差异随着观看距离越长而越小。

带形区域确定部23参考偏移表，并设置由观看环境参数所指示的屏幕尺寸和观看距离确定的值，作为每个单独带形区域的偏移量。也就是，基于观看环境参数，设置每个捕获图像中的各个带形区域之间的位置关系。

此外，如果由偏移量确定的各个带形区域之间的位置关系被设置为使得对于位于更接近捕获图像IM的边缘的带形区域，相邻带形区域之间的距离变得较短，则当显示多视点图像时可以减小假立体视觉的影响。

例如，考虑如下情况：其中，通过使用从图2中的带形区域生成的全景图像，生成具有九个视点的多视点图像并且将其显示在显示部28上。在此情况下，假定当用户的视点位于距显示部28的显示屏幕预定距离处并且位于显示屏幕的基本中间处时，全景图像PV(3)和全景图像PV(5)呈现给用户的右眼和左眼。于是，假定当用户向显示屏幕的边缘移动视点时，全景图像PV(7)和全景图像PV(8)呈现给用户的右眼和左眼。

当在此状态下用户向显示屏幕的边缘进一步移动视点时，全景图像PV(8)和全景图像PV(0)呈现给用户的左眼和右眼，并且发生所谓的假立体视觉。当这样的假立体视觉发生时，用户有时不能很好地领会对象的凸起和凹陷，从而致使用户的眼睛和大脑疲劳。

此时，如果全景图像PV(8)和全景图像PV(0)的差异小，则可以减轻对象的立体感，并由此可以缓解用户的眼睛和大脑的疲劳。因此，为了使得该假立体视觉的影响变小，可以使从带形区域V(0)至带形区域V(8)的距离变短。然而，如果使得该距离变短，则带形区域之间的间隔变窄，从而无法获得具有立体感的多视点图像。

因此，通过使得在捕获图像的边缘附近带形区域之间的间隔变窄，并且相反地使得在捕获图像的中间附近带形区域之间的间隔变宽，可缓解由于假立体视觉引起的用户的疲劳，同时防止丢失多视点图像的立体感。也就是，当用户的视点位于没有发生假立体视觉的显示屏幕的中间附近时，显示具有较大差异的图像，从而可获得提供更强立体感的多视点图像。

当通过带形区域确定部23设置带形区域的数目和偏移量时，处理从步骤S13进行到步骤S14。

在步骤S14中，带形区域确定部23基于从运动计算部22提供的捕获图像和运动补偿参数以及已经设置的带形区域的数目和偏移量，确定各捕获图像中的带形区域。

例如，如图5中的左侧所示，带形区域确定部23基于运动补偿参数将帧1的捕获图像IM(1)和帧2的捕获图像IM(2)布置在投影平面上。应注意，在图5中，在图中，水平方向指示x方向，并且具体地，向右的方向指示+x方向。此外，在图5中，为便于描述，仅示出了捕获图像之间在x方向上的位置关系。实际上，当捕获图像被布置在投影平面上时，这些捕获图像彼此重叠。

带形区域确定部23设置布置在投影平面上的捕获图像IM(1)和捕获图像IM(2)重叠的区域的x方向上的中心位置(下文中，被称作参考位置)，并且还设置在-x方向上与参考位置分隔开特定距离的位置作为V(0)参考位置。

在捕获图像IM(1)中，带形区域确定部23设置以V(0)参考位置为中心、且具有在x方向上预先设置的预定宽度的区域，作为重叠区域CR(1)。此外，在捕获图像IM(2)中，带形区域确定部23设置以V(0)参考位置为中心、且具有在x方向上预先设置的预定宽度的区域，作为重叠区域CR(2)。这里，重叠区域CR(1)和重叠区域CR(2)是在投影平面(同一区域)上彼此重叠的区域。

于是，如图中的右侧所示，带形区域确定部23设置捕获图像IM(1)中的从捕获图像IM(1)的左边缘到重叠区域CR(1)的右边缘的区域，作为帧1的捕获图像的带形区域V(0)-1。同样，带形区域确定部23设置捕获图像IM(2)中的从重叠区域CR(2)的左边缘到捕获图像IM(2)的右边缘的区域，作为帧2的捕获图像的带形区域V(0)-2。

应注意，更具体地，从帧2向前，在设置目标帧的带形区域V(0)时，需要考虑该帧之前和之后的帧。因此，例如，帧m(其中m≥2)的带形区域V(0)-m被设置为捕获图像中的从与帧(m-1)重叠的区域的左边缘到与帧(m+1)重叠的区域的右边缘的区域。

在以这种方式设置每个帧中的带形区域V(0)之后，带形区域确定部23执行类似的处理以设置每个帧中的带形区域V(n)(其中1≤n)。此时，在+x方向或-x方向上分隔开特定距离的位置被设置为对应于V(0)参考位置的V(n)参考位置。此时，从V(0)参考位置到V(n)参考位置的距离被设置为等于带形区域V(n)的偏移量。

例如，带形区域确定部23设置捕获图像IM(1)中的从捕获图像IM(1)的左边缘到关于V(n)参考位置设置的重叠区域的右边缘的区域，作为帧1的捕获图像的带形区域V(n)。

以这种方式，通过设置每个单独的带形区域使得从V(0)参考位置到V(n)参考位置的距离变为等于偏移量，获得相对于彼此具有差异的全景图像。

返回到图4中的流程图的描述，在确定带形区域时，带形区域确定部23将捕获图像、运动补偿参数和指示带形区域的位置的带形区域位置信息提供给合成区域确定部24。

在步骤S15中，合成区域确定部24基于来自带形区域确定部23的捕获图像、运动补偿参数和带形区域位置信息确定合成区域，并将指示确定的合成区域的位置的合成区域信息、捕获图像和运动补偿参数提供给全景图像生成部25。此时，将用于生成全景图像PV(n-1)的合成区域信息提供给各个全景图像生成部25-n(其中1≤n≤N)。

在步骤S16中，全景图像生成部25通过使用来自合成区域确定部24的合成区域信息、捕获图像和运动补偿参数来生成全景图像，并将全景图像提供给差异控制部26。

例如，通过使用运动补偿参数，全景图像生成部25-1将捕获图像布置在投影平面上以使得没有运动的相同对象基本重叠。然后，全景图像生成部25-1提取由合成区域信息指示的各捕获图像的最终带形区域V(0)内的图像，并且合成所提取的图像从而生成全景图像PV(0)。

以这种方式，当全景图像生成部25执行步骤S16中的处理时，获得显示从不同视点观看的对象的多个全景图像。当在这些全景图像中显示同一对象时，该对象具有差异。因此，如果同时显示这些全景图像的任意两个，则全景图像中的对象立体地呈现给用户。

在步骤S17中，差异控制部26检测从全景图像生成部25提供的全景图像中的主差异。也就是，利用全景图像PV(0)作为参考，差异控制部26确定全景图像PV(0)与另一全景图像之间的主差异。

这里，主差异是指全景图像中的主要对象(即，最大对象(具有最宽的面积))具有的差异。差异控制部26针对全景图像中的每个像素确定差异，并生成包括各差异的幅度的评估值表和指示全景图像中具有相应的差异幅度的像素的数目的评估值，从而确定主差异。

具体地，如图6所示，差异控制部26选择全景图像PV(0)和另一全景图像。例如，在图6的示例中，选择全景图像PV(0)和全景图像PV(1)。应注意，在图6中，水平方向和竖直方向分别指示x方向和y方向。具体地，在图中，向右的方向指示+x方向。

此外，差异控制部26在全景图像PV(0)和全景图像PV(1)中分别设置评估目标区域EV0和评估目标区域EV1。

评估目标区域EV0是如下矩形区域：其中心位于与全景图像PV(0)的中心相同的位置，并且其在x方向上比全景图像PV(0)短预定长度。同样，评估目标区域EV1是如下矩形区域：其中心位于与全景图像PV(1)的中心相同的位置，并且其在x方向上比全景图像PV(1)短预定长度。此外，评估目标区域EV0和评估目标区域EV1是具有相同尺寸的区域。差异控制部26设置位于这些评估目标区域内的像素作为全景图像中的像素当中的目标，并且确定各个像素的评估值。

首先，差异控制部26将评估值表中的各差异的评估值初始化为″0″，并且确定差异″0″的评估值。也就是，如图7所示，差异控制部26设置全景图像PV(0)中的评估目标区域EV0内的预定像素G0(i)和全景图像PV(1)中的评估目标区域EV1内的预定像素G1(i)作为目标像素。应注意，当全景图像PV(0)和全景图像PV(1)重叠在彼此之上时，像素G0(i)和像素G1(i)是位于同一位置的像素。

接下来，差异控制部26通过使用在x方向上与全景图像PV(1)中的像素G1(i)相邻的像素G1(i+1)和像素G1(i-1)、以及像素G1(i)，来设置阈值th。也就是，差异控制部26通过确定像素G1(i-1)、像素G1(i)和像素G1(i+1)的各像素值当中的最大值与最小值之间的差的绝对值来确定像素G1(i)的x方向上的动态范围DL。

如果所确定的动态范围DL等于或大于预先设置的预定值，则差异控制部26将阈值th设置成预先设置的指定值，并且如果动态范围DL小于预先设置的预定值，则差异控制部26将阈值th设置成小于指定值的值。

然后，差异控制部26确定像素G0(i)和像素G1(i)的像素值之间的差的绝对值，并且如果所确定的绝对值小于阈值th，则差异控制部26将评估值表中的差异″0″的评估值加“1”。相反，如果所确定的绝对值等于或大于阈值th，则差异控制部26按照原样保持差异″0″的评估值。

如果目标像素G0(i)和像素G1(i)之间的差的绝对值稍小，则同一对象应以这些像素来显示。此外，由于像素G0(i)和像素G1(i)是位于全景图像PV(0)和全景图像PV(1)中的相同位置处的像素，因此，如果同一对象以这些像素来显示，则由此可知对象不具有差异。也就是，当显示多视点图像时，以像素G0(i)和像素G1(i)显示的对象被定位在显示部28等的显示屏幕上。

应注意，阈值th根据动态范围DL变化的原因是为了防止目标像素之间的相关性的存在/不存在的错误判定。例如，假定作为对象，关于空间方向像素值具有微小变化的平坦对象(例如，天空等)以像素G1(i)的部分来显示。

在此情况下，像素G1(i)邻近的像素的像素值接近像素G1(i)的像素值，并且在一些情况下，即使对象的不同部分以像素G0(i)和像素G1(i)来显示，这些像素之间的差的绝对值也会变得小于阈值th。也就是，在一些情况下会发生错误判定。因此，当动态范围DL小时，阈值th被设置成小于通常指定值的值，以使得这样的错误判定较少可能发生。

应注意，为了防止错误判定，如果动态范围DL小于预先设置的预定值，则可不将像素G0(i)和像素G1(i)设置为目标，并且可不执行它们的差的计算。

以这种方式，当设置为目标的像素之间的差被确定时，根据利用阈值th进行的阈值处理的结果将评估值表中的评估值加″1″，差异控制部26选择评估目标区域EV0和评估目标区域EV1内的尚未被设置为目标的像素，并将这些像素设置为目标。也就是，将新被设置为目标的像素之间的差的绝对值与阈值th相互比较，并根据比较的结果，更新评估值表。

然后，当评估目标区域EV0和评估目标区域EV1内的所有像素都已被设置为目标时，此时评估值表中的差异″0″的评估值被认为是最终评估值。该评估值指示每个全景图像中的评估目标区域内的、显示具有差异″0″的对象的像素的数目。换言之，在每个全景图像中的评估目标区域内，存在与评估值所指示的数目一样多的、显示具有差异″0″的对象的像素。

此外，在使全景图像PV(0)的位置相对于评估目标区域EV0移位的同时，差异控制部26通过将位于评估目标区域EV0和评估目标区域EV1内的相同位置处的像素设置为目标，确定各差异幅度的评估值。也就是，在使全景图像PV(0)的位置相对于全景图像PV(1)移位的同时，差异控制部26确定全景图像之间的差，并且确定各差异的评估值。

例如，如图8所示，差异控制部26使全景图像PV(0)的位置相对于评估目标区域EV0在图中的向左方向上移位，并且确定评估目标区域内的像素的差。应注意，在图中，水平方向和竖直方向分别指示x方向和y方向，并且具体地，向右的方向指示+x方向。

在图8的示例中，使全景图像PV(0)相对于评估目标区域EV0在-x方向上移位128个像素，并且评估目标区域EV0和全景图像PV(0)的右侧边缘彼此对齐。在这种状态下，差异控制部26参照图6和图7执行上述处理。也就是，差异控制部26确定全景图像PV(0)和全景图像PV(1)中的位于评估目标区域内的同一位置处的像素之间的差的绝对值，并且将该绝对值与阈值th进行比较。如果作为比较的结果绝对值小于阈值，则差异控制部26将评估值表中差异″-128″的评估值加″1″，并且如果绝对值等于或大于阈值，则差异控制部26不更新评估值。

当通过以这种方式将评估目标区域内的所有像素都设置为目标来更新评估值表时，获得差异″-128″的最终评估值。在更新差异″-128″的评估值时，通过使全景图像PV(0)移位128个像素来执行该处理。因此，以差的绝对值小于阈值的像素显示的对象显示在全景图像PV(0)和全景图像PV(1)之间的分隔开128个像素的位置。也就是，对象具有等于128个像素的差异。于是，在显示多视点图像时，以差异为″-128″的像素显示的对象被定位于如从用户所观看的显示部28等的显示屏幕后面的侧。

同样，在使全景图像PV(0)的位置相对于评估目标区域EV0且还在与图8的示例中的方向相反的方向上移位的同时，差异控制部26通过将位于评估目标区域EV0和评估目标区域EV1内的相同位置处的像素设置为目标来确定各差异幅度的评估值。

例如，如图9所示，差异控制部26使全景图像PV(0)的位置相对于评估目标区域EV0在图中的向右的方向上移位，并且确定评估目标区域内的像素的差。应注意，在图中，水平方向和竖直方向分别指示x方向和y方向，并且具体地，向右的方向指示+x方向。

在图9的示例中，全景图像PV(0)相对于评估目标区域EV0在+x方向上被移位128个像素，并且评估目标区域EV0和全景图像PV(0)的左侧边缘彼此对齐。在这种状态下，差异控制部26确定全景图像PV(0)和全景图像PV(1)中的位于评估目标区域内的同一位置处的像素之间的差的绝对值，并且将该绝对值与阈值th进行比较。如果作为比较的结果绝对值小于阈值，则差异控制部26将评估值表中差异″-128″的评估值加″1″，并且如果绝对值等于或大于阈值，则差异控制部26不更新评估值。

当通过以这种方式将评估目标区域内的所有像素都设置为目标来更新评估值表时，获得差异″-128″的最终评估值。在显示多视点图像时，以差异为″-128″的像素显示的对象被定位于如从用户所观看的显示部28等的显示屏幕前面的侧。

在以这种方式确定各差异幅度的评估值时，差异控制部26确定具有评估值表中的评估值当中的最大评估值的差异，作为全景图像PV(0)和全景图像PV(1)之间的主差异。在评估值表中，每个差异的评估值表示具有相应的差异幅度的像素的数目，也就是，全景图像中的对象的区域的尺寸(面积)。因此，可以认为，在全景图像中，包括具有最大评估值的差异的区域(像素)是面积最宽的，并且具有最大评估值的差异是全景图像中的对象的主差异。

此外，同样针对其它全景图像的每个，差异控制部26检测相应的全景图像与全景图像PV(0)之间的主差异。

应注意，作为确定全景图像的主差异的方法，虽然描述了确定全景图像中的每个像素的差的情况，但是确定指示全景图像PV(0)中的区域与另一全景图像中的区域之间的相关度的相关值、以及基于相关值确定每个单独差异的评估值就足够。例如，并非基于全景图像中的每个单独像素的差而是基于每个单独块的差的值(例如，块内的像素之间的绝对差之和)可被用作相关值。

此外，当通过使用全景图像之间的差来确定主差异时，可以使全景图像PV(0)和另一全景图像变淡(thin out)，并且可以确定变淡和缩小的全景图像之间的差以确定主差异。

返回到图4中的流程图，当差异控制部26检测全景图像的主差异时，处理从步骤S17进行到步骤S18。

在步骤S18中，差异控制部26基于全景图像之间的确定的主差异来执行全景图像的差异调整。

也就是，差异控制部26使整个全景图像位移(移动)了等于差异的量，使得所确定的主差异被抵消。具体地，假定获得Pa作为全景图像PV(0)和全景图像PV(1)的主差异，通过设置全景图像的位移量S＝Pa，差异控制部26使整个全景图像PV(1)在x方向上位移了S。

例如，如果位移量S是正值(S＞0)，则整个全景图像PV(1)相对于评估目标区域EV1在+x方向上位移了S。然后，在位移之后全景图像PV(0)和全景图像PV(1)的位于评估目标区域EV0和评估目标区域EV1内的区域被用作用于生成多视点图像的最终全景图像对。

如果主差异Pa是正值，则当立体地显示全景图像PV(0)和全景图像PV(1)时，主要对象被定位于显示部28等的显示屏幕的前面的侧。因此，通过以差异变小的方式(即，使得主差异变为″0″)使全景图像PV(1)位移，于是位移后的全景图像中的主要对象被定位于显示部28等的显示屏幕的位置处。

相反地，如果位移量S是负值(S＜0)，则整个全景图像PV(1)相对于评估目标区域EV1在-x方向上发生位移。也就是，如果主差异Pa是负值，则全景图像中的主要对象被定位于显示屏幕的后面的侧。因此，通过以差异变大的方式使全景图像PV(1)位移，主要对象可被定位于显示屏幕处。

同样，还针对其它全景图像的每个，利用全景图像PV(0)作为参考，基于相对于全景图像PV(0)的主差异，差异控制部26使全景图像位移了由主差异确定的位移量S，从而执行差异控制。

如果以这种方式利用全景图像PV(0)作为参考来执行差异控制，甚至当例如基于全景图像PV(1)和全景图像PV(2)立体地显示全景图像时，主要对象也被定位于显示部28等的显示屏幕处。

如果全景图像中的主要对象(即，大的对象)被定位于显示部28等的显示屏幕的位置处，则所定位的位置和用户眼睛的焦点位置彼此重合，从而消除用户的眼睛和大脑的疲劳。此外，在全景图像中的主要对象被定位于显示屏幕的位置处时，其它对象的部分被定位于显示屏幕的前面或后面的侧。因此，以充分立体的方式来显示全景图像(多视点图像)，并且所得到的多视点图像提供自然的深度感(立体感)。

以这种方式，通过确定全景图像的主差异和执行全景图像的差异调整以使得主差异被抵消，可获得具有更适当的差异的全景图像，并且结果，可重新产生更自然的立体感。

在调整全景图像的差异之后，差异控制部26将作为结果获得的全景图像提供给显示选择部27，并且处理进行到步骤S19。

在步骤S19中，显示选择部27基于从差异控制部26提供的全景图像来生成多视点图像。

例如，如图10所示，假定将4个全景图像PV(0)至PV(3)从差异控制部26提供给显示选择部27。此时，显示选择部27提取位于各全景图像PV(0)至PV(3)中的相同位置处的、尺寸相同的各显示区域DP-0至DP-3作为部分图像B(0)至B(3)，并且使用由这四个部分图像组成的图像作为多视点图像。

具体地，显示选择部27将所提取的部分图像B(0)至B(3)中的每个分离成若干个带状图像(下文中，被称作带形图像TP(0)至TP(3))。然后，显示选择部27使用通过按照带形图像TP(0)至TP(3)的顺序逐一地重复布置带形区域而获得的单个图像作为多视点图像。也就是，按照带形图像TP(0)至TP(3)的顺序布置的总共四组重复布置的带图像被用作多视点图像。

当通过双凸透镜方案显示该多视点图像时，在形成多视点图像的多个部分图像当中，来自根据用户的视点位置确定的两个部分图像的光分别被引入用户的右眼和左眼，并且由用户的眼睛观察立体部分图像。

应注意，虽然描述了每个全景图像的部分中的区域被设置为用于生成多视点图像的部分图像，但是每个全景图像可按照原样被设置为用于生成多视点图像的部分图像。

在生成多视点图像时，显示选择部27根据来自成像设备11的指令将所生成的多视点图像提供给显示部12或显示部28。此时，成像设备11控制显示选择部27以将多视点图像提供给观看环境参数所指示的显示部，例如，用户在开始生成多视点图像时指派的显示目的地。

在步骤S20中，显示部28或显示部12显示从显示选择部27提供的多视点图像，并且多视点图像显示处理结束。

以这种方式，成像设备11基于观看环境参数设置带形区域的数目和偏移量以获得具有适合观看环境的视点数目和差异的多视点图像，并且从带形区域提取图像以生成全景图像。然后，成像设备11执行所获得的全景图像的差异调整，从经差异调整后的全景图像生成多视点图像，并显示该多视点图像。

以这种方式，通过基于观看环境参数设置带形区域的数目和偏移量，可获得具有适合观看环境的更适当的差异的多视点图像。

此外，关于生成的全景图像，通过确定全景图像中的像素之间的差，可更容易和快速地确定全景图像的主差异。当全景图像经受位移处理以抵消利用此方式获得的差异时，可获得具有更适当的差异的多视点图像。因此，当显示所获得的多视点图像时，可重新产生更自然的立体感。

应注意，虽然上面描述了基于全景图像的主差异执行全景图像的差异调整，但是还可以使用所确定的主差异来重新设置偏移量，并且从捕获图像重新生成最终全景图像。在此情况下，基于已被重新设置的偏移量来重新设置带形区域，并合成带形区域中的图像以生成最终全景图像。

此外，虽然上面描述了当调整全景图像的差异时利用全景图像PV(0)作为参考使另一全景图像位移了位移量S，但是还可以使全景图像PV(0)位移。在这样的情况下，根据针对每个单独全景图像确定的位移量，设置包括全景图像PV(0)的全景图像中的每个的位移方向和位移量。

另外，用户可以根据显示部28等的屏幕尺寸、多视点图像的显示的显示放大率(放大倍率)等来确定从其提取用于生成多视点图像的部分图像的显示区域的尺寸。

例如，在用户指派显示放大率的情况下，指示显示放大率的信息也包括在观看环境参数中。于是，根据由环境参数指示的屏幕尺寸、观看距离和显示放大率来确定偏移量。

<第二实施例>

[成像设备的配置]

另外，虽然上面描述了基于观看环境参数设置带形区域的数目和偏移量，但是还可以根据带形区域的预设的数目和偏移量生成全景图像，并从这些全景图像当中选择用于生成多视点图像的全景图像。

在这样的情况下，成像设备11如图11所示那样被配置。应注意，在图11中，用相同的符号表示与图3的情况下的部分对应的部分，并省略其描述。在图11的成像设备11中，设置带形区域确定部51和显示选择部52来替代图3中的带形区域确定部23和显示选择部27。

带形区域确定部51基于从运动计算部22提供的捕获图像和运动补偿参数来确定具有预设偏移量的预设数目的带形区域，并将捕获图像、运动补偿参数和带形区域位置信息提供给合成区域确定部24。

此外，显示选择部52基于输入的观看环境参数，通过使用从差异控制部26提供的多个全景图像中的若干个全景图像来生成多视点图像，并将该多视点图像提供给显示部12或显示部28。

[多视点图像显示处理的说明]

接下来，参照图12中的流程图，将描述由成像设备11执行的多视点图像显示处理。应注意，由于步骤S51和S52中的处理与图4中的步骤S11和步骤S12中的处理相同，所以省略其描述。

在步骤S53中，带形区域确定部51基于从运动计算部22提供的捕获图像和运动补偿参数来确定每个均具有预设偏移量的预设数目的带形区域。

例如，带形区域确定部51确定预设N个带形区域，其具有使得每个捕获图像中的相邻带形区域之间的间隔(下文中，被称作带形区域间隔)变为50个像素的偏移量。应注意，由于设置每个捕获图像中的带形区域的位置的处理与参照图5描述的处理相同，所以省略其描述。

在确定带形区域时，带形区域确定部51将捕获图像、运动补偿参数和带形区域信息提供给合成区域确定部24，并且之后，执行步骤S54至步骤S57中的处理。也就是，从最终带形区域提取图像以生成全景图像，并且执行各全景图像的差异调整。

应注意，由于步骤S54至步骤S57中的这些处理与图4中的步骤S15至步骤S18中的处理相同，所以省略其描述。

在步骤S58中，显示选择部52基于输入的观看环境参数，从自差异控制部26提供的全景图像生成多视点图像。

具体地，显示选择部52预先保存如下偏移间隔表：其中，用于显示多视点图像的显示部的屏幕尺寸和观看距离与每个捕获图像中应该用于生成多视点图像的全景图像的带形区域之间的间隔(下文中，被称作偏移间隔)彼此相关联。该偏移间隔基本上是带形区域间隔，并且指示每个捕获图像中应该用于生成多视点图像的全景图像的带形区域之间的、相对于指派的观看环境的位置关系。

例如，在屏幕尺寸是诸如移动显示器的紧凑显示部的尺寸的情况下，偏移间隔被设置为100个像素，而在屏幕尺寸是诸如家用电视接收机的、比移动显示器大的显示部的尺寸的情况下，偏移间隔被设置为50个像素。

这是因为，如果观看距离相同，则屏幕尺寸越大，从用户观看的多视点图像的差异越大。也就是，通过在差异随屏幕尺寸增大时使偏移间隔(偏移量)变小，多视点图像的差异被调整以变小，从而获得具有更适当的差异的多视点图像。

显示选择部52参考偏移间隔表，并且基于由观看环境参数指示的屏幕尺寸和观看距离来设置要生成的多视点图像的偏移间隔。然后，从由观看环境参数指示的多视点图像的视点数目和偏移间隔之中，显示选择部52选择用于生成的全景图像，并且从选择的全景图像生成多视点图像。

例如，如图13中的左侧所示，假定从差异控制部26提供八个全景图像PV(0)至PV(7)，并且这些全景图像的带形区域的间隔是50个像素。也就是，假定提供通过将每个捕获图像中的相邻带形区域之间的间隔设置成50个像素而生成的八个全景图像。

应注意，在图13中，全景图像PV(0)至PV(7)中的显示区域DP-0至DP-7是当相应的全景图像被用于生成多视点图像时从其提取部分图像的区域。

现在，假定从偏移间隔表和观看环境参数之中，显示选择部52生成视点数目为4且偏移间隔为100个像素的多视点图像。在这种情况下，如图的中间所示，显示选择部52从全景图像PV(0)至PV(7)中选择四个全景图像，即全景图像PV(0)、全景图像PV(2)、全景图像PV(4)和全景图像PV(6)。

然后，显示选择部52提取这些选择的全景图像中的显示区域DP-0、显示区域DP-2、显示区域DP-4和显示区域DP-6作为部分图像，并且生成具有四个视点的多视点图像。

这里，全景图像PV(0)、全景图像PV(2)、全景图像PV(4)和全景图像PV(6)均是从在每个捕获图像中以100个像素的间隔布置的带形区域中的图像生成的全景图像。因此，这实际上意味着，以使得带形区域间隔变为100个像素的偏移量生成全景图像，并且从这些全景图像生成多视点图像。

此外，例如，在生成视点数目为四且偏移间隔为50个像素的多视点图像的情况下，如图中的右侧所示，显示选择部52通过使用全景图像PV(0)至PV(7)当中的全景图像PV(2)至PV(5)来生成多视点图像。

以这种方式，通过根据观看环境来选择多个全景图像中的若干个全景图像，获得相对于彼此具有更适当的差异的全景图像，并通过使用这些全景图像，可获得具有适合观看环境的更适当的差异的多视点图像。

在生成多视点图像时，显示选择部52将所生成的多视点图像提供给显示部12或显示部28。此时，显示选择部52将多视点图像提供给观看环境参数所指示的显示目的地，例如由用户在开始生成多视点图像时指派的显示部。

在步骤S59中，显示部28或显示部12显示从显示选择部52提供的多视点图像。

在步骤S60中，显示选择部52判定观看环境是否已经改变。例如，当用户操作成像设备11并且用于多视点图像的显示目的地从显示部28切换到显示部12时，提供给显示选择部52的观看环境参数改变。当所提供的观看环境参数已经改变时，显示选择部52判定观看环境已经改变。应注意，除了以上情况之外，例如，观看环境参数还随着由未示出的传感器所检测的观看距离的改变而改变。

如果在步骤S60中判定观看环境已经改变，则处理返回到步骤S58，并且重复上述处理。也就是，基于新提供的观看环境参数，生成和显示新的多视点图像。

应注意，多视点图像的显示放大率和多视点图像的立体感强度的设置可包括在观看环境参数中，使得当显示放大率和立体感强度的设置已改变时也可重新生成多视点图像。根据部分图像的尺寸，也就是，从全景图像提取部分图像的显示区域的尺寸，确定显示放大率。

例如，在仅观看环境参数中的显示放大率或立体感强度的设置已改变的情况下，显示选择部52使先前显示的多视点图像的偏移间隔增加或减小根据显示放大率或立体感强度的设置的改变的值(像素数)。然后，显示选择部52从新设置的偏移间隔生成新的且与先前的视点数目相同的多视点图像。

具体地，假定偏移间隔被设置为100个像素，并且已从图13中的全景图像PV(0)、全景图像PV(2)、全景图像PV(4)和全景图像PV(6)生成和显示了显示放大率为1的多视点图像。

然后，假定在这种状态下，用户操作了成像设备11以将显示放大率从″1″改变为″2″。在此情况下，例如，显示选择部52根据显示放大率的改变将偏移间隔从100个像素减小到50个像素，并且设置50个像素作为新的偏移间隔。然后，根据视点数目″4″和新的偏移间隔″50个像素″，显示选择部52通过使用全景图像PV(2)至PV(5)重新生成多视点图像。

应注意，此时，例如，生成多视点图像，使得每个全景图像中的从其提取部分图像的显示区域减小为先前尺寸的一半，并且从新的显示区域提取的部分图像被放大了两倍。因此，获得新的多视点图像，其中相对于先前显示的多视点图像，对象被放大了两倍。

此外，例如，当立体感强度的设置从正常改变为稍强时，偏移间隔从先前值增加了100个像素，并且当立体感强度的设置从正常改变为稍弱时，偏移间隔从先前值降低了100个像素。

应注意，显示区域可以随着显示多视点图像的显示部(例如显示部28或显示部12)的显示屏幕的尺寸而变化。在这样的情况下，根据观看环境参数所指示的屏幕尺寸确定从其提取各个部分图像的显示区域的尺寸。此外，用户可以根据偏好使得诸如观看距离的观看环境参数的元素可变。

另外，如果在步骤S60中判定观看环境未改变，则在步骤S61中，成像设备11判定是否结束处理。例如，当用户指示结束多视点图像的显示时，判定结束处理。

如果在步骤S61中判定不结束处理，则处理返回到步骤S60，并且重复上述处理。

另一方面，如果在步骤S61中判定结束处理，则成像设备11中的每个单独的部结束正执行的处理，并且多视点图像显示处理结束。

以这种方式，成像设备11根据观看环境从多个全景图像当中选择适当的全景图像，并从所选择的全景图像生成和显示多视点图像。以这种方式，通过基于观看环境参数来设置偏移间隔和视点数目而选择全景图像，可获得具有适合观看环境的更适当的差异的多视点图像。

<变型1>

[主差异的说明]

顺便提及，虽然上面描述了根据全景图像确定主差异并且根据差异执行全景图像的差异调整，但是本申请人已确认全景图像的主差异的绝对值基本上等于带形区域之间的偏移量。

例如，假定如图14所示，用户在以使得形成成像部21的透镜的主点L0关于旋转中心OC在图中的顺时针方向上转动的方式移动成像设备11的同时，使成像设备11捕获捕获图像。这里，令从透镜的主点L0到旋转中心OC的距离(即旋转半径)为r，并且令成像部21的焦距为f。

此外，假定在时间上连续地捕获成像表面VS(t)和成像表面VS(t+1)，成像表面VS(t)中的区域V(0)-1和区域V(8)-1分别对应于带形区域V(0)和带形区域V(8)，并且成像表面VS(t+1)中的区域V(0)-2和区域V(8)-2分别对应于带形区域V(0)和带形区域V(8)。此时，令偏移量为2H，区域V(0)-1和区域V(8)-1之间的距离以及区域V(0)-2和区域V(8)-2之间的距离两者均等于偏移量2H。

在图14的示例中，同一对象OB21显示在与成像表面VS(t)和成像表面VS(t+1)对应的各捕获图像中，并且对象OB21显示在与区域V(8)-1和区域V(0)-2对应的各区域中。在这种情况下，对象OB21的实际差异是区域V(8)-1和区域V(0)-2之间的距离2d。

此外，当通过从图14的示例中捕获的捕获图像提取带形区域V(0)和带形区域V(8)生成两个全景图像时，这些全景图像的差异是从区域V(0)-1至区域V(0)-2的距离D。于是，虽然该差异D可由从区域V(0)-1至区域V(8)-1的距离(即，偏移量2H)与对象OB21的差异2d之和来表示，但是在连续捕获捕获图像的情况下，差异2d变为无穷小值，并由此是可忽略的。因此，全景图像的差异D可以由偏移量2H来近似。

如上所述，由于两个全景图像之间的差异D基本上与偏移量2H相同，因此，当基于偏移量执行全景图像的差异调整时，即使没有确定全景图像的主差异也可执行适当的差异控制。

在成像设备11基于偏移量执行全景图像的差异调整的情况下，偏移量被提供给图3和图11中的差异控制部26。于是，不执行图4和图12中的步骤S17和步骤S56中的每个的处理，并且基于偏移量执行全景图像的差异调整。

也就是，当输入偏移量时，差异控制部26将通过使偏移量乘以″-1″获得的值设置为偏移量S，并且通过使整个目标全景图像相对于全景图像PV(0)在x方向上位移位移量S而执行差异调整。

例如，假定参考带形区域V(0)，带形区域V(1)、带形区域V(2)和带形区域V(3)的偏移量分别是2H、4H和6H。在这种情况下，差异控制部26分别将全景图像PV(1)至PV(3)的各自的位移量S设置为S＝-2H、S＝-4H和S＝-6H，并且使全景图像PV(1)至PV(3)在x方向上位移这些相应的位移量。

通过以这种方式使用偏移量执行全景图像的差异调整，也可获得具有更适当的差异的全景图像，并且可显示提供更自然的立体感的多视点图像。

应注意，虽然关于位移量被设置为与偏移量相同的示例进行了描述，但是通过稍微增加或减小偏移量而获得的值也可被用作位移量。

另外，虽然上面描述了全景图像具有比捕获图像更宽的视场，但是全景图像不一定是具有较宽视场的图像，而可以是例如具有与捕获图像的视场相同的视场的图像。

应注意，上述的系列处理可以由硬件来执行，或由软件来执行。如果要由软件来执行系列处理，则构成软件的程序从程序记录介质被安装到嵌入专用硬件中的计算机中，或者安装到例如通用个人计算机中，通用个人计算机能够在安装有各种程序时执行各种功能。

图15是示出了利用程序执行上述系列处理的计算机的硬件配置的示例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203经由总线204相互连接。

总线204还与输入/输出接口205相连。输入/输出接口205与由键盘、鼠标、麦克风等构成的输入部206、由显示器、扬声器等构成的输出部207、由硬盘、非易失性存储器等构成的记录部208、由网络接口等构成的通信部209、以及用于驱动诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质211的驱动器210相连。

在如上所述配置的计算机中，当例如CPU 201将记录在记录部208中的程序经由输入/输出接口205和总线204载入RAM 203中并且执行程序时，执行上述系列处理。

由计算机(CPU 201)执行的程序通过记录在可拆卸介质211上或者经由有线或无线传输介质(诸如局域网、因特网、或数字卫星广播)来提供，其中，可拆卸介质211是由例如磁盘(包括软盘)、光盘(诸如CD-ROM(致密盘-只读存储器)或DVD(数字通用盘))、磁光盘、或半导体存储器等构成的封装介质。

然后，可通过将可拆卸介质211插入到驱动器210中而将程序经由输入/输出接口205安装在记录部208中。此外，程序可由通信部209经由有线或无线传输介质来接收并且被安装在记录部208中。替选地，可将程序预先安装在ROM 202或记录部208中。

应注意，由计算机执行的程序可以是按照本说明书中所述的顺序以时间序列方式执行处理的程序，或者可以是在诸如调用时的必要定时或者并行地执行处理的程序。

应注意，本发明的实施例并不限于上述实施例，并且可在不背离本发明的范围的情况下进行各种修改。

附图标记列表

11成像设备

12显示部

21成像部

22运动计算部

23带形区域确定部

24合成区域确定部

25-1至25-N，25全景图像生成部

26差异控制部

27显示选择部

28显示部

51带形区域确定部

52显示选择部

Claims (11)

1.一种图像处理设备，其基于通过在移动成像装置的同时利用所述成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，所述图像处理设备包括：

带形区域确定装置，用于基于指示所述多视点图像的观看环境的信息，针对每个所述合成图像来确定每个所述捕获图像中的带形区域，其中从所述带形区域提取用于每个所述合成图像的生成的图像；

合成图像生成装置，用于通过从所述捕获图像提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

多视点图像生成装置，用于通过使用所述合成图像来生成所述多视点图像，其中，立体地显示其差异随用户的视点位置变化的对象。

2.根据权利要求1所述的图像处理设备，其中，所述带形区域确定装置确定所述带形区域的各自的位置，使得每个所述捕获图像中的所述带形区域具有由用于所述多视点图像的显示目的地的屏幕尺寸确定的位置关系，所述显示目的地由指示所述观看环境的信息来指示。

3.根据权利要求2所述的图像处理设备，其中，所述带形区域确定装置确定所述带形区域的所述位置，使得在每个所述捕获图像中，对于位于更接近每个所述捕获图像的边缘的所述带形区域，彼此相邻的所述带形区域之间的距离变得较短。

4.一种用于图像处理设备的图像处理方法，所述图像处理设备基于通过在移动成像装置的同时利用所述成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，所述图像处理设备包括：

带形区域确定装置，用于基于指示所述多视点图像的观看环境的信息，针对每个所述合成图像来确定每个所述捕获图像中的带形区域，其中从所述带形区域提取用于每个所述合成图像的生成的图像；

合成图像生成装置，用于通过从所述捕获图像提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

多视点图像生成装置，用于通过使用所述合成图像来生成所述多视点图像，其中，立体地显示其差异随用户的视点位置变化的对象，所述图像处理方法包括步骤：

所述带形区域确定装置基于指示所述观看环境的信息来确定所述带形区域；

所述合成图像生成装置通过提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

所述多视点图像生成装置通过使用所述合成图像来生成所述多视点图像。

5.一种用于使得计算机执行处理的程序，所述计算机控制图像处理设备，所述图像处理设备基于通过在移动成像装置的同时利用所述成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，所述处理包括步骤：

基于指示所述多视点图像的观看环境的信息，针对每个所述合成图像来确定每个所述捕获图像中的带形区域，其中从所述带形区域提取用于每个所述合成图像的生成的图像；

通过从所述捕获图像提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

通过使用所述合成图像来生成所述多视点图像，其中，立体地显示其差异随用户的视点位置变化的对象。

6.一种图像处理设备，其基于通过在移动成像装置的同时利用所述成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，所述图像处理设备包括：

带形区域确定装置，用于针对每个所述合成图像来确定每个所述捕获图像中的带形区域，其中从所述带形区域提取用于每个所述合成图像的生成的图像；

合成图像生成装置，用于通过从所述捕获图像提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

多视点图像生成装置，用于基于指示所述多视点图像的观看环境的信息选择若干个所述合成图像，并且通过使用所选择的合成图像来生成所述多视点图像，其中立体地显示其差异随用户的视点位置变化的对象。

7.根据权利要求6所述的图像处理设备，其中，所述多视点图像生成装置通过选择从所述带形区域中的所述图像生成的所述合成图像来生成所述多视点图像，所述带形区域具有由用于所述多视点图像的显示目的地的屏幕尺寸确定的位置关系，所述显示目的地由指示所述观看环境的信息来指示。

8.根据权利要求7所述的图像处理设备，其中，当所述观看环境改变时，所述多视点图像生成装置基于指示改变的观看环境的信息来重新生成所述多视点图像。

9.根据权利要求8所述的图像处理设备，其中，当使得作为所述观看环境的所述多视点图像的显示放大率改变时，所述多视点图像生成装置根据所述显示放大率的改变来改变由所述屏幕尺寸确定的所述位置关系。

10.一种用于图像处理设备的图像处理方法，所述图像处理设备基于通过在移动成像装置的同时利用所述成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，所述图像处理设备包括：

带形区域确定装置，用于针对每个所述合成图像来确定每个所述捕获图像中的带形区域，其中从所述带形区域提取用于每个所述合成图像的生成的图像；

合成图像生成装置，用于通过从所述捕获图像提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

多视点图像生成装置，用于基于指示所述多视点图像的观看环境的信息选择若干个所述合成图像，并且通过使用所选择的合成图像来生成所述多视点图像，其中立体地显示其差异随用户的视点位置变化的对象，所述图像处理方法包括步骤：

所述带形区域确定装置确定每个所述捕获图像中的所述带形区域；

所述合成图像生成装置通过提取所述带形区域中的所述图像并合成所述图像，生成每个所述合成图像；以及

所述多视点图像生成装置基于指示所述观看环境的信息，通过使用所述合成图像来生成所述多视点图像。

11.一种用于使得计算机执行处理的程序，所述计算机控制图像处理设备，所述图像处理设备基于通过在移动成像装置的同时利用所述成像装置进行捕获而获得的多个捕获图像，生成用于多视点图像的生成、且相对于彼此具有差异的多个合成图像，所述处理包括步骤：

针对每个所述合成图像来确定每个所述捕获图像中的带形区域，其中从所述带形区域提取用于每个所述合成图像的生成的图像；

通过从所述捕获图像提取所述带形区域中的所述图像并合成所述图像来生成每个所述合成图像；以及

基于指示所述多视点图像的观看环境的信息选择若干个所述合成图像，并且通过使用所选择的合成图像来生成所述多视点图像，其中立体地显示其差异随用户的视点位置变化的对象。

Images