CN102473321A - 图像处理设备和方法以及程序 - Google Patents

Abstract

公开了一种用于处理具有已知视点的源图像的设备。该设备可包括视点确定部分，用于相对于该已知视点确定观看者的左眼视点和右眼视点。此外，该设备可包括视差图像生成部分。该视差生成部分可用于基于所确定的左眼视点选择源图像的至少之一作为原始左眼数据。另外，该视差生成部分可基于所确定的右眼视点选择源图像的至少之一作为原始右眼数据。该视差生成部分还可用于基于该原始左眼数据输出左眼图像数据。另外，该视差生成部分可用于基于该右眼原始数据输出右眼图像数据。

Description

图像处理设备和方法以及程序

技术领域

本发明涉及图像处理设备和方法以及程序，具体涉及可以更容易地获得从多个不同的视角位置观看的对象的立体图像的图像处理设备和方法以及程序。

背景技术

相关技术中，已知利用通过从不同视点(viewpoint)拍摄同一对象而获得的一对图像来立体显示该对象的技术(例如，见PTL1)。

例如，在典型相机的情况下，在相机的光轴基本上与地面水平的状态下拍摄对象，并且将获得的图像投影在与地面垂直的屏幕上。在这种情况下，可认为观看所显示的图像的用户的视角位置位于与显示图像的屏幕基本垂直的直线上。

因此，当要利用这种显示系统立体显示图像时，用户双眼的不一致/视差表现为图像的左右偏移。即，利用在这样的方向上具有视差的一对图像来立体显示对象：该方向与用户的视线(sight line)方向垂直，并且用户的左眼和右眼沿该方向布置。

引用的专利文献

PTL1：日本未审专利申请，公开号2010-8575。

发明内容

技术问题

另一方面，如图1所示，在相机11在其光轴处于垂直于地面的方向上的状态下拍摄对象，并且将所获取的图像投影到与地面平行的屏幕上的显示系统的情况下，关于平行于地面的屏幕的垂直轴方向的旋转角度保留为一个自由度。应注意，在图1中，相互正交的右斜线方向、左斜线方向和竖直方向分别表示x方向、y方向和z方向。

在图1的示例中，以这样的状态由相机11拍摄对象H11：相机11的光轴平行于z方向，即，从该图的上方。对象H11的图像被显示在平行于xy平面的屏幕上。

因此，这种显示系统允许用户以z轴为旋转轴从各个方向观察该屏幕，这使得难以立体显示对象H11。

在利用以狭缝光栅方案或柱状透镜(lenticular)方案为代表的裸眼显示方案作为显示立体图像的方法的情况下，通过对设置在该图像显示装置中的狭缝或柱状透镜的布置方向来物理地限制视差的方向。例如，如果狭缝或柱状透镜被布置在图中的x方向上，则利用在x方向上具有视差的一对图像来立体显示对象H11。因此，除非用户以视线方向变为平行于y方向的方式来观看屏幕，否则不以立体方式观察到对象H11。

应当注意的是，在通过液晶快门方案立体显示图像的情况下，与肉眼显示方案的情况不同的是，没有对视差方向的物理限制。因而，原理上，无论用户从哪个方向观看屏幕，都可立体显示对象H11。

然而，在通过液晶快门方案显示立体图像的情况下，需要在垂直于用户视线方向的方向上具有视差的一对图像。例如，如果用户的视线方向平行于x方向，为了图像的立体显示，需要在y方向上具有视差的一对图像，而如果用户的视线方向平行于y方向，则需要在x方向上具有视差的一对图像。

这样，在液晶快门方案中，如果利用在垂直于用户视线方向的方向上具有视差的一对图像，则无论用户的视线方向如何，都可以立体显示对象H11。但是，通常，假设用户的视线方向对于例如要立体显示的内容的图像来说没有变化。因此，只准备了在某个特定方向上具有视差的一对图像，因而无法处理用户视线方向的变化。

考虑到上述情况而作出本发明公开的实施例，并且使得可以更容易地获得从多个不同视角位置观看的对象的立体图像。

问题解决方案

公开了一种用于处理具有已知视点的源图像的设备。该设备可以包括，视点确定部分，用于相对于该已知视点确定观察者的左眼视点和右眼视点。另外，该设备可包括视差图像生成部分。视差生成部分可以基于所确定的左眼视点选择源图像中的至少之一的数据作为原始左眼数据。此外，视差生成部分可以基于所确定的右眼视点选择源图像中的至少之一的数据作为原始右眼数据。视差生成部分还可以用于基于该原始左眼数据输出左眼图像数据。另外，视差生成部分可以用于基于该原始右眼数据输出右眼图像数据。

还公开了一种处理具有已知视点的源图像的方法。处理器可以执行程序以使得某个设备执行该方法。该程序可以被存储在计算机可读介质中。该方法可以包括：相对于该已知视点确定观察者的左眼视点和右眼视点。该方法还可以包括：基于所确定的左眼视点，选择源图像中的至少之一的数据作为原始左眼数据。此外，该方法可以包括：基于所确定的右眼视点，选择源图像中的至少之一的数据作为原始右眼数据。该方法还可以包括：基于该原始左眼数据，输出左眼图像数据。另外，该方法可以包括：基于该原始右眼数据，输出右眼图像数据。

发明的有益效果

根据公开的实施例的一个方面，可以更容易地获得从多个不同视点位置观看的对象的立体图像。

附图说明

[图1]图1是说明根据相关技术的立体图像的成像系统和显示系统之间关系的图。

[图2]图2是说明与本发明实施例一致的图像处理设备的立体图像显示的图。

[图3]图3是说明源图像的图。

[图4]图4是示出与本发明实施例一致的图像处理设备的配置示例的图。

[图5]图5是说明立体显示过程的流程图。

[图6]图6是说明视差图像的显示视点的图。

[图7]图7是说明视差图像的生成的图。

[图8]图8是示出图像处理设备的另一配置示例的图。

[图9]图9是说明立体显示过程的流程图。

[图10]图10是说明记录源图像的生成的图。

[图11]图11是说明视差图像的生成的图。

[图12]图12是说明立体显示过程的流程图。

[图13]图13是说明视差图像的生成的图。

[图14]图14是示出图像处理设备的另一配置示例的图。

[图15]图15是说明立体显示过程的流程图。

[图16]图16是示出图像处理设备的另一配置示例的图。

[图17]图17是说明立体显示过程的流程图。

[图18]图18是说明立体显示过程的流程图。

[图19]图19是示出计算机的配置示例的框图。

具体实施方式

下面将参照附图对本发明的实施例进行说明。

<第一实施例>

本发明的概述

例如，如图2所示，与本发明实施例一致的图像处理设备在显示屏幕与地面水平的显示部分41上以立体的方式显示对象。应注意，在图2中，纵向、横向和深度方向分别表示y方向、x方向和z方向。

例如，通过液晶快门方案，图像处理设备通过在平行于xy平面的屏幕上交替显示相对于彼此具有视差的视差图像来显示立体图像。即，立体显示视差图像上的对象。此时，图像处理设备检测正在观看所显示的立体图像的用户在xy平面上的位置，并根据该位置确定用户视线的方向。

应当注意，假设用户观看立体图像，从而从显示部分41的边缘附近基本上在z方向上俯视显示部分41。此外，假设用户的视线方向为平行于xy平面的方向。

在确定了用户的视线方向时，基于该视线方向，图像处理设备控制立体图像的显示，从而当从用户的视点位置观看该立体图像时，以立体方式观察立体图像上的对象。

更具体地，如图3左上部所示，图像处理设备记录多个相互间具有视差的图像(也就是多个图像数据)(下文中称为源图像)，通过在xy平面上被取作视点的每个点处对特定对象进行拍摄而获得这些图像。

应注意到，在图3中，纵向和横向分别表示y方向和x方向。此外，图中，每一个矩形代表一个源图像，并且在图中，右下方的每一个圆代表一个源图像的视点。

在图3的示例中，预先准备有5(x方向)*5(y方向)，总共25个源图像。图3中，以阵列布置的源图像间的位置关系与各源图像的视点位置之间的位置关系相同。因此，这些源图像是显示有从相互不同的视点观看的同一对象的图像。

接下来，如图3的右下部所示，通过将每个源图像的视点位置取作网格点，图3的左上部所示的以阵列布置的源图像被认为是xy平面上的网格点的集合。这里，在图中右下部的每个视点附近，示出了该视点在xy坐标系中的坐标。例如，在图中，右下部的网格点集合中，位于左边缘最上面的视点附近的(1，1)表示该视点在xy坐标系中的坐标(x，y)。即，坐标(1，1)表示x坐标和y坐标都为1的视点位置。

在该图像处理设备中，在xy平面上的网格点集合被取为位于图2中显示部分41的前景侧的情况下，根据单个视点的源图像产生视差图像。即，在xyz空间中，假设显示部分41的显示屏幕的中心与每个源图像的视点之间的位置关系与源图像的对象与每个源图像视点之间的关系相同。

应当注意的是，这些源图像由光场相机等拍摄，利用这种相机，可在以阵列布置的同时拍摄多视点的图像。此外，源图像可以是静止图像，也可以是运动图像。

根据用户的视线方向和要显示的视差图像的视差d，图像处理设备确定xy平面上的一对点(以下指显示视点)，其被布置在与该视线方向垂直的方向上，并且其间距与视差d的长度相同。然后，关于每个显示视点，图像处理设备选择视点位置(即已知视点)位于该显示视点附近的多个源图像，根据所选择的源图像生成相应显示视点的视差图像，并基于所获得的视差图像对显示立体图像。

由于以这种方式获得的视差图像对在xy平面上与用户视线方向垂直的方向上具有视差d，从而用户以立体方式观察到该视差图像上的对象。

<图像处理设备的配置>

接下来，对上面描述的图像处理设备的具体实施例进行说明。图4是示出与本发明实施例一致的图像处理设备的配置示例的图。应注意在图中，用相同符号表示与图2中相对应的部分，并且适当省略其说明。

图4中的图像处理设备71包括：显示部分41、获取部分81、记录部分82、传感器83、图像处理部分84和显示控制部分85。

显示部分41被设置为显示屏幕基本上垂直于竖直方向，即，平行于地面。基于由显示控制部分85提供的视差图像，显示部分41利用液晶快门方案显示立体图像。

获取部分81从例如可移除介质或安装在图像处理设备71上的相机获得参照图3描述的源图像，并将源图像提供给记录部分82以供记录。记录部分82记录由获取部分81提供的源图像，并根据需要将这些源图像提供给图像处理部分84。更具体地，记录部分82记录各个源图像和彼此关联的源图像的视点位置。

传感器83由多个人体传感器、图像传感器等组成，其被设置在支持显示部分41或者容纳显示部分41的台面上，从而围绕显示部分41的显示屏幕。传感器83检测出现在显示部分41附近的用户(人)的位置，并将检测结果提供给图像处理部分84。

根据由传感器83提供的检测结果和记录在记录部分82中的源图像，图像处理部分84生成一对视差图像。图像处理部分84包括，视线方向确定部分101、视点位置确定部分(即，视点确定部分)102和视差图像生成部分103。

根据传感器83提供的对用户位置的检测结果，视线方向确定部分101确定用户的视线方向，并将获得的视线方向提供给视点位置确定部分102。根据预先指定的视差d和来自视线方向确定部分101的视线方向，视点位置确定部分102确定作为视差图像的视点位置的显示视点，并将这些显示视点提供给视差图像生成部分103。

基于由视点位置确定部分102提供的显示视点，视差图像生成部分103从记录部分82读取需要的源图像，并基于所读取的源图像生成视差图像。视差图像生成部分103将所生成的视差图像对提供给显示控制部分85。显示控制部分85将由视差图像生成部分103提供的该对视差图像提供给显示部分41，并使得立体显示该视差图像。

<立体显示过程的说明>

附带地，当用户操作图像处理设备71以指示立体图像的显示时，图像处理设备71响应于用户的指令执行立体显示过程，并使立体图像被显示。下文中，将参照图5中的流程图对图像处理设备71的图像处理过程进行说明。

在步骤S11中，视线方向确定部分101确定用户的视线方向。即，传感器83检测出现在显示部分41周围的用户的位置，并将检测的结果提供给视线方向确定部分101。然后，根据来自传感器83的检测结果，视线方向确定部分101确定用户的视线方向，并将该视线方向提供给视点位置确定部分102。例如，将起点为用户在平行于xy平面的平面上的位置，而终点为显示部分41的显示屏幕中心位置的矢量的方向定义为视线方向。

应当注意，在传感器83在显示部分41的周围检测到多个用户的情况下，选择其中一个用户，并确定该用户的视线方向。在图像处理设备71中，当用户视线方向改变时视差图像的视差方向也改变，为了视差图像的时间稳定性，希望一旦从多个用户中选择出一个用户，则在立体图像的播放期间持续选择该用户。

在步骤S12中，根据由视线方向确定部分101提供的用户视线方向和预先指定的视差d，视点位置确定部分102找出视差图像的一对显示视点(即，左眼视点和右眼视点)。这里，视差d例如是假设的在观察立体图像时用户双眼的间距长度，其可由用户指定或者预先定义。

例如，如图6所示，视点位置确定部分102在xy平面上以源图像的各视点(网格点)集合的中心位置(下面称为参考位置)为圆心、d/2为半径虚拟地画出圆SC11。应注意在图6中，纵向和横向分别表示y方向和x方向，每个单独的圆表示单个源图像的视点。

随着以d/2为半径画圆SC11，视点位置确定部分102随后找出由用户视线方向SD11和平行于x方向的虚拟x轴AX11构成的角θ，并找出圆SC11的处于角e的切线L11和切线L12。这些切线L11和切线L12都是平行于视线方向SD11的直线。

随着以这种方式找出切线L11和切线L12，视点位置确定部分102定义所获得的切线L11和切线L12与圆SC11间的切点作为一对显示视点。在图6的示例中，获得显示视点HS11和显示视点HS12，显示视点HS11和显示视点HS12之间的距离是要显示的视差图像之间的视差d，而连接显示视点HS11和显示视点HS12的直线与视线方向SD11正交。因此，如果立体地显示视点位置为这些显示视点HS11和显示视点HS12的一对视差图像，那么从视线方向SD11观看视差图像的用户应当能够看到以立体方式显示的视差图像上的对象。

应当注意到，显示视点HS11是被用户左眼观察的左眼视差图像的视点，而显示视点HS12是被用户右眼观察的右眼视差图像的视点。当通过液晶快门方案显示这些用于右眼和左眼的视差图像时，显示立体图像。

回到对图5中流程图的描述，在找到该对显示视点之后，视点位置确定部分102将找到的显示视点提供给视差图像生成部分103，处理过程进行到步骤S13。

在步骤S13中，基于由视点位置确定部分102提供的显示视点，视差图像生成部分103选择视点位于xy平面上的每个显示视点附近的若干源图像。

例如，在图6的示例中，视差图像生成部分103选择位于显示视点HS11附近且围绕显示视点HS11的四个视点SP11到SP14(即，位于矩形顶点处的四个视点)，选择这些视点的源图像(即，原始左眼数据)，并从记录部分82读取所选择的源图像。同样地，视差图像生成部分103选择视点位于显示视点HS12附近的四个视点(即，位于矩形顶点处的四个视点)，选择这些视点的源图像(即，原始右眼数据)，并从记录部分82读取所选择的源图像。

在步骤S14中，对于每个显示视点，通过利用在步骤S13中选择的、位于显示视点附近的视点的源图像，视差图像生成部分103生成视差图像(即，完成包括左眼图像数据或右眼图像数据的至少之一的图像数据)。

例如，如图7所示，通过对视点位于显示视点HS11附近的源图像进行合成，视差图像生成部分103生成视点为显示视点HS11的视差图像。应当注意，图7是放大显示图6中的显示视点HS11附近区域的图。图中，用相同的符号表示与图6中相应的部分，并省略对其的说明。而且，图7中，纵向和横向分别表示y方向和x方向。

首先，视差图像生成部分103通过变形(morphing)方法等对位于坐标(x′，y′)的视点SP11的源图像和位于坐标(x′，y′+1)的视点SP12的源图像进行合成，由此生成位于坐标(x′，y)处的视点G11的图像。

例如，在源图像的合成中，可通过这样的方式得出视点G11的图像中像素的像素值：根据从视点G11到视点SP11和视点SP12的距离，以一定的比例对这两个源图像中的像素的像素值进行内插。

在以这种方式生成视点G11的图像之后，通过变形方法等，视差图像生成部分103类似地对位于坐标(x′+1，y′)的视点SP13的源图像和位于坐标(x′+1，y′+1)的视点SP14的源图像进行合成，由此生成位于坐标(x′+1，y)的视点G12的图像。

此外，视差图像生成部分103通过变形方法等将视点G11的图像和视点G12的图像进行合成，由此生成位于坐标(x，y)处的显示视点HS11的视差图像。应注意，在图7的示例中，在对y方向布置的源图像进行合成之后，对在x方向布置的图像进行合成，由此生成视差图像。然而，也可以对x方向上布置的源图像执行合成，然后对y方向上布置的图像进行合成，由此生成视差图像。

返回到对图5中流程图的描述，在生成该对显示视点的视差图像之后，视差图像生成部分103将所生成的视差图像对提供给显示控制部分85，并且处理进行到步骤S15。

在步骤S15中，显示控制部分85将由视差图像生成部分103提供的视差图像对提供给显示部分41，并通过液晶快门方案使得该视差图像对被立体地显示。这样，在佩戴液晶快门的专用眼镜的情况下正在观看显示部分41的用户能够以立体方式观看该视差图像。即，立体图像被观察到。

在步骤S16中，视线方向确定部分101判断用户的视线方向是否发生了改变。例如，当根据由传感器83提供的对用户的检测结果检测到用户视线方向发生变化时，判断该视线方向发生了改变。

如果在步骤S16中判断视线方向发生了改变，则处理返回到步骤S11，并重复上述过程。即，检测用户的新视线方向，生成在垂直于该视线方向的方向上具有视差的视差图像对，并显示立体图像。

另一方面，如果在步骤S16中判断视线方向没有改变，在步骤S17中，图像处理设备71判断是否结束显示立体图像的过程。例如，当用户操作该图像处理设备71时判断结束该过程，并指示结束立体图像的显示。

如果在步骤S17中判断不结束该处理，则该处理返回到步骤S16，并重复上述过程。即，连续显示同样的立体图像，直到用户的视线方向发生改变为止。

另一方面，如果在步骤S17中判断结束该处理，则图像处理设备71使立体图像的显示结束，并且立体显示过程结束。

以上述方式，图像处理设备71检测出现在显示部分41周围的用户的视线方向，并根据该视线方向找出要显示的每个视差图像的显示视点。然后，图像处理设备71对多个不同视点的源图像中视点位于该显示视点附近的源图像进行合成，由此生成该显示视点的视差图像。

以这种方式，通过检测用户的视线方向，根据该视线方向找出视差图像的显示视点，并根据视点位于它们的显示视点附近的源图像来生成视差图像，无论用户的视点位置在哪里，都可以容易地获得视差图像，用户通过该视差图像以立体的方式观察对象。

此外，根据该图像处理设备71，能够容易地获得与任意视线方向相应的视差图像。由此，即使在观看立体图像期间用户的视线方向发生变化，随着视线方向的该变化，能够立体显示具有不同方向上的视差的视差图像。即，不管用户从显示部分41周围360度的哪个位置观看显示部分41的显示屏幕，用户都能以立体方式看到视差图像上的对象。

如上所述，根据该图像处理设备71，通过利用现有的三维图像显示装置，实现了新的能力，由此，以能够从360度的自由视点立体地观看对象的方式显示立体图像。应当注意的是，如上所述的图像处理设备71可应用到嵌入台面类型的信息显示器、用于外科手术成像的投影仪等。

特别有效的是，例如，将该图像处理设备71应用于播放系统，该系统从正上方通过光场相机拍摄正在被实施外科手术的操作部位，并以三维方式重建从各个位置观看的该操作部位以用于立体显示。在这种情况下，将由光场相机拍摄的源图像提供给图像处理设备71。在图像处理设备71中，根据这些源图像，作为视差图像生成外科手术期间的图像，并进行立体显示。

在根据相关技术的播放系统中，只有在固定基线(baseline)上的视差图像被立体显示。然而，根据图像处理设备71，能从任意方向立体显示对象，而不受特定基线的限制。由此，可以在手术期间以更加真实的感觉重现器械的运动，以及被实施外科手术的器官等的形状。此外，还可以在手术期间以外科手术操作者的视点观察图像。

应当注意的是，前面的描述针对视差d不大于源图像的视点集合(网格点)中各视点间的最大间距的情况。在这个情况下，通过将视点位于其显示视点附近的源图像内插而进行的合成，生成每个视差图像。

但是，并不限于这种情况，视差d可能大于源图像的视点集合中视点间的最大间距。在这种情况下，通过将其显示视点周围最近的四个视点的源图像内插和外插而进行的合成，生成每个视差图像。

另外，在源图像的视点间距足够窄，并且空间分辨率非常好的情况下，不是生成每个显示视点的视差图像，而是可以将视点与距显示视点最近的源图像按原样作为视差图像显示。同样在这种情况下，可获得与根据若干源图像生成每个视差图像的情况基本相同的效果，由此，允许以十分立体的方式显示对象。

<第二实施例>

<图像处理设备的配置>

另外，在上述的情况下，假设作为用户的双眼间距的视差d恒定，其遵循无论用户的视线方向如何，显示视点都位于半径为d/2的圆周上。因此，通过利用所获得的源图像，对要预先记录的源图像组的信息量进行压缩，为了记录的目的，可生成视点位于圆周上的源图像，并且只有视点位于圆周上的所生成的源图像(下文也称为记录源图像)才可以预先记录。

在这种情况下，例如，对图像处理设备71被如图8所示地配置。

在图8所示的图像处理设备71中，还在图4的图像处理设备71中设置了记录源图像生成部分131。除此之外，其配置与图4中的图像处理设备71相同。

即，在图8的图像处理设备71中，记录源图像生成部分131被设置在获取部分81和记录部分82之间。应注意，在图8中，用相同的符号表示与图4中相对应的部分，并适当省略其描述。

根据由获取部分81获取的源图像，记录源图像生成部分131生成视点位于xy平面上预定位置处的记录源图像，并将该记录源图像提供给记录部分82。应当注意的是，所生成的记录源图像被记录在记录部分82中。

<立体显示过程的说明>

接下来，参照图9的流程图，对图8中的图像处理设备71执行的立体显示过程进行说明。

在步骤S41中，基于预先指定的视差d，记录源图像生成部分131定义记录源图像的视点位置。

具体地，获取部分81获取多个源图像，并将这些源图像提供给记录源图像生成部分131。然后，例如，如图10所示，记录源图像生成部分131在xy平面上以该源图像的视点集合(网格点)的基准位置为中心，d/2为半径，虚拟地画圆SC11。

应注意，在图10中，纵向和横向分别表示y方向和x方向，位于不同于圆SC11的圆周上的位置的位置处的每一单个圆表示一个源图像的视点。此外，在图10中，用相同的符号表示与图6相对应的部分，并省略其说明。

随着在xy平面上画圆SC11，记录源图像生成部分131然后定义12个点作为记录源图像的视点VP1到VP12，这些点等分圆SC11的圆周。应当注意的是，将圆SC11等分的点(视点)的数目和位置是任意数目和位置。另外，记录源图像的视点可以不必是圆SC11的圆周的等分点。

在步骤S42中，通过利用从获取部分81提供的源图像，记录源图像生成部分131生成各视点的记录源图像，并将这些记录源图像提供给记录部分82。

例如，记录源图像生成部分131生成其相应视点为图10中的视点VP1到VP12的共计12个记录源图像。具体地，对于视点VP1、视点VP4、视点VP7和视点VP10，已经存在其视点位于该相同位置的源图像，由此，那些源图像被定义为视点VP1、视点VP4、视点VP7和视点VP10的相应记录源图像。

另外，通过对该记录源图像的视点周围的四个最近的视点执行变形方法来进行合成，生成其它视点的记录源图像的每个。即，在图10的示例中，通过对视点位于附近的源图像的内插而进行的合成，生成视点VP2、视点VP3、视点VP5、视点VP6、视点VP8、视点VP9、视点VP11和视点VP12的记录源图像的每个。

在以这种方式获得记录源图像之后，记录源图像生成部分131将所生成的记录源图像提供给记录部分82。然后，在步骤S43，记录部分82记录由记录源图像生成部分131提供的记录源图像。

以这种方式，通过生成视点位于xy平面上的以基准点为圆心、d/2为半径的圆周上的记录源图像，并预先记录该记录源图像，能够减少要预先记录的图像的数量。例如，在图10的示例中，仅需预先记录12个记录源图像，否则需预先记录25个源图像。

一旦记录了记录源图像，其后，执行步骤S44和S45的过程，并找到显示视点。由于这些过程与图5中的步骤S11和步骤S12的过程相同，省略其说明。

在步骤S46中，对于由视点位置确定部分102提供的每个显示视点，视差图像生成部分103选择视点位于该显示视点附近的记录源图像(即，原始左眼数据或原始右眼数据)。

具体地，由于找到图10中位于圆SC11上的点作为每个显示视点，选择视点VP1到VP12中邻近圆SC11上的该显示视点并且在该显示视点两侧的视点的记录源图像。例如，如果一个显示视点位于圆SC11上的视点VP1和视点VP2之间，则选择视点VP1的记录源图像和视点VP2的记录源图像。

随着对视点位于显示视点附近的记录源图像的选择，视差图像生成部分103从记录部分82读取所选择的记录源图像，而处理过程进行到步骤S47。

在步骤S47中，视差图像生成部分103找出连接该显示视点与所选择的记录源图像的视点中距离该显示视点较远的视点的直线，和连接所选择的记录源图像的视点中距离该显示视点较近的视点与该基准位置的直线的交点。针对每个显示视点找出这个交点(即，中间视点)。

在步骤S48中，视差图像生成部分103生成视点位置是针对每个显示视点找出的交点的位置的记录源图像(即，中间图像数据)。然后，在步骤S49中，视差图像生成部分103根据在步骤S48中找出的记录源图像以及距离该显示视点较远的视点的记录源图像来生成视差图像。

例如，如图11所示，考虑在以基准位置O11为圆心、d/2为半径的圆SC11上生成显示视点HS21和显示视点HS22的视差图像的情况。

应注意，在图11中，用同样的符号表示与图10中相对应的部分，而适当省略对其的说明。此外，在图11的右侧，对图中左上部的显示视点HS21附近的部分进行放大显示。

首先，当生成显示视点HS21的视差图像时，在步骤S46中，视差图像生成部分103选择与显示视点HS21邻近的视点VP11和视点VP12。然后，视差图像生成部分103在xy平面上找出连接视点VP12和基准位置O11的直线L31，其中视点VP12是视点VP11和VP12中距离显示视点HS21较近的视点。应当注意的是，直线L31也可以说是连接视点VP6和视点VP12的直线，其中，视点VP6位于圆SC11上与视点VP12相对的位置，即，视点VP6位于视点VP12的相对侧。

接下来，视差图像生成部分103找出连接视点VP11(其为邻近显示视点HS21的视点VP11和视点VP12中距显示视点HS21较远的一个)和显示视点HS21的直线L32，并找出直线L32和直线L31之间的交点IP11。寻找交点IP11的该过程是步骤S47中的过程。

此外，利用变形方法等，视差图像生成部分103对位于直线L31上的视点VP12的记录源图像和视点VP6的记录源图像进行合成，由此生成视点位置为交点IP11的记录源图像。

更具体地，视差图像生成部分103找出视点VP12到交点IP11的距离RD，并以距离RD和从视点VP12到视点VP6的距离d的比，即，比例d∶RD，对视点VP12的记录源图像和视点VP6的记录源图像进行外插。这个生成视点位置是交点IP11的记录源图像的过程是步骤S48中的过程。

此外，通过变形方法等，视差图像生成部分103对视点VP11的记录源图像和视点位置在该交点IP11的记录源图像进行合成，由此生成显示视点HS21的视差图像。

更具体地，视差图像生成部分103确定从视点VP11到显示视点HS21的距离DX11，以及从显示视点HS21到交点IP11的距离DX12。然后，视差图像生成部分103以比例DX11∶DX12对交点IP11的记录源图像和视点VP11的记录源图像进行内插，由此生成显示视点HS21的视差图像。这个生成视差图像的过程是步骤S49中的过程。

应当注意的是，显示视点HS22的视差图像也是以与显示视点HS21的视差图像相同的方式生成的。当以这种方式根据视点位于它们的显示视点附近的记录源图像生成视差图像时，可以容易地获得更接近真实图像，并且视点为找到的显示视点的视差图像。

另外，在图11的示例中，主要针对通过对距离显示视点HS21较远的视点VP11的记录源图像和在较近的视点VP12附近的交点IP11的记录源图像进行合成而生成视差图像的情况进行说明。但是，这不应作为限制性的解释。显示视点HS21的视差图像可通过对较近视点VP12的记录源图像和在较远视点VP11附近与交点IP11相应点的记录源图像进行合成而生成。

但是，应当注意到，在这种情况下，在视点VP11附近与交点IP11相应的点的位置比交点IP11距离圆SC11的距离更远。由此，由于在生成记录源图像时进行的外插而导致的图像质量的降低变得比在生成交点IP11的记录源图像时更大。由于这个原因，希望通过利用距显示视点HS21较远的视点VP11和交点IP11的记录源图像来生成显示视点HS21的视差图像。

返回到对图9流程图的说明，一旦生成了视差图像，之后，执行步骤S50到S52的过程，并且立体显示过程结束。由于这些处理与图15中的步骤S15到S17的过程相同，因此省略其说明。

以这种方式，在图像处理设备71中，根据获得的源图像生成记录源图像，并且仅预先记录该记录源图像。由此，能减少获得视差图像所需要的图像记录空间。此外，在图像处理设备71中，根据用户的视线方向寻找显示视点，并通过利用已记录的记录源图像生成该显示视点的视差图像。由此，不论用户的视点位置如何，都可容易地获得视差图像，用户利用该视差图像以立体的方式观看对象。

应当注意的是，当利用已记录在记录部分82中的记录源图像生成视差图像时，不需要生成记录源图像。因此，不执行图9中的步骤S41到步骤S43的过程。

另外，前面的说明针对在通过生成视点位于圆SC11的圆周上的记录源图像而执行的信息压缩，假设作为用户双眼的间距的视差d具有固定值。但是，视差d可以是可化。

在这种情况下，例如，通过使用图11中的视点VP12和视点VP6的记录源图像而进行的外插，视差图像生成部分103能够生成视点位于圆SC11之外的记录源图像。因此，例如，获得位于圆SC11之外的视点VP12′和视点VP6′的记录源图像。通过利用这些记录源图像，可获得位于圆SC11之外的、视差被增强的显示视点的视差图像对。

即，在这种情况下，视点位置确定部分102画圆SC11′，其直径等于已经变化的视差d′，其中心(基准位置O11)与视差d变化之前的圆SC11的中心位置相同，视点位置确定部分102确定位于圆SC11′上的每个新显示视点。通过利用记录在记录部分82中的记录源图像，视差图像生成部分103生成视点位于圆SC11′上的视点VP12′等的记录源图像，并通过利用所获得的记录源图像中视点位于新的显示视点附近的记录源图像，在视差改变之后生成每个视差图像。

同样地，通过利用对图11中的各视点VP1到VP12的记录源图像进行内插，视差图像生成部分103还能生成视点位于圆SC11的圆周之内的记录源图像。当利用通过内插而获得的记录源图像时，可以获得具视差被压缩的、显示视点位于圆SC11之内的视差图像。

在这种方式中，由于通过内插和外插能够获得任意视点的记录源图像，视差图像生成部分103能生成关于任意视线方向的具有指定的任意视差d的视差图像对。应当注意的是，由于内插通常引起比外插更少的图像劣化，在假设能从视点被以阵列布置的源图像获得最大周长的情况下生成记录源图像时，能够关于任意视差d获得具有更好图像质量的视差图像。

<第三实施例>

<立体显示过程的说明>

此外，在图11的示例中，主要针对生成视点位置为交点IP11的记录源图像，以及利用该记录源图像和视点VP11的记录源图像生成视差图像的情况的说明。在这种情况下，图像合成需要执行两次，以生成一个视差图像。结果，最终获得的视差图像的图像质量优势可能有会变坏。

因此，可利用视点位于每个显示视点附近的记录源图像，近似地生成该显示视点的视差图像。下面，参照图12的流程图，对立体显示的过程进行说明，当图8中的图像处理设备71近似地生成每个显示视点的视差图像时执行该过程。

应当注意的是，由于步骤S81到步骤S86的过程与图9中的步骤S41到步骤S46的过程相同，因此省略其说明。

在步骤S87中，视差图像生成部分103通过利用从记录部分82读取的记录源图像来生成视差图像。

例如，如图13所示，考虑生成显示视点HS21和显示视点HS22的视差图像的情况。应注意，在图13中，由相同的符号表示与图11中相对应的部分，并且省略其说明。此外，在图13的右侧，对图中左上部分中显示视点HS21附近的部分进行放大显示。

例如，假设为了生成显示视点HS21的视差图像，选择圆SC11上邻近显示视点HS21且位于显示视点HS21两侧的视点VP11和视点VP12的记录源图像。即，假设通过利用视点VP11和视点VP12的记录源图像生成视差图像。

在这种情况下，视差图像生成部分103将连接视点VP11和VP12的直线L51和经过基准位置O11的直线L52的交点位置定义为显示视点HS21′。

然后，视差图像生成部分103近似地将显示视点HS21′作为显示视点HS21，根据视点VP11和视点VP12的记录源图像生成视点位置为显示视点HS21′的视差图像，并将所获得的视差图像定义为显示视点HS21的视差图像。即，将圆SC11的从视点VP11到视点VP12的弧线视为直线，而由显示视点HS21′代替实际的显示视点HS21。

利用变形方法等对VP11的记录源图像和视点HS21′的记录源图像进行合成，生成显示视点HS21′的视差图像。

更具体地，例如，视差图像生成部分103确定由连接视点VP12与基准位置O11的直线和连接VP11与基准位置O11的直线形成的角φ，以及由连接VP12与基准位置O11的直线和直线L52形成的角θ。然后，视差图像生成部分103以角(φ-θ)与角θ的比，即比例(φ-θ)∶θ，对视点VP12的记录源图像和视点VP11的记录源图像进行内插，由此生成显示视点HS21′的视差图像。

应当注意的是，显示视点HS22的视差图像也以与显示视点HS21的视差图像相同的方式生成。当以这种方式通过对视点位于它们的显示视点附近的记录源图像进行合成而生成视差图像时，可以容易地获得更接近真实图像的并且其视点为找到的显示视点的视差图像。

返回对图12中流程图的描述，一旦生成视差图像，其后，执行步骤S88到步骤S90的过程，立体显示过程结束。由于这些过程与图9中的步骤S50到步骤S52的过程相同，省略其说明。

以这种方式，图像处理设备71根据用户的视线方向找出显示视点，并对视点位于该显示视点附近的记录源图像进行合成，由此近似地生成视点为显示视点的视差图像。由此，可以容易并快速地获得视差图像，利用该视差图像，不论用户的观察位置如何，用户以立体的方式观察对象。

<第四实施例>

<图像处理设备的配置>

应注意，在上述的实施例中，通过液晶快门方案立体显示视差图像对。因此，如果视线方向基本上平行于xy平面，不管用户从哪个方向观看显示部分41，用户都能以立体的方式观察对象。

但是，在通过狭缝光栅方案、柱状透镜方案、偏振方案等显示立体图像的情况下，对于要以立体方式观看的对象来说，在观察立体图像时，用户必须要从特定的方向(下文中称为观看方向)观看该立体图像。因此，在用户观看方向受限制的情况下，可允许用户以任意方式关于该对象指定视线方向，由此用户能够从所指定的观看方向观察对象的立体图像。

在这种情况下，例如，如图14所示地配置图像处理设备71。应注意，在图14中，以相同的符号表示与图4中相对应的部分，并适当省略其说明。

图14中的图像处理设备71包括：获取部分81、记录部分82、图像处理部分84、显示控制部分85、输入部分171和显示部分172。

例如，输入部分171由诸如拨号盘(dial)或鼠标的输入装置组成，并且在诸如输入视线方向时的情况下进行操作。即，输入部分171接受视线方向等的输入。

图像处理部分84包括：视点位置确定部分102、视差图像生成部分103和旋转处理部分181。视点位置确定部分102基于由输入部分171提供的视线方向，在xy平面上确定视差图像的显示视点，并将该显示视点提供给视差图像生成部分103。

视差图像生成部分103从记录部分82读取源图像，并利用读取的源图像生成由视点位置确定部分102提供的显示视点的视差图像。另外，视差图像生成部分103将所生成的视差图像提供给旋转处理部分181。旋转处理部分181将由视差图像生成部分103提供的视差图像以由输入部分171提供的视线方向定义的角度进行旋转，并将该视差图像提供给显示控制部分85。

显示部分172以这种方式安装：显示屏幕在垂直于竖直方向的方向上，即，在平行于xy平面的方向上。显示部分172以诸如狭缝光栅方案、柱状透镜方案或偏振方案的预定的显示方案显示由显示控制部分85提供的视差图像。

这里，如显示部分41的情况，假设显示部分172的显示屏幕的中心与xyz空间上的每个源图像的视点之间的空间位置关系和该源图像的对象与每个源图像在视点之间的位置关系相同。

应当注意的是，在用户从特定方向观察该立体图像时，只要该显示方案允许以立体方式观看立体图像上的对象，则用于在显示部分172中显示视差图像的显示方案可以是任意显示方案。另外，在下面，假设显示部分172以这样的方式显示立体图像：在用户的观看方向基本上与y方向平行时允许用户以立体方式观看立体图像上的对象。

此外，虽然下面的说明针对显示部分172的显示屏幕在平行于xy平面的方向上的情况，但是，显示部分172的显示屏幕的安装方向可以是任意方向。

<立体显示过程的说明>

接下来，参考图15的流程图，对由图14中的图像处理设备71执行的立体显示过程进行说明。应当注意的是，由于步骤S111到步骤S113中的过程与图5中步骤S12到步骤S14的过程相同，因此省略其说明。

应注意，在步骤S111中，视点位置确定部分102基于由输入部分171提供的视线方向确定一对显示视点。另外，将所生成的视差图像从视差图像生成部分103提供到旋转处理部分181。

在步骤S114中，根据由输入部分171提供的视线方向，旋转处理部分181对由视差图像生成部分103提供的视差图像进行旋转，并将该视差图像提供给显示控制部分85。

例如，假设在图6所示的示例中，通过输入部分171的操作来输入视线方向SD11，并生成显示视点HS11和显示视点HS12的视差图像。另外，假设用户的观看方向是图中从下面到上面的方向。

在这个示例中，由于用户的观看方向平行于y方向，为了使用户能够以立体方式感觉该对象，该视差图像对必须在x方向上具有视差。另一方面，由于由视线方向和x方向构成的角度是θ，从而视差图像对的视差的真实方向关于x方向倾斜角度((π/2)-θ)。

因此，图6中，旋转处理部分181对该视差图像顺时针旋转角度((π/2)-θ)，并将经旋转的视差图像对作为最终的视差图像对提供给显示控制部分85。通过以这种方式将视差图像旋转视差方向倾斜的角度量，经旋转的视差图像对在x方向上具有视差。由此，即使在用户的观看方向受限制的情况下，也可以以立体的方式显示从任意方向观看的对象的图像。

返回到图15流程图的说明，一旦将经旋转的视差图像提供给显示控制部分85，处理从步骤S114进行到步骤S115。

在步骤S115中，显示控制部分将由旋转处理部分181提供的视差图像对提供给显示部分172，并使得以柱状透镜方案等立体显示该视差图像对。由此，用肉眼观看显示部分172的用户以立体方式观看视差图像上的对象。即，显示立体图像。

在步骤S116中，视点位置确定部分102判断用户的视线方向是否已改变。例如，当从输入部分171提供了新的视线方向时，判断视线方向发生了改变。

如果在步骤S116中判断视线方向发生了改变，则处理返回到步骤S111，并重复上述过程。即，基于新输入的视线方向，生成在x方向上具有视差的视差图像，并进行立体显示。

另一方面，如果在步骤S116中判断视线方向没有发生改变，在步骤S117中，图像处理设备71判断是否结束立体图像的显示过程。如果在步骤S117中判断不结束该处理，则处理返回到步骤S116，并重复上述过程。

另一方面，如果在步骤S117中判断结束该处理，则图像处理设备71使立体图像的显示结束，并且立体显示过程结束。

以上述方式，基于输入的视线方向，图像处理设备71在进行旋转的情况下使得显示视差图像，从而该视差方向和观看方向互相正交。通过以这种方式根据输入的视线方向旋转视差图像，即使在立体图像的观看方向被限定的情况下，用户仍能够在自由改变视线方向的情况下从任意方向以立体方式观察对象。

<第五实施例>

<图像处理设备的配置>

另外，在通过柱状透镜方案等立体显示视差图像的情况下，如图8所示的图像处理设备71的情况，可通过根据源图像生成记录源图像来减少要预先记录的图像数据量。

在这种情况下，例如，如图16所示地配置图像处理设备71。应当注意的是，在图16中，用相同的符号表示与图8或图14中相对应的部分，并省略其说明。

图16中的图像处理设备71被配置为使得图8中所示的记录源图像生成部分131也被设置在图14中的图像处理设备中。即，在记录源图像生成部分131中，根据由获取部分81获取的源图像生成记录源图像，并将所生成的记录源图像记录在记录部分82中。

<立体显示过程的说明>

接下来，参照图17的流程图，对由图16中的图像处理设备71执行的立体显示过程进行说明。

应当注意的是，在步骤S141到步骤S143中，执行与图9的步骤S41到步骤S43相同的过程。即，将xy平面上以预定参考位置为中心的圆周上的点定义为记录源图像的视点位置，并根据视点位于每个视点附近的一个或者多个源图像，生成记录源图像，并记录在记录部分82中。

然后，在此之后执行步骤S144到步骤S148的过程。应当注意的是，由于这些过程与图9中步骤S45到步骤S49的过程相同，省略其详细说明。

但是，应当注意的是，在步骤S144中，根据由输入部分171提供的视线方向和所指定的视差d，视点位置确定部分102确定视差图像的显示视点。另外，通过参照图11描述的过程生成该显示视点的视差图像。将以这种方式生成的视差图像从视差图像生成部分103提供到旋转处理部分181。

在步骤S149中，基于由输入部分171提供的视线方向，旋转处理部分181对由视差图像生成部分103提供的视差图像进行旋转，并将该视差图像提供给显示控制部分85。即，在步骤S149中，执行与图15中的步骤S114相同的过程。

一旦生成了经旋转的视差图像，此后，执行步骤S150到步骤S152中的过程，并且立体显示过程结束。由于这些处理与图15中步骤S115到步骤S117的过程相同，省略其说明。

以这种方式，在用柱状透镜方案等显示视差图像的情况下，当根据源图像生成记录源图像并预先记录时，能够减少生成视差图像所需要的图像记录容量。

<第六实施例>

<立体显示过程的说明>

此外，通过执行与参照图13描述的过程相同的过程，图16中的图像处理设备71可以生成视差图像。下面，将参照图18中的流程图，对立体显示过程进行说明，在图16中的图像处理设备71近似地生成显示视点的视差图像的情况下执行该过程。

应当注意的是，由于步骤S181到步骤S184中的过程与图17中步骤S141到步骤S144中的过程相同，省略其说明。

在步骤S185中，对于由视点位置确定部分102提供的每个显示视点，视差图像生成部分103选择视点位于显示视点附近的记录源图像，并从记录部分82读取所选择的记录源图像。

例如，如图13所示，选择并读取邻近显示视点HS21且位于显示视点HS21两侧的视点VP11和视点VP12的记录源图像，以及邻近显示视点HS22且位于显示视点HS22两侧的视点VP5和视点VP6的记录源图像。

在步骤S186中，视差图像生成部分103利用所读取的记录源图像生成视差图像，并将该视差图像提供给旋转处理部分181。例如，在图13中的示例中，通过变形方法等将视点VP11和视点VP12的记录源图像合成为视差图像，并且同样地，通过变形方法等将视点VP5和视点VP6的记录源图像合成为视差图像。

然后，在此之后执行步骤S187到步骤S190中的过程，并且立体显示过程结束。由于这些过程与图17中的步骤S149到步骤S152的过程相同，省略其说明。即，根据该视线方向旋转所获得的视差图像并立体显示。

以上述的方式，通过根据所输入的视线方向来寻找显示视点，以及对视点位于显示视点附近的记录源图像进行合成，由此近似地生成视点为该显示视点的视差图像，可以容易并快速地获得视差图像，用户利用该视差图像以立体的方式观察对象。

上述一系列过程能够由硬件或者软件来执行。如果通过软件运行该一系列处理，将构成该软件的程序从程序记录介质(即，非暂时计算机可读存储介质)安装到嵌入专用硬件的计算机中，或者例如安装到当装入各种程序时能够运行各种功能的通用个人计算机等中。

图19是示出执行上述一系列过程的计算机的硬件配置示例的框图。

在该计算机中，CPU(中央处理单元)301、ROM(只读存储器)302和RAM(随机存取存储器)303经由总线304相互连接。

总线304还连接到输入/输出接口305。该输入/输出接口305连接到：由键盘、鼠标、麦克风等组成的输入部分306，由显示器、扬声器等组成的输出部分307，由硬盘、非易失存储器等组成的记录部分308，由网络接口等组成的通信部分309，以及用于驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质311的驱动器310。

在如上所述地配置的计算机中，例如，当CPU 301经由输入/输出接口305和总线304将记录在记录部分308中的程序加载到RAM 303中并执行该程序时，执行上述一系列过程。

通过记录在可移除介质311中而提供由计算机(CPU 301)执行的程序，可移除介质311是由例如磁盘(包括软盘)、光盘(例如CD-ROM(压缩盘只读存储器))或者DVD(数字通用盘)、磁光盘、半导体存储器等组成的封装介质，或者经由诸如局域网、因特网或数字卫星广播有线或无线传输介质提供该程序。

然后，通过将可移除介质311装配在驱动器310中，可经由输入/输出接口305将程序安装在记录部分308中。另外，该程序可由通信部分309经由有线或无线传输介质接收，并安装在记录部分308中。可选地，程序可预装在ROM 302或者记录部分308中。

应当注意的是，由计算机执行的程序可以是其处理以本说明书描述的顺序、按时间序列执行的程序，或者可以是其处理在需要时，诸如被调用时执行的程序。

应当注意的是，本发明实施例并不限于上述实施例，可进行各种修改而不脱离本发明的范围。

附图标记列表

41显示部分

71图像处理设备

83传感器

84图像处理部分

101视线方向确定部分

102视点位置确定部分

103视差图像生成部分

131记录源图像生成部分

181旋转处理部分

Claims (18)

1.一种处理具有已知视点的源图像的方法，包括：

相对于所述已知视点确定观看者的左眼视点和右眼视点；

基于所确定的左眼视点，选择所述源图像的至少之一的数据作为原始左眼数据；

基于所确定的右眼视点，选择所述源图像的至少之一的数据作为原始右眼数据；

基于所述原始左眼数据，输出左眼图像数据；以及

基于所述原始右眼数据，输出右眼图像数据。

2.如权利要求1所述的方法，其中，将所述左眼图像数据和所述右眼图像数据输出到显示屏幕。

3.如权利要求2所述的方法，包括：

沿平行于所述显示屏幕的平面的平面，确定所述观看者的视线方向；以及

基于所确定的视线方向，确定所述观看者的所述左眼视点和所述右眼视点。

4.如权利要求3所述的方法，包括：

检测所述观看者在平行于所述显示屏幕的平面的所述平面中的位置；以及

基于检测到的所述观看者的位置确定所述视线方向。

5.如权利要求4所述的方法，包括：基于所述显示屏幕的中心位置确定所述视线方向。

6.如权利要求3所述的方法，包括：基于代表所述观看者的眼睛之间的距离的视差，确定所述观看者的所述左眼视点和所述右眼视点。

7.如权利要求1所述的方法，其中，所述原始左眼数据和所述原始右眼数据中的每个代表所述源图像中的四个源图像。

8.如权利要求7所述的方法，其中，所述四个源图像具有位于矩形的顶点处的已知视点。

9.如权利要求8所述的方法，包括：基于位于所述矩形的顶点处的所述已知视点，对所完成的包括所述左眼图像数据或所述右眼图像数据的至少之一的图像数据进行内插。

10.如权利要求1所述的方法，其中，所述原始左眼数据不同于所述原始右眼数据。

11.如权利要求1所述的方法，其中，所述原始左眼数据和所述原始右眼数据中的每个代表所述源图像中的两个源图像。

12.如权利要求11所述的方法，其中，所述两个源图像具有位于圆上的已知视点，所述圆的直径等于所确定的左眼视点和右眼视点之间的距离。

13.如权利要求12所述的方法，包括：基于位于所述圆上的所述已知视点，对所完成的包括所述左眼图像数据或所述右眼图像数据的至少之一的图像数据进行内插。

14.如权利要求12所述的方法，其中，第三源图像具有已知视点，该已知视点位于所述圆上并且从所述两个源图像的已知视点之一垂直穿过所述圆。

15.如权利要求14所述的方法，包括：基于(i)所述两个源图像的所述已知视点之一，和(ii)所述第三源图像的所述已知视点，对代表具有中间视点的图像的中间图像数据进行外插。

16.如权利要求15所述的方法，包括：基于(i)所述两个源图像的所述已知视点中的另一个，和(ii)所述中间视点，对所完成的包括所述左眼图像数据或所述右眼图像数据中的至少之一的图像数据进行内插。

17.一种用于处理具有已知视点的源图像的设备，包括：

视点确定部分，用于相对于所述已知视点确定观看者的左眼视点和右眼视点；

视差图像生成部分，用于：

基于所确定的左眼视点，选择所述源图像的至少之一的数据作为原始左眼数据；和

基于所确定的右眼视点，选择所述源图像的至少之一的数据作为原始右眼数据；

基于所述原始左眼数据，输出左眼图像数据；和

基于所述原始右眼数据，输出右眼图像数据。

18.一种存储程序的非暂态、计算机可读存储介质，当通过处理器执行所述程序时，使设备执行处理具有已知视点的源图像的方法，所述方法包括：

相对于所述已知视点确定观看者的左眼视点和右眼视点；

基于所确定的左眼视点，选择所述源图像的至少之一的数据作为原始左眼数据；

基于所确定的右眼视点，选择所述源图像的至少之一的数据作为原始右眼数据；

基于所述原始左眼数据，输出左眼图像数据；以及

基于所述原始右眼数据，输出右眼图像数据。

Images