CN104981839B - 制作场景的图像的方法以及显示表面 - Google Patents

Abstract

一种制作场景(包括由所述方法制作的场景)的图像的方法，所述场景的图像总体上对应于由人类大脑经由人眼感知的图像，所述方法包括以任意合适顺序排列的以下步骤：捕获、记录、生成或表示包括整个视场或其中一部分的场景，其中当人类观看者从给定“视点”(VP)注视场景中的给定区域时，整个视场或其中一部分对于所述人类观看者是可见的；逐渐地向着场景的所述区域放大图像；以及逐渐地压缩场景的对应于外围视场的区域，从而产生总体上与呈现给人类感知者的场景相对应的场景的修改图像。

Description

制作场景的图像的方法以及显示表面

技术领域

本发明涉及制作与人类视觉系统感知场景的方式相对应的场景图像。

背景技术

传统图像创作技术(比如使用静止或运动相机或计算机动画的技术)一般不足以捕获和表示人类视觉体验的完整范围和性质。理由有很多，其中包括图像通常基于线性透视的几何结构，其将三维空间以对于人类观看者来讲不自然的方式投影到二维平面上。自达芬奇以来，艺术家们就已经知道当视场的外围区域被投影到二维表面上时，线性透视会产生过度的失真。结果，传统的线性透视图像趋于呈现出世界的被剪切的受限视图，所述视图通常采用矩形的形式，并由此排除了完整视场的许多内容，其中包括外围视场。这些被排除的内容包括观看者的身体的部分或与观看者接近的对象，这些内容在自然视觉中是可见的。所得到的图像通常被呈现为平的对象，即，如打印在纸上或显示在平的屏幕上一样，这与图像中的空间标记不相符并且由此减少对深度的感知。与真实生活相比，感兴趣的对象在所创建的图像中通常会看起来更小一些，这是因为线性透视中所使用的投影方法以及缺乏对感知对象尺寸的关注心理效果(其趋于放大感兴趣的对象)的考虑所导致的。此外，这种创建的图像一般不记录或表示人类视觉的增强空间视觉体验的其他特性，比如双重视觉导致的双目深度信息或“生理复视”。此外，传统成像系统不能记录人类视觉的其它特性，比如增强的边缘对比度、视场的外围和非注视部分中的对象的相对模糊性、感知空间的主观曲率、在极度外围处的视觉逐渐衰减和变暗、对象的明显尺寸与注视点相比的改变、从第一视角看到的观看者身体的图像等。本发明将这些效果组合在一起，以产生对人类视觉的综合仿真。

该概念作为表示整个人类视场的工具的一个好处是：由于场景的外围区域与实际人类视觉相比在尺寸和强调方面变小，避免了过宽的图像格式，比如由全景摄影所产生的格式。还避免了过度失真的图像，比如由鱼眼镜头(其经常会减小感兴趣的对象的尺寸)或由广角镜头(其扩展了外围区域)产生的图像。相反地，更加注意对应于中心视觉的并且最容易受到观看者关注的图像部分，使其看起来更大，从而模仿人类视觉系统感知场景的方式。

该概念的另一好处在于，其使得对应于注视点的图像区域以及关注区域与传统线性透视图像相比更具有显著性。对于诸如广告的应用来讲，这还能够使得观看者关注图像中的广告商所希望强调的区域或对象。

另一好处在于，通过应用这里所述的方法，得到的图像可以与通过传统线性透视或其他方法产生的图像相比具有更加实质的增强深度错觉，并且可在图像帧中包括更加宽的视场，而不会减少场景中感兴趣、或关注的图像的相对尺寸。

与其它“凹型”成像系统一样，由于对应于视场外围的图像区域中的信息具有更高的压缩和更低的分辨率，还有可能实现对数据存储和传输的节约。

本发明的中的方法的另一好处在于，将以可感知的准确度从第一视角呈现观看者身体的视图，从而加强使用该方法来传递第一视角的图像的有效性。

已经存在了解决以上一些问题的多种已知方案。其中包括使用广角镜头，比如鱼眼镜头，其捕获非常大的视角，但在图像的边缘处产生过度的光学失真。虽然可以通过合适的软件处理来修正这种失真，但这并不是完美的解决方案，这是因为得到的图像仍然根据线性透视来进行投影并且缺乏如上所述与真实人类视觉相关联的多种特性。

另一技术将多个图像拼接在一起，以捕获非常宽的全景视场，但其缺点在于，使用这种非常宽的图片格式会受到实际限制。此外，这种全景摄影还缺少如上所述与真实人类视觉相关联的几何结构和其它特性。

其它成像技术(比如Quicktime VR和Condition One(http：//www.conditionone.com))使得观看者能够通过在虚拟空间滚动、按照观看者的指引从多个角度观看场景来查看更宽的视场，但这些方法仍然受到上文所提及的不足的限制。

在一些形式的计算机动画(比如用于视频游戏引擎)中，已经尝试通过将来自观看者的视点的人身体的一部分包括在内，来仿真观看者的视点，但这些视图一般是根据传统线性透视呈现的，并且受限于处于所示视场中心的有限矩形观看区域。结果，它们排除了在自然视觉中常见的身体(比如鼻子或肩膀)部分。在商业成像中也已经进行了一些尝试，其中通过选择性地对图像的外部边缘进行模糊处理来对外围视场的相对模糊性进行仿真，但这些技术仍然不能弥补以上所述的所有其它不足。

一些基于镜头和基于计算机的系统在捕获宽视场的同时还以更大的尺寸或分辨率示出了感兴趣的区域，从而对人类视觉的外围和凹型区域的特定属性进行仿真。例如，凹型和广角凹型镜头系统被设计为在捕获宽视场的同时改善数据压缩以及增强图像的中心区域(例如WO2008/077132)。然而，这种系统一般依靠捕获(经由相机和镜头)场景的单视二维线性透视视图，而不产生如本发明所指出的对应于人类所看见的完整视场的几何结构的三维世界的投影。它们也不会弥补图像内的移动注视点的效果或图像内的关注地点或范围的改变。广角凹型图像通常是圆形的，而不是椭圆形的，它们不包括自然视觉的其它特性，比如复视(有意模糊化在焦点对象之前和之后的图像)、由不同深度平面的注视改变所导致的对象的明显尺寸改变、注视对象的增强边缘对比度、以及本发明中所指出的其它方法。

其他方法使用多相机布置来在聚焦于所表示的视场内的区域上的更多细节的同时捕获宽视场(例如US 2004/0061787)。来自相机的图像被拼接在一起，并被卷曲以形成广角凹型输出图像以供观看。这种系统还声称避免了由相机的弯曲阵列导致的与传统线性透视投影相关联的过度失真。它们还意欲在对应于人类中央凹的图像区域处提供更高级别的敏锐度。然而，它们不能记录或表示人类视觉的几何结构或特性，比如由于三维深度的改变、关注(而不只是注视)区域的增加的显著性、双视差异和外围模糊性等导致的图像修改。

用于增强对应于眼的中央凹区域的图像区域的其它方法包括“数字缩放”，其中被注视的图像区域相对于对应于图像的外围的区域被放大或增强(例如US 2009/0245600)。然而，这种方法依靠捕获(经由相机和镜头)二维线性透视图像，而不表示根据自然人类视觉所感知的几何结构的整个三维视场。通过这些方法得到的图像通常是矩形的，而不是椭圆，并且不表示人类视觉的附加特性，比如复视、视场中的主观曲率、局部关注的效果等。

生成凹型图像的其它方法(例如EP2362641、US7965314和GB2400259)同样基于线性透视的几何结构，并且缺乏捕获和表示人类视觉的关键特性的能力。

多个世纪以来，已知通过窥视孔或孔径观看平的图片会增强深度错觉。已经设计了屏幕观看设备，以通过使用将基本屏幕的一部分模糊化的帧覆盖平的屏幕来增强三维深度体验(参见WO 2010094269、US 6144417)。然而，帧中孔径的形状一般是矩形而不是椭圆。此外，本发明中所教导的对椭圆帧的使用是作为呈现系统的集成组件实现的，其将结合本发明中规定的图像和显示支撑使用，而不是作为将与任意其它图像一起使用的单机设备。

对三维空间进行成像的当前形式趋于依赖于线性透视的规则，这些规则基于光的行为以及用来捕获它的设备(比如镜头和感光板)的光学属性。然而，设备的这种规则不能考虑已知影响我们如何感知世界的人类视觉系统的多个特性，比如人眼的结构、使用双眼观看的后果、关注和记忆的生理效果等。本发明是根据以下认识导出的：需要一种用于制作与通过当前可用成像技术制作的图像相比更接近于人类视觉的实际体验的图像的处理。

发明内容

根据本发明的第一方面，提供了一种制作三维场景的二维图像的方法，所述场景的图像总体上对应于由人类大脑经由人眼感知的图像，所述方法包括以任何合适顺序排列的以下步骤：

捕获、记录、或生成表示三维场景的图像数据，或表示包括在整个视场或其中一部分中的三维场景，其中当人类观看者从给定“视点”(VP)注视三维场景中的给定深度区域(比如人眼的凹型视场或一些其它注视点)时，所述整个视场或其中一部分对于所述人类观看者是可见的；

处理图像数据以相对于深度区域内的注视点逐渐地压缩三维场景的对应于外围视场的深度区域，以由此产生表示三维场景的修改的二维图像的修改数据，所述修改数据总体上与呈现给人类感知者的三维场景相对应。

本发明的第二方面还包括按照任何顺序排列的以下步骤：

如果需要，适当地选择性地在图像中包括模仿自然人类视觉的附加特性，包括双重图像、增强的对比度、非矩形图像格式、选择性模糊性和外围模糊性。

根据本发明的第三方面，提供了一种制作图像的方法，其中在表面上或通过介质显示输出图像，所述表面或介质使用支撑或屏幕来增加图像中所感知的深度感觉，所述支撑或屏幕采用凸起和/或凹陷的支撑或屏幕，其中凸起或锯齿的位置与图像中所表示的注视点和关注区域重合以及所述图像的外部边缘与被表示的视场的边界重合，边界相对于显示表面的主屏幕被抬高。方便地，具有合适尺寸、形状的孔径或暗角被合适地放置在平坦或非平坦图像的前方，并且观看者能够通过所述孔径或暗角观看最终图像并从而体验更佳的深度感觉。

根据本发明的第四方面，视场图像(FoVI)的用户或观看者能够通过合适的输入或控制设备(比如计算机鼠标、触摸屏、头部跟踪或眼部跟踪系统、摇杆或游戏控制器、或深度或运动跟踪设备)修改其属性，以使得FoVI中的FP和RA对应于观看者或用户正在注视的点(图16)。此外，用户或观看者可以选择性地能够通过将FP设置到FoVI中的不同点来修改包含FoVI的表面的物理形状。在一种实施例中，用户能够将RA设置在FoVI中，以使得本文所述的图像的所有其他属性(包括明显的对象尺寸和位置、渲染分辨率、聚焦程度、重影程度等)都相对于经过更新的FP和观看者相对于图像的位置改变被修改。在本发明的另一实施例中，显示表面(在其上呈现并响应于由观看者生成的输入修改FoVI，以使得表面的对应于RA的一部分凸出(凸起)或呈锯齿(下陷))的物理形状与RA在FoVI的表面上的移动重合(图17)。

附图说明

现在参照附图仅作为示例的方式描述本发明。

图1是所表示的视觉空间的图，其在水平方向位于在180度到200度之间，在竖直方向位于130度到150度之间，并且示出了相对于视场的边界的观看位置(VP)、场景中在注视点(FP)周围的关注区域(RA)。

图2示出了叠加在已经在多种几何投影中捕获的视场数据(FOVD)上的视场地图(FoVM)的示例。图2a示出了通过鱼眼投影捕获的数据；图2b示出了通过等矩形投影捕获的数据；图2c示出了通过柱形投影捕获的数据；图2d示出了通过直线投影捕获的数据；以及图2e示出了通过vedutismo投影捕获的数据。短划线表示FoVM的边界，其与被捕获的视场的边缘重合。

图3限定了视场地图(FoVM)内注视点(FP)和关注区域(RA)的位置，由粗体圆圈标记。

图4a是视场图像(FoVI)的形状的图，所述FoVI是用来创建最终输出图像的数据空间。图4b示出了椭圆的几何构形，由粗线示出。

图5示出了通过传统线性透视方法生成的图像的一般几何结构与通过本发明生成的图像的一般几何结构的比较。图5a示意性地表示由系统基于二维线性透视产生的视觉数据的分布。图5b示意性地示出了在FP位于图像中心且RA等于图5b的中心凸起区域的尺寸的情况下由本发明生成的图像有何不同。

图6示出了在单眼线性透视投影(图6a)中以及在单眼鱼眼透视投影(图6b)中投影的实际三维场景的几何结构，以便比较使用根据本发明的方法的中央眼(cyclopean)投影如何对相同的场景进行投影(如图6c所示)。在这种情况中，RA是中心盘，FP位于所述盘的中心。

图7示出了示例FoVI坐标图，其中示出了将所描述的区域分成单元。

图8是示出了用于将根据从场景捕获的数据得到的注视点和关注区域画到根据本发明进行处理的图像上的过程的图。图8a-8e表示场景中不同注视点的变换。

图9是示出了将视场地图(FoVM)中表示的视场变换到视场图像(FoVI)中可视的最终视图的过程的图。左侧图像示出了从原始场景中捕获的数据中所指明的注视点(FP)和关注区域(RA)(由粗盘表示)以及场景中所有其它盘的相对位置。右侧图像示出了相同场景，但是根据本发明进行了变换。每个盘都被编号，从而可以看见其在最终图像中的相对尺寸和位置。图9a-9e示出了在具有多个不同的注视点的情况下相同的场景将如何显现。

图10是表示视场图像中的深度描述和双眼差别的图。图10a(1)示出了与图9相同的场景，但具有与FP在一条直线上但离VP更近的附加盘(编号为38)。图10a(2)示出了图10a(1)中看见的场景在视场图像中将如何变换。图10a(2)中的短划线表示定义了对于每个单独的眼睛可用的视场的边界的观看者的鼻子的轮廓。短划线之间的区域表示视场中可被两只眼睛同时看见的部分。图10a和10b示出了当盘38位于相对于观看者的一个位置处时发生的场景变换，而图10c和10d则示出了当盘38位于距观看者更近的位置处时发生的场景变换。L和R分别表示左右眼的视图。

图11是示出了在出现双重图像的视场的中心创建双眼视觉的区域的两只眼之间的重叠。

图12是示出了在观看者正前方的视线(图12a)和观看者正向右侧看去的视线(图12b)之间的鼻子边界(由短划线表示)的形状的改变的图。

图13通过只是说明的方式在图13a中示出了使用拼接在一起的多次线性透视拍摄捕获的场景的完整视场，这些拍摄都是从坐在前景中的人的视点进行的。注视点是台上的茶壶的中心，关注区域是整个茶壶，并且相对于观看者的场景中的关键深度测量对象是已知的。图13b示出了使用常规的单个24mm镜头拍摄并根据线性透视进行投影的相同视图。这描述了小得多的场景区域。图13c示出了相同视点，但根据通过本发明产生的集合投影呈现。注意到，该图中的茶壶与图13b中的茶壶尺寸相同，只不过可以看见茶壶周围更多的场景空间。图13d示出了相同的视点，但添加了本发明中所指出的附加效果，包括在茶壶前后的复视、茶壶周围区域的相对模糊性、茶壶与场景的其余部分相比的增强对比度以及茶壶周围的增加的边缘对比度。图13e示出了图13d中处理的相同图像，其中添加的椭圆框或暗角(vignette)表示人类视场的边界。

图14是示出了用来呈现最终图像的非平坦屏幕或基底的形状的图。在图14a中，图像中的注视点和关注区域对应于屏幕中的中心凸起的位置和尺寸，而在图14b中，屏幕的下陷与图像中的注视点和关注区域重合。图14c示出了从图像生成三维深度地图并将其形成非平坦表面的过程，其中图像被投影、打印或通过其它方式显示到所述非平坦表面上。

图15是示出了位于非平坦屏幕或最终图像之前的椭圆孔径的图，其中观看者通过该孔径看见图像。

图16是示出了在不同的注视点(FP)和不同尺寸的关注区域(RA)的情况下响应于用户输入、交互或行为对最终图像的属性进行的修改的图。

图17是示出了在两种不同的注视点(FP)和关注区域(RA)的情况下屏幕的凸起响应于用户激活输入的移动的图。

具体实施方式

图1是正常立体人类视觉可视的图形表示，这包括大约在水平方向180-200度以及竖直方向130-150度之间的视场，但通常约为水平方向180度以及竖直方向130度。

本文中将“注视点(FP)”定义为对应于位于场景的给定视点VP处的人类观察者的眼睛将注视的地方的场景内的点(图1)。RA被定义为“关注区域”，其对应于观看者在场景中参与的对象或场景区域。通常，FP通常位于RA的中心。RA的尺寸和形状可根据关注区域或对象相对于场景的总面积的大小发生改变。

对场景的捕获、记录、生成或表示可通过采用多个过程来实现，包括但不限于，深度映射、光场捕获、激光映射、对适当设计和布置的镜头和可选地使用感光板的使用(比如装备了鱼眼镜头的相机)、单个和拼接的全景图像、360度相机系统、多种相机布置、计算机生成的模型或对在VP处的观测者可视的场景区域中记录视觉数据其它设备和过程。所得到的对场景的表示(图像、图像序列、记录的光的阵列、空间坐标的阵列或它们的组合)在此被称为“视场数据”或FoVD。

FoVD包括(必要时)：a.关于场景中与VP相关的对象的深度值的信息(这些值可被人工地、光学地、机械地或电子地记录或根据FoVD中的可用信息计算)；b.FP在场景内的位置(可人工地或自动地确定)；c.视场的外边缘的位置(可被人工地、光学地、机械地或电子地记录或根据FoVD中的可用信息计算)；以及，如果FoVD是一个或多个平的图像的话，d.用来将三维空间投影到平的平面上的投影坐标系统(可被人工地、光学地、机械地或电子地记录或基于用来记录场景的系统的属性(比如镜头的光学器件)计算)。FoVD还可包含涉及观看者的物理属性(其可能会影响最终图像的外观)的信息，比如特定面部特征(比如鼻子)的尺寸和位置、或头部相对于场景的角度。

可采用单视形式或立体形式来捕获、记录、生成或表示所述场景，以创建FoVD。如果采用单视形式捕获，则场景的数据将对应于对于两只眼睛同时可用的组合视场，即在水平方向180-200度之间，在竖直方向130-150度之间。如果采用立体形式捕获，则场景的数据将包括两部分，每部分对应于对于左右眼分别可用的视场，即对于每只眼睛在水平方向140-160度之间，在竖直方向130-150度之间，并且将进行组合以形成覆盖水平方向180-200度的场景表示。

可采用静止或移动的形式来捕获、记录、生成或表示所述场景，以创建FoVD。如果采用静止的形式捕获，则其将包括静态数据集合，所述静态数据集合包含对于相对于给定注视区域的VP处的一般人类观测者可用的完整视场信息。如果采用移动的形式捕获，则其将包括图像的动画序列以及表示所述场景的数据。

下一步涉及定义重叠在FoVD上的坐标地图，其被称为“视场地图”或FoVM。FoVM用来确定在场景内的区域和对象相对于被记录的整个视场的位置。在本发明的一种实施例中，视场在水平方向被分为例如180度，在竖直方向被分为例如130度。在这种情况中，水平方向的每一度表示该轴中VP处的总视场的1/180，竖直方向的每一度表示表示该轴中总视场的1/130。在对应于FoVD最左侧的FoVM的最左侧设置等于-90的值，在对应于FoVD最右侧的FoVM的最右侧设置等于90的值，在对应于FoVD的最下边缘处的FoVM的最下边缘处设置等于-65的值，在对应于FoVD的最上边缘处的FoVM的最上边缘处设置等于65的值，从而FoVM的外周长对应于FoVD的外边缘，并因此对应于被表示的场景的视场的外边缘(图2a)。根据用来捕获场景的方法的不同，FoVM的形状也会发生变化(图2b-2e中给出了示例)。

可为在单视视图中针对一只眼捕获的FoVD、或在立体视图中分别针对两只眼捕获的FoVD、或在中央眼视图中针对两只眼的组合视图生成FoVM。此外，在必要时，FoVM包括以合适单位定义的三维坐标系统，其提供对场景中的对象与VP在深度维度(在创建FoVD时指定)中的距离的测量。

下一步涉及在FoVM上指定对应于人眼注视的场景部分或场景中的对象的FP的位置(图3)。FP在FoVM的水平-竖直轴中的位置可根据场景中的哪个区域或对象被指定为FP发生变化并可由本发明的操作者或用户定义或通过对人类观看者在真实场景中的注视点的设置进行仿真的自动过程定义。必要时，FP的位置还将具有采用合适的单位在深度维度测量的值，该值将取决于VP和FP之间的距离。RA的尺寸(FP在其中心的情况下)可从FoVM的面积的1％变化到FoVM的面积的99％。

下一步涉及创建二维数据空间，将根据本发明所定义的方法将FoVD投影到所述二维数据空间上，以产生最终图像。该数据空间被定义为“视场图像”(FoVI)。该数据空间将一般地具有横屏朝向的长宽比13：8(以该比来表示场景)并且呈椭圆形(参见图4a)。根据表示场景的需要，还可对FoVI使用其他长宽比或形状。椭圆的几何定义如下：两个直径为x的圆圈重叠，以使得交叉部分的宽度a等于x的70％。两个直径为y的圆圈(y是x的26％)被插入较大圆圈的交叉部分中并重叠，以使得它们的交叉部分的宽度是b，其中b等于y的35％。如图4b所示，根据交叉圆圈的边界处的线来形成椭圆。根据表示场景的需要，还可对FoVI使用其他长宽比或形状。

虽然每个FoVI的具体属性将根据所描述的场景和所仿真的视点发生变化，FoVI的一般几何结构将与相同场景的典型线性透视投影有所不同。为了只是说明的目的，假定涉及线性透视投影中的对象尺寸和位置的视觉数据被示意性地表示为二维棋盘图案，则对FoVI中的该数据的表示将典型地与图5中所示的方式有所不同。对应于RA场景区域(其可以具有任意形状)与RA之外的对象或区域相比将一般地占用更大比例的图像，其向着视场的边界尺寸逐渐缩小。随着场景的对象或区域接近图像的左侧和右侧，它们将在水平轴上以更大比率被压缩，并且随着它们接近图像的顶部和底部，它们将在竖直轴上以更大比率被压缩。总缩放效果还由关注跨度和对象在在场景内的相对深度调整，并且在图像的外部区域还将引入空间曲率，导致图像成椭圆形。为了进一步说明，图6示出了在单眼线性透视投影(图6a)中以及在单眼鱼眼透视投影(图6b)中投影的实际三维场景的几何结构，与使用根据本发明的方法的中央眼投影如何对相同的场景进行投影相比较(如图6c所示)。在这种情况中，RA是中心盘，FP位于所述盘的中心。注意到，图6c中，与图像的下部相比，图像的上部中的压缩量更大，这是由于图像中表示的视角导致的，其由观看者的头部相对于场景的位置给出。

如本文所述，为了实现对FoVI中的数据的期望处理，变换FoVD的过程需要多个子步骤。首先，将以合适的单位(比如度、厘米、像素或其他单位)定义的二维坐标地图重叠在FoVI上。在本发明的一种实施例中(其中创建了组合来自两只眼的视图的中央眼图像)，定义了坐标地图，其中值0位于FoVI的中心，值-0.5位于FoVI的最左侧，值0.5位于FoVI的最右侧，根据需要还可使用其他单位。坐标系统在FoVI上分布的方式将取决于所表示的视点的属性以及下列步骤中所指定的变量。为了说明，图7示出了FoVI中的坐标的示例分布。FoVI的周长对应于映射到FoVM上的视场的周长。

下一步涉及将位于FoVM内的FP和RA映射到FoVI中的相应坐标(图8)。将FoVM中指定的FP和RA的坐标映射到FoVI上的变换通过图8中的五种情况进行了示例性示出。在每种情况中，所述变换确定FP和RA在FoVI中出现时的尺寸和位置。在图8a(1)中，FoVM记录观看者正在注视视场中的何处(宽度和深度)以及关注区域有多大(通过整个视场的度数来测量)。图8a(2)示出了根据本发明在FoVI中如何表示相同的信息，其中示出了相同RA所占用的总视场的比例以及该相同RA在该视场中的位置。图8b-8e示出了基于视场中不同的注视点的相同变换。

下一步涉及根据在4.14中说明的相同原理将在FoVM中捕获的整个视场的数据映射到FoVI，但是根据它们在视场中的绝对位置并结合FP和RA通过不同的值来变换视场的不同部分。通过以下五种情况示例性地示出了所述过程。图9a(1)示出了包括等尺寸对象的阵列的场景，每个等尺寸对象在以中央眼模式(即，组合两只眼的视图)观看的半球布置中与VP等距。在每种情况中，粗盘表示RA，FP位于RA中心。图9a(2)示出了变换到FoVI的相同场景。每个盘都被编号，从而可以看见其在FoVI中的相应尺寸和位置。图9a-9e示出了FoVI基于场景中的不同FP将如何显现。

为了描述由深度导致的场景中的相对改变，执行下一步，其中使用关于场景中的深度和左右眼间的差别的数据来表示对应于具有正常双眼视觉的人看相同场景所看到的情况的图像。通过使用FP相对于VP的深度位置并且了解每只眼相对于场景的位置(记录于在记录场景时捕获的FoVD数据中的信息)，如图10所示，将FoVM中的数据变换到FoVI中。图10a(1)示出了与图9相同的场景，但具有与FP在一条直线上但离VP更近的附加盘(编号为38)。图10a(2)示出了图10a(1)中看见的场景在视场图像中将如何变换。图10a(2)中的短划线表示定义了对于每个单独的眼睛可用的视场的边界的观看者的鼻子的轮廓。短划线之间的区域表示视场中可被两只眼睛同时看见的部分。在图10a中，FP位于编号为19的盘上，该盘位于场景的后部，在盘38之后。从而，在图10a(2)中，由于双眼的差异，盘号38出现两次，一次针对左眼，一次针对右眼。注意到，在该情况中，盘38是半透明的。在图10b中，FP位于盘38(其离VP更近)上，并且再次由于双眼差别，导致盘38后的场景区域出现重影。但是，该重影主要出现在在所描述的视场的中心区域中两只眼之间的重叠区域中。盘38现在看起来是实线的。注意到，图10b(2)中偏远的盘与它们在图10a(2)中的相对物相比已经移动到更靠近中心的的地方。这表示“感知缩放”效果，该效果在注视和关注在深度方向中移动时出现于图像背景中。图10c和10d与图10a和10b表示相同的视图和变换，但盘38的位置被调整，以使得其更接近VP，从而与图10a和10b相比，图10c和10d中FP和盘38之间的差别更小。

一般地，在深度轴上位于注视区域之前或之后的场景中的对象或区域在FoVI中被渲染为重影且半透明的，以对正常人类双眼视觉中出现的生理复视的效果进行仿真。对场景中将被重影的对象或区域、或重影渲染之间的差别程度、或它们的透明度的选择将取决于将在场景内重影的区域或对象的尺度和位置以及FP相对于VP的尺度和位置。一般地，将从两个视点记录重影的对象或区域，位置差别等同于一双人眼的一般眼间距(图11)。图11(1)示出了当FP在VP的正前方时的视线。图11(2)示出了当FP在VP的右方时的视线。从而，如图12a和12b所示，由鼻子为每只眼的视场创建的边界的位置将相对于FoVI中描述的总视场发生改变。

渲染FoVI中的视觉信息，以使得对应于RA的区域与在水平-竖直轴上落到RA之外的图像区域相比具有更大的分辨率、清晰度和清楚度。对应于RA的图像区域是以最高的分辨率和清楚度表示的，并且分辨率和清楚度作为与水平-竖直轴上的注视区域的中心的距离的函数逐渐地下降，以使得使用最低的分辨率和清楚度来表示图像的外边缘处的区域。可以使用降低或减少图像的分辨率、清楚度或清晰度的任何合适的方法，比如模糊化、加扰、减少采样、或减少数据带宽。

FoVI中的视觉信息被布置为使得与RA的区域相比以更柔化的聚焦来渲染位于RA之前或之后的对象，并且位于RA之前或之后的对象在图像的在深度平面中远离RA的部分中逐渐变得更加柔化。

如果FP位于视场的外边缘，则FoVI可包括表示人脸的鼻子(或鼻嵴)、眼眉或脸颊(这些部位在将注视点向视场的外边缘移动时可被看见)的附加图像组分。这种附加组分可阻挡观看位于这些面部特征之后或更远处的对象，或者在使用两只眼离心地观看鼻子的情况中，鼻子将被渲染为半透明的。此外，FoVI可包括对位于人脸附近的其它对象的表示，比如眼镜、太阳镜、帽子、头发或当如此放置时在完整视场中将可见的其它对象。在FoVI中将使用低的聚焦清楚度来渲染这些对象，以对在正常视觉中无法针对离VP很近的对象进行调节这一事实进行仿真。

为了实现注视区域的增强显著性，FoVI产生如下效果：注视区域或对象的图像对比度与图像的其余部分相比以位于1％和100％之间的因子增加。

为了实现注视区域的增强显著性，FoVI产生如下效果：注视区域或对象的图像亮度与图像的其余部分相比以位于1％和100％之间的因子增加。

为了实现注视区域的增强显著性，FoVI产生如下效果：使注视区域或对象的外边缘周围围绕光环或光晕，以便增加注视区域或对象与图像的其余部分之间的所感知的边缘对比度。

作为图像的效果，可添加颜色，从而FoVI的最外边缘处的颜色饱和度和亮度值都减少。

可借助任何合适的工具来渲染、输出或打印结果，以获得被表示的三维场景的二维图像。可在任何合适的成像介质上呈现FoVI，比如屏幕、打印表面、绘画或蚀刻表面、从光源将图像所投影到的表面、全息图像或任何其它合适的介质。在一种实施例中，FoVI是近似椭圆形的，但是当表示场景需要时，还可以是使用其他形状。在本发明的一种实施例中，FoVI被显示在平坦屏幕或表面(比如显示器、或打印页面)上，或通过光的投影、或全息地或通过其它合适工具来进行显示。

仅作为演示，图13示出了以传统线性透视格式捕获并根据本发明的步骤进行变换的场景。

非平坦屏幕也可被用来显示通过本文所述的方法创建的FoVI，这将给观看者带来增强的深度错觉。显示表面可以是任意尺寸的或由适于显示图像的任务的任何材料制成。在本发明的又一实施例中，FoVI显示在非平坦表面上，比如屏幕、打印表面，这些屏幕或打印表面被成形为使得对应于RA的表面区域相对于平坦表面上凸或下凹，从而在表面上形成物理凸起或凹陷，并从针对想归于FoVI合适定位的观看者在FoVI中增加明显的深度感觉。在本发明的一种实施例中，图像所出现于的表面的形状如图14a所示，另一情况示于图14b。在本发明的另一实施例中，根据从其中当在表面上打印或投影时将非平坦表面的轮廓映射到FoVI中描述的轮廓的图像生成的三维深度地图形成针对所述图像的非平坦支撑(图14c)。在本发明的另一实施例中，FoVI的外周长逐渐地变暗、衰减或通过其它方式被修改，从而FoVI的外部边缘与周围空间之间的边界被柔化、渐变或隐蔽。在本发明的又一实施例中，FoVI显示在合适地制成的孔径或暗角后，所述合适地制成的孔径或暗角被设置在FoVI之前的可变距离处，从而FoVI在观看者看来被孔径部分地隐蔽，这增加了深度错觉。在一种实施例中，孔径呈近似椭圆形并且位于图15中所示的FoVI之前。

Claims (11)

1.一种制作与由人类大脑经由人眼感知的三维场景相对应的二维图像的方法，所述方法包括以任意合适顺序排列的以下步骤：

捕获、记录、生成或表示对以下内容加以指示的视场数据：

包括整个视场或其中一部分的三维场景，其中当位于相对于所述三维场景的给定视点处的人类观看者注视三维场景中的注视点时，所述整个视场或其中一部分对于所述人类观看者是可见的；以及

三维场景中的对象相对于视点的深度值信息；

根据所述视场数据，定义视场的边界并生成视场地图，视场地图用来确定在三维场景内的区域和对象相对于被记录的整个视场的位置；

在视场地图内指定与人类观看者在三维场景中所注视的地方相对应的注视点的位置；以及

在二维图像空间上投影视场数据，以生成二维图像，

其中所述在二维图像空间上投影视场数据，以生成二维图像包括：

在二维图像中确定视场地图中所表示的关注区域的尺寸和位置，所述关注区域对应于人类观看者正在关注的对象或场景的区域，所述注视点被包括在关注区域的中心；以及

沿从关注区域朝向视场的边界的方向，逐渐地缩小关注区域外部的对象或场景区域的尺寸，其中根据深度值信息来调整总缩放效果，由此产生与由人类大脑经由人眼感知的三维场景相对应的二维图像。

2.根据权利要求1所述的方法，还包括：

提供与面部特征的尺寸相关的信息以及与面部特征相对于三维场景的位置相关的信息。

3.根据权利要求1或2所述的方法，还包括：通过由所述二维图像的观看者应用的合适的输入或跟踪系统实时地修改所述二维图像的可修改属性，所述可修改属性包括注视点的位置、关注区域的尺寸、视场的跨度、清晰程度、焦点、重影、对比度、屏幕或支撑的形状以及凸起和/或锯齿在屏幕或支撑上的位置。

4.一种创建地图的方法，所述地图具有与被表示的视场的尺寸和形状等同的边界，在所述地图内定义了应用根据权利要求1或2所述方法的步骤所需的坐标集。

5.根据权利要求4所述的方法，包括：将从三维场景记录的信息转译、映射、投影、或绘制到二维图像空间。

6.根据权利要求5所述的方法，其中所述二维图像是椭圆形。

7.根据权利要求6所述的方法，其中所述二维图像是横向朝向并且具有13∶8的长宽比。

8.根据权利要求4-7之一所述的方法，其中在表面上或通过介质显示二维图像，所述介质通过使用非平坦支撑或屏幕来增加二维图像中所感知的深度感觉，所述非平坦支撑或屏幕采用凸起和/或锯齿支撑或屏幕的形式，其中凸起或锯齿的位置与二维图像中所表示的注视点和关注区域重合，以及所述二维图像的外部边缘与被表示的视场的边界重合。

9.根据权利要求8所述的方法，还包括将合适尺寸、形状的孔径或暗角放置在平坦或非平坦二维图像的前方，并且通过所述孔径或暗角观看所述二维图像并从而体验更佳的深度感觉。

10.一种用于显示由根据权利要求1所述的方法获得的二维图像的显示表面，所述表面总体上平坦，并包括与显示表面的意在观看者的注视点相对应的凸起或凹陷部分和与观看者的外围视场相对应的抬高边缘，能够响应于由观看者进行的改变来调整所述凸起或凹陷部分和所述抬高边缘。

11.根据权利要求10所述的显示表面，所述显示表面具有椭圆形式，其中椭圆的几何定义如下：

两个直径为x的圆交叠，以使得交叉部分的宽度a等于x的70％；两个直径为y的圆被插入所述两个直径为x的圆的交叉部分中并交叠，以使得所述两个直径为y的圆的交叉部分的宽度是b，其中y是x的26％，b是y的35％，根据交叉的圆的边界处的线来形成椭圆。