CN107079145B - 用于收集产生沉浸式视频的图像数据的方法和用于基于图像数据观看空间的方法 - Google Patents

Abstract

一种用于收集旨在产生沉浸式视频的图像数据的方法包括确定视角区并设置位于所述视角区末端处的一组源点，以及在所述源点中的每一个放置第一组扫描器中的一个扫描器以用于通过扫描光束逐步扫描空间，接着依次扫描由所述视角区预定的范围内的方位角和仰角，并基于反射扫描光束来确定图像数据，所述图像数据由被光束接触的点与产生所讨论的扫描光束的扫描器之间的距离和所述接触点的颜色参数形成，并将它们存储在存储器中。

Description

用于收集产生沉浸式视频的图像数据的方法和用于基于图像 数据观看空间的方法

本发明涉及一种用于收集旨在产生沉浸式视频的图像数据的方法，该方法包括设置至少n(n>1)个扫描器的第一扫描器组，每个扫描器被提供用于产生扫描光束，该方法还包括通过所述第一扫描器组的每个扫描器通过扫描光束来扫描预定空间以用于产生所述空间的图像数据，其中图像数据被存储在存储器中。它还涉及此图像数据的可视化方法。

这种方法从美国专利申请2013/0083173中已知。这种方法也被用于视频游戏以创建风景。为了使沉浸式视频能够产生可视化的图像，首先必须收集图像数据。这是通过扫描器组来实现的，扫描器组扫描形成发生沉浸式视频的场景的预定空间。如此收集的图像数据被存储在存储器中。US2008/0316301也描述了这种方法。

当视频游戏的用户希望在视频游戏的三维场景中移动自己时，他通常将使用执行视频游戏的键盘和计算机鼠标。然后，视频游戏将从虚拟人的新视角开始实时计算3D场景的渲染，并将此渲染显示在计算机屏幕上。这使用户能够在视频游戏的虚拟世界中移动自己，并与此世界进行交互。

这些简单的交互已经使一些用户在游戏的几分钟内感觉到自己存在于视频游戏的虚拟人物的皮肤中。虚拟沉浸感觉包括向用户提供在物理上真正处于虚拟3D场景内的印象。这种感觉在通过用户的感官所感受到的以及如果用户真处于虚拟3D场景的物理等效环境中(换言之在现实世界中)所感受到的之间的适当性方面在某种程度上是强烈的。向用户眼睛呈现与他头部的旋转移动一致的图像的系统通常被称为虚拟现实系统。

最常用于获得虚拟现实系统的技术是虚拟现实头戴式套件。用户将头戴式套件戴在他的头上，并且头戴式套件被连接到计算机。通过屏幕和被放置在用户眼睛之前的透镜组，头戴式套件向每只眼睛呈现由计算机实时计算的合成图像。头戴式套件还包括能够测量用户头部的定向的传感器。原理如下：用户转动他的头部，虚拟现实头戴式套件捕捉此头部移动，并将关于用户的新的头部定向的信息发送给计算机，计算机产生虚拟3D场景的立体渲染，其中两个虚拟相机的定向对应于用户眼睛的新定向，由计算机实时渲染的图像被显示在用户眼前。

不同的因素将在视觉水平上影响虚拟沉浸的质量。主要因素是用户的头部移动(由他的内耳测量)与他的视野之间的适当性。在现实世界中人类习惯于这两种感觉之间的完美适当性。根据眼睛所看到的图像和用户内耳所感觉到的移动之间的不一致范围，后者将会感觉到轻微不适的感觉、视觉疲劳、头痛、不适感以及甚至可导致呕吐的反胃。这些影响被称为虚拟现实不适或“网络不适”，并与晕船不适相类似。

已知的沉浸式视频是覆盖用户周围360度的视野的单视的或立体的预录或预计算的电影。这些已知的沉浸式视频可通过虚拟现实头戴式套件而被可视化。虚拟现实头戴式套件测量用户的头部定向，并使计算机能够向头戴式套件显示器传送与此定向对应的右眼图像和左眼图像。

对于已知的沉浸式视频如普通视频，图像是预录的或预计算的，因此它们不是实时计算的。因此，代替例如实时计算图像的1/60秒，这可在超过一小时内计算出来。这使得能够具有比虚拟现实的图像质量好得多的图像质量。

当用户用他的头部执行平移运动时，他的视野将被移位。在这种移位期间，靠近用户的物体的图像将比更远离用户的物体的图像移动得更快。当一个人在移动的火车内通过窗户看时，此效果被清楚地观察到：此人看到近处的栅栏移动得很快，而远处的山看起来好像保持静止。这种效果被称为视差。

已知的沉浸式视频的问题在于它们不考虑用户头部的平移移动，并因此它们不能提供交互式视差。此限制大大限制了已知沉浸式视频的沉浸式质量。事实上，用户的脑部希望在他的头部移动时看到视差，但这没有被感知到。这种缺点降低了用户的视觉舒适度和沉浸式感受，并大大增加了“网络不适”的风险。

本发明的一个目的是实现一种用于收集旨在产生沉浸式视频的图像数据的方法，其能够考虑用户头部的这些移动，特别是平移移动。

为此目的，一种用于收集旨在产生沉浸式视频的图像数据的方法的特征在于，视角区通过界定的体积被确定，通过该视角区沉浸式视频的用户将能够看到所述空间并在视角区内执行头部移动(特别是平移移动)，所述视角区具有与所述用户在休息位置时自然具有的所述头部的移动的纬度相对应的尺寸，此后确定位于视角区末端的第二组m(m>1)个源点，其中对所述第一组至少n 个扫描器的设置通过每次在所述源点中的每一个放置所述第一组的所述扫描器中的一个来实现，对所述空间的所述扫描是通过放置在所述源点处的所述扫描器来完成的，以及连续地一方面根据方位角，并在另一方面根据各位于由所述视角区预定的范围内的仰角逐步扫描所述空间，其中图像数据的生成是通过针对每个产生的扫描光束收集每次被接触点反射的扫描光束来执行的，所述接触点位于所述空间内并被有关的扫描光束接触并基于所述反射的扫描光束，通过每个步骤确定在所述接触点和已经产生该有关的扫描光束的所述扫描器之间的距离以及所述接触点的颜色参数，以根据方位角和仰角构造的矩阵形式在存储器中存储所述数据。

通过确定界定体积的视角区(沉浸式视频的用户将能够从该视角区看到所述空间并在该视角区内用他的头部执行移动)，确定扫描器将被放置的源点并从而从这些源点扫描该空间变得可能。这将然后使得能够从该视角区收集图像数据，并从而考虑用户头部的移动(特别是平移移动)，并在头戴式套件内部提供具有交互式视差效果的视图。通过与可视为被动的视差相反的视差来说明交互式视差，这将与由沉浸式视频的导演执行的视角在沉浸式视频中的位移相关联。

虚拟现实系统能够具有这种交互式视差，但是它们因此能可实时地计算呈现给用户眼睛的图像。实时计算大大降低了图像质量。

根据本发明的一种用于创建具有交互式视差的沉浸式视频的方法使用预计算的合成图像或现实拍摄，从而提供与实时虚拟现实相比更好的图像质量。在沉浸式视频内包含交互式视差使用户能够感受到非常好的沉浸式感觉，并显著降低了网络不适的风险。

视角区能够限制为了再现被扫描的空间必须存储的信息的数量。信息的这种限制使得能够具有可被管理的一定数量的信息和数据。视角区的配置、尺寸和形状预确定了用于扫描空间的扫描器的数量和设置。

根据本发明的方法的第一优选实施例的特征在于，视角区由具有至少30cm 的高度、至少30cm的深度、以及至少30厘米的宽度的基本上矩形体(特别是长方体)形成的。这使得能够覆盖在用户的头部的平移移动和/或旋转期间可到达的位置(在用户将其剩余身体保持在固定位置的情况下)。

根据本发明的方法的第二优选实施例的特征在于，通过针对扫描器所接触的每个点确定该点是否可被所述n个扫描器中的至少另一个扫描器发射的光束达到来过滤经存储的数据，并在所述n个扫描器中的至少另一个扫描器发射的光束可到达所考虑的接触点的情况下，基于预定的选择标准来确定是否必须从经存储的数据中消除所考虑的接触点的经存储的数据。此过滤步骤使得能过滤和仅保存提供有用信息的点。这使得能够降低用于产生具有交互式视差的沉浸式视频的存储数据量。

根据本发明的方法的第三优选实施例的特征在于，选择标准是基于在根据方位角的两个连续扫描步骤以及根据仰角的两个连续扫描步骤之间由产生了所考虑的接触点的扫描器和其它n个扫描器中能够达到所考虑的接触点的单个或多个扫描器扫描的表面的面积。

优选地，根据本发明的方法的特征在于，所使用的扫描器是虚拟扫描器或物理扫描器。场景可因此通过虚拟扫描器或物理扫描器产生，物理扫描器的使用方式与导演用他的相机记录他电影的场景一样。

根据本发明的方法的另一个优选实施例，视角区在所述空间内从第一位置朝着位于第一位置的预定距离处的第二位置的移位，由所述第一扫描器组的每个扫描器的扫描以及所述空间的图像数据的产生和存储对于针对所述第一位置实现的那一个之后的所述视角区的每个第二位置重复。因此，将系统视为在可视化时间围绕用户创建虚拟3D场景以用于沉浸式视频的每个时间段是可能的。这些短暂的 3D虚拟场景中的每一个都被限制在用户可从他的视角区所看到的内容。这些场景的方面的演变对应于视频中的物体和/或人的移动，并对应于由电影导演所控制的视角区的位置的位移。因此，与虚拟现实相反的是在实时渲染的时刻，在用户移动时相机在3D场景中移动。根据本发明，当视角区在创建具有交互式视差的沉浸式电影时被移动时，是移动的3D场景在用户周围改变。

根据本发明的具有交互式视差的沉浸式视频的可视化方法包括：

a)通过传感器并使用预测用户的头部移动的算法来确定用户的眼睛在视角区内的位置和定向，以确定用户将看到的内容；

b)基于用户的眼睛的位置和定向在经存储的图像数据中选择可视化该用户可看到的空间部分所必需的图像数据；

c)在临时存储器中加载所选择的图像数据；

d)基于存储在临时存储器中的图像数据生成两个图像；以及

e)向用户的眼睛呈现所产生的两个图像。

这使得能够向用户显示来自图像数据的所加载的点的密度，该密度与虚拟现实头戴式套件中显示的内容的定义相一致。

优选地，根据本发明的可视化方法的特征在于，通过虚拟现实头戴式套件来执行两个图像向用户的呈现。

优选地，根据本发明的可视化的特征在于，其被用于赋予用户移动的设备，所述赋予移动的坐标被发送到可视化系统，该可视化系统应用所述可视化方法以便使图像流与所述移动同步。这使得能够将赋予给用户的移动耦合到根据本发明的可视化。

因此，沉浸式视频可被应用于在景点公园中“骑行”。骑行的原理一般是骑坐在位子上穿行于不同的风景。这与过山车是可比较的，但是重点更多地放在参观风景上，而不是放在加速的感觉上。

现在将通过示出根据本发明的方法的优选实施例的附图来更详细地描述本发明。在附图中：

图1例示出了表示用户可在其中移动他的头部的视角区的体积；

图2a例示出了场景而图2b例示了相对于视角区扫描的场景的可见部分；

图3例示出了相对于视角区扫描的空间的精确概念；

图4a和4b例示出了在预定义的视角区中的第一组至少n个扫描器的位置；

图5a和5b例示出了每次被扫描器所发射的扫描光束扫描的在空间中被接触的点；

图6例示出了可被两个不同的扫描器到达的空间中的点的概念；

图7例示出了场景的扫描和接触点的过滤；

图8a和8b例示出了一种用于通过表观表面进行过滤的方法；

图9a至d例示出了向扫描器授予优先权的过滤方法；

图10例示出了通过空间的其它扫描光束进行采样，该空间具有位于相对于扫描器的中心点在不同距离处的物体；

图11例示出了其它接触点与从相对于扫描器移位的视角的用户察觉的最大和最小距离之间的关系概念；

图12例示出了接触点的密度与显示器的角清晰度相一致；

图13例示出了扫描和与其相关的存储的生态性表示；

图14例示出了视角区的变换的概念；

图15例示出了图像数据在存储器中的存储；以及

图16例示出了修改反射光束的概念。

在附图中，相同的附图标记已被分配给相同或类似的元件。

计算机程序可模拟完整的电影工作室的等同物，包括风景、照明以及相机。在此，我们谈论三维物体、虚拟照明以及相机，这些元素不存在于现实的物理世界中，它们仅存在于计算机中的模拟表示中。这种类型的计算机程序的一个例子是“Autodesk”公司的“Maya”软件。这些虚拟三维元素的集合(例如由物体、照明以及相机形成)被称为虚拟3D场景或更简单地被称为3D场景，或者虚拟3D空间。

一旦虚拟3D空间被放置到位，计算机可考虑到3D空间中存在的物体和照明以及虚拟相机的位置来计算与虚拟3D空间中的虚拟相机所看到的图像相对应的图像。该计算被称为3D虚拟空间渲染，并此渲染的结果图像是合成图像。

用户的两只眼睛根据两个略有不同的视角看物理现实世界，成年人类双眼的平均间隔为6.5厘米。此距离被称为眼间距离。对同一个现实场景的视角的这种小移位使得用户的脑部能够定义他周围的物体位于何距离处。立体电影包括针对用户的每只眼睛渲染相同场景的两个不同的图像，以产生深度效果。

渲染软件可考虑存在于该空间中的物体的移动及其亮度。如果要求软件在不同的时刻提供连续的渲染，则被渲染的图像将是不同的并将获得具有合成图像的电影。在传统电影的框架中，一秒的动作被分解成了二十四个固定图像，并从而为了合成图像的方式创建电影以用于电影院中的呈现，为电影中的一个动作每秒计算二十四张图像是必须的。

一种关于预计算的合成图像的说法是，首先渲染和存储电影的不同图像，并过后以与扩散介质相对应的速度进行播放(例如，传统电影为每秒二十四张图像)。每个合成图像的计算可能花费很多时间来获得良好的图像质量。在大多数情况下，渲染每个图像花费超过一个小时。因此，通常计算机在一整天(一小时的二十四倍)期间计算电影的一秒钟的等同图像(每秒二十四张图像)。

如果计算机能够以与被用于显示图像的速度相同的速度渲染每个图像，则可以说渲染被实时地计算。同样，在每秒二十四张图像的电影的示例中，为了实时渲染电影，这意味着每个图像最多在1/24秒内被计算。

虚拟沉浸感觉包括向用户提供真的物理地处于虚拟3D空间内的印象。这种感觉在用户的感官所感受到的和用户真正处于虚拟3D空间的物理等效中时所感受到的之间的匹配方面在某种程度上是强烈的。

向用户眼睛呈现与用户头部的旋转移动一致的图像的系统通常被称为虚拟现实系统。

最常用于获得虚拟现实系统的技术是虚拟现实头戴式套件。用户将头戴式套件戴在他的头上，并且头戴式套件被连接到计算机。通过显示器和被放置在用户眼睛之前的透镜组，头戴式套件向每只眼睛呈现由计算机实时计算的合成图像。头戴式套件还包括能够测量用户头部的定向的传感器。还使用能够预测用户头部移动的算法。

原理如下，当用户转动他的头部时，虚拟现实头戴式套件感知此头部移动，并向计算机发送有关用户头部的新定向的信息。计算机利用对应于用户头部的新定向的两个虚拟相机的定向，对虚拟3D场景进行立体渲染。计算机实时渲染的图像被显示在用户眼睛的前方。

应当注意，现代虚拟现实头戴式套件(诸如由“Oculus”公司所制造的头戴式套件)，不仅能够考虑到用户头部的定向，还能够考虑到他的位置。

不同的因素将在视觉水平上影响沉浸体验的质量。主要因素是用户的头部移动(由他的内耳测量)与他的视野之间的匹配。实际上，用户习惯于这两种感觉之间的完美匹配。在眼睛所看到的图像与用户内耳所感觉到的移动之间的不一致程度方面，用户将感到轻微的不适感、视觉疲劳、头痛、生病感以及可导致呕吐的反胃。这些影响被称为“虚拟现实不适”或“网络不适”，并可与晕船不适进行比较。

在空间内发生录制场景时，经典相机记录它正前方以及在两侧视野极限间发生的动作。该视野以度数表示，并提供被相机所覆盖的总视角。

在球形视频的特定情况下，相机的视野为水平360度以及垂直180度，因为相机可看见所有方向，该视野因此为全视野。

立体球形视频耦合了球形视频和立体视频的特征。因此立体球形视频涉及视频对，一个视频被提供给右眼而另一个视频用于左眼。这两个视频中的每一个都覆盖了完整的球形视野。

通过将虚拟现实头戴式套件耦合于立体球形视频，获得已知的沉浸式视频系统。虚拟现头戴式套件测量用户头部的定向并将其传送到计算机。计算机从两个立体球形视频的每一个中提取与用户头部的新定向的视野相对应的视频部分。这两段视频被显示于用户眼前。

这些已知的沉浸式视频呈现出某种沉浸式特征，例如内耳所感觉到的头部移动与到达用户眼睛的图像之间的某种匹配，以及呈现给用户的场景深度的某种感知。但是这些已知的沉浸式视频取自独特的视角，它们不能考虑到用户头部的平移移动，这相当大地降低了沉浸式感受并且尤其显著地增加了“网络不适”的几率。

在本发明之前，能够在视频中获得沉浸式感觉的两种方法如下：在一方面是虚拟现实，其可考虑到用户头部的移动(特别是平移)，并从而创建良好的沉浸式感觉，但这意味着实时计算图像，实时计算图像相当大地降低了图像质量；而在另一方面，已知的沉浸式视频不能提供良好的沉浸式感觉并导致很高的“网络不适”的风险。

本发明能够考虑到限制体积中的用户1的头部的移位，该限制体积被称为视角区(ZVP)并且如图1所例示。视角区ZVP是通过界定的体积被确定的，沉浸式视频的用户1通过该体积能够看到发生场景的空间3，并且用他的头部在该视角区内执行平移和曲线移动。在实践中，视角区ZVP的大小优选地与静止时自然地围绕用户1的位置的头部移动的纬度相对应，同时用户未移动他身体的剩余部分。在用户站直并放松而不弯着腰站立或坐下的情况下，这种静止位置优选地对应于用户1的头部的位置。移动的纬度对应于用户的头部在站姿的情况下无需迈步、或在坐姿的情况下不用站立或移动他的椅子就可通常达到的位置。视角区ZVP的精确大小及其几何形状可根据用户1预见的位置而改变。他可以坐下、躺下、或站立。

视角区例如由基本上矩形体(特别是长方体)形成，其具有至少为30厘米 (特别是50厘米)的高度、至少为30厘米(特别是1米)的深度、以及至少为30厘米(特别是1米)的宽度。视角区的这种尺寸对界定用户1的头部(以及从而其眼睛)的潜在位置而言是足够的。点R是视角区ZVP的中心点，换言之当用户处于静止位置时位于用户1的双眼之间的点。根据另一个实施例，视角区由具有基本上八面体构造的体积形成。

通过从具有平行六面体形状的视角区ZVP扫描空间，例如该平行六面体被测为深度为105cm、高度为45cm，扫描器覆盖的范围为15cm，则将总共使用 8×8×4＝256个扫描器

必须注意视角区ZVP呈现足够的大小，但不能太大。视角区的无限大小将对应于标准虚拟现实模式。与需要存储大量信息以获得与通过根据本发明的方法所获得的细节水平相当的细节水平的虚拟现实系统相比而言，此视角区ZVP 因此能够限制将被存储的图像数据的数量以便限制存储容量并使其可管理。

图2例示出了根据本发明的存在于虚拟现实的场景10中的信息与具有视差的沉浸式视频的场景10A之间的比较。用户可定位于其中的虚拟现实的场景10 是完整的。也就是说，当用户在场景10内移动时，虚拟场景的物体集被加载到该场景中。然而根据本发明，在给定时刻仅加载从视角区ZVP可能是可见的元件。在图2b中，场景10A的较粗线条示出了从视角区ZVP可能是可见的场景元素部分。因此，只有矩形的左侧是可见的，而场景圆周10a的右侧从预定的视角区ZVP是不可见的。这使得能够降低由扫描器光束所接触的点的数量，并从而能够减少用于记录接触点的信息的存储器容量的需求。

图3例示出了由扫描器发射的扫描器光束在空间中接触的点的精度的概念。仍旧在场景10的示例中，在虚拟现实中，虚拟场景中的虚拟物体的建模精度是均质的。换言之，对于虚拟场景中的所有物体11和12，模型的细节精度将是相同的。在本发明的情况下，视角区ZVP附近的物体11比远处的物体12 呈现更高的精度。因此，被扫描器光束接触并且靠近物体11的点P比远离物体12的接触点P'呈现因扫描而导致的更多的接触点。根据图3的示例，靠近物体11的接触点P呈现9个点，而远离物体12的接触点P'仅呈现三个点。因此，精度是根据视角区ZVP的位置可变的，同一物体的精度可在沉浸式电影中的某时刻非常大，而在另一时刻非常弱。就像在自然界中一样，靠近视角区ZVP 的物体呈现出良好的分辨率，而远离视角区ZVP的物体呈现较差的分辨率，因此一切都取决于物体与视角区ZVP之间的距离。

如图4a所例示的，为了收集旨在产生沉浸式视频的图像数据，根据本发明的方法包括设置第一组至少n个扫描器s₁、s₂、….s_n(n>1)，每个扫描器被提供用于产生扫描光束r₁、….r_j-1、r_j(j≥J)。扫描光束的最小数量J是根据为可视化预见的显示屏分辨率来确定的。优选的扫描步骤，换言之两个后续光束(r_j–r_j+1)之间的角度低于或等于显示器的角分辨率。为了清楚起见，仅在图中表示一个扫描器的扫描光束。第一组扫描器的每个扫描器s_i(1≤i≤n)被用于通过扫描光束扫描空间3以便产生该空间的图像数据，其中图像数据然后将被存储在存储器中。

为了设置第一组至少n个扫描器中的扫描器，确定位于视角区ZVP的端点的第二组m(m>1)个源点C1、C2、...、C7以及C8。图4a所示的数量为八的源点与视角区的矩形形状相链接，并且仅作为示例被给出并不以任何方式限制本发明的范围。对至少n个扫描器的设置通过每次在每个源点处放置第一组所述扫描器中的一个来实现。

为了以足够的清晰度扫描空间，该扫描器被放置在视角区的端点处。当然，确定视角区中的补充源点是可能的。图4b例示出了其中以网格方式提供视角区的配置。该网格优选地应用在每个面上。该网格的不同点可形成旨在在其上放置扫描器的源点C_k。视角区内具有源点也是有可能的。在视角区的端点处使用的该数量的源点是占有优势的。在视角区的表面放置补充源点可改善观看期间的感觉的质量。相反，在视角区内增加补充源点并没有太大的收益。

术语扫描器在本发明的描述中被用于一组虚拟或物理3D扫描器，其优选地在所有方向上(360度)实现扫描。

对空间的扫描是通过放置在源点C处的扫描器s_i来实现的，以及连续地一方面根据方位角，并在另一方面根据仰角逐步扫描所述空间，每个均在该视角区预确定的范围内。优选的扫描步骤具有处于0.01°和1°之间，更具体地处于0.025°和0.1°之间的角度值。图像数据的生成是通过收集每个产生的扫描光束n(1≤j≤J)来实现的，扫描光束每次被接触点P反射(见图5a和b)，接触点P位于所述空间3内并被有关的扫描光束r_l接触。基于反射的扫描光束，在接触点P和已经产生相应的扫描光束r_l的扫描器s之间的距离(d)以及所述接触点的颜色参数也在每个步骤中被确定。因此，针对每个接触点P，获取在该点P与所考虑的扫描器的点(例如中心点)之间的距离d。由于每个扫描光束的方向是已知的并且计算了距点P的距离d，所以可在扫描空间中重建点 P的三维位置。

接触点P的颜色例如以合成图像的通常方式被计算，就像扫描光束是虚拟相机的视觉光束一样。计算机将因此考虑计算接触点P的颜色、接触物体的纹理和外观、空间3中的虚拟照明及其反射、以及球形虚拟相机的位置。

在确定点P的距离d及其颜色后，这些值将作为图像数据被存储在存储器中。存储优选地根据方位角和仰角构造的矩阵的形式来完成。每个矩阵元素对应于扫描光束的角度。这在图15中被例示出，其中矩阵的行每次根据仰角显示扫描步骤，并且矩阵的列每次根据方位角显示扫描步骤。因此，在行r和列 c处的存储值V_rc表示距离d和颜色，所述距离d和颜色获得自具有与根据被行的数量r的值乘的仰角的扫描步骤的值相等的仰角的扫描光束和具有与根据被行的数量c的值乘的方位角的扫描步骤的值相等的方位角的扫描光束。

视情况而定，在存储器中存储被接触的表面的法线的向量是可能的。

该矩阵结构能够以与进行扫描的方式相同的方式存储数据，并从而使它们的寻址更容易。

使用第二组源点和至少n个扫描器的事实将具有以下结果：多于一个扫描器将到达空间中相同的点。

在根据本发明的方法中，仅有用于从视角区ZVP表示场景的接触点的信息被优选地保持在存储器中。为此，针对被扫描器接触的每个点确定是否该点可被由所述n个扫描器中的至少另一个扫描器所发射的光束到达。该概念在图6 中被例示出，其中示出了分别被放置在源点C₁和C₂处的两个扫描器s₁和s₂。扫描器s₁的扫描光束r可到达点P。点P现在被认为是虚拟扫描器s_f所处位置处的源点，并且验证此虚拟扫描器s_f的光束r_f是否可到达放置扫描器s₂位置处的源点C₂。如果是这种情况，可视为P点可被扫描器s₂到达。在其它n个扫描器中的至少一个扫描器所发射的光束可到达所考虑的接触点的情况下，基于预定的选择标准来确定是否所考虑的接触点的经存储的数据必须从经存储的数据中消除。此过滤的目的是避免冗余的图像数据被存储在存储器中。

图7示出了相对于放置在各个源点C₁和C₂处的两个扫描器s₁和s₂对场景的扫描。当用扫描器s₁扫描空间3时，获得接触点的第一组4。当用扫描器s₂扫描空间3时，获得接触点的第二组5。接触点的第一组4和第二组5是不同的。扫描器s₁仅可以矩形形状到达场景的水平部分，而扫描器s₂可到达与扫描器s₁相同的水平区域以及图右侧场景的垂直侧。

在获得接触点的第一组4和第二组5之后，随后必须应用对这些不同接触点的过滤。图7中6下面所示的接触点例示出了被扫描器s₁和被扫描器s₂接触的点4和点5的混合。因此可以看出在点6内，水平部分的点被加倍并且可发生过滤。然后，该过滤将包括消除由扫描器s₂获得的水平部分的接触点。只有显示在8下面的点将被保持在内存中。

为了继续进行过滤，选择标准优选地基于以下：根据方位角在两个连续扫描步骤之间和根据产生所考虑的接触点的扫描器以及可到达所考虑的接触点的n 个其它扫描器中的单个或多个扫描器的仰角在两个连续扫描步骤之间所扫描的表面面积。

被扫描的表面面积的概念如图8a所例示的。在该图中，光束r_a1和r_a2各自的r_e1和r_e2分别表示根据方位角的连续扫描光束的仰角。

表面一方面由光束r_a1和r_a2所接触的点来界定，而另一方面由光束r_e1和r_e2所接触的点来界定，并形成两个连续扫描步骤之间的经扫描的表面面积。在确定经扫描的表面面积时，验证第一组n个扫描器中的一个或多个其它的扫描器是否也可到达此经扫描的表面变得可能。当这个或这些其它扫描器被标识时，在所获得的数据中进行选择变得可能，而被这些其它扫描器所扫描的数据将被消除。

根据图8b中所例示的另一实施例，以确定经扫描的表面上的法线N与产生接接触点P的扫描光束之间的角度(β)的方式来实现过滤。由于扫描步骤具有低值的角度，所以接触点P相对于扫描器s的距离d在两个后续扫描光束之间不有变化太多。可因此将该距离d用作确定经扫描的表面的面积的参数。此面积将然后与距离(d)的平方除以角度β的余弦成正比，并从而获得的此面积的值可形成选择标准。基于后一选择标准，仅与被扫描的表面的最小面积的值相链接的被存储的数据将被保存在存储器中。这个想法包括保持表示大部分细节的接触点，并从而是表示最小扫描表面面积的点。

应当注意，如果不同的扫描器具有相同的角清晰度，则后一实施例可被用于比较不同扫描器之间的相同点的表观表面。

选择标准还可基于接触点和产生接触点的扫描器之间的距离以及接触点与可到达接触点的n个其它扫描器中的单个或多个扫描器之间的距离。所保存的存储数据是与已经造成了最小的距离的扫描器相对应的存储数据。

对放置在源点上的n个扫描器中的每一个预先进行优先级排序，选择标准基于此优先级排序是有可能的。此过滤方法在图9中被例示出。对每个扫描点使用算法，以便验证扫描点P是否从具有较高优先级的扫描器可见。如果是这种情况，具有较高优先级的扫描器将记录该点。如果不是，记录该点的将是运行的扫描器。

在图9a中，三个扫描器被注释为s₁、s₂和s₃。为了简化，在二维中示出该表示。扫描器的优先级排序等于它们的数字。从而，扫描器s₁优先于扫描器s₂，而扫描器s₂优先于扫描器s₃。图9b示出了将被保留用于扫描器s₁的表面。因为扫描器s₁优先于其它扫描器，所以它保留它可以看到的所有表面。图9c示出了将被保留用于扫描器s₂的表面。扫描器s₂看到了扫描器s₁不可见的两个区域。图9d示出了将被保留用于扫描器s₃的表面。那些是仅有的为扫描器s₃保留的表面，实际上，扫描器s₃可看到的剩余的表面已经被具有较高优先级的扫描器s₁或s₂看到了。

物体上的点的某些表观颜色成分将取决于相机的位置，该位置将影响扫描光束在扫描物体上的入射角。该成分在合成图像中被称为渲染的高光部分。为了以简单的方式解释这一点，该部分等同于扫描光束的反射。

由于这个反射成分，对虚拟相机的两个不同位置而言相同虚拟物体上的具有相同照明的相同点将不会具有相同的外观。

这个概念在示出了空间3的图16中被例示出，其包括例如类似于反射镜的反射壁15。将扫描器s₁放置在此壁的前面，并向此壁发射扫描光束r_j。当此壁反射时，扫描光束r_j将以与此壁上的入射角相同的角度被此壁反射，并且此反射将产生扫描光束r_j’，扫描光束r_j’将接触在其光路上的物体16。这将反过来引起由此物体对扫描光束的反射r_j’。然后，该反射将到达壁15，其将从壁15被反射向扫描器s₁。扫描器将因此把后一反射的光束视为来自壁15上的点P，而不视为来自物体16。因此，物体16的颜色将被扫描器s₁视为点P的颜色。

在这种物体具有重要高光或简单高反射材料的情况下，因此将取自被放置于不同位置的两个不同的扫描器的两个点并排放置时存在不一致的风险。

优选地，渲染技术被用于计算在计算扫描光束的方向时存在“欺骗”的点的颜色。

所使用的方法包括在计算接触点P的颜色的同时给出被表面15反射的光束的计算，在点P处计算的不是扫描器发射的扫描光束的真实方向，而是与从源点K发射的光束中的一个对应的光束方向，该源点K优选地被放置在视角区 ZVP的中心。因此，对于相同的接触点P而言无论记录3D扫描器的位置在何处，所有的反射和高光将是一致的。

在预计算的合成图像中，像素的颜色通常不是基于单个光束发射来计算的，而是基于像素表面中的多个光束来计算的。像素的每个发射光束对应于用于确定像素的颜色的采样。因此，多个采样包括为相同像素发射的多个光束，并对为每个光束获得的颜色进行加权平均，以便确定像素的最终颜色。特别是在像素对应于物体的边界的情况下，提高像素的采样数量的事实显著地提高了渲染的质量。

以类似的方式，为了计算某方向上的接触点P的颜色，可能通过对相同的扫描步骤中的扫描光束进行相乘来改善渲染的质量。图10例示出了如何利用源自扫描器s并位于相同扫描步骤内的四个其它扫描光束可确定空间中的其它接触点P1、P2、P3以及P4。由四个其它扫描光束获得的四个其它接触点的颜色和距离d可被平均。但是，在记录距离的情况下，此平均造成了问题。实际上，不同的其它扫描光束可以以不同的距离接触物体16和17。

如果距离被平均，在这种情况下则会获得与扫描空间中的任何表面都不对应的距离。问题是，从一个在某种程度上不同的视角来看，这些平均点将造成一个问题，因为它们将看起来悬停在空中。悬停在空中的点在图10中用x来标记。根据图10所示的示例，P1和P2是成蓝色的物体16的两个扫描点。P3和P4是成红色的物体17的两个扫描点。因此，如果简单地通过取其它接触点P1、 P2、P3以及P4的平均来确定点x的颜色则其颜色将是紫色的，并且其位置是点p1、P2、P3以及P4的平均位置。当从放置在源点C处的相机观察该点x时，则不会导致问题。从另一个视角D，点x将不对应于扫描空间中现有的几何形状，并且该点将显示为悬停在空中。

当然可仅存储所有这些其它接触点的图像数据，但最后这将对应于扫描器的分辨率的增加，并从而增加存储数据的数量。

优选地使用能够正确聚集多个其它接触点的方法，所述多个其它接触点一旦相对于它们的距离被平均，不会创建悬停在空中的点。这种优选的变型包括采用称为“群集”的方法，其将空间一致的不同组中的其它接触点编组。如果然后对相同组的其它接触点的距离取平均，则获得与扫描空间中的现有的几何形状相一致的空间位置。

几种常用于人工智能框架的“群集”方法是可能的，诸如例如被称为“k- 均值”的方法。

最后，获得了一组、两组或三组其它接触点，并该组内这些其它接触点的颜色以及它们的深度可被平均，而不会有点悬停在空中的问题。

从其它扫描光束所获得的其它接触点开始确定一组距离，该组距离包括针对每个其它接触点的该其它接触点与扫描器之间的距离。此后，在所述一组距离的距离之间搜索最小距离和最大距离。

这在图11中被例示出。只要用户在可视化时刻停留在视角区ZVP中，则可计算用户视角与每个扫描器中心之间可能的最大距离之间的差异，该差异被称为距离ΔZVP(Δ视角)。在图11中，应当注意，扫描器中心是C，V是相对于扫描器中心在视野区域中可能的最远的视角的位置，ΔZVP是C和V之间的距离。dmax对应于另一个最远处的接触点Pmax相对于C的距离。dmin对应于另一个最近的接接触点Pmin相对于C的距离，αmin对应于在从点V到点C的直线与从点V到点Pmin的直线之间形成的角度，αmax是形成于从点V到点C的直线与从V到点Pmax的直线之间的角度，Δα是αmax和αmin之间的角度差。然后可能计算：αmin＝arctan(dmin/ΔZVP)，αmax＝arctan(dmax/ ΔZVP)，和Δα＝αmax–αmin。

如果其它接触点位于相对于导致了值Δα的点C的距离范围内，其中Δα小于显示器的角清晰度的一半，则对其它接触点进行分组是不必须的。实际上，在这种情况下，不会从视角区的任何点感知距离差，并且这些其它接接触点的计算值的加权平均将被确定，并且该加权平均值将被代入在所考虑的扫描步骤中被接触的点的所存储的图像数据的值。

另一方面，如果此类分组是必须的，则基于所述其它接触点的位置在不同组中进行分离，并且根据预定标准选择那些组中的某组，在所考虑的扫描步骤中被接触的点由所选组中的那些其它接触点的计算值的加权平均来确定。

一般的原理是距离1Km处的深度为5cm的间隙将不会与视角区内的任何视角区分开，相反，距离50cm处的5cm的间隙将被高度感知。

其它接触点的组的选择标准可以是构成该组的点的数量或其相对于扫描器的中心的平均距离。

为了在根据本发明的沉浸式视频中创建相机移动的等效物，视角区优选地在空间中移动，如从第一初始位置移向位于该第一位置的预定距离处的至少一个第二位置。由第一组扫描器的每个扫描器进行扫描，并且在为第一位置执行产生和存储该空间的图像数据之后，对视角区的每个第二位置重复执行产生和存储该空间的图像数据。

如图12所例示的，本发明的特征是接触点的密度与显示器的角分辨率是一致的。远离视角区ZVP的表面51仅呈现三个接触点，而较靠近的表面52呈现至少五倍以上的接触点。远程表面的接触点的密度低，并且不同的接触点彼此相差很大。较近表面上接接触点的密度要高得多，并从而被更好地定义。当根据本发明来可视化具有交互式视差的沉浸式电影时，这与显示器清晰度相一致。

根据本发明的具有交互式视差的沉浸式视频的可视化，包括以下步骤：

a)通过传感器并使用针对用户的头部移动的预测算法在视角区内确定用户的眼睛的位置和定向，以确定用户将看到的内容；

b)基于用户的眼睛的位置和定向在经存储的图像数据中选择对可视化该用户可看到的空间部分所必需的图像数据；

c)在临时存储器中加载所选择的图像数据；

d)基于存储在临时存储器中的图像数据生成两个图像；以及向用户的眼睛显示所产生的两个图像。

具有受限视野的用户可在给定的时刻仅看到由图像数据编码的扫描空间的一部分。

优选地，以将接触点按切片分开的形式存储扫描空间。每个切片对应于扫描方向上的切片。例如，切片可编码对应于0至45度的方位角和90至125度的仰角的不同的扫描器所看到的点。

许多方法已经被研究并可被用于显示接触点。作为示例我们可提及：Guennebaud、 Barthe、Mathias Paulin的：用于实时处理点基几何形状的插值细化，该文献出版于欧洲制图学会2005，都柏林，爱尔兰，卷24，N°3中。

优选地，接触点的渲染不再被照明，在点中编码的颜色直接是将呈现给用户的颜色，在可视化时不存在重新照明。

优选地，对点的扫描是生态性的，换言之如图13所例示的，其根据仰角被适配。球体极点处的点不与赤道处的点以相同的方位角步长进行扫描，并且这样以用于避免冗余点并从而限制将要扫描的点的数量。具有最小方位角步长的扫描将在赤道处被实现，而其它纬度上的扫描将具有较高的方位角步长。生态性方法保持了编码的原理：纬度在存储矩阵的纵坐标中，而经度在存储矩阵的横坐标中，这与等角编码一样，但方位角和横坐标之间的比例不再是线性的。

因此，针对每个扫描行(每个仰角)，计算由该行表示的圆的等效圆周。正如存储矩阵的行表示球体的水平横截面一样，这将在水平面横截面上提供一个圆。

因此，该圆周基于具有以sin(α)×2×PI为半径1的球体。在仰角α开始于北极点的情况下(换言之北极点处α＝0度、赤道处α＝90度、以及南极点处α＝180 度)，此圆周与赤道处的圆周的比例从而是简单的sin(α)。

与Δβ的角增量相对应的同一行上的所有点彼此等距。但是此角增量Δβ也相对于sin(α)而逐行变化。根据公式Δβ＝360度/(存储矩阵的列数乘以sin(α))。应当注意，仅在赤道处使用该存储矩阵的所有列，所有其它纬度都使用较少的列。

生态性方法能够具有与空间中的每个接接触点相对应的表面的良好的均质性，并完全覆盖所有的扫描方向。

在图13中，示出了对应于圆26的纬度α＝45°的所有经度处的对应球体的切片。圆25是对应于纬度对应于赤道(α＝90度)的所有经度的球体的切片。投影40是从上方看到的并对应于赤道纬度的圆，其半径定义为1，并且其圆周为 2π，投影50是从上方看到的纬度α＝45°的圆，其半径R为sin(α)并且其圆周为 2π×sin(α)。W是球体的中心，M是相对应的生态性存储矩阵。行90是对应于纬度α＝45°的接触点的行程。将观察到不是矩阵M的所有列都被考虑，实际上仅考虑总列数M乘以sin(α)所定义列数。行100是对应于赤道纬度的接触点的行程，它取矩阵M的所有列。

如图16所例示的，视角区ZVP可随视频导演移位，就像他会以独特视角移动相机一样。因此，与虚拟现实相反的是在实时渲染的时刻，在用户移动时，相机在虚拟空间中移动。根据本发明，在创建沉浸式电影的同时视角区ZVP已经移位的情况下，绕用户1移动的是空间3。

可将系统看作在可视化时刻在用户1周围重新创建沉浸式视频的每个时间段的虚拟3D场景。每个虚拟短暂场景都限于用户1可从预定视角区ZVP看到的场景。这些场景的方面的演变对应于视频中的物体或人的移动，并对应于由电影导演所控制的视角区的位置的移动。

因此，在图14中，在第一时间t₁从视角区ZVP的第一位置扫描场景3，然后在第二时间t₂从视角区的第二位置再次扫描场景3。因此，在t₁时获得第一组接触点9，并然后在t₂时获得第二组接触点9’。对用户1而言，移动的是场景。

在可视化时，能够将合成图像实时地与生成的图像相混合是根据本发明的兴趣。因此，可例如添加由用户的身体形成的化身，或者物理上存在或物理上不存在的其它用户的身体的化身。添加诸如文本或根据用户所看的方向的方案之类的信息元素，或诸如动态目标的游戏元素。还可添加静态或动态广告。

在阅读根据本发明的沉浸式视频时，用户可被放在重现加速感的系统上，从而赋予用户移动。

还可通过声音沉浸来改善可视化，使得能够使用例如诸如Ambisonic、HRTF (头相关变换函数)和Binaural(双耳)之类的经典技术来具有三维的声音。

Claims (16)

1.一种用于收集旨在产生沉浸式视频的图像数据的方法，所述方法包括设置第一组至少n个扫描器，其中n>1，每个扫描器被提供用于产生扫描光束，所述方法还包括通过所述第一组扫描器的每个扫描器通过用于产生空间的所述图像数据的扫描光束来扫描预定空间，其中图像数据被存储在存储器中，其特征在于，视角区通过界定体积被确定，通过所述体积所述沉浸式视频的用户将能够看到所述空间并在所述视角区内执行头部移动，所述视角区具有与静止时自然地围绕所述用户的位置的所述头部移动的纬度相对应的大小，同时所述用户未移动其身体的剩余部分，此后确定位于所述视角区末端的第二组m个源点，其中m>1，其中对所述第一组至少n个扫描器的设置通过每次在所述源点中的每一个放置所述第一组扫描器中的一个来实现，对所述空间的所述扫描是通过放置在所述源点处的所述扫描器来实现的，以及连续地在一方面根据方位角，并在另一方面根据位于由所述视角区预定的范围内的仰角逐步扫描所述空间，其中图像数据的生成是通过针对每个产生的扫描光束收集每次被接触点反射的所述扫描光束来实现的，所述接触点位于所述空间内并被有关的扫描光束接触并基于所述反射的扫描光束，通过每个步骤确定在所述接触点和已经产生有关的扫描光束的所述扫描器之间的距离以及所述接触点的颜色参数，以根据所述方位角和仰角构造的矩阵的形式存储所述数据。

2.如权利要求1所述的方法，其特征在于，所述头部移动是平移移动。

3.如权利要求1所述的方法，其特征在于，所述视角区由具有至少30cm的高度、至少30cm的深度、以及至少30厘米的宽度的矩形体形成的。

4.如权利要求1所述的方法，其特征在于，所述视角区由为八面体形状的体积形成。

5.如权利要求1至4中任一项所述的方法，其特征在于，通过针对扫描器所接触的每个点确定该点是否能被所述n个扫描器中的至少另一个扫描器发射的光束达到来过滤所述数据，并在所述n个扫描器中的至少另一个扫描器发射的光束能到达所考虑的接触点的情况下，基于预定的选择标准来确定是否必须从经存储的数据中消除所考虑的接触点的经存储的数据。

6.如权利要求5所述的方法，其特征在于，所述选择标准基于由已产生所考虑的接触点的扫描器和其它扫描器中能够达到所考虑的接触点的单个或多个扫描器在根据方位角的两个连续扫描步骤之间和根据仰角的两个连续扫描步骤扫描的表面的面积。

7.如权利要求5所述的方法，其特征在于，垂直于所述扫描表面的线与产生所述接触点的所述扫描光束之间的角度被确定，基于所述距离的平方除以所述角度的余弦来确定表面面积并形成所述选择标准，以及其中存储有具有最小扫描面积的值的所述数据被保持。

8.如权利要求5所述的方法，其特征在于，所述选择标准基于所述接触点和已产生所述接触点的所述扫描器之间的距离以及所述接触点与n个其它扫描器中能够到达所述接触点的单个或多个扫描器之间的距离，所保存的存储数据是提供最小距离的那个扫描器。

9.如权利要求5所述的方法，其特征在于，对放置在所述源点上的所述n个扫描器中的每个扫描器预先建立优先级排序，所述选择标准基于所述优先级排序。

10.如权利要求1至4中任一项所述的方法，其特征在于，使用的扫描器是虚拟扫描器或物理扫描器。

11.如权利要求1至4中任一项所述的方法，其特征在于，所述方位角扫描步骤适根据所述仰角被适配。

12.如权利要求1至4中任一项所述的方法，其特征在于，在相同的扫描步骤内产生若干其它扫描光束，并且通过所述其它扫描光束来确定其它接触点，然后确定一组距离，所述一组距离包括针对每个其它接触点的该其它接触点与所述扫描器之间的距离，在所述一组距离的那些距离中搜索最小距离和最大距离，并基于取决于所述最小距离和最大距离的标准，确定在不同组中的所述其它接触点的分配是否必须基于它们距离，如果这样的分配是不必须的，则计算所述其它接触点的加权平均，并且此加权平均将被代入在所考虑的扫描步骤中的接触点的存储在所述存储器中的所述图像数据的值，如果这样的分配是必须的，则基于所述其它接触点的位置在不同组中分配所述其它接触点，并且根据预定标准选择所述不同组中的某组，针对所考虑的扫描步骤的接触点由所选组中的那些其它接触点的加权平均来确定。

13.如权利要求1至4中任一项所述的方法，其特征在于，所述视角区在所述空间内从第一初始位置朝着位于第一位置的预定距离处的至少一个第二位置，在所述第一位置实现由所述第一组扫描器的每个扫描器的扫描和所述空间的所述图像数据的产生和存储之后，对视角区的每个第二位置重复由所述第一组扫描器的每个扫描器的扫描和所述空间的所述图像数据的产生和存储。

14.一种基于根据如权利要求1至13中任一项所述的方法收集图像数据的所述扫描空间的至少一部分的可视化方法，其特征在于，所述方法包括以下步骤：

a)通过传感器并使用预测所述用户的所述头部移动的算法确定用户的眼睛的视角区的位置和定向，以确定所述用户将看到的内容；

b)基于用户的眼睛的所述位置和定向在存储在所述存储器中的所述图像数据中选择对可视化所述用户能够看到的所述空间的所述部分所必需的图像数据；

c)在临时存储器中加载所选择的图像数据；

d)基于存储在所述临时存储器中的所述图像数据生成两个图像；以及

e)向用户的眼睛显示所产生的两个图像。

15.如权利要求14所述的方法，其特征在于，向所述用户显示两个图像通过虚拟现实头戴式套件来实现。

16.如权利要求14或15所述的方法，其特征在于，其被用于向用户赋予移动的设备中，所述赋予运动的坐标被发送到可视化系统，所述可视化系统应用所述可视化方法以同步具有所述运动的图像流。