CN111373347B - 用于虚拟现实内容的提供的装置、方法和计算机程序 - Google Patents

用于虚拟现实内容的提供的装置、方法和计算机程序 Download PDF

Info

Publication number
CN111373347B
CN111373347B CN201880074890.7A CN201880074890A CN111373347B CN 111373347 B CN111373347 B CN 111373347B CN 201880074890 A CN201880074890 A CN 201880074890A CN 111373347 B CN111373347 B CN 111373347B
Authority
CN
China
Prior art keywords
user
representation
virtual space
interest
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880074890.7A
Other languages
English (en)
Other versions
CN111373347A (zh
Inventor
A-P·利尔杰洛斯
K·佩泰南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN111373347A publication Critical patent/CN111373347A/zh
Application granted granted Critical
Publication of CN111373347B publication Critical patent/CN111373347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种装置和方法，包括：用于在虚拟空间中提供虚拟现实视频内容的部件；用于确定对虚拟空间中的感兴趣对象的选择的部件；以及用于至少基于在虚拟空间中用户与感兴趣对象之间的距离V来缩放用户在虚拟空间中的表示的部件。

Description

用于虚拟现实内容的提供的装置、方法和计算机程序
技术领域
本发明涉及虚拟现实，具体地涉及提供虚拟现实内容以在用户显示系统(例如，虚拟现实头戴式装置)处显示。
背景技术
虚拟现实(VR)是一个快速发展的技术领域，其中视频内容被提供(例如流传输)给虚拟现实显示系统。可以向虚拟现实显示系统提供来自视频内容源的实时或存储的馈送，该馈送表示用于通过显示系统进行沉浸式输出的虚拟现实空间(也称为世界)。在一些实施例中，提供音频，该音频可以是空间音频。虚拟空间是空间的任何计算机生成的版本，例如所捕获的真实世界空间，在该空间中，可以通过诸如虚拟现实头戴式装置等显示系统使用户沉浸在其中。虚拟现实头戴式装置可以被配置为例如通过使用头戴式装置中内置的一对视频屏幕和耳麦来向用户提供虚拟现实视频和音频内容。
用户设备的位置和/或移动可以增强沉浸式体验。当前，大多数虚拟现实头戴式装置使用所谓的三个自由度(3DoF)，这表示将测量头部在首摇、纵摇和横摇轴上的移动并且确定用户看到的内容。当用户旋转其头部时，这促进场景在单个位置中基本上保持静态。下一阶段可以被称为3DoF+，其可以促进在某位置周围的例如数十厘米的范围内的欧几里德空间中的有限的平移移动移动。又一阶段是六自由度(6DoF)虚拟现实系统，其中用户可以在欧几里得空间中自由移动并且在首摇、纵摇和横摇轴上旋转其头部。六个自由度的虚拟现实系统和方法将使得能够提供和消费大量的虚拟现实内容。
立体(volumetric)虚拟现实内容包括从各个角度表示三维空间和/或对象的数据，从而使得用户能够在空间和/或对象周围完全移动以从任何角度查看它们。例如，可以在真实世界空间内完全扫描和复制人或对象。当被渲染到虚拟现实头戴式装置时，用户可以绕着该人或对象“走动”，并且从正面、侧面和背面查看它们。
为了避免疑问，对虚拟现实的引用也旨在涵盖诸如增强现实(AR)等相关技术。
发明内容
第一方面提供了一种装置，该装置包括：用于在虚拟空间中提供虚拟现实视频内容的部件；用于确定对虚拟空间中的感兴趣对象的选择的部件；以及用于至少基于在虚拟空间中用户与感兴趣对象之间的距离V来缩放用户在虚拟空间中的表示的部件。
用于缩放用户在虚拟空间中的表示的部件可以被布置为使得用户在虚拟空间中的表示基于用户在真实世界空间中的物理位置与真实世界空间中的边界之间的距离P而被缩放。
该装置还可以包括：用于确定缩放因子的部件，其中缩放因子与V/P成比例；并且其中用于缩放用户在虚拟空间中的表示的部件被布置为基于缩放因子来缩放用户在虚拟空间中的表示。
用于缩放用户的表示的部件可以被布置为通过增加用户的表示朝着感兴趣对象穿过虚拟空间的速度来缩放用户在虚拟空间中的表示。
用于缩放用户的表示的部件可以被布置为响应于确定用户的表示已经穿过虚拟空间到距感兴趣对象小于阈值距离的位置，减小用户的表示朝着感兴趣对象穿过虚拟空间的速度。
用于缩放用户的表示的部件可以被布置为随着用户的表示移动到更靠近在虚拟空间中的感兴趣对象而连续地减小用户的表示穿过虚拟空间的速度。
用于缩放用户的表示的部件可以被布置为通过增加用户的表示在虚拟空间中的高度以使得用户感知到高度的增加来缩放用户的表示。
用于缩放用户的表示的部件可以被布置为响应于确定用户的表示已经穿过虚拟空间到距感兴趣对象小于阈值距离的位置，减小用户的表示在虚拟空间中的高度。
用于缩放用户的表示的部件可以被布置为随着用户的表示移动到更靠近在虚拟空间中的感兴趣对象而连续地减小用户的表示的高度。
用于确定对感兴趣对象的选择的部件可以被布置为通过确定指示对感兴趣对象的选择的用户的手势来确定对感兴趣对象的选择。
用于确定对感兴趣对象的选择的部件可以被布置为通过使用用户的注视追踪或头部追踪中的至少一项来确定对感兴趣对象的选择。
用于确定对感兴趣对象的选择的部件可以被布置为基于用户的至少一部分已经处于特定取向和/或位置的持续时间来确定对感兴趣对象的选择。
用于确定对感兴趣对象的选择的部件可以被布置为通过以下方式来确定对感兴趣对象的选择：确定用户在虚拟空间中的取向；以及选择在虚拟空间中在用户面前的对象作为感兴趣对象。
另外的方面提供了一种方法，该方法包括：在虚拟空间中提供虚拟现实视频内容；确定对虚拟空间中的感兴趣对象的选择；以及至少基于在虚拟空间中用户与感兴趣对象之间的距离V来缩放用户在虚拟空间中的表示。
另外的方面提供了一种计算机程序，该计算机程序包括指令，该指令在由计算机执行时使其执行：在虚拟空间中提供虚拟现实视频内容；确定对虚拟空间中的感兴趣对象的选择；以及至少基于在虚拟空间中用户与感兴趣对象之间的距离V来缩放用户在虚拟空间中的表示。
另外的方面提供了一种装置，该装置包括控制器、存储器和计算机可读指令，该计算机可读指令当由控制器执行时使该装置：在虚拟空间中提供虚拟现实视频内容；确定对虚拟空间中的感兴趣对象的选择；以及至少基于在虚拟空间中用户与感兴趣对象之间的距离V来缩放用户在虚拟空间中的表示。
附图说明
现在将参考附图通过非限制性示例描述本发明，在附图中：
图1是虚拟现实显示系统的透视图；
图2是根据本发明的示例实施例的包括图1的虚拟现实显示系统的计算机网络的框图；
图3是示例传统虚拟现实捕获场景的示意图；
图4是根据示例实施例的用于捕获立体虚拟现实内容的另外的虚拟现实捕获场景的示意图；
图5是第一虚拟空间的俯视图、以及沉浸在第一虚拟空间中的用户的第一定位和第二定位的重叠；
图6a和6b是在相应的第一定位和第二定位处的图5的第一虚拟空间的用户视点；
图7是图4所示的内容提供方系统的组件的示意图；
图8是用户可以使用6自由度(6DoF)来探索的真实世界空间和对应虚拟空间的透视图；
图9是示出根据示例实施例而执行的处理步骤的流程图；
图10是示出根据示例实施例而执行的处理步骤的流程图；
图11是根据示例实施例的探索图8的虚拟空间的用户的透视图；
图12是根据示例实施例的在图8的虚拟空间中缩放的用户的表示的透视图；
图13是根据示例实施例的图12所示的被反转的缩放的透视图；
图14是根据示例实施例的被重新映射到真实世界空间的图8的虚拟空间的透视图；以及
图15是根据示例实施例的虚拟现实媒体播放器的组件的示意图。
具体实施方式
本文中的示例实施例涉及虚拟现实(VR)，尤其涉及使用诸如虚拟现实显示系统等用户设备向一个或多个用户提供立体3D空间(也称为世界)或实际上任何形式的虚拟现实内容。然而，本文中描述的方法和系统不限于此，并且可以在包括增强现实(AR)在内的任何虚拟现实应用中使用。与虚拟现实类似，增强现实是指计算机生成的内容在真实世界空间上的叠加，使得计算机生成的内容对用户而言似乎存在于真实世界空间中。在一个增强现实示例中，可以使用诸如具有屏幕的头戴式装置或移动设备等虚拟/增强现实用户设备来在真实世界中向用户呈现诸如虚拟树等计算机生成的虚拟对象，使得对于用户而言，虚拟树似乎位于真实世界空间中。增强现实通常涉及在给定时间在用户可见的真实世界空间的仅一部分上叠加计算机生成的内容，而虚拟现实通常涉及在给定时间在用户可见的基本上整个真实世界空间上叠加计算机生成的内容，使得用户完全沉浸在虚拟现实空间中。
更具体地，示例实施例涉及用于向虚拟现实用户设备提供虚拟现实视频内容以在虚拟空间中显示的方法和系统，由此在有限的真实世界区域(例如，由墙壁界定的中等大小的房间、或由诸如家具等其他障碍物界定的区域)内的用户可以到达虚拟空间中最初位于真实世界区域的边界外部的感兴趣对象。
虚拟现实空间由虚拟现实内容数据表示。在一些示例实施例中，虚拟现实内容数据可以从一个或多个用户远程存储，并且通过网络(例如，IP网络，诸如互联网)被流传输给用户。在一些示例实施例中，虚拟现实内容数据可以在诸如硬盘驱动器(HDD)等存储设备或诸如CD-ROM、DVD或存储棒等可移动介质上本地存储到一个或多个用户。在一些示例实施例中，虚拟现实内容数据可以存储在基于云的系统上。
在本文中描述的示例实施例中，假定虚拟现实内容数据从例如一个或多个用户远程存储在内容服务器处，并且通过IP网络流传输给一个或多个用户。虚拟现实内容数据的数据流可以表示用于通过显示系统进行沉浸式输出的一个或多个虚拟现实空间。在一些示例实施例中，还可以提供音频，该音频可以是空间音频。
图1是表示用户终端设备的虚拟现实显示系统1的示意图。虚拟现实系统1包括用于显示虚拟现实空间的视觉内容数据的虚拟现实头戴式装置20形式的用户设备、以及用于在虚拟现实头戴式装置20上渲染视觉内容数据的虚拟现实媒体播放器10。在一些示例实施例中，可以将单独的用户控件(未示出)与虚拟现实显示系统1相关联，例如，手持控制器。
在本说明书的上下文中，虚拟空间是空间的任何计算机生成的版本，例如所捕获的真实世界空间，用户可以沉浸在该空间中。在一些示例实施例中，虚拟空间可以完全由计算机生成，即不被捕获。虚拟现实头戴式装置20可以是任何合适的类型。虚拟现实头戴式装置20可以被配置为向用户提供虚拟现实视频和音频内容数据。这样，用户可以沉浸在虚拟空间中。
虚拟现实头戴式装置20从虚拟现实媒体播放器10接收虚拟现实内容数据。虚拟现实媒体播放器10可以是通过有线或无线连接而连接到虚拟现实头戴式装置20的单独设备的一部分。例如，虚拟现实媒体播放器10可以包括游戏机、或被配置为将视觉数据传送给虚拟现实头戴式装置20的个人计算机(PC)。
备选地，虚拟现实媒体播放器10可以形成虚拟现实头戴式装置20的一部分。
在一些示例中，虚拟现实媒体播放器10可以包括被配置为通过其显示器来播放内容的移动电话、智能电话或平板计算机。例如，虚拟现实媒体播放器10可以是在设备的主表面上具有大型显示器的触摸屏设备，通过该触摸屏设备可以显示视频内容。虚拟现实媒体播放器10可以被插入虚拟现实头戴式装置20的支架中。利用这样的虚拟现实头戴式装置20，智能电话或平板计算机可以显示经由虚拟现实头戴式装置20中的相应透镜提供给用户的眼睛的视觉数据。虚拟现实显示系统1还可以包括被配置为将设备转换为作为虚拟现实显示系统1的一部分进行操作的硬件。备选地，虚拟现实媒体播放器10可以集成到虚拟现实头戴式装置20中。虚拟现实媒体播放器10可以用软件实现。在一些示例实施例中，包括虚拟现实媒体播放器软件的设备被称为虚拟现实媒体播放器10。
虚拟现实显示系统1可以包括用于例如以六个自由度确定用户的空间定位和/或用户的头部的取向的部件。这可以借助于确定虚拟现实头戴式装置20的空间定位和/或取向来进行。因此，在连续的时间帧内，可以计算和存储移动的量度。这样的部件可以包括虚拟现实媒体播放器10的一部分。备选地，该部件可以包括虚拟现实头戴式装置20的一部分。例如，虚拟现实头戴式装置20可以合并运动追踪传感器，该移动追踪传感器可以包括陀螺仪、加速度计和结构化照明系统中的一种或多种。这些传感器生成定位数据，根据该定位数据可以确定当前视觉视场(FOV)并且FOV随着用户和因此虚拟现实头戴式装置20改变位置和/或取向而更新。虚拟现实头戴式装置20(或虚拟现实显示系统1的另一部分)可以包括用于确定用户的注视方向的注视追踪部件，该注视追踪部件可以用于确定用户正在注视的感兴趣对象。虚拟现实头戴式装置20(或虚拟现实显示系统1的另一部分)可以包括用于确定用户的肢体的定位或取向的其他肢体追踪部件。
虚拟现实头戴式装置20可以包括用于在用户相应眼睛前面显示虚拟空间的立体视频图像的两个数字屏幕、以及用于在从虚拟现实媒体播放器10提供有音频时传递音频的两个扬声器。虚拟现实头戴式装置20可以包括一个或多个相机。来自一个或多个相机的图像可以通过虚拟现实头戴式装置20的屏幕呈现给用户，使得真实世界环境以“透视模式”或增强现实模式显示给用户。
本文中的示例实施例主要涉及虚拟现实内容的传递，但不限于特定类型的虚拟现实头戴式装置20。
在一些示例实施例中，虚拟现实显示系统1可以确定用户的空间定位和/或取向。如图1所示，这些可以包括纵摇(pitch，也可译为俯仰)22、横摇(roll，也可译为侧倾)23和首摇(yaw，也可译为偏航)24的测量、以及在欧几里得空间中沿着左右、前后和上下轴25、26、27(即，六个自由度)的平移移动。
虚拟现实显示系统1可以被配置为基于虚拟现实头戴式装置的空间定位和/或取向来向虚拟现实头戴式装置20显示虚拟现实内容数据。检测到的空间定位和/或取向的变化(即，移动的形式)可以导致视觉数据的对应变化，以反映用户相对于视觉数据投影到其中的空间的定位或取向变换。这允许虚拟现实内容数据在用户体验三维(3D)虚拟现实环境时被消耗。
在立体虚拟真实空间中，这表示可以相对于立体虚拟现实内容内提供的内容来检测用户的定位，例如，使得用户可以在给定虚拟现实空间内围绕个体对象或对象的群组自由移动，并且可以根据其头部在真实世界中的移动(例如，旋转和平移)来从不同角度查看对象。在一些示例中，用户还可以查看和探索多个不同的虚拟现实空间，并且从一个虚拟现实空间移动到另一虚拟现实空间。
音频数据也可以被提供给被提供作为虚拟现实头戴式装置20的一部分的耳麦。音频数据可以表示空间音频源内容。空间音频可以是指虚拟现实空间中的音频的定向渲染，使得所检测到的用户的空间定位或其头部的取向的变化可以导致空间音频渲染中的对应变化，以反映相对于在其中渲染空间音频数据的空间的变换。
通过虚拟现实头戴式装置20可观察到的环境的角度范围被称为视觉视场(FOV)。用户观察到的实际FOV取决于瞳孔间距离、以及虚拟现实头戴式装置20的透镜与用户眼睛之间的距离，但是，当用户佩戴虚拟现实头戴式装置时，对于给定显示设备的所有用户，该FOV可以被认为大致相同。
参考图2，远程内容提供方30可以存储和传输流式虚拟现实内容数据，在示例实施例的上下文中，该流式虚拟现实内容数据是用于输出给虚拟现实头戴式装置20的立体虚拟现实内容数据。响应于接收或下载由虚拟现实媒体播放器10发送的请求，内容提供方30在数据网络40上流传输虚拟现实数据，该数据网络40可以是任何网络，例如IP网络，诸如互联网。
远程内容提供方30可以是或可以不是捕获、创建和/或处理虚拟现实视频的位置或系统。
为了说明的目的，我们可以假定内容提供方30还捕获、编码和存储虚拟现实内容，以及响应于来自虚拟现实显示系统1的信号而对其进行流传输。
参考图3，示出了示例性虚拟现实捕获场景31的概述。示出了虚拟现实捕获场景31、以及捕获、编码和存储模块32以及相关联的用户接口39。图3以平面图示出了真实世界空间33，该真实世界空间33可以是例如音乐厅或其他音乐场所。然而，捕获、编码和存储模块32适用于任何真实世界空间。用于视频以及可能的空间音频捕获的虚拟现实捕获设备35可以被支撑在真实世界空间33的地板34上在一个或多个对象36、37、38前面。对象36、37、38可以是静态对象，或者可以随时间移动。对象36、37、38中的一个或多个可以是人。对象36、37、38中的一个或多个可以是家具。对象36、37、38中的一个或多个可以生成音频，例如歌手、表演者或乐器。
虚拟现实捕获设备35的定位可以是已知的，例如通过从虚拟现实捕获设备上的定位标签得出的预定定位数据或信号。在该示例中，虚拟现实捕获设备35可以包括围绕虚拟现实捕获设备的本体分布的多个相机、以及被配置为提供空间音频捕获的麦克风阵列。
对象36、37、38中的一个或多个可以携带定位标签。定位标签可以是能够通过数据来向捕获、编码和存储模块32指示其相应空间定位的任何模块。例如，定位标签可以是与空间33内的一个或多个高精度室内定位(HAIP)定位器相关联地工作的HAIP标签。HAIP系统在标签与一个或多个定位器之间使用蓝牙低功耗(BLE)通信。例如，可以有四个HAIP定位器安装在虚拟现实捕获设备35上或相对于虚拟现实捕获设备35放置。相应HAIP定位器可以位于虚拟现实捕获设备35前面、左侧、后面和右侧。每个标签发送BLE信号，HAIP定位器可以从该BLE信号中得出标签并且因此得出音频源位置。
通常，这种到达方向(DoA)定位系统基于(i)该定位器或每个定位器的已知位置和取向，以及(ii)在定位器的本地坐标系中信号从相应标签朝向定位器的DoA角度的测量。基于来自一个或多个定位器的位置和角度信息，可以使用几何学来计算标签的定位。
捕获、编码和存储部件32是处理系统，可能具有相关联的用户接口(UI)39，工程师或混频者可以使用该UI 39来监测和/或修改所捕获的视频和/或音频的任何方面。如图3所示，捕获、编码和存储模块32通过信号线41从虚拟现实捕获设备35接收空间视频数据(以及可能的音频数据)和定位数据作为输入。备选地，定位数据可以从HAIP定位器接收。捕获、编码和存储模块32还可以通过单独的信号线从对象36、37、38中的一个或多个对象接收音频数据和来自相应定位标签的定位数据作为输入。捕获、编码和存储模块32生成和存储虚拟现实视频和音频数据，以经由信号线45输出给用户设备19，诸如图1和2所示的虚拟现实系统1。
输入音频数据可以是扬声器格式的多声道音频，例如立体声信号、4.0信号、5.1信号、杜比全景声(RTM)信号等。代替扬声器格式的音频，如果用于虚拟现实捕获设备35，则输入可以是多麦克风信号格式，诸如从诺基亚OZO(RTM)虚拟现实相机输入的原始八信号。然后，麦克风信号可以被渲染为扬声器或双耳格式以进行播放。
与捕获、编码和存储部件32相关联的是流传输系统43，例如流传输服务器。流传输系统43可以是与捕获、编码和存储模块32完全分离的系统。信号线44指示通过网络40从虚拟现实系统1接收的输入。虚拟现实系统1通过这样的信令来指示要取决于虚拟现实显示设备20的定位和/或取向来流传输的信号。附图标记45指示到网络40的信号线。
参考图4，示出了根据一些实施例的立体虚拟现实捕获场景60的概述。示出了捕获场景60以及在内容提供方系统70处提供的处理模块，包括捕获、编码和存储模块72以及相关联的用户接口79，其是可选的。图4以平面图示出了真实世界空间61，该真实世界空间61可以是例如包括三棵树65、66、67的花园。然而，捕获、编码和存储模块72适用于任何真实世界空间。在这种情况下，多个相机63被定位在真实世界空间61周围(并且可以被定位在不同的高度)，以便从所有侧面捕获来自焦点捕获区域64的视频，以便生成对象65、66、67在焦点捕获区内的完整的三维表示。应当理解，实际上可以提供更多或更少数目的相机63。在一些示例实施例中，还可以提供一个或多个麦克风(未示出)以捕获空间音频。焦点捕获区域64的尺寸可以更大或更小。
类似于图3的场景，捕获、编码和存储模块72是处理系统，该处理系统可以具有相关联的用户接口(UI)79，该UI 79可以被工程师或混频者用来监测和/或修改所捕获的视频和/或音频的任何方面。如图4所示，捕获、编码和存储模块72从相机63接收视频数据作为输入。视频数据可以使用(多个)信号线69(仅示出了其子集)和/或通过无线部件来接收。每个相机63的相应定位可以是预定的，或者在一些示例实施例中，每个相机可以具有用于指示每个相机在真实世界空间61中的位置的相关联的定位标签(例如，HAIP定位标签)。如果提供音频数据，则捕获、编码和存储模块72还可以使用有线或无线方式接收音频数据作为输入。捕获、编码和存储模块72处理所接收的视频数据以及可能的音频数据，以使用已知技术来生成表示焦点捕获区域64的立体三维空间。该所捕获的虚拟现实空间被存储以经由信号线75输出给诸如虚拟现实系统1等用户设备。
类似于图3的场景，如果捕获音频，则音频数据可以是扬声器格式的多声道音频，例如立体声信号、4.0信号、5.1信号、杜比全景声(RTM)信号等。代替扬声器格式的音频，输入可以是多麦克风信号格式，诸如原始八信号输入。然后，麦克风信号可以被渲染为扬声器或双耳格式以进行播放。
类似于图3的场景，与捕获、编码和存储模块72相关联的是流传输系统73，例如流传输服务器。流传输系统73可以是与捕获、编码和存储模块72完全分离的系统。信号线74指示通过网络40从虚拟现实系统1接收的输入。如将说明的，虚拟现实系统1通过这样的信令来指示要取决于对应虚拟现实空间内的虚拟现实头戴式装置20的定位和/或取向来流传输的视频数据。附图标记75指示到网络40的信号线。
在一些示例中，捕获、编码和存储模块72存储多个虚拟空间，每个虚拟空间可以由不同的立体虚拟现实内容表示。
图5以俯视图示出了使用例如图4的场景60捕获的示例虚拟空间80，但是可以使用生成虚拟空间的其他方法。虚拟空间80包括具有第一树65、第二树66和第三树67的花园的三维立体表示。还示出了当处于第一定位和由虚线指示的后续的第二定位时佩戴虚拟现实头戴式装置20的用户82的相对定位。虚线箭头指示，用户82可以在树65、66、67周围自由移动并且从所有方向和取向观看它们。
图6a是当用户82处于第一定位时被渲染给虚拟现实头戴式装置20的虚拟现实内容数据的图形视图。特别地，被渲染给虚拟现实头戴式装置20的三维图像将是第一树65和第二树66。图6b是当用户82处于第二定位时被渲染给虚拟现实头戴式装置20的内容的图形视图，其中用户使其身体朝着第三树67的后部旋转。
图7是内容提供方系统70的组件的示意图。内容提供方系统70可以具有控制器80、存储器82和随机存取存储器(RAM)84。内容提供方系统70可以包括用于连接到网络40的网络接口86，例如可以是有线或无线的调制解调器。内容提供方系统70还可以通过信号线74从虚拟现实头戴式装置20接收定位的信号，并且通过信号线75输出用于一个或多个虚拟空间的流传输内容。定位的信号可以指示用户定位/取向。到显示设备10的输出信号将是虚拟现实内容数据。控制器80连接到每个其他组件以便控制其操作。
存储器82可以是非易失性存储器，诸如只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器82尤其存储操作系统88，并且可以存储软件应用89。随机存取存储器84由控制器80用于数据的临时存储。操作系统88可以包含在由控制器80结合随机存取存储器84执行时控制每个硬件组件的操作的代码。
附加地，存储器82存储虚拟内容项90的集合(以下称为“虚拟项”)，该虚拟内容项90的集合可以是以任何合适的形式布置的虚拟项的库。虚拟项90可以包括三维立体项，例如虚拟空间和/或对象。
控制器80可以采用任何合适的形式。例如，它可以是微控制器、多个微控制器、一个处理器或多个处理器。
在一些示例实施例中，内容提供方系统70还可以与未存储在存储器82上的外部软件应用或虚拟现实内容数据相关联。这些可以是存储在远程服务器设备上的应用或虚拟现实内容数据，并且可以部分地或排他性地在远程服务器设备上运行。这些应用或虚拟现实内容数据可以称为云托管的应用或数据。内容提供方系统70可以与远程服务器设备通信，以便利用存储在其中的软件应用或数据。
在一些示例实施例中，图7所示的组件可以在媒体播放器10处提供(不需要网络接口86)，使得本文中描述的功能在本地而不是远程地提供。
在存储器82上提供的一个软件应用89用于控制向虚拟现实系统1传输和渲染的内容。
诸如用户将在其中佩戴虚拟现实头戴式装置20的真实世界空间的大小通常受到限制。通常，真实世界空间(也称为物理空间/环境)的局限性可能会损害用户体验，并且在某些情况下，例如，在由虚拟内容表示的六个自由度的虚拟空间大于真实世界空间或者扩展到真实世界空间外部的情况下，可能使得难以消费虚拟空间中的内容。如果希望探索相对较大的虚拟空间的用户必须在虚拟内容的不同部分之间行走较大的距离，则他们可能会变得疲倦或不感兴趣。此外，如果用户受到真实世界空间的限制，例如受到形成真实世界空间的边界的墙壁的限制，则虚拟空间的某些部分可能无法到达。
本文中的实施例包括提供用户在虚拟空间中的表示的缩放的方法和系统。例如，可以在虚拟空间中提供虚拟现实视频内容。可以确定对虚拟空间中的感兴趣对象的选择。可以基于在虚拟空间中用户与感兴趣对象之间的距离V来缩放用户在虚拟空间中的表示。
以上操作以及下面将要描述的其他操作可以由控制器80在软件控制下(例如，在可以执行所述操作的软件应用89的控制下)执行。
图8示意性地示出了根据示例实施例的用户11所在的真实世界空间12与虚拟空间13之间的示例性关系。
真实世界空间12是用户11所在的物理环境的至少一部分。虚拟空间13是由于向用户11提供虚拟现实视频内容而使用户11沉浸在其中的空间。虚拟空间13和真实世界空间12至少部分重叠。换言之，虚拟空间13的至少一部分与真实世界空间12的至少一部分位于同一位置，使得穿过真实世界空间12的用户11能够至少穿过虚拟空间13的对应部分。虚拟空间13可以通过本领域已知的各种技术被映射到真实世界空间12。
虚拟空间13可以具有比真实世界空间12的对应尺寸大的一个或多个尺寸。也就是说，虚拟空间可以在至少一个程度上比用户11所在的真实世界空间12大。图8示出了虚拟空间13沿着x轴、y轴和z轴在三个维度上延伸超出真实世界空间12，但是在其他情况下，虚拟空间13可以在诸如一个维度或两个维度等不同数目的维度上延伸超出真实世界空间12。
虚拟空间13可以包含由虚拟视频内容表示的一个或多个虚拟对象，诸如对象14和对象15。在该特定示例中，对象14是树，而对象15是汽车。根据已知的定位和/或移动确定方法，用户11可以在虚拟空间13内以六个自由度移动。当用户11在真实世界空间12中移动时，在虚拟空间13中进行对应的移动，其中与虚拟空间13中的新位置相对应的视频内容被提供给用户11。这样，用户11感知到他们正在虚拟空间13中移动并且沉浸在虚拟环境中。如果用户11在真实世界空间12中朝着对象14移动，则可以在虚拟空间13中进行对应的移动，使得用户11体验到他们正在朝着对象14移动。
虚拟空间13包括用户11'的表示。用户11在真实世界空间12中的移动被转换为用户11'在虚拟空间13中的表示的对应移动。用户11'在虚拟空间13中的表示的位置可以被映射为用户11在真实世界空间12中的位置。用户11'和用户11的表示可以在真实世界空间12中位于同一位置，如图8的示例所示。在一些示例中，用户11'的表示是虚拟空间13中的化身(avatar)，由视频内容表示。化身可以是用户的虚拟肖像。化身可以是类人动物、拟人化或其他形式。化身可以在用户的视场中，例如在虚拟空间13中在用户11的前面。化身响应于用户11在真实世界空间12中做出的对应移动而看起来在虚拟空间13中移动。在其他示例中，用户11'的表示可以是到虚拟空间13中的视口，使得用户11以第一人称体验虚拟空间13。视口将在虚拟空间13内具有位置，该位置可以具有六个自由度。用户11将感知他们在虚拟空间13中的高度以对应于视口在虚拟空间13中的高度，即，视口在虚拟空间13中的z轴定位。
真实世界空间12具有边界16。边界16是真实世界空间12的极限，超出该极限，用户11的移动将被限制、防止或禁止。边界16可以是有形边界，诸如墙壁、围栏、绳索、沟、平台的边缘、障碍物等。在一些示例中，边界16是无形的，例如，用户11不应当越过的不可见边界。在过去，用户11可能无法到达虚拟空间12中的对象14或对象15，因为对象14和对象15位于虚拟空间13的在真实世界空间12外部的区域中并且超出真实世界空间12的边界16。例如，如果真实世界空间12是房间，则边界16可以包括房间的墙壁。虚拟空间13可以延伸到房间外部，其中虚拟对象14和15位于房间外部并且超出墙壁。这样，用户11可能无法到达对象14或对象15，因为用户11在虚拟空间13中的移动受到墙壁的存在的限制。
图8示出了在虚拟空间13中从用户11(或用户11'的表示)到对象14的距离V。还示出了从用户11到真实世界空间12的边界16的距离P。距离P优选地是用户11与边界16上基本上位于用户11与对象14之间的点之间的距离，例如，基本上沿着与距离V相同的用户11与对象14之间的轴。用户11位于边界16的一侧，而对象14位于边界16的不同侧。
示例实施例的各个方面允许有限大小的真实世界空间12中的用户11探索虚拟世界13的延伸超出真实世界空间12的边界的部分。因此，虚拟空间13不需要限于实际空间的大小。例如，用户11能够将虚拟空间13导航到位于真实世界空间12外部的感兴趣对象。示例实施例的各个方面允许用户以直观的方式这样做，这对于用户11来说是自然的。
图9是示出根据示例实施例的由软件应用89执行的处理步骤的流程图。某些步骤可以被重新排序、重新布置和/或组合。
第一步骤110包括在虚拟空间13中提供虚拟现实视频内容。这可以如先前讨论的来执行。在虚拟空间13中提供虚拟现实视频内容可以包括确定用户11或虚拟现实显示系统1在真实世界空间12中的物理位置和取向，将虚拟空间13映射到真实世界空间12中的所确定的物理位置和取向，并且显示与所映射的虚拟空间13相对应的虚拟现实视频内容。位于真实世界空间12中的用户11因此沉浸在虚拟空间13中。
第二步骤120包括确定对虚拟空间13中的感兴趣对象的选择。感兴趣对象可以是虚拟空间中的点、面积或体积。在一些示例中，感兴趣对象包括虚拟空间中的一个或多个虚拟对象，例如先前关于图8讨论的对象14或对象15。感兴趣对象是用户感兴趣的虚拟对象，特别是用户希望在虚拟空间中接近的虚拟对象。感兴趣对象可以位于虚拟空间13的在真实世界空间12外部的区域中，例如，超出用户所在的真实世界空间12的边界16。换言之，感兴趣对象在边界16的与用户11相对的一侧。
感兴趣对象通常由用户11选择，但是在一些示例中，可以由诸如用户11以外的人等不同的一方或由计算机选择。
确定对感兴趣对象的选择可以通过任何合适的手段来进行。例如，确定对感兴趣对象的选择可以包括确定用户11通过任何合适的手势标识部件执行的手势。作为示例，确定对感兴趣对象的选择可以包括通过注视追踪部件使用对用户的注视追踪。备选地或附加地，确定对感兴趣对象的选择可以包括通过适当的追踪部件使用用户的头部追踪或另一种类型的肢体追踪。
在一些示例中，基于用户11在真实世界空间12或虚拟空间13中的取向来选择感兴趣对象。例如，在虚拟空间13中基本上在用户11前面的对象可以被选择为感兴趣对象，诸如在用户的视场中的对象。如果在视场中存在用户11感兴趣的若干个对象，则也可以将用户11的视场中的区域选择为感兴趣对象。如果在用户的视场中有多个对象，则可以基于一个或多个标准从至少一个对象中选择感兴趣对象。例如，可以将一行对象中的第一对象选择为感兴趣对象，或者可以将最靠近用户的对象选择为感兴趣对象。在其他示例中，可以确定由用户11执行的一个或多个手势，以便确定视场中的对象之一被选择为感兴趣对象。
确定对感兴趣对象的选择可以基于用户11的至少一部分已经处于真实世界空间12中的特定取向和/或位置的持续时间。用户11的一部分例如可以是用户的头部、手臂、脚、手或手指、或任何其他合适的肢体。
第三步骤130包括基于真实世界空间中的用户与真实世界空间的边界之间的距离P来缩放用户11'在虚拟空间13中的表示。
缩放用户11'的表示可以包括缩放用户11'的表示的大小和/或速度。
缩放用户11'的表示可以包括提高用户11'的表示穿过虚拟空间13(例如，朝着感兴趣对象)的速度。也就是说，与在执行缩放之前相比，在执行缩放之后，用户11'的表示以更大的速度移动通过虚拟空间13。例如，在缩放之前，用户11'的表示最初可以以5kph的速度在虚拟空间中移动，但是在缩放之后，可以以15kph的速度移动。因此，用户11能够比他们以前更快地导航虚拟世界13。缩放用户11'的表示可以包括提高用户11'的表示穿过虚拟空间13的速度，如将在后面关于图11讨论的。
附加地或备选地，缩放用户11'的表示可以包括增加或减小用户11'在虚拟空间中的表示的大小，诸如用户11'的表示的宽度、广度或高度。具体地，缩放用户11'的表示可以包括基于用户11与感兴趣对象之间的距离V来增加用户11'的表示的高度。
在用户11'的表示是化身的情况下，缩放用户11'的表示可以包括增加化身的平行于虚拟空间的z轴的高度。在用户11'的表示是到虚拟空间13中的视口的情况下，缩放用户11'的表示可以包括沿着虚拟空间13的z轴增加视口在虚拟空间13中的视在高度。在感兴趣对象位于真实世界空间12外部并且超出边界16的情况下，缩放用户11'的表示可以包括增加用户11'的表示的高度，使得用户11体验到相对于虚拟空间13中的其他对象，他们在虚拟空间13中高度已经增加。例如，在缩放之前在虚拟空间13中体验到1.8m的初始高度的用户11在缩放之后可能会在虚拟空间13中体验到18m的高度。
稍后将参考图12来讨论通过增加用户11'在虚拟空间中的表示的大小来缩放用户11'的表示。
图10是示出根据示例实施例的由软件应用89执行的处理步骤的流程图。某些步骤可以被重新排序、重新布置和/或组合。该方法与图10中所示的方法相似，但是具有附加步骤。
第一步骤110包括在虚拟空间13中提供虚拟现实视频内容，例如如先前关于图9讨论的。
第二步骤120包括确定对在虚拟空间13中的感兴趣对象的选择，例如如关于图9讨论的。
第三步骤140包括确定在虚拟空间中用户11与感兴趣对象之间的距离V。这可以通过任何合适的方法来执行。例如，距离V可以通过确定用户11在真实世界空间12中的定位并且使用虚拟空间13到真实世界空间12的映射来确定距离来计算。
第四步骤150包括确定用户11在真实世界空间12中的物理位置与真实世界空间12中的边界16之间的距离P。这可以使用诸如标签或对象识别方法等各种定位手段来执行。真实世界空间12的大小可以用于确定距离P。如先前参考图8讨论的，距离P优选地是用户11与边界16上基本上位于用户11与感兴趣对象之间的点之间的距离。
在一些示例中，步骤150可以在步骤140之前执行。也就是说，可以首先确定距离P。然后可以使用距离P来确定距离V，例如通过三角测量。如果用户11在真实世界空间12中的位置已知或被确定，并且虚拟空间13已经被映射到真实世界空间12，则距离V可以基于用户11在真实世界空间12中的位置和感兴趣对象在虚拟空间13中的位置来计算。
第五步骤160包括基于距离V和距离P来确定缩放因子。用户11'的表示的缩放可以基于缩放因子。在一些示例中，缩放因子与距离V除以距离P(即，V/P)成比例。也就是说，缩放因子与用户11与感兴趣对象之间的距离成比例，并且与用户11与边界16之间的距离成反比。
第六步骤170包括基于缩放因子来缩放用户11'在虚拟空间13中的表示。缩放用户11'的表示已经在前面结合图10进行了讨论。通过将用户11'的表示的参数乘以缩放因子，例如，将用户11'的表示的大小和/或用户11'的表示的速度乘以缩放因子，可以基于缩放因子来缩放用户11'的表示。
图11示出了根据一些示例实施例的用户11在虚拟空间中的移动和用户11'在虚拟空间中的的表示。具体地，图11示出了根据示例实施例的缩放用户11'的表示在虚拟空间13中移动的速度。
用户11最初被定位在真实世界空间12中的第一位置L。用户11'在虚拟空间13中的表示将被定位在虚拟空间13中的对应的第一位置L。例如，用户的表示可以与用户11位于同一位置，或者位于用户11前面某距离处。
用户11可以在真实世界空间12中朝着感兴趣对象(在这种情况下为对象14)移动一定距离。在缩放用户11'的表示的速度之前，这通常可能已经导致用户11'的表示在虚拟空间中移动距离d1到位置L'。然而，根据示例实施例，用户11'在虚拟空间中的表示所移动的距离被缩放。在图11所示的示例中，不是将距离d1移动到新位置L'，而是将用户11'的表示在虚拟空间13中移动距离d2到虚拟空间13中的位置L”。用户11'的表示所移动的距离可以基于先前讨论的距离V和/或距离P来被缩放。也就是说，可以基于距离V和/或距离P来确定缩放因子，其中该缩放因子被应用于用户11'的表示所移动的距离。在一些示例中，缩放因子与V成比例。也就是说，随着距离V的增加，缩放因子也随之增加并且因此用户11'的表示所移动的距离也随之增加。因此，与位于距用户11的距离V较小的感兴趣对象14相比，对于位于距用户11的距离V较大的感兴趣对象14，用户11'的表示所移动的距离将更大。结果是，现在，用户11可以更轻松地到达虚拟空间13中的远处的感兴趣对象。在一些示例中，缩放因子与P成反比。也就是说，随着距离P的减小，缩放因子成比例地增加并且因此用户11'的表示所移动的距离增加。因此，与较大的距离P相比，对于用户11与边界16之间的较小距离P，用户11'的表示所移动的距离将更大。结果是，现在，用户11可以更轻松地到达虚拟空间13中的远处的感兴趣对象，尤其是当真实世界空间12中的移动受到边界16限制时。在一个示例中，缩放因子可以与V/P成比例。
缩放用户11'的表示的速度也可以被认为等同于用户11在真实世界空间12中移动的每单位距离来缩放用户11'的表示在虚拟空间13中所移动的距离。例如，在缩放用户11'的表示之前，用户11在真实世界空间12中朝着感兴趣对象移动1米可能会导致用户11'的表示在虚拟空间13中朝着感兴趣对象对应地移动1米。在缩放之后，可以缩放用户11'的表示所行进的距离，使得对于用户11在真实世界空间12中每移动1米用户11'的表示改为在虚拟空间中移动10米。
缩放用户11'的表示的速度允许用户11在虚拟空间13中比他们原本能够的行进的更远。这样，用户11能够在虚拟空间13中行进到位于虚拟空间13的位于真实世界空间12外部的区域中的感兴趣对象。
图12示出了以根据示例实施例的大小缩放的用户11'的表示。
图12将用户11'的表示示出为化身，但是用户11'的表示也可以是如先前所讨论的其他东西。用户11'的表示在虚拟空间13中具有初始高度h1，诸如沿着z轴的高度。用户11'的表示随后如先前讨论的在虚拟空间13中被缩放，使得用户11b的新表示具有大于h1的新高度h2。
用户11'的表示的缩放可以是立即的，或者可以在一段时间内逐渐发生。例如，用户11'的表示可以立即从高度h1到高度h2增加高度，或者可以在一段时间内对用户11看起来从高度h1增加到高度h2。高度的增加使得用户11感觉到他们的高度相对于虚拟空间13、特别是相对于虚拟空间13中的一个或多个虚拟对象已经增加。同样，如先前所述，用户11'的表示的速度可以立即增加，或者在一段时间内逐渐增加。
在一些示例实施例中，缩放用户11'的表示的缩放包括缩放用户11'的表示的速度和高度。缩放速度允许用户11穿过虚拟空间13的更大范围，例如以到达超出真实世界空间12的边界16的感兴趣对象，同时附加地，增加用户11'的表示的高度使得对用户11而言以增加的速度朝着感兴趣对象行进变得更加自然。
在虚拟空间13中已经缩放了用户11'的表示之后，可以反转缩放。例如，用户11'的表示可以返回到其原始速度和/或大小。根据另一示例，用户11可能希望以缩放后的大小继续在虚拟空间13中移动，并且然后保持缩放，并且稍后可以反转。
缩放的反转可以基于时间来发生。例如，在一段时间之后，缩放可以反转。缩放的反转可以基于用户11在真实世界空间12或虚拟空间13中的位置来发生。例如，一旦用户11已经移动到真实世界空间12或虚拟空间13中的特定位置，则缩放可以被反转。在一些示例中，缩放的反转可以基于用户11(或用户11'的表示)与感兴趣对象之间在虚拟空间13中的距离，或者基于在真实世界空间12中用户11与边界16之间的距离。例如，当用户11(或用户11'的表示)接近感兴趣对象时，可以发生缩放的反转。也就是说，随着用户11在虚拟空间13中朝着感兴趣对象移动，并且因此随着用户11与感兴趣对象之间的距离V减小，用户11'的表示的缩放被反转。缩放的反转可以是立即的，例如当距离V达到阈值距离时，或者是渐进的，例如随着距离V的变化连续地反转缩放。特别地，其中缩放用户11'的表示包括增加用户11'的表示的高度，缩放的反转可以包括减小用户11的高度，例如从h2减小回h1。
图13示出了示例，其中当用户11'朝着感兴趣对象(在该示例中为对象14)移动时，用户11'的表示的缩放被反转。最初，用户11'的表示已经被缩放(在这种情况下被增加)到用户11'a的表示所示的第一高度。当用户11朝着感兴趣对象(在这种情况下为对象14)移动时，用户11(和/或用户11'的表示)与感兴趣对象之间的距离减小。相应地，如图所示，用户11'a的表示的高度也从11'a减小到11'b，减小到11'c，减小到11'd。在11'd，用户11'的表示可以处于正常高度，即在发生缩放到11'a之前的原始高度。
图14示出了在用户11已经如先前所讨论的到达感兴趣对象(即，对象14)之后，虚拟空间13如何被重新映射到真实世界空间12。将图14与图8进行比较，可以看到，用户11仍然在真实世界空间12内，但是虚拟空间13现在已经被重新映射到真实世界空间，使得对象14现在位于真实世界空间12内。现在，允许用户11到达对象14(树)的上述示例性实施例可以允许用户11到达位于虚拟空间13中但在真实世界空间12外部的对象15(汽车)。
为了完整起见，图15示出了虚拟现实媒体播放器10的组件的示意图。虚拟现实媒体播放器10可以具有控制器200、存储器202和随机存取存储器RAM 204。虚拟现实媒体播放器10可以包括用于连接到网络40的网络接口206，例如可以是有线或无线的调制解调器。虚拟现实媒体播放器10还可从虚拟现实头戴式装置20接收定位的信号，并且向虚拟现实头戴式装置20输出用于一个或多个虚拟空间的视频和/或音频内容。虚拟现实媒体播放器10可以包括能够接收用于确定玩家10的位置的定位信号的定位接口214。虚拟现实媒体播放器10可以使用例如GPS或室内定位方法来定位设备。定位的信号可以指示用户定位/取向。控制器200连接到每个其他组件以便控制其操作。
存储器202可以是非易失性存储器，诸如只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SSD)。存储器202还存储操作系统212和软件应用89。RAM 204由控制器200用于临时存储数据。操作系统212可以包含在由控制器200结合RAM 204执行时控制每个硬件组件的操作的代码。
控制器200可以采用任何合适的形式。例如，它可以是微控制器、多个微控制器、一个处理器或多个处理器。
在一些示例实施例中，虚拟现实媒体播放器10还可以与未存储在存储器202上的外部软件应用或虚拟现实内容数据相关联。这些可以是存储在远程服务器设备上的应用或虚拟现实内容数据，并且可以部分地或排他性地在远程服务器设备上运行。这些应用或虚拟现实内容数据可以称为云托管的应用或数据。虚拟现实媒体播放器10可以与远程服务器设备通信，以便利用存储在其中的软件应用或数据。
因此，以上示例实施例提供了一种直观且有用的方式以允许位于有限尺寸的给定真实世界空间内的用户导航在真实世界空间外部延伸的虚拟空间。实施例可以通过允许用户导航虚拟空间而不移动超过边界来避免或减少用户与真实世界空间中的边界或对象碰撞的机会。实施例对于涉及六个自由度的探索的虚拟现实应用可能特别有用。实施例还可以提供有趣的直观的且令人愉快的用户体验，并且可以减少探索(多个)虚拟空间所需要的工作量，这对于移动能力有限的用户可能是有用的。
应当理解，上述示例实施例仅是说明性的，并且不限制本发明的范围。在阅读本申请之后，其他变型和修改对本领域技术人员将是明显的。
此外，本申请的公开应当被理解为包括本文中明确或隐含公开的任何新颖特征或特征的新颖组合或其任何概括，并且在本申请或由此衍生的任何申请的起诉期间，可以提出新的权利要求以涵盖任何这样的特征和/或这样的特征的组合。

Claims (20)

1.一种用于提供虚拟现实内容的装置，包括：
用于在虚拟空间中提供虚拟现实视频内容的部件；
用于确定对所述虚拟空间中的感兴趣对象的选择的部件；以及
用于至少基于以下来缩放用户在所述虚拟空间中的表示的部件：(i)在所述虚拟空间中所述用户与所述感兴趣对象之间的距离V，以及(ii)所述用户在真实世界空间中的物理位置与所述真实世界空间中的边界之间的距离P。
2.根据权利要求1所述的装置，还包括：
用于确定缩放因子的部件，其中所述缩放因子与V/P成比例；并且
其中用于缩放所述用户在所述虚拟空间中的所述表示的所述部件被布置为基于所述缩放因子来缩放所述用户在所述虚拟空间中的所述表示。
3.根据权利要求1所述的装置，其中用于缩放所述用户的所述表示的所述部件被布置为：通过增加所述用户的所述表示朝着所述感兴趣对象穿过所述虚拟空间的速度来缩放所述用户在所述虚拟空间中的所述表示。
4.根据权利要求3所述的装置，其中用于缩放所述用户的所述表示的所述部件被布置为：响应于确定所述用户的所述表示已经穿过所述虚拟空间到距所述感兴趣对象小于阈值距离的位置，减小所述用户的所述表示朝着所述感兴趣对象穿过所述虚拟空间的所述速度。
5.根据权利要求3或4所述的装置，其中用于缩放所述用户的所述表示的所述部件被布置为：随着所述用户的所述表示移动到更靠近所述虚拟空间中的所述感兴趣对象而减小所述用户的所述表示穿过所述虚拟空间的所述速度。
6.根据权利要求1所述的装置，其中用于缩放所述用户的所述表示的所述部件被布置为：通过增加所述用户的所述表示在所述虚拟空间中的高度以使得所述用户感知到其高度的增加，来缩放所述用户的所述表示。
7.根据权利要求6所述的装置，其中用于缩放所述用户的所述表示的所述部件被布置为：响应于确定所述用户的所述表示已经穿过所述虚拟空间到距所述感兴趣对象小于阈值距离的位置，减小所述用户的所述表示在所述虚拟空间中的所述高度。
8.根据权利要求6或7所述的装置，其中用于缩放所述用户的所述表示的所述部件被布置为：随着所述用户的所述表示移动到更靠近在所述虚拟空间中的所述感兴趣对象而减小所述用户的所述表示的所述高度。
9.根据权利要求1至4、权利要求6和7中任一项所述的装置，其中用于确定对感兴趣对象的选择的所述部件被布置为通过确定指示对所述感兴趣对象的选择的所述用户的手势来确定对所述感兴趣对象的选择。
10.根据权利要求1至4、权利要求6和7中任一项所述的装置，其中用于确定对感兴趣对象的选择的所述部件被布置为通过使用所述用户的注视追踪或头部追踪中的至少一者来确定对所述感兴趣对象的选择。
11.根据权利要求1至4、权利要求6和7中任一项所述的装置，其中用于确定对感兴趣对象的选择的所述部件被布置为基于所述用户的至少一部分已经处于特定取向和/或位置的持续时间来确定对所述感兴趣对象的选择。
12.根据权利要求1至4、权利要求6和7中任一项所述的装置，其中用于确定对感兴趣对象的选择的所述部件被布置为通过以下来确定对所述感兴趣对象的选择：
确定所述用户在所述虚拟空间中的取向；以及
选择在所述虚拟空间中在所述用户面前的对象作为所述感兴趣对象。
13.一种提供虚拟现实内容的方法，包括：
在虚拟空间中提供虚拟现实视频内容；
确定对所述虚拟空间中的感兴趣对象的选择；以及
至少基于以下来缩放用户在所述虚拟空间中的表示：(i)在所述虚拟空间中所述用户与所述感兴趣对象之间的距离V，以及(ii)所述用户在真实世界空间中的物理位置与所述真实世界空间中的边界之间的距离P。
14.根据权利要求13所述的方法，还包括：
确定缩放因子，其中所述缩放因子与V/P成比例；
其中所述用户在所述虚拟空间中的所述表示的所述缩放基于所述缩放因子。
15.根据权利要求13所述的方法，其中所述用户在所述虚拟空间中的所述表示的所述缩放包括：增加所述用户的所述表示朝着所述感兴趣对象穿过所述虚拟空间的速度。
16.根据权利要求15所述的方法，其中所述用户在所述虚拟空间中的所述表示的所述缩放包括：响应于确定所述用户的所述表示已经穿过所述虚拟空间到距所述感兴趣对象小于阈值距离的位置，减小所述用户的所述表示朝着所述感兴趣对象穿过所述虚拟空间的所述速度。
17.根据权利要求15或16所述的方法，其中所述用户在所述虚拟空间中的所述表示的所述缩放包括：随着所述用户的所述表示移动到更靠近在所述虚拟空间中的所述感兴趣对象而减小所述用户的所述表示穿过所述虚拟空间的所述速度。
18.根据权利要求13至16中任一项所述的方法，其中所述用户在所述虚拟空间中的所述表示的所述缩放包括：增加所述用户的所述表示在所述虚拟空间中的高度以使得所述用户感知到其高度的增加。
19.根据权利要求18所述的方法，其中所述用户在所述虚拟空间中的所述表示的所述缩放包括：响应于确定所述用户的所述表示已经穿过所述虚拟空间到距所述感兴趣对象小于阈值距离的位置，减小所述用户在所述虚拟空间中的所述表示的所述高度。
20.一种计算机可读存储介质，包括程序指令，所述程序指令在由计算机执行时使所述计算机执行：
在虚拟空间中提供虚拟现实视频内容；
确定对所述虚拟空间中的感兴趣对象的选择；以及
至少基于以下来缩放用户在所述虚拟空间中的表示：(i)在所述虚拟空间中所述用户与所述感兴趣对象之间的距离V，以及(ii)所述用户在真实世界空间中的物理位置与所述真实世界空间中的边界之间的距离P。
CN201880074890.7A 2017-11-20 2018-11-14 用于虚拟现实内容的提供的装置、方法和计算机程序 Active CN111373347B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17202494.5 2017-11-20
EP17202494.5A EP3486749B1 (en) 2017-11-20 2017-11-20 Provision of virtual reality content
PCT/IB2018/058939 WO2019097410A1 (en) 2017-11-20 2018-11-14 Provision of virtual reality content

Publications (2)

Publication Number Publication Date
CN111373347A CN111373347A (zh) 2020-07-03
CN111373347B true CN111373347B (zh) 2024-02-20

Family

ID=60450425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880074890.7A Active CN111373347B (zh) 2017-11-20 2018-11-14 用于虚拟现实内容的提供的装置、方法和计算机程序

Country Status (4)

Country Link
US (1) US11189057B2 (zh)
EP (1) EP3486749B1 (zh)
CN (1) CN111373347B (zh)
WO (1) WO2019097410A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020021608A2 (pt) * 2018-04-24 2021-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho e método para renderização de um sinal de áudio para uma reprodução para um usuário
JP6713591B1 (ja) * 2019-04-17 2020-06-24 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11796333B1 (en) * 2020-02-11 2023-10-24 Keysight Technologies, Inc. Methods, systems and computer readable media for augmented reality navigation in network test environments
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
EP3968143A1 (en) 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
US11831665B2 (en) 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1363246A1 (en) * 2001-02-23 2003-11-19 Fujitsu Limited Display control device, information terminal device equipped with the display control device, and view point position control device
WO2009028085A1 (ja) * 2007-08-31 2009-03-05 Pioneer Corporation 地図表示装置、地図表示方法、及び地図表示プログラム
CN106504334A (zh) * 2016-10-31 2017-03-15 北京视境技术有限公司 虚拟现实中重定向行走的方法
DE102015012134A1 (de) * 2015-09-16 2017-03-16 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364861B2 (ja) * 2005-11-01 2009-11-18 株式会社ソニー・コンピュータエンタテインメント 情報表示装置
US9558555B2 (en) * 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
US20170046878A1 (en) * 2015-08-13 2017-02-16 Revistor LLC Augmented reality mobile application
DE202017104323U1 (de) * 2016-07-20 2017-11-30 Google Inc. Anzeige und Interaktion mit gescannter Umgebungsgeometrie in virtueller Realität
US11436811B2 (en) * 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
JP7031142B2 (ja) * 2017-06-06 2022-03-08 富士フイルムビジネスイノベーション株式会社 情報提示装置、情報提示システム、及び情報提示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1363246A1 (en) * 2001-02-23 2003-11-19 Fujitsu Limited Display control device, information terminal device equipped with the display control device, and view point position control device
WO2009028085A1 (ja) * 2007-08-31 2009-03-05 Pioneer Corporation 地図表示装置、地図表示方法、及び地図表示プログラム
DE102015012134A1 (de) * 2015-09-16 2017-03-16 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
CN106504334A (zh) * 2016-10-31 2017-03-15 北京视境技术有限公司 虚拟现实中重定向行走的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Updating orientation in large virtual environments using scaled translational gain;Betsy Williams et al.;《APGV 2006》;20060729;全文 *

Also Published As

Publication number Publication date
EP3486749A1 (en) 2019-05-22
WO2019097410A1 (en) 2019-05-23
EP3486749B1 (en) 2022-05-11
US11189057B2 (en) 2021-11-30
CN111373347A (zh) 2020-07-03
US20200279407A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
CN111373347B (zh) 用于虚拟现实内容的提供的装置、方法和计算机程序
CN107636534B (zh) 用于图像处理的方法和系统
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US20190130644A1 (en) Provision of Virtual Reality Content
EP3422145B1 (en) Provision of virtual reality content
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
US10732706B2 (en) Provision of virtual reality content
US20190172271A1 (en) Information processing device, information processing method, and program
EP3264228A1 (en) Mediated reality
JP7349256B2 (ja) 画像生成装置および情報提示方法
CN110809751B (zh) 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序
EP3665656B1 (en) Three-dimensional video processing
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
US10796485B2 (en) Rendering objects in virtual views
US11128836B2 (en) Multi-camera display
EP3623908A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
WO2023179369A1 (zh) 控制装置的定位方法、装置、设备、存储介质及计算机程序产品
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
WO2016065401A1 (en) An improved computer system and method for user navigation in a virtual environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant