CN108604175A - 装置和关联方法 - Google Patents

装置和关联方法 Download PDF

Info

Publication number
CN108604175A
CN108604175A CN201780010602.7A CN201780010602A CN108604175A CN 108604175 A CN108604175 A CN 108604175A CN 201780010602 A CN201780010602 A CN 201780010602A CN 108604175 A CN108604175 A CN 108604175A
Authority
CN
China
Prior art keywords
user
augmented reality
virtual reality
space
reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780010602.7A
Other languages
English (en)
Other versions
CN108604175B (zh
Inventor
J·莱帕宁
A·埃罗宁
A·莱赫蒂涅米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN108604175A publication Critical patent/CN108604175A/zh
Application granted granted Critical
Publication of CN108604175B publication Critical patent/CN108604175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)

Abstract

一种装置，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置执行至少以下内容：基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的所述虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的所述物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的所述虚拟现实空间的所述至少一部分。

Description

装置和关联方法
技术领域
本公开涉及增强现实领域，并且特别地，涉及使用增强现实装置观看和控制由虚拟现实装置呈现的内容。还公开了关联方法、计算机程序和装置。某些公开的方面/示例涉及便携式电子设备，特别是虚拟现实耳机/眼镜、增强现实眼镜(双目或单眼)、可以手持使用的所谓便携式电子设备(尽管可以放在摇篮中使用)。这种便携式电子设备包括所谓的个人数字助理(PDA)、移动电话、智能手机和其他智能设备、智能手表和平板电脑。
根据一个或多个公开的方面/实施例的便携式电子设备/装置可以提供一个或多个音频/文本/视频/数据通信功能(例如，远程通信、视频通信和/或文本传输(短消息服务(SMS)/多媒体消息服务(MMS)/电子邮件)功能)、交互式/非交互式观看功能(例如网页浏览、导航、电视/节目观看功能)、音乐录制/播放功能(例如MP3或其他格式和/或(FM/AM)无线电广播录制/播放)、数据下载/发送功能、图像捕获功能(例如，使用(例如，内置)数码相机)和游戏功能。
背景技术
虚拟现实可以使用诸如眼镜或护目镜的耳机、或围绕用户以向用户提供沉浸式虚拟体验的一个或多个显示器。虚拟现实装置可以向用户呈现表示虚拟现实空间的多媒体内容，以模拟存在于虚拟现实空间内的用户。虚拟现实空间可以由全景视频提供，例如具有宽视场或360°视场(或更多，例如水平方位视场上方和/或下方)的视频。增强现实还可以使用诸如眼镜或护目镜或虚拟视网膜显示器之类的耳机(headset)来利用计算机生成内容增强通过耳机所看到的现实世界的视图。因此，增强现实的用户可能能够观看他们周围的并由增强现实装置提供的内容增强或补充的现实世界环境，所述内容可被覆盖在他们对现实世界的视图上。
对本说明书中的在先公开文件或任何背景的列表或讨论不应被视为承认该文件或背景是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以或可以不解决一个或多个所述背景问题。
发明内容
在第一示例方面，提供了一种装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置执行至少以下内容：
基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的虚拟现实空间的至少一部分。
在增强现实视图中提供示出了由不同用户观看的虚拟现实空间并围绕所述用户的增强现实图形，在提供直观的用户界面方面可能是有利的。
可选地，所述增强现实图形包括以下中的一个或多个：
所述虚拟现实空间的至少一部分的圆柱投影；
从所述虚拟现实空间中的所述第一用户的当前位置观看的所述虚拟现实空间的表示；
在所述虚拟现实空间中当前时间观看的所述虚拟现实空间的表示；
所述虚拟现实空间的全景；
所述虚拟现实空间的至少180°全景；
所述虚拟现实空间的360°全景；以及
半透明的增强现实图形。
因此，该装置可以从虚拟现实装置接收信令，所述信令指示提供用于由所述第一用户观看的内容，使得可以将信令提供给增强现实装置以呈现适当的增强现实图形。
可选地，提供第二增强现实图形用于向所述第二用户的增强现实显示并且供所述第二用户选择，所述第二增强现实图形包括所述第一用户当前未观看的第二虚拟现实空间的至少一部分的图像，用于根据用户选择向所述第一用户提供。
所述第二增强现实图形可以具有与所述增强现实图形共同的一个或多个上述特征。所述第二增强现实图形可以在所述增强现实视图中显示为条带，例如被成形为在所述增强现实视图中围绕所述第一用户。
可选地，所述第二增强现实图形被提供用于在所述增强现实视图中定位在所述第一用户的物理位置处并且与所述增强现实图形间隔开的显示，所述第二增强现实图形被显示为至少部分地围绕在所述增强现实视图中从所述第一用户延伸的轴。如所述第二用户所看到的，所述增强现实图形和所述第二增强现实图形可以显示为从所述第一用户大致向上延伸的堆叠。
可选地，在所述第二用户选择所述第二增强现实图形时，向所述第一用户提供与其相关联的所述第二虚拟现实空间的虚拟现实显示。
可选地，选择所述第二增强现实图形包括所述第二用户的自由空间用户手势或经由用户界面提供的输入。选择所述第二增强现实图形可以包括经由智能手机、计算机、触摸界面或自由空间用户手势向所述装置提供信令。
可选地，所述第二增强现实图形被提供用于在所述增强现实视图中的所述增强现实图形上方显示，并且所述选择所述第二增强现实图形或与其相关联的所述第二虚拟现实空间包括通过将所述第二增强现实图形移动到在所述增强现实视图中围绕所述第一用户的位置来提供反馈。
可选地，该装置提供用户对所述第二增强现实图形的拒绝，使得与所述第二增强现实图形相关联的所述第二虚拟现实空间的虚拟现实显示不被提供给所述第一用户。用户拒绝可以包括拒绝多个候选增强现实图形中的候选增强现实图形，每个候选增强现实图形表示可能显示给所述第一用户的候选虚拟现实空间。
可选地，在用户拒绝时，提供表示另外的虚拟现实空间的另一候选增强现实图形，用于在所述增强现实视图中选择和显示，以代替被拒绝的第二增强现实图形。因此，如果候选增强现实图形被呈现为堆叠，则可以在用户拒绝时重新定位其堆叠或其剩余增强现实图形。
可选地，所述第二增强现实图形被提供用于在所述增强现实视图中的所述增强现实图形上方显示，并且用户拒绝所述第二增强现实图形或与其相关联的所述第二虚拟现实空间包括通过移动所述第二增强现实图形到在所述增强现实视图中从所述第一用户向侧面或向上的位置来提供反馈。可以在已经接收到用户拒绝输入之后或者在指示用户拒绝的自由空间用户手势(例如滑动)期间提供所述反馈。
可选地，提供另一增强现实图形以增强现实显示给所述第二用户并供所述第二用户选择，该另一增强现实图形包括当前未被所述第一用户观看的另一虚拟现实空间的至少一部分的图像视图，用于根据用户选择向第一用户提供。可以提供多个另外的增强现实图形。
可选地，至少所述第二增强现实图形是可由所述第二用户在所述增强现实视图中操纵的，使得响应于所述第二用户的旋转输入，所述第二增强现实图形被旋转并且其中在所述第二用户选择所述第二增强现实图形时，与所述第二增强现实图形相关联的所述第二虚拟现实空间被提供用于以基于所述第二用户的旋转输入的初始视野向所述第一用户虚拟现实显示。可选地，如关于所述第二增强现实图形所提供的，每个另外的增强现实图形是可操纵的。可选地，至少所述第二增强现实图形在所述增强现实视图中是可由所述第二用户操纵的，使得响应于所述第二用户的平移输入，由所述第二增强现实图形表示的所述第二虚拟现实空间中的虚拟位置改变并且其中在由所述第二用户选择所述第二增强现实图形时，与所述第二增强现实图形相关联的所述第二虚拟现实空间被提供用于以基于所述第二用户的平移输入的初始视野向所述第一用户虚拟现实显示。
可选地，该装置是以下中的一个或多个：智能手机、计算机、笔记本电脑、头戴式增强现实装置、眼戴式增强现实装置、基于视网膜投影仪的增强现实装置和眼内增强现实装置或用于其中的一个或多个的模块/电路或包括增强现实装置和虚拟现实装置的结合的系统。
可选地，所述增强现实视图包括虚拟现实中的模拟增强现实视图，所述虚拟现实包括周围现实世界的相机图像。因此，增强现实图形可以被覆盖在周围现实世界的相机图像上。
在另一方面，提供了一种方法，所述方法包括：
基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的虚拟现实空间的至少一部分。
在另一方面，提供了一种计算机可读介质，包括存储在其上的计算机程序代码，该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时，执行至少以下操作：
基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的虚拟现实空间的至少一部分。
在另一方面，提供了一种装置，该装置包括模块，所述模块被配置为基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的虚拟现实空间的至少一部分。
本公开包括单独或以各种组合的一个或多个对应方面、示例或特征，无论是否以该组合或单独地具体陈述(包括要求保护)的。用于执行一个或多个所讨论的功能的相应模块和相应的功能单元(例如，功能启动器、对象创建器、显示渲染器、用户输入接收器)也在本公开内。
用于实现所公开的一种或多种方法的相应计算机程序也在本公开内，并且被一个或多个所述示例所涵盖。
以上概述旨在仅是示例性而非限制性的。
附图说明
现在仅通过示例的方式参考附图给出描述，其中：
图1示出了根据本公开的一个实施例的作为包括多个电子部件的系统的一部分的示例装置实施例，所述电子部件包括服务器、内容存储器、虚拟现实眼镜和增强现实眼镜；
图2示出了示例虚拟现实视图；
图3示出了示例增强现实视图；
图4示出了示例增强现实视图，其示出了用于在虚拟现实中观看的当前的和可能的虚拟现实空间；
图5示出了示例增强现实视图，其示出了用户选择和改变候选虚拟现实视图的当前虚拟现实视图；
图6示出了示例增强现实视图，其示出了可能的虚拟现实空间的方向；
图7示出了示例增强现实视图，其示出了拒绝可能的虚拟现实空间；
图8示出了示例增强现实视图，其示出了多个虚拟现实用户；
图9示出了根据本公开的方法的流程图；以及
图10示意性地示出了提供程序的计算机可读介质。
具体实施方式
虚拟现实可以使用诸如眼镜或护目镜的耳机、或围绕用户以向用户提供沉浸式虚拟体验的一个或多个显示器。虚拟现实装置可以向用户呈现表示虚拟现实空间或世界的多媒体内容，以模拟用户存在于虚拟现实空间内。虚拟现实空间可以复制现实世界环境以模拟用户物理地存在于现实世界位置，或者虚拟现实空间可以是计算机生成的或者是计算机生成的和现实世界多媒体内容的结合。虚拟现实空间可以由全景视频提供，例如具有宽视场或360°视场(或更多，例如水平方位视场上方和/或下方)的视频。虚拟现实装置可以让用户例如通过虚拟地四处移动来探索虚拟现实空间，并且可以让用户与虚拟现实空间中的虚拟对象交互。因此，提供给用户的内容可以是人造的或虚构的并且可以在计算机中创建，或者可以包括例如由全景视频捕获设备或远程呈现(telepresence)设备捕获的现实世界的实况或录制图像。呈现捕获设备(presence video capture device)的示例是诺基亚技术有限公司(Nokia Technologies Oy.)的Nokia OZO。虚拟现实空间可以包括二维内容或例如通过立体显示的虚拟三维内容。虚拟现实空间可以提供360°的视野，并且可以基于用户的头部或眼睛的移动提供围绕所述视野的平移。虚拟现实用户的视图可以经由耳机中的显示器由虚拟现实装置向所述用户提供。
增强现实还可以使用诸如眼镜或护目镜或虚拟视网膜显示器之类的耳机来以计算机生成内容增强通过耳机所看到的现实世界的视图。因此，增强现实的用户可能能够观看他们周围的并由增强现实装置提供的内容增强或补充的现实世界环境，所述内容可被覆盖在他们的现实世界的视图上。内容可以包括多媒体内容，诸如图片、照片、视频、图表、文本信息、听觉内容等。因此，虽然增强现实可以通过添加计算机生成的图形和内容来提供对现实世界的直接观看，但是虚拟现实的用户可能仅能够看到呈现在虚拟现实装置的显示器上的内容，而基本不直接观看现实世界。
已经认识到，增强现实可以提供控制其他人观看的虚拟现实内容的便利方式。因此，第一用户可以使用虚拟现实装置来观看虚拟现实空间的虚拟现实内容。可以在现实世界中物理地看到第一用户的第二用户可以使用增强现实装置来观看和控制由第一用户观看的虚拟现实内容。这是有利的，因为使用增强现实来控制另一用户或用户们的虚拟现实体验可能是直观和有效的。
图1示出了被配置为使用增强现实装置来提供对虚拟现实装置的控制的装置100。在该示例中，该装置由计算机服务器100提供，计算机服务器100可以包括存储器和处理器。在该示例中，服务器100结合虚拟现实(VR)眼镜101和虚拟现实内容存储器102提供虚拟现实装置的至少一部分功能。在该示例中，服务器100结合增强现实(AR)眼镜103和运动跟踪器104提供增强现实装置的至少一部分功能。
因此，在该示例中，一个装置，服务器100，提供虚拟现实(VR)装置、增强现实(AR)装置和用于使用增强现实装置控制虚拟现实装置的装置的功能，尽管它们具有已经在图1中在功能上分开地分别显示为100a、100b和100c。然而，应当理解，这些装置可以在物理上分开或不同地组合在一起。
在该实施例中，上述服务器100或每个装置100a、100b、100c可以仅具有一个处理器和一个存储器，但是应当理解，其他实施例可以使用多于一个处理器和/或多于一个存储器(例如，相同或不同处理器/存储器类型)。此外，装置100a、100b、100c可以是专用集成电路(ASIC)。
处理器可以是通用处理器，专用于根据在存储器上以计算机程序代码的形式存储的指令来执行/处理从其他部件(例如内容存储器102和运动跟踪器104)接收的信息。由处理器的这种操作产生的输出信令被提供给其他部件，例如101、103和102。
存储器(不一定是单个存储器单元)是存储计算机程序代码的计算机可读介质(在该示例中为固态存储器，但可以是其他类型的存储器，诸如硬盘驱动器、ROM、RAM、闪存等)。当程序代码在处理器上运行时，该计算机程序代码存储可由处理器执行的指令。在一个或多个示例实施例中，存储器和处理器之间的内部连接可以被理解为在处理器和存储器之间提供有源耦合，以允许处理器访问存储在存储器上的计算机程序代码。
在该示例中，处理器和存储器都在内部彼此电连接以允许相应部件之间的电通信。在该示例中，部件全部位于彼此附近，以便一起形成为ASIC，换句话说，以便集成在一起作为可以安装到电子设备中的单个芯片/电路。在其他示例中，一个或多个或所有部件可以彼此分开。
图2示出了当前由佩戴虚拟现实耳机202的第一用户201观看的虚拟现实空间200的示意图。虚拟现实空间被示出为围绕第一用户201的球体以表示虚拟现实的沉浸式本质，即第一用户可以通过耳机202看到的所有内容都由虚拟现实装置100a提供。虚拟现实空间200可以被认为包括从多媒体内容(例如来自内容存储器102)生成的数字空间或世界，以显示给第一用户201。
第一用户201可以虚拟地探索虚拟现实空间200，即虚拟地四处移动。第一用户201可以使用控制器(未示出)或通过虚拟现实装置100a或其部件检测到的物理移动来虚拟地四处移动。此外，虚拟现实耳机202可以包括方位或移动传感器，例如加速度计，使得当第一用户移动其头部时，由VR装置100a提供的虚拟现实视图相应地移动。
因此，可以基于虚拟现实空间200中的一个或多个虚拟位置以及第一用户正在观看的方向(例如，从耳机202的物理方向中推导出)来向第一用户201提供虚拟现实空间200的虚拟现实视图。
第二用户203被示出为佩戴增强现实耳机204。增强现实耳机被提供有来自增强现实装置100b的一个或多个增强现实图形以覆盖到第二用户203所看到的现实世界的视图上。用户203可以通过增强现实耳机204物理地看到第一用户201。因此，增强现实耳机204与虚拟现实耳机202的不同之处在于增强现实耳机204允许第二用户204直接看到他们周围的现实世界，而第一用户201只能看到经由虚拟现实耳机202中的显示器提供的内容。可以理解，第二用户203看不到虚拟现实空间200(球体)，因为球体表示第一用户201正在观看的内容。在一个或多个其他示例中，第二用户203使用虚拟现实耳机，虚拟现实耳机被配置为经由虚拟现实耳机的一个或多个显示器以及增强现实图形一起显示第二用户周围的现实世界的视图(诸如来自与虚拟现实耳机相关联的相机)。因此，应当理解，在该示例中，虚拟现实耳机正被用于“模拟”增强现实耳机。然而，增强现实图形可以被覆盖在现实世界的相机图像上，类似于使用增强现实耳机时。因此，可以认为该装置在用户周围的现实世界的虚拟现实视图中提供用于由第二不同用户观看的增强现实图形(在虚拟现实中)的显示。
增强现实耳机204与运动跟踪器104和AR装置100b协作以提供增强现实功能。总之，增强现实装置100b可能需要了解第二用户203正在寻找的位置(或在一些示例中内容)，使得增强现实图形可以被覆盖在第二用户的视图中期望位置处。运动跟踪器104可以在功能上提供表示第一和/或第二用户201、203的位置和/或第一用户正在看的位置的信令，其可以从各种传感器导出。增强现实装置100b可以包括图像检测和对象识别功能，以便自动识别例如第一用户201。
图3示出了第二用户203的增强现实视图的表示。AR视图包括如在现实世界中观看的第一用户201和增强现实图形300。增强现实图形300被显示使得它与第一用户201的物理位置相关联。增强现实图形300包括第一用户201当前体验的所述虚拟现实空间200的表示。图形300包括虚拟现实空间200的至少一部分的静态或移动图像。
增强现实图形300被显示为至少部分地围绕第一用户201并且在增强现实视图中定位在第一用户201的物理位置处，使得第二用户203可以看到第一用户201所经历的虚拟现实空间200的至少一部分。应当理解，虽然图3示意性地示出了不是从第二用户的视点来看的增强现实视图，但这是出于解释的目的，第一用户201的视图和增强现实图形300将通过增强现实耳机204呈现给第二用户203。
在该示例中，增强现实图形300包括圆柱形条带。圆柱形条带可以包括虚拟现实空间200的至少一部分的圆柱形投影，诸如虚拟现实空间200的全景。增强现实图形300可以被定位成使得它基本上围绕第一用户显示虚拟现实空间中360度视图。因此，增强现实图形显示虚拟现实空间200的360度全景。在该示例中，条带是水平方位的。此外，条带的宽度看起来小于第一用户201的物理高度，以便在增强现实视图中不使它们对于第二用户203模糊。增强现实图形300可以是半透明的，使得第二用户203可以通过增强现实图形300看到第一用户。
在其他示例中，增强现实图形300被定位成使得它与第一用户201相关联但可能不一定完全包围第一用户201。例如，增强现实图形可以被渲染为围绕第一用户201弯曲，但可以在它们周围延伸至少90°，至少120°，至少180°或至少270°。增强现实图形300的宽度可以基于虚拟现实空间200中第一用户的视野。在一个示例中，作为增强现实图形的一部分或者除了增强现实图形之外附加显示的标记可以示出所述图形所示图像内的第一用户的当前视野。虽然在该示例中虚拟现实空间300的全景的弯曲(例如圆形)投影被示出为增强现实图形300，但是图形300可以包括其他横截面的条带，例如正方形、矩形、五边形、六角形等。在AR视图中增强现实图形300与第一用户201的间隔可以是预定间隔，或者可以与第一用户201(或VR空间中的“相机”位置)与由虚拟现实空间200中第一用户201观看的虚拟对象或虚拟场景的接近度相关。提供增强现实图形300以至少部分地环绕第一用户并呈现虚拟现实空间的全景是有利的，因为它为第二用户203提供对第一用户正在体验的内容的直观而有效的了解。
增强现实图形300可以包括当前由第一用户201观看的虚拟现实空间200的表示。因此，当第一用户201虚拟地围绕虚拟现实空间200移动时，它们的虚拟位置改变，因此它们的视点也改变。因此，增强现实图形300可以示出在第一用户201的虚拟位置处的虚拟现实空间的表示。在其他示例中，增强现实图形示出了在预定或固定虚拟位置处的虚拟现实空间。当前由第一用户201观看的虚拟现实空间200的表示可以包括虚拟现实空间中的当前时间。例如，如果虚拟现实空间由全景视频提供，则可以提供全景视频中当前时间点(如由第一用户201观看)的全景视频的图像或多个图像用作增强现实图形300。如果虚拟现实空间由计算机生成的随时间变化的VR世界提供，则AR图形300可以基于VR空间中的当前时间点处的VR空间的图像。因此，可以利用虚拟现实空间200中的第一用户201的当前(在虚拟位置和/或虚拟时间方面)视图来实时地、间歇地或周期性地主动更新增强现实图形300。
因此，装置100c可以从VR装置100a接收表示第一用户201当前正在虚拟现实空间200中观看的内容的图像的信令。装置100c可以渲染所接收的图像或者为AR装置100b提供用于渲染图像作为增强现实图形300以显示给第二用户203的信令。装置100c可以向增强现实装置100b提供信令以识别第一用户201的位置，使得增强现实图形300可以在正确的位置显示，即从第二用户203的视点围绕第一用户201。
图4示出了第二用户203的增强现实视图的说明图。除了示出了第二增强现实图形400之外，该视图类似于上面关于图3示出和描述的视图。如前所述，增强现实图形300包括当前由第一用户201观看的虚拟现实空间的表示。第二增强现实图形400包括通过VR耳机202当前对第一用户201不可见的不同的第二虚拟现实空间的表示。因此，第二用户204可以观看可以在虚拟现实视图中提供给第一用户201的另一虚拟现实空间的表示。
在该示例中，第二增强现实图形400在形式上类似于增强现实图形300。具体地，第二增强现实图形400包括被渲染为基本上圆柱形条带的第二增强现实空间的360°全景。在该示例中，第二增强现实图形400位于增强现实图形300上方并与增强现实图形300间隔开，但是不同位置是可能的。在该示例中，第二增强现实图形400与增强现实图形300垂直对齐，因此也与第一用户201垂直对齐。虽然第二增强现实图形不至少部分地围绕第一用户，但是它可以围绕第一用户201正上方的位置。
装置100c可以，例如在来自第二用户203的用户输入上，将来自内容存储器102的可能或“候选”虚拟现实空间呈现为第二或进一步的增强现实图形，以供第二用户选择。在选择第二增强现实图形400时，其关联的第二虚拟现实空间可以在虚拟现实视图中被呈现给第一用户201。因此，可以用第二虚拟现实空间的虚拟现实视图替换虚拟现实视图200。
选择第二增强现实图形400可以包括从用户输入设备接收信令，所述用户输入设备诸如智能手机、计算机或控制器，当由第二用户203致动时与装置100c通信。可选地，可以通过表示自由空间用户手势(例如，用户手作出的空中手势)的信令提供选择。因此，第二用户203可以指向或以其他方式选择第二增强现实图形400并执行手势以提供应该向第一用户201显示第二虚拟现实空间的指令。因此，AR装置100b或运动跟踪器104可以跟踪第二用户的手的位置以检测用户手势输入并将相关信令提供给装置100c和VR装置100a。
图5示出了第二用户203在其增强现实视图中选择了第二增强现实图形400，使得相应的虚拟现实空间在其虚拟现实视图中呈现给第一用户201。第二虚拟现实图形400被示出为被移动以围绕第一用户201(由箭头500表示)，以便向第二用户203提供第一用户201正在观看第二虚拟现实空间的反馈。在该示例中，增强现实图形300被示出为相对于第一用户201处于较低位置(向箭头501所示的较低位置的移动)，以提供第一虚拟现实空间200不再被呈现给第一用户的反馈。增强现实图形300随后可以消失或淡出增强现实视图，或者可以消失/淡出而不显示在较低位置。应当理解，可以提供其他形式的反馈，以示出从虚拟现实视图中移除由增强现实图形300表示的虚拟现实空间200。
如果使用自由空间手势来提供对第二增强现实图形400的选择，则第一用户可以在增强现实视图中“抓取”第二增强现实图形400并将其“向下”移动到眼线和/或围绕第一用户201。移动第二增强现实图形400以围绕第一用户201的动作因此可以提供对第二增强现实图形的选择。这为第二用户203提供了有利的直观体验。此外，无论是否使用这样的手势，提供表示候选虚拟现实空间的候选增强现实图形可以是有利界面，所述候选增强现实图形可以在第一用户201周围的悬停位置(即，间隔开)和图形300、400围绕第一用户201的位置之间移动或被移动，以便提供动作或做出选择的反馈。
图6示出了类似于图4中所示的视图，并且示出了第二增强现实图形400在增强现实视图中是可操纵的，至少在其相对于第一用户201的方位方面是可操纵的。箭头600示出了在第二用户203的用户输入上，第二增强现实图形400可以绕其轴旋转。因此，在选择第二增强现实图形400以提供用于观看的对应虚拟现实空间之前，第一用户203可以定向第二增强现实图形400以控制当对应的第二增强现实图形被VR装置100a呈现给他们时被呈现给第一用户201的初始视野。这是特别有利的，因为虚拟现实空间(例如包括全景视频的虚拟现实空间)可以具有特定焦点，例如特定人或动作所在的位置。通过提供对呈现给第一用户201的虚拟现实空间的初始视野的控制，通过操纵这种增强现实图形400，第一用户201的注意力可被指向第二用户203感觉到重要的内容。
一旦第二虚拟现实空间在VR视图中被呈现给第一用户201，就可以不提供第二用户203的操纵。因此，一旦VR装置的第一用户当前可以看到对应于增强现实图形的虚拟现实空间，则通过在AR视图中操纵增强现实图形不能修改对VR视图中呈现的视野的控制。这是有利的，因为限制对VR视图到第一用户201的移动的控制可以防止第一用户201的不稳定体验。
可以基于相应的增强现实图形的旋转来确定虚拟现实空间中的初始视野。特别地，可以使用相对于第一用户201的取向的增强现实图形的取向。因此，第二用户203可以旋转增强现实图形以将关注点以直接定位在第一用户201的前面，来为第一用户201设置初始视野(在VR中)。替代地，可以使用增强现实图形相对于第二用户203的取向而不管第一用户201的取向。因此，第二用户可以旋转增强现实图形以定位关注点以直接面对它们，来为第一用户201设置初始视场(在VR中)。
在其他示例中，装置100c可以通过围绕对应的虚拟现实空间的虚拟平移运动来提供对第二增强现实图形400的操纵。因此，如果对应的虚拟现实空间包括可导航的计算机生成的世界，则第二用户203可能能够改变虚拟现实空间中的初始视图的虚拟位置(或虚拟时间)以在VR视图中显示给第一用户201。因此，虚拟现实空间的初始视点可以是基于经由AR装置提供的虚拟位置的视点或基于增强现实图形400的取向的视野。
在其他示例中，增强现实图形可以是可操纵的以控制在VR视图中最初观看的内容，但是增强现实图形不可被选择以改变第一用户201的VR视图。例如，第一用户201或第三方可以控制VR视图中的一个虚拟现实空间与另一个虚拟现实空间之间的平移。
因此，装置100c可以被配置为接收用户输入信令，该用户输入信令指示增强现实图形的旋转和/或围绕由增强现实图形表示的虚拟现实空间的平移。此外，装置100c可以提供信令以在示出了修改的增强现实图形的AR视图中向第二用户203提供反馈。装置100c可以向VR装置100a提供信令，以指示当最初呈现虚拟现实空间时要在VR视图中呈现的虚拟现实空间中的初始视野/视点。
图7示出了第二用户203的增强现实视图的说明图，并且包括另外的增强现实图形700。具体地，它包括两个另外的增强现实图形700和701。每个另外的增强现实图形，如第二增强现实图形400，表示不同的候选虚拟现实空间，所述候选虚拟现实空间在选择时可以在VR视图中被呈现给第一用户201。应当理解，上面涉及的描述并且特别是关于第二增强现实图形400提供的任何功能可以同等地应用于任何数量的另外的增强现实图形700、701。
装置100c可以被配置为提供候选虚拟现实空间，用于在VR视图中可能的显示，其在增强现实视图中表示为增强现实图形400、700、701。此外，装置100c可以响应于第二用户203的用户输入而提供对候选虚拟现实空间的拒绝。用户拒绝可以包括从如增强现实视图中的增强现实图形所表示的多个候选虚拟现实空间中移除一个或多个候选虚拟现实空间。
如图7所示，多个增强现实图形400、700、701在增强现实视图中显示为堆栈702。堆栈可以基本上以第一用户为中心。因此，可以在与第一用户201相关联的增强现实视图中提供堆栈702。此外，图7示出了第二增强现实图形400远离堆栈702的轴的移动(参见箭头703)。这在AR视图中向第二用户203提供已经从可以选择的候选虚拟现实空间中拒绝了由第二增强现实图形表示的第二虚拟现实空间的反馈。被拒绝的第二虚拟现实图形400(或者更一般地，被拒绝的候选增强现实图形)可以随后从AR视图中消失或淡出。应当理解，该拒绝反馈是可选的，可以从AR视图中移除被拒绝的候选增强现实图形。
如果使用自由空间手势来提供对第二增强现实图形400的拒绝，则第一用户可以在增强现实视图中“抓取”第二增强现实图形400并且将其横向“移动”出堆栈702之外。将第二增强现实图形400移出堆栈外的动作可以显示为自由空间手势的反馈。这为第二用户203提供了有利的直观体验。
一旦移除了被拒绝的候选增强现实图形400，则向下移动剩余候选增强现实图形(在该示例中为700和702)以填充被拒绝的候选增强现实图形的空间，如箭头704所示。
因此，装置100c可以响应于表示用户拒绝或其他手势的信令，向AR装置100b提供信令以改变第二/另外的增强现实图形的显示(就位置或可见性而言)。
图8示出了第二用户203的增强现实视图的表示。在该示例中，存在第三用户800。第三用户800是虚拟现实装置的用户，类似于第一用户201，并且被示出具有虚拟现实耳机801。第三用户800被提供有虚拟现实空间的虚拟现实视图，其不必与提供给第一用户201的虚拟现实空间相同。第二用户203能够观看表示第三用户800正在观看的虚拟现实空间的增强现实图形802。类似于增强现实图形400，增强现实图形801被示出为围绕与其相关联的用户并且包括来自相关联的虚拟现实空间的图像，诸如360度全景。因此，第二用户203可以针对多个虚拟现实用户(第一用户201和第三用户800以及任何其他VR用户)执行上述任何动作或功能。装置100c可以响应于第二用户输入或者基于第二用户203正在观看的人，来提供对第二用户203的不同虚拟现实用户的虚拟现实体验的控制之间的切换。因此，第二用户能够有效地控制上面针对多个虚拟现实用户描述的“选择”、“拒绝”和“操纵”功能。
图9是流程图，该流程图示出了以下步骤：基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置900；在增强现实视图中向第二不同用户提供对包括所述虚拟现实空间的表示的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的虚拟现实空间的至少一部分的图像，并且被显示在与所述第一用户的物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的虚拟现实空间的至少一部分901。
图10示意性地示出了根据示例提供程序的计算机/处理器可读介质1000。在该示例中，计算机/处理器可读介质是诸如数字通用盘(DVD)或光盘(CD)之类的盘。在其他示例中，计算机可读介质可以是已经以执行发明功能的方式编程的任何介质。计算机程序代码可以分布在相同类型的多个存储器之间，或者分布在不同类型(例如ROM、RAM、闪存、硬盘、固态等)的多个存储器之间。
用户输入可以是包括轻击、刷动、滑动、按压、抓握、旋转手势、靠近设备的用户界面的静态悬停手势、靠近设备的移动悬停手势、弯曲设备的至少一部分、挤压设备的至少一部分、多指手势、倾斜设备、或翻转控制设备。此外，手势可以是使用用户身体例如手臂或者手写笔或适合于执行自由空间用户手势的其他元素的任何自由空间用户手势。
上述示例中所示的装置可以是便携式电子设备、膝上型计算机、移动电话、智能手机、平板电脑、个人数字助理、数码相机、智能手表、智能眼镜、笔式计算机、非便携式电子设备、台式计算机、监视器、家用电器、智能电视、服务器、虚拟现实装置、可穿戴装置、增强现实装置或用于其中的一个或多个的模块/电路。
任何提到的装置和/或特定提到的装置的其他特征可以由装置提供，使得它们被配置成仅在启用例如打开时执行所需的操作。在这种情况下，它们可能不一定具有在非启用(例如，关闭状态)下加载到活动存储器中的适当软件，并且仅在启用(例如，开启状态)下加载适当的软件。该装置可以包括硬件电路和/或固件。该装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以被记录在相同的存储器/处理器/功能单元上和/或一个或多个存储器/处理器/功能单元上。
在一些示例中，特定提及的装置可以用适当的软件预编程以执行期望的操作，并且其中可以启用适当的软件以供用户下载“密钥”使用，例如，以解锁/启用软件及其相关功能。与这样的示例相关联的优点可以包括当设备需要进一步的功能时减少下载数据的要求，并且这在设备被感知具有足够容量来存储这样的预编程软件以用于可能不由用户启用的功能的示例中是有用的。
除了所提到的功能之外，任何提到的装置/电路/元件/处理器可以具有其他功能，并且这些功能可以由相同的装置/电路/元件/处理器执行。一个或多个公开的方面可以包括相关计算机程序记录和在适当的载体(例如，存储器，信号)上的计算机程序(可以是源/传输编码的)的电子分发。
本文描述的任何“计算机”可以包括一个或多个单独的处理器/处理元件的集合，这些处理器/处理元件可以或可以不位于同一电路板上、或者电路板的相同区域/位置或甚至相同的设备上。在一些示例中，任何提到的处理器中的一个或多个可以分布在多个设备上。相同或不同的处理器/处理元件可以执行本文描述的一个或多个功能。
术语“信令”可以指作为一系列发送和/或接收的电/光信号传输的一个或多个信号。该系列信号可以包括一个、两个、三个、四个或甚至更多单独信号分量或不同信号以构成所述信令。这些单独信号中的一些或全部可以通过无线或有线通信同时、依次发送/接收，和/或使得它们在时间上彼此重叠。
参考任何提到的计算机和/或处理器和存储器(例如包括ROM、CD-ROM等)的任何讨论，这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和/或以这种方式编程以执行本发明功能的其他硬件部件。
申请人在此单独地公开了本文所述的每个单独的特征以及两个或更多个这样的特征的任何组合，只要这些特征或组合能够基于本说明书作为整体并结合本领域技术人员的一般知识执行，不管这些特征或特征的组合是否解决了本文公开的任何问题，而且不限制权利要求的范围。申请人指出所公开的方面/示例可以由任何这样的单独特征或特征组合组成。鉴于前面的描述，对于本领域技术人员显而易见的是，可以在本公开的范围内进行各种修改。
尽管已经示出并描述并指出了应用于其示例的基本新颖特征，但是应当理解，在不脱离本公开的范围的情况下，本领域技术人员可以对所描述的装置和方法的形式和细节进行各种省略和替换以及改变。例如，明确地意图的是，以基本相同的方式执行基本相同的功能以实现相同结果的那些元件和/或方法步骤的所有组合都在本公开的范围内。此外，应该认识到，结合任何公开的形式或示例示出和/或描述的结构和/或元件和/或方法步骤可以作为设计选择的一般事项并入任何其他公开的或描述的或建议的形式或示例中。此外，在权利要求中，装置加功能条款旨在覆盖这里描述的执行所述功能的结构，不仅包括结构等同物，还包括等同结构。因此，尽管钉子和螺钉可能不是结构等同物，因为钉子采用圆柱形表面将木质部件固定在一起而螺钉采用螺旋表面，但在紧固木质部件的环境中，钉子和螺钉可能是等同结构。

Claims (15)

1.一种装置，包括：
至少一个处理器；以及
至少一个包括计算机程序代码的存储器，
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置执行至少以下内容：
基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的所述虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的所述物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的所述虚拟现实空间的所述至少一部分。
2.根据权利要求1所述的装置，其中所述增强现实图形包括以下中的一个或多个：
所述虚拟现实空间的至少一部分的圆柱投影；
从所述虚拟现实空间中的所述第一用户的当前位置观看的所述虚拟现实空间的表示；
在所述虚拟现实空间中当前时间观看的所述虚拟现实空间的表示；
所述虚拟现实空间的全景；
所述虚拟现实空间的至少180°全景；
所述虚拟现实空间的基本360°全景；以及
半透明的增强现实图形。
3.根据权利要求1所述的装置，其中提供第二增强现实图形用于向所述第二用户的增强现实显示并且供所述第二用户选择，所述第二增强现实图形包括所述第一用户当前未观看的第二虚拟现实空间的至少一部分的图像，用于根据用户选择向所述第一用户提供。
4.根据权利要求3所述的装置，其中所述第二增强现实图形被提供用于在所述增强现实视图中定位在所述第一用户的所述物理位置处并且与所述增强现实图形间隔开的显示，所述第二增强现实图形被显示为至少部分地围绕在所述增强现实视图中从所述第一用户延伸的轴。
5.根据权利要求3或4所述的装置，其中在所述第二用户选择所述第二增强现实图形时，向所述第一用户提供与其相关联的所述第二虚拟现实空间的虚拟现实显示。
6.根据权利要求3至5中任一项所述的装置，其中选择所述第二增强现实图形包括所述第二用户的自由空间用户手势。
7.根据权利要求3至6中任一项所述的装置，其中所述第二增强现实图形被提供用于在所述增强现实视图中的所述增强现实图形上方显示，并且所述选择所述第二增强现实图形或与其相关联的所述第二虚拟现实空间包括通过将所述第二增强现实图形移动到在所述增强现实视图中围绕所述第一用户的位置来提供反馈。
8.根据权利要求3至7中任一项所述的装置，其中所述装置提供用户对所述第二增强现实图形的拒绝，使得与所述第二增强现实图形相关联的所述第二虚拟现实空间的虚拟现实显示不被提供给所述第一用户。
9.根据权利要求8所述的装置，其中在用户拒绝时，提供表示另外的虚拟现实空间的另一候选增强现实图形，用于在所述增强现实视图中选择和显示，以代替被拒绝的第二增强现实图形。
10.根据权利要求8或9所述的装置，其中所述第二增强现实图形被提供用于在所述增强现实视图中的所述增强现实图形上方显示，并且所述用户拒绝所述第二增强现实图形或与其相关联的所述第二虚拟现实空间包括通过移动所述第二增强现实图形到在所述增强现实视图中从所述第一用户向侧面或向上的位置来提供反馈。
11.根据权利要求3至10中任一项所述的装置，其中提供另一增强现实图形以向所述第二用户增强现实显示并供所述第二用户选择，该另一增强现实图形包括当前未被所述第一用户观看的另一虚拟现实空间的至少一部分的图像视图，用于根据用户选择向第一用户提供。
12.根据权利要求3至11中任一项所述的装置，其中至少所述第二增强现实图形是可由所述第二用户在所述增强现实视图中操纵的，使得响应于所述第二用户的旋转输入，所述第二增强现实图形被旋转并且其中在所述第二用户选择所述第二增强现实图形时，与所述第二增强现实图形相关联的所述第二虚拟现实空间被提供用于以基于所述第二用户的所述旋转输入的初始视野向所述第一用户虚拟现实显示。
13.根据前述权利要求中任一项所述的装置，其中所述装置是以下中的一个或多个：头戴式增强现实装置、眼戴式增强现实装置、基于视网膜投影仪的增强现实装置和眼内增强现实装置或用于其中的一个或多个的模块/电路或包括增强现实装置和虚拟现实装置的结合的系统。
14.一种方法，所述方法包括：
基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的所述虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的所述物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的所述虚拟现实空间的所述至少一部分。
15.一种计算机可读介质，包括存储在其上的计算机程序代码，所述计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时，执行至少以下操作：
基于提供给第一用户观看的虚拟现实空间和所述第一用户的物理位置，在增强现实视图中提供用于由第二不同用户观看的增强现实图形的显示，所述增强现实图形包括提供给所述第一用户的所述虚拟现实空间的至少一部分的图像，所述增强现实图形显示在与所述第一用户的所述物理位置相对应的位置处以在所述增强现实视图中至少部分地围绕所述第一用户，使得所述第二用户可以看到所述第一用户所经历的所述虚拟现实空间的所述至少一部分。
CN201780010602.7A 2016-02-10 2017-02-06 装置和关联方法 Active CN108604175B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16155021.5 2016-02-10
EP16155021.5A EP3206122A1 (en) 2016-02-10 2016-02-10 An apparatus and associated methods
PCT/FI2017/050063 WO2017137659A1 (en) 2016-02-10 2017-02-06 An apparatus and associated methods

Publications (2)

Publication Number Publication Date
CN108604175A true CN108604175A (zh) 2018-09-28
CN108604175B CN108604175B (zh) 2021-09-14

Family

ID=55361357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010602.7A Active CN108604175B (zh) 2016-02-10 2017-02-06 装置和关联方法

Country Status (5)

Country Link
US (1) US10665027B2 (zh)
EP (1) EP3206122A1 (zh)
JP (1) JP6633220B2 (zh)
CN (1) CN108604175B (zh)
WO (1) WO2017137659A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841109A (zh) * 2019-04-29 2021-12-24 埃韦视觉有限公司 增强现实设备中社交相关用户参与指示器的系统和方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN108874267B (zh) * 2017-05-09 2022-12-09 腾讯科技（深圳）有限公司 虚拟现实应用数据处理方法、计算机设备和存储介质
GB2568241B (en) 2017-11-06 2022-01-05 Sony Interactive Entertainment Inc Content generation apparatus and method
KR101893038B1 (ko) 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
CN110650322A (zh) * 2019-10-29 2020-01-03 北京枭龙科技有限公司 一种基于云服务、物联网和ar安防眼镜的安防系统
JP2022098268A (ja) 2020-12-21 2022-07-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
JP2023017615A (ja) * 2021-07-26 2023-02-07 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US11568574B1 (en) * 2021-08-18 2023-01-31 Varjo Technologies Oy Foveation-based image encoding and decoding
US11983812B2 (en) * 2022-05-31 2024-05-14 Dish Network L.L.C. Marker-based representation of real objects in virtual environments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US20120086631A1 (en) * 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US20130083173A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus
CN103080928A (zh) * 2010-05-28 2013-05-01 诺基亚公司 用于提供局部虚拟现实环境的方法和装置
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612883B2 (en) 2009-06-08 2013-12-17 Apple Inc. User interface for managing the display of multiple display regions
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9525964B2 (en) 2012-02-02 2016-12-20 Nokia Technologies Oy Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
EP4099136A1 (en) 2013-02-22 2022-12-07 Sony Group Corporation Head- mounted display and image display device
US9996973B2 (en) * 2013-11-30 2018-06-12 Empire Technology Development Llc Augmented reality objects based on biometric feedback
JP6646659B2 (ja) 2014-06-14 2020-02-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
EP3112986B1 (en) 2015-07-03 2020-02-26 Nokia Technologies Oy Content browsing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
CN103080928A (zh) * 2010-05-28 2013-05-01 诺基亚公司 用于提供局部虚拟现实环境的方法和装置
US20120086631A1 (en) * 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
US20130083173A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841109A (zh) * 2019-04-29 2021-12-24 埃韦视觉有限公司 增强现实设备中社交相关用户参与指示器的系统和方法
CN113841109B (zh) * 2019-04-29 2024-04-12 体素传感器有限责任公司 增强现实设备中社交相关用户参与指示器的系统和方法
US12013977B2 (en) 2019-04-29 2024-06-18 Voxelsensors Srl System and method for socially relevant user engagement indicator in augmented reality devices

Also Published As

Publication number Publication date
EP3206122A1 (en) 2017-08-16
US10665027B2 (en) 2020-05-26
JP2019512120A (ja) 2019-05-09
JP6633220B2 (ja) 2020-01-22
CN108604175B (zh) 2021-09-14
US20190051055A1 (en) 2019-02-14
WO2017137659A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN108604175A (zh) 装置和关联方法
US20180356893A1 (en) Systems and methods for virtual training with haptic feedback
KR102411768B1 (ko) 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
CN1327328C (zh) 三维运动图形用户接口和提供其的方法和设备
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US10762722B2 (en) Apparatus for sharing objects of interest and associated methods
US10831335B2 (en) Cylindrical interface for augmented reality/virtual reality devices
GB2553607A (en) Virtual reality
US20200371737A1 (en) An apparatus and associated methods for communication between users experiencing virtual reality
EP3236336B1 (en) Virtual reality causal summary content
CN108474950A (zh) Hmd设备及其控制方法
US20190026951A1 (en) An Apparatus and Associated Methods
US20230037717A1 (en) Methods, systems, and media for presenting media content previews
EP3190503B1 (en) An apparatus and associated methods
US20240104836A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
KR102225193B1 (ko) 복수의 디스플레이를 포함하는 거치대형 가상현실 체험 장치 및 이를 이용한 가상현실 체험 방법
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
KR20200137594A (ko) 모바일 장치 및 모바일 장치의 제어 방법
Pointecker et al. Visual Metaphors for Notification into Virtual Environments
US20240221291A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
CN116958488A (zh) 基于虚拟现实的元素显示方法、装置、设备、介质及产品
CN117788759A (zh) 信息推送方法、装置、电子设备和存储介质
JP2020149626A (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant