CN112292657A - 围绕计算机模拟现实布景进行移动 - Google Patents
围绕计算机模拟现实布景进行移动 Download PDFInfo
- Publication number
- CN112292657A CN112292657A CN201980028718.2A CN201980028718A CN112292657A CN 112292657 A CN112292657 A CN 112292657A CN 201980028718 A CN201980028718 A CN 201980028718A CN 112292657 A CN112292657 A CN 112292657A
- Authority
- CN
- China
- Prior art keywords
- user interface
- view
- interface element
- display
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000004044 response Effects 0.000 claims abstract description 39
- 238000004091 panning Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 20
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000001953 sensory effect Effects 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 241000258957 Asteroidea Species 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 241000272525 Anas platyrhynchos Species 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了用于围绕计算机模拟现实(CSR)布景进行移动的技术。一种示例性技术包括显示该CSR布景的当前视图,该当前视图从与第一确定方向对应的第一视角描绘该CSR布景的当前位置。该技术还包括显示用户界面元素,该用户界面元素描绘从当前位置不可见的目标位置,并且响应于接收到表示对用户界面元素的选择的输入,修改该当前视图的显示以显示描绘该目标位置的目标视图,其中修改该当前视图的显示以显示该目标视图包括放大该用户界面元素。
Description
相关申请的交叉引用
本申请要求于2018年5月2日提交的标题为“TELEPORTATION”的美国专利申请62/666015和于2019年4月8日提交的标题为“MOVING ABOUT A COMPUTER SIMULATED REALITYSETTING”的美国专利申请62/831012的优先权。这些专利申请中的每个专利申请的内容据此全文以引用方式并入本文。
技术领域
本公开涉及在计算机模拟现实中显示设备上的数字内容。
背景技术
常规电子设备包括显示计算机模拟现实(CSR)布景的视图的屏幕,并且包括用于接收用户输入的输入机构。响应于接收到用户输入,所显示的CSR布景的视图改变。如电子设备的用户所感知的,此类改变可表示围绕CSR布景的移动。
发明内容
本公开描述了用于围绕CSR布景移动的技术。随着CSR应用程序变得越来越普遍,需要用于快速且高效地围绕CSR布景移动的技术。例如,沉浸在虚拟现实布景(例如,房屋)中的用户可能希望移动到布景的不同部分或完全移动到不同的虚拟布景(例如,水下布景)。为了增强移动体验,本公开提出了允许在CSR布景中的位置之间的高效、自然、无缝和/或保持舒适的移动的技术。这样,向用户提供了改进的CSR体验。
根据一些实施方案,显示CSR布景的当前视图。该当前视图从与第一确定方向对应的第一视角描绘了CSR布景的当前位置。显示用户界面元素。该用户界面元素描绘从当前位置不可见的目标位置。响应于接收到表示对该用户界面元素的选择的输入,修改该当前视图的显示以显示描绘该目标位置的目标视图。在一些实施方案中,修改当前视图的显示以显示目标视图包括放大用户界面元素。
根据一些实施方案,显示CSR布景的当前视图。该当前视图从与第一确定方向对应的第一视角描绘了CSR布景的当前位置。显示用户界面元素。该用户界面元素描绘了CSR布景的目标位置。当在该用户界面元素中显示时,该目标位置相对于当前视图中的当前位置的显示被以更大比例显示。响应于接收到表示对该用户界面元素的选择的输入,修改该当前视图的显示以显示该CSR布景的目标视图,该目标视图描绘显示在该用户界面元素中的目标位置。在一些实施方案中,当在目标视图中显示时,该目标位置以与该用户界面元素中的该目标位置的显示相同的比例显示。
附图说明
图1A至图1B示出了用于包括虚拟现实和混合现实的各种计算机模拟现实技术的示例性系统。
图2A至图2H示出了展示CSR布景的视图响应于接收表示用户界面元素的选择的输入而改变的方式的示例性视图。
图3A至图3B示出了CSR布景的示例性视图。
图4A至图4E示出了CSR布景的示例性视图。
图5示出了用于围绕CSR布景移动的过程。
图6示出了用于围绕CSR布景移动的过程。
描述
描述了用于与各种模拟现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理布景是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理布景(例如,物理森林)包括物理元素(例如,物理树、物理结构和物理动物)。个体可直接与物理布景相互作用和/或感知物理布景,诸如通过触摸、视觉、嗅觉、听觉和味觉。
相比之下,模拟现实(SR)布景是指经由电子系统个体能够感知和/或个体能够交互的完全或部分由计算机创建的布景。在SR中,监测个体移动的子集,并且响应于该子集,以符合一个或多个物理定律的方式更改SR布景中的一个或多个虚拟对象的一个或多个属性。例如,SR系统可检测到个体向前走几步,并且响应于此,以类似于此类情景和声音在物理布景中会如何改变的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如,音频指令)而进行对SR布景中一个或多个虚拟对象的一个或多个属性的修改。
个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感觉SR对象。例如,个体可与创建多维(例如,三维)或空间听觉布景和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉布景为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下,听觉透明性选择性地结合来自物理布景的声音。在一些SR布景中,个体可仅与听觉对象进行交互和/或仅感知听觉对象。
SR的一个示例是虚拟现实(VR)。VR布景是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟布景。VR布景包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的布景内模拟个体动作的子集和/或通过对个体或其在计算机创建的布景内的存在的模拟,来与VR布景中的虚拟对象进行交互和/或感知VR布景中的虚拟对象。
SR的另一个示例是混合现实(MR)。MR布景是指被设计为将计算机创建的感官输入(例如,虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景。在现实谱系上,混合现实布景介于一端的VR布景和另一端的完全物理布景之间并且不包括这些布景。
在一些MR布景中,计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外,用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置,以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如,系统可监测移动,使得虚拟植物相对于物理建筑物看起来是静止的。
混合现实的一个示例是增强现实(AR)。AR布景是指至少一个虚拟对象叠加在物理布景或其表示之上的模拟布景。例如,电子系统可具有不透明显示器和至少一个成像传感器,成像传感器用于捕获物理布景的图像或视频,这些图像或视频是物理布景的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上显示该组合。个体使用系统经由物理布景的图像或视频间接地查看物理布景,并且观察叠加在物理布景之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理布景的图像,并且使用那些图像在不透明显示器上呈现AR布景时,所显示的图像被称为视频透传。另选地,用于显示AR布景的电子系统可具有透明或半透明显示器,个体可通过该显示器直接查看物理布景。该系统可在透明或半透明显示器上显示虚拟对象,使得个体使用该系统观察叠加在物理布景之上的虚拟对象。又如,系统可包括将虚拟对象投影到物理布景中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影,使得个体使用该系统观察叠加在物理布景之上的虚拟对象。
增强现实布景也可指其中物理布景的表示被计算机创建的感官信息改变的模拟布景。例如,物理布景的表示的一部分可被以图形方式改变(例如,放大),使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如,在提供视频透传时,系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如,物理布景的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。
混合现实的另一个示例是增强虚拟(AV)。AV布景是指计算机创建布景或虚拟布景并入来自物理布景的至少一个感官输入的模拟布景。来自物理布景的一个或多个感官输入可为物理布景的至少一个特征的表示。例如,虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如,虚拟对象可呈现出与物理布景中的实际天气条件相一致的特征,如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中,增强现实森林可具有虚拟树木和结构,但动物可具有从对物理动物拍摄的图像精确再现的特征。
许多电子系统使得个体能够与各种SR布景进行交互和/或感知各种SR布景。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地,头戴式系统可以被设计为接收外部显示器(例如,智能电话)。头戴式系统可具有分别用于拍摄物理布景的图像/视频和/或捕获物理布景的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板,表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶,或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个示例中,透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如,电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地,投影系统还可将虚拟对象投影到物理布景中(例如,投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如,具有或不具有触觉反馈的控制器)、平板电脑、智能电话,以及台式计算机或膝上型计算机。
图1A和图1B示出了在各种模拟现实技术中使用的示例性系统100。
在一些示例中,如图1A所示,系统100包括设备100a。设备100a包括各种部件,诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些示例中,系统100的元件在基站设备(例如,计算设备,诸如远程服务器、移动设备或膝上型电脑)中实现,并且系统100的其他元件在第二设备(例如,头戴式设备)中实现。在一些示例中,设备100a在基站设备或第二设备中实现。
如图1B所示,在一些示例中,系统100包括两个(或更多个)通信中的设备,诸如通过有线连接或无线连接。第一设备100b(例如,基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如,头戴式设备)包括各种部件,诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中,存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如,闪存存储器,随机存取存储器),所述计算机可读指令被配置为由处理器102执行以执行下述技术。
系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。
系统100包括显示器120。一个或多个显示器120可具有不透明显示器。一个或多个显示器120可具有透明或半透明显示器,该显示器可结合基板,表示图像的光通过该基板被引导到个体的眼睛。一个或多个显示器120可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶,或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个示例中,透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。一个或多个显示器120的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板电脑、智能电话以及台式计算机或膝上型计算机。另选地,系统100可以被设计为接收外部显示器(例如,智能电话)。在一些示例中,系统100是基于投影的系统,该系统使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理布景中(例如,投影到物理表面上或作为全息图)。
在一些示例中,系统100包括用于接收用户输入的触敏表面122,诸如轻击输入和轻扫输入。在一些示例中,显示器120和触敏表面122形成触敏显示器。
系统100包括图像传感器108。一个或多个图像传感器108任选地包括可操作以从物理布景获取物理元素的图像的一个或多个可见光图像传感器,诸如电荷耦合设备(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器,诸如无源IR传感器或有源IR传感器,用于检测来自物理布景的红外光。例如,有源IR传感器包括IR发射器,诸如IR点发射器,用于将红外光发射到物理布景中。一个或多个图像传感器108还任选地包括一个或多个事件相机,该事件相机被配置为捕获物理布景中物理元素的移动。一个或多个图像传感器108还任选地包括一个或多个深度传感器,这些深度传感器被配置为检测物理元素与系统100的距离。在一些示例中,系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理布景。在一些示例中,图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理环境中物理元素的图像。在一些示例中,系统100使用图像传感器108来接收用户输入,诸如手势。在一些示例中,系统100使用一个或多个图像传感器108来检测系统100和/或一个或多个显示器120在物理布景中的位置和取向。例如,系统100使用一个或多个图像传感器108来跟踪一个或多个显示器120相对于物理布景中的一个或多个固定元件的位置和取向。
在一些示例中,系统100包括麦克风112。系统100使用一个或多个麦克风112来检测来自用户和/或用户的物理布景的声音。在一些示例中,一个或多个麦克风112包括麦克风阵列(包括多个麦克风),麦克风任选地协同操作,以标识环境噪声或在物理布景的空间中定位声源。
系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如,系统100使用一个或多个取向传感器110来跟踪系统100和/或一个或多个显示器120的位置和/或取向的变化,诸如相对于物理布景中的物理元素。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
现在参见图2A至图2H和图3A至3B,其描述了用于围绕计算机模拟现实(CSR)布景移动的示例性技术。
图2A示出了在与用户相关联的设备200上显示的CSR布景(例如,房屋)的当前视图202(例如,视场)。在一些实施方案中,设备200与上述设备100a、100b或100c相同或类似。用户被认为存在于CSR布景中,因此向用户提供了CSR布景的视图202。视图202包括用户界面元素204。用户界面元素204描绘了目标视图206(例如,嵌入式视图)。
在一些实施方案中,用户与化身相关联。该化身是可表示用户在CSR布景中存在的虚拟对象。因此,在一些实施方案中,CSR布景的用户视图可以是与用户相关联的化身的视图。例如,视图202可以是与用户相关联的化身的视图。
在一些实施方案中,CSR布景的一个或多个视图描绘CSR布景的相应位置。例如,如图2A所示,视图202描绘了CSR布景中用户所在的当前位置(例如,房屋的客厅中具有椅子214的位置),并且CSR布景的目标视图206描绘了CSR布景中的目标位置(例如,房屋的后院中的位置)。虽然当前位置(例如,客厅位置)和目标位置(例如,后院位置)被描述为相同CSR布景内的两个位置,但在一些实施方案中,当前位置和目标位置是不同CSR布景中的相应位置。换句话讲,在一些实施方案中,房屋的客厅与不同于房屋后院的CSR布景相关联。
在一些实施方案中,用户界面元素204描绘了从CSR布景的当前位置不可见的CSR布景的目标位置(例如,在不存在用户界面元素204的情况下不可见)。例如,如果不存在用户界面元素204,由视图206描绘的房屋的后院的目标位置将从由视图202描绘的当前位置不可见。
在一些实施方案中,CSR布景的每个视图从相应视角描绘了CSR布景的位置。例如,视图202从第一视角描绘当前位置,并且视图206从第二视角描绘目标位置。
在一些实施方案中,每个视角对应于相应的所确定方向。所确定方向表示与用户的视场相关联的方向。在一些实施方案中,基于用户的姿势来确定与用户的视场相关联的方向(例如,使用设备200确定的用户头部的位置和取向)。在一些实施方案中,由设备200确定的位置和取向是相对于物理布景中的对象确定的,例如由设备200的一个或多个传感器(例如,相机)确定。在一些实施方案中,位置和取向基于设备200的移动来确定,例如由设备200的一个或多个传感器(例如,加速度计、相机)确定。在一些实施方案中,附加地或另选地,基于用户的注视方向来确定与用户的视场相关联的方向(例如,使用设备200确定)。
在一些实施方案中,使用利用面向头部的传感器获得的眼睛注视数据来确定注视方向。具体地,在一些实施方案中,设备200包括头戴式显示器并且包括朝向设备200的用户的面向头部的传感器,并且设备200使用面向头部的传感器获得眼睛注视数据。设备200使用眼睛注视数据来确定用户的注视方向和/或注视深度(例如,与所确定的注视方向相关联的注视深度)。在一些实施方案中,使用眼睛注视数据确定用户的注视方向和/或注视深度包括根据眼睛注视数据确定用户的瞳孔和/或角膜位置和/或用户眼睛的转动。本领域的普通技术人员将理解,可采用用于使用眼睛注视数据来确定用户的注视方向和/或注视深度的任何合适的技术。
在一些实施方案中,每个视图从对应于所确定方向的相应视角描绘CSR布景的相应位置。例如,视图202从对应于第一确定方向的第一视角描绘当前位置。视图206从对应于第二确定方向(例如,与第一确定方向相同或不同)的第二视角描绘目标位置。因此,如果用户位于目标位置,则视图206表示用户视角的一部分。
在一些实施方案中,设备200被配置为使用所确定方向和CSR位置来确定和显示描绘相应CSR位置的视图。例如,使用CSR布景的第一方向和当前位置,设备200从对应于第一方向的第一视角确定描绘客厅位置的当前视图202。在一些实施方案中,使用所确定的方向和目标位置(例如,后院位置),设备200确定描绘后院位置的视图206。
在一些实施方案中,用户界面元素204可用作CSR布景(或另一个CSR布景)中的目标位置的入口。因此,用户界面元素可用于将用户传送到视图所描绘的目标位置。以举例的方式,用户可与用户界面元素204进行交互,以将用户从由视图202描绘的客厅位置瞬移到由视图206描绘的后院位置。在一些实施方案中,在CSR布景中的位置之间瞬移用户包括在各位置之间瞬移与该用户相关联的化身。
在一些实施方案中,用户界面元素所描绘的视图包括目标位置的实时预览,从而允许用户实时查看目标位置。例如,该视图可显示位于目标位置处的一个或多个虚拟对象的运动(例如,视图206中的花208在风中吹动)。
如图2A所示,在一些实施方案中,用户界面元素204是球形的(例如,气泡)。然而,应当理解,在其他实施方案中,用户界面元素204可以是任何二维或三维形状(例如,立方体、圆盘、多边形、多面体等)。在一些实施方案中,用户界面元素204的边界和/或用户界面元素中显示的视图具有光泽和/或是全息的,使得用户界面元素204看起来是三维的并且/或者更容易被注意到。
图2B至图2H示出了可以修改视图(例如,视图的显示)的各种方式。可例如通过缩小视图、放大视图、移动视图和/或用另一视图替换视图来修改视图。在一些实施方案中,视图的替换构成用户在CSR布景中的两个位置之间的瞬移,例如,如设备的用户所感知的。
在一些示例中,修改视图包括修改与该视图相关联的用户界面元素。以举例的方式,放大、缩小或移动(例如,移位)用户界面元素继而可以对应的方式放大、缩小或移动用户界面元素所描绘的视图。
在一些实施方案中,响应于例如从用户接收的表示对用户界面元素的选择的输入来修改视图。通过提供此类输入,用户可与用户界面元素进行交互以探索CSR布景。在一些实施方案中,输入为手势输入、外围设备输入(例如,键盘输入、鼠标输入)、语音输入、注视输入、运动输入(例如,如由一个或多个加速度计所检测)或它们的任何组合。在一些实施方案中,设备200的显示器是触敏的,并且输入是触摸输入。在一些实施方案中,输入表示对象(例如,用户手部、外部电子设备)朝向和/或远离设备200的移动,并且设备200确定该输入表示此类移动。在一些实施方案中,设备200确定此类移动的量值(例如,距离、速度、加速度)。
在一些实施方案中,可增加视图的尺寸。例如,参考图2A和图2B,用户界面元素204可例如响应于指示用户界面元素204在尺寸上增大的请求的用户输入而放大。在一些实施方案中,用户界面元素204根据对象朝向设备200的移动量值成比例地被放大。例如,对象朝向设备200移动相对较短的距离可导致用户界面元素204的相对较小的放大(图2B),而对象朝向设备200移动相对较大的距离可导致用户界面元素204的相对较大的放大(图2F)。
在放大用户界面元素204时,视图206也可被放大(例如,成比例地被放大)。应当理解,在一些示例中,用户界面元素和视图的尺寸至少是指用户界面元素和视图的显示尺寸。因此,通过提供更大的用户界面元素,向用户提供另一个CSR位置(例如,目标位置)的更大视图。在一些实施方案中,放大用户界面元素使视图的显示放大,但不改变视图。相反,视图的较大部分显示在放大的用户界面元素中。例如,如图2B所示,目标视图206显示在放大的用户界面元素204中。图2B中的视图206包括图2A中所示的视图206的至少一部分。具体地,视图206现在包括花朵208并且还包括猫210(先前不在图2A中的视图206中)。
在一些实施方案中,可减小视图的尺寸。例如,参考图2B和图2C,图2B中的用户界面元素204可例如响应于指示用户界面元素204在尺寸上减小的请求的用户输入而缩小。在一些实施方案中,用户界面元素204根据对象远离设备200的移动量值成比例地缩小。因此,通过提供更小的用户界面元素,向用户提供另一个CSR位置的更小视图。在一些实施方案中,缩小用户界面元素使视图的显示缩小,但不改变视图。相反,视图的较小部分可显示在缩小的用户界面元素中。例如,在图2C中,视图206显示在缩小的用户界面元素204中。图2C中的视图206包括图2B中的视图206的至少一部分。具体地,视图206包括花朵208。
在一些实施方案中,修改视图的显示包括确定方向。例如,由设备200确定第二方向(例如,向左移动的方向)。用户界面元素204的显示被修改以从根据第二方向确定的第二视角描绘目标位置。在一些实施方案中,第二视角不同于当前视角(例如,图2A和图2B中的视图202的第一视角)。例如,如图2B和图2D所示,图2B中的用户界面元素204的显示被修改以从图2D中的视图206中的第二视角(例如,对应于向左移动的方向)描绘后院位置。
在一些实施方案中,当从第二视角描绘目标位置(例如,在用户界面元素204中)时,继续从第一视角显示描绘当前位置的当前视图。例如,当从第二视角(例如,图2D中的视图206)描绘后院位置时,继续从第一视角(例如,图2B中的视图202)显示客厅位置的当前视图。
在一些实施方案中,在修改用户界面元素204的显示以从第二视角描绘目标位置时,当前视图被修改。例如,修改当前视图以从第三视角(例如,使用第二方向确定)描绘当前位置。例如,参见图2B和图2D,在用户界面元素204的显示从图2B修改为图2D时,视图202从图2B修改为图2D(从第三视角描绘客厅位置)。
在一些实施方案中,在修改一个或多个视图时,用户界面元素的位置(例如,在设备202的显示器上的位置)保持不变。具体地,在一些实施方案中,使用电子设备200的多个像素来显示用户界面元素204。例如,使用该多个像素来显示图2B中的从第一视角描绘当前位置的用户界面元素204。当修改当前视图(例如,图2B中的视图202)(例如,修改为图2D中的视图202)以从第三视角描绘当前位置时,继续使用该多个像素来显示用户界面元素204。例如,如图2B和图2D所示,用户界面元素204的位置不变。
在一些示例中,当前视图和用户界面元素的内容(例如,显示的内容)均基于确定的方向平移。在一些示例中,在修改(例如,放大)用户界面元素的显示时发生此类平移。例如,如图2A和图2D所示,设备200确定对应于图2D中的视图202和206的第二方向。当图2A中的当前视图202被修改以显示图2D中的视图202(例如,包括放大用户界面元素204)时,图2A中的当前视图202和用户界面元素204的内容两者基于所确定的方向而被平移以显示图2D中的视图202和206。这样,可以根据变化的方向来修改(例如,同时修改)当前视图和用户界面元素的内容。此类修改可在探索CSR布景时改进用户舒适度。
在一些实施方案中,用户界面元素可在CSR布景中移位(例如,移动)。应当理解,用户界面元素的移位是指用户界面元素的显示相对于其中显示用户界面元素的视图的移位。因此,在一些实施方案中,用户界面元素可移位,但保持在显示器上的相同或不同位置(例如,使用相同或不同的多个像素来显示)。例如,参考图2C和图2D,用户界面元素204可例如响应于指示用户界面元素向左移动的请求的用户输入而向左移动。移动的用户界面元素204从使用第二方向确定的第二视角(例如,图2D中的视图206)描绘目标位置。因此,通过移动用户界面元素,用户可环视目标位置(例如,查看由视图206描绘的第二后院位置的不同部分)。在一些实施方案中,使用户界面元素移位不更改视图。相反,可在移位的用户界面元素中显示视图的不同部分。例如,如图2D所示,向左移动的用户界面元素204显示描绘目标后院位置的视图206。视图206包括猫210左侧的树212。由于移位,视图206不包括花朵208或猫210。
如所论述的,在一些实施方案中,用户界面元素的移位导致先前显示用户界面元素的视图的同时移位。在一些实施方案中,这是因为用户的方向(例如,表示用户的视野)遵循移动的用户界面元素,因此先前显示用户界面元素的视图被修改以与移动的方向对应。在其他实施方案中,这是因为用户界面元素遵循用户的移动方向(例如,用户提供请求用户界面元素移动的输入),因此先前显示用户界面元素的视图被类似地修改以与移动的方向对应。例如,如图2C和图2D所示,视图202被修改为对应于与向左移动的用户界面元素204对应的向左移动的方向。例如,图2D中的视图202包括整个椅子214,而图2C中的视图202仅包括椅子214的一部分。
在图2D中,应当理解,用户尚未从图2C中的视图202所描绘的位置移动。相反,如所论述的,用户的方向已改变(例如,用户已转动他或她的头部和/或移动他或她的眼睛),因此视图202和206被修改为对应于图2D中的移动方向。然而,在一些实施方案中,用户在CSR布景内移动,并且当前视图和用户界面元素中描绘的目标视图以对应的方式同时被修改。例如,如果用户从视图202所描绘的当前位置向前移动,则视图202和206被修改成使得椅子214和树212看起来更靠近用户。
如所描述的,提供用户界面元素的移动允许当前位置处的用户在目标位置环视四周。具体地,当用户界面元素204移动时,确定与移动的用户界面元素204对应的移动方向,并且将由用户界面元素204所显示的目标视图206更新为对应于移动方向。在一些实施方案中,先前显示用户界面元素的视图(例如,在其移动之前包括用户界面元素204的当前视图202)被同时修改为对应于移动方向。因此,当用户环视四周时,当前视图和用户界面元素的描绘目标位置的内容根据用户的变化方向(图2C和图2D)进行同步(例如,平移)。这可创建用于探索CSR布景的无缝自然的用户界面。
在一些实施方案中,当前视图被替换为目标视图。在一些实施方案中,响应于设备200确定对象朝向设备200的移动超过阈值距离,当前视图被替换为目标视图。在一些实施方案中,目标视图包括由用户界面元素在当前视图中描绘的目标视图的一部分。例如,参考图2E至2H,当前视图202可被替换为目标视图206。如图所示,此类替换使用户在CSR布景中的当前位置和目标位置之间瞬移。
在一些实施方案中,瞬移逐步地发生。例如,如图2E至图2H所示,用户界面元素204放大,直到视图206已替换视图202。图2H中的视图206不再包括用户界面元素204,因此用户已经从当前客厅位置瞬移到目标后院位置。
在一些实施方案中,瞬移基本上瞬时发生(例如,由用户感知的瞬时发生)。例如,在一些实施方案中,图2E中的视图202被替换为图2H中的视图206,而不显示用户界面元素204的放大图(例如,不显示图2F和图2G中所示的视图)。
在一些实施方案中,在修改当前视图以显示目标视图时,这两个视图相对于彼此保持不变。例如,当视图202(图2E)被修改以在放大的用户界面元素204(图2F)中显示视图206时,视图202和视图206之间不存在相对移动,因此视图相对于彼此是静止的。例如,椅子214和树212均不朝向或远离用户移动。树212也不离椅子214更近或更远地移动。上述讨论着眼于两个视图之间的静态虚拟对象的相对移动,因为在一些实施方案中,视图中的非静态虚拟对象(例如,猫210)相对于另一视图中的对象(例如,椅子214)移动,以在修改期间向用户提供两个位置的实时视图。在一些实施方案中,两个视图中的所有虚拟对象(例如,静态的或非静态的)的移动在修改期间停止。
以这种方式提供用户瞬移可改进用户舒适度。有时,在物理布景中没有对应用户移动(例如,用户在他或她的物理布景中没有向前或向后移动)的情况下,虚拟布景中的感知到的移动(例如,虚拟布景的视图正朝向或远离用户移动)导致用户感觉不适。由于上述技术在修改当前视图以显示目标视图期间相对于彼此保持当前视图和目标视图,因此用户在没有对应物理移动的情况下感知不到虚拟布景内的此类移动,从而改进了在CSR布景中的位置之间瞬移时的用户舒适度。因此,本文所述的系统和技术不仅可以提供用于探索CSR布景的无缝自然的界面,而且可以改进CSR系统的可用性。
现在转向图2H,用户现在从客厅位置瞬移到后院位置,如参考图2E至图2H所示。在一些实施方案中,在从当前位置瞬移到目标位置之后,用户瞬移回原始(例如,当前)位置。在一些实施方案中,用户通过与所显示的描绘原始位置的用户界面元素进行交互来瞬移回原始位置。例如,如图2H所示,用户界面元素216描绘了客厅位置的一部分的视图202。视图202包括用户先前的客厅位置的视图的一部分(例如,视图202包括椅子214)。通过与用户界面元素216进行交互,用户可根据上述技术中的任一种瞬移到客厅位置(和/或修改视图206)。
现在转向图3A至图3B,其论述了允许多个用户在彼此的CSR布景之间瞬移的示例性技术。
图3A示出了在设备300a上显示的当前CSR布景(例如,后院)的示例性视图302。在一些实施方案中,设备300a用于实现上文所述的设备200。设备300a与被认为存在于当前CSR布景中的第一用户相关联。因此,为第一用户提供第一(例如,当前)CSR布景的视图302(例如,视场)。视图302包括显示第二CSR布景(例如,鸭池)的视图306(例如,嵌入视图)的用户界面元素304。
在一些实施方案中,与所显示视图对应的方向(例如,与显示视图的视角对应的方向)不是与用户界面元素中所显示的视图对应的方向。例如,参考图3A,对应于视图302的方向不是对应于视图306的方向。对应于视图306的方向可以是固定的或者可以对应于另一用户。例如,对应于视图302的方向对应于第一用户,并且对应于视图306的方向对应于位于第二CSR布景中的第二用户。因此,在一些示例中,视图306表示第二用户的视图的一部分。在图3B中示出第二用户的完整视图306(从与第二用户的方向对应的视角)。完整视图306显示在与第二用户相关联的外部电子设备300b上。在一些示例中,设备300b用于实现上文所述的设备200。
在一些实施方案中,第一用户瞬移到第二用户的位置。例如,参见图3A和图3B,第一用户与用户界面元素304进行交互(例如,通过提供如上所述的输入),以根据上述技术中的任一种将第一用户从后院位置瞬移到鸭池位置。例如,设备300a上显示的视图302被替换为视图306。因此,上述技术允许多个用户通过用户界面元素彼此共享其相应的视图。通过与用户界面元素进行交互,用户可预览彼此的CSR布景和/或在彼此的CSR布景之间瞬移。
在一些实施方案中,为了显示与方向对应的视图,从外部设备获得方向,并且使用所获得的方向来确定该视图。例如,设备300a从设备300b获得与视图306对应的方向,并且使用所获得的方向确定视图306。
现在参考图4A至4E,其描述了用于围绕CSR布景移动的示例性技术。
图4A示出了在与用户相关联的设备400上显示的CSR布景的当前视图402。在一些实施方案中,设备400与上述设备100a、100b或100c相同或类似。当前视图描绘了CSR布景的当前位置(例如,海滩上的位置)。用户被认为存在于CSR布景中,因此向用户提供了CSR布景的当前视图402。视图402包括用户界面元素404。用户界面元素404描绘了CSR布景的目标位置。例如,用户界面元素显示视图406,其描绘了距当前位置很短距离(例如,在当前位置前方)的目标位置。
在一些实施方案中,用户界面元素404中描绘的目标位置(例如,作为视图406)以更大的比例显示。例如,显示为视图406的目标位置以相对于当前视图(例如,视图402)中的当前位置的显示更大的比例显示。例如,视图406中的海星408以相对于视图402中的贝壳的显示更大的比例显示。
在一些实施方案中,使用注视深度来确定用户界面元素404中显示的内容的比例(例如,放大比例)。例如,设备400确定对应于视图的方向并确定对应于该方向的注视深度。在图4A中,对应于视图406的所确定的注视深度相对较浅(例如,因为用户正在看向地面的海星408)。在一些实施方案中,基于相对较浅的注视深度,设备400确定用户界面元素404中所显示的内容的相对较小的放大比例。在一些实施方案中,基于相对较深的注视深度,设备400确定用户界面元素404中所显示的内容的相对较大的放大比例。例如,参考图4C,对应于视图406的注视深度相对较深(例如,因为用户正在看水平面上的船412),因此设备400确定图4C中的视图406的相对较大的放大比例。因此,在一些实施方案中,用户界面元素404中所显示的内容的比例与注视深度的增加成比例地增大。在一些实施方案中,用户界面元素404中所显示的内容的比例与注视深度的增加成比例地减小。
在一些实施方案中,用户界面元素404中所显示的内容的比例(例如,放大比例)基于由该内容表示的一个或多个虚拟对象与当前位置之间的距离。例如,参见图4A和图4C,图4A和图4C之间的视图406的放大率的差异是因为当前位置与海星408之间的距离小于当前位置与船412之间的距离。这允许距离用户更远的虚拟对象相比于更靠近用户的虚拟对象被更大程度地放大。
在图4A中,用户处于CSR布景中的当前位置并且具有第一确定方向。因此,视图402从与第一确定方向对应的第一视角描绘了CSR布景的当前位置。在一些实施方案中,设备400使用第一确定方向确定第二视角并从第二视角显示视图406。因此,在一些实施方案中,视图406表示在用户位于目标位置并且具有第一确定方向的情况下将向用户显示的内容的一部分。
如所论述的,可通过放大视图、缩小视图、移动视图和/或通过将该视图替换为另一视图(例如,瞬移)来修改视图。在一些实施方案中,此类修改响应于接收到表示对与视图相关联的用户界面元素的选择的输入而发生。下文论述的用于修改图4A至图4E所示视图的显示的技术类似于上文论述的用于修改图2A至图2H以及图3A至图3B所示视图的技术。
如所论述的,在一些实施方案中,修改视图可包括修改与视图相关联的用户界面元素。在一些实施方案中,当用户界面元素被修改时,用户界面元素的内容以恒定比例显示。例如,当图4A中的用户界面元素404缩小或放大时,用户界面元素404的内容(例如,海星408)保持以相同比例显示。
图4B示出了视图402(图4A)的示例性修改。具体地,例如,响应于请求替换视图402的用户输入,通过用图4B中的目标视图406替换视图402来修改当前视图402。如图所示,在一些实施方案中,从根据共同确定的方向而确定的视角显示在用户界面元素404中显示的目标位置(例如,图4A中的视图406)和图4B中的目标视图406。如进一步所示,在一些实施方案中,图4A中的视图406与图4B中的视图406具有相同的比例。因此,图4B示出了用户已从当前位置瞬移到目标位置(例如,用户已从当前位置瞬移一小段距离以更接近地看到海星408和贝壳410)。
图4C示出了视图402(图4A)的示例性修改。在图4C中,用户界面元素404和用户的方向已向上移动,但用户未从当前位置移动。在图4C中,从第三视角显示用户界面元素404中描绘的目标位置。例如,设备400确定不同于第一确定方向的第二方向(例如,向上移动的方向),并且使用所确定的第二方向确定第三视角。因此,用户界面元素404从第三视角显示目标位置。例如,图4C中的视图406包括船412。
另外,如图4C所示,当前视图(例如,视图402)被修改以从使用第二方向所确定的第四视角显示当前位置。具体地,视图402已被修改为包括更多天空。在一些实施方案中,视图402(和视图406)被修改,因为用户的方向已向上移动(例如,用户已向上看和/或向上倾斜他或她的头部)。因此,图4C中的视图406表示在用户位于目标位置并且具有向上移动方向的情况下将向用户显示的内容的一部分。
此外,如图4C所示,视图406的比例已从图4A增大。如所论述的,在一些实施方案中,这种比例差异是因为图4A中的视图406对应于相对较浅的注视深度,而图4C中的视图406对应于相对较深的注视深度。因此,在一些实施方案中,表示对更大程度放大的视图(对应于更远的虚拟对象)的选择的输入导致更远的瞬移,如现在相对于图4B和图4E所论述的。
在一些实施方案中,与图4C中的用户界面元素404进行交互比与图4A中的用户界面元素404进行交互将用户瞬移更远距离。具体地,与图4A中的用户界面元素404交互可将用户瞬移距图4B中的视图406所描绘的目标位置较短距离(图4B),以更接近地看到海星408和贝壳410。相比之下,与图4C中的用户界面元素404交互可将用户瞬移距图4E中的视图406所描绘的目标位置较长距离,以更接近地看到船412。因此,图4A和图4C示出了移动用户界面元素404(例如,通过向上看)以描绘距离用户更远的对象允许用户瞬移距当前位置更远距离。
图4D示出了图4C中的视图402的示例性修改。具体地,图4D的视图402从对应于与跟图4C的视图402对应的方向不同的方向的视角描绘了当前位置。如图所示,从图4C到图4D,用户的方向已向上移动,并且图4C的视图402和406均已被更新为对应于向上移动的方向。在一些实施方案中,当图4C中的视图402被修改为图4D的视图402时,用户界面元素404的位置(例如,在设备400的显示器上)保持不变。例如,使用设备400的显示器的相同像素在图4C和图4D之间显示用户界面元素404。
在一些实施方案中,基于确定的方向来平移当前视图和用户界面元素的内容。例如,基于与图4D中的视图402对应的向上移动的方向平移图4C中的视图402和406。在一些实施方案中,此类平移在图4C中的用户界面元素404的显示被放大(例如,在图4C和图4D之间,用户界面元素404响应于接收到表示对其选择的输入而放大)时发生。
在一些实施方案中,显示与用户界面元素相关联的指示符。在一些实施方案中,指示符包括线条、二维或三维形状、图标、或它们的任何组合。在一些实施方案中,指示符显示在用户界面元素附近(例如,上方、下方、左侧/右侧等)。在一些实施方案中,指示符显示在用户界面元素内。例如,图4A示出了在用户界面元素上方显示线条(例如,图4A中的线条414)。
在一些实施方案中,指示符具有尺寸(例如,长度、宽度、高度、体积、面积、颜色)。如下所述,在一些实施方案中,指示符的尺寸(例如,线条414的长度)对应于用户确定的方向、注视深度和/或用户界面元素中显示的视图的比例。在一些实施方案中,指示符的尺寸表示用户的当前位置与用户界面元素所描绘的目标位置之间的距离。因此,指示符可提供用于在虚拟布景内导航的有用的视觉引导。
在一些实施方案中,指示符的尺寸基于所确定的注视深度和/或所确定的方向。例如,在图4A中,线条414相对较短,因为用户的注视深度相对较浅并且/或者用户的方向朝向地面(例如,用户向下看海滩的沙子)。相比之下,在图4C中,线条414相对较长,因为用户的注视深度相对较深并且/或者用户的方向朝向地平线(例如,用户向前望向由海洋和天空形成的地平线)。
在一些实施方案中,指示符的尺寸基于用户界面元素中所显示的视图的比例。例如,在图4A中,线条414相对较短,因为视图406的比例相对较小。相比之下,在图4C中,线条414相对较长,因为视图406的比例相对较大。
在一些实施方案中,指示符的尺寸基于当前位置和目标位置之间的距离。例如,在图4A中,线条414的长度相对较短,因为如所论述的,当前位置和目标位置(例如,图4B所描绘的位置)之间的距离相对较短。相比之下,在图4C中,线条414的长度相对较长,因为如所讨论的,当前位置和目标位置(例如,图4E所描绘的位置)之间的距离相对较大。
在一些实施方案中,尺寸的值(例如,长度、宽度、高度或它们的任何组合的值)具有最大值,并且该最大值对应于当前位置和目标位置之间的最大虚拟距离。因此,该最大值对应于CSR布景内允许的最大瞬移距离。具有最大瞬移距离防止用户望向地平线(或天空)并瞬移有效的无限距离(即,没有与位于有限距离远处的虚拟对象相关联的目标点)。最大值(例如,线条的最大长度)由例如图4C中的线条414的长度示出。在一些实施方案中,由于线条414的长度表示在用户界面元素中所显示的目标位置的比例,因此最大长度的线条长度对应于最大放大率,使得图4C中的视图406以最大比例显示。
图4D还示出了与尺寸的最大值对应的最大比例。具体地,如所论述的,图4D示出了响应于设备400确定用户的方向已向上移动而在设备400上显示的视图402。在一些实施方案中,由于用户的方向已向上移动(和/或用户的注视深度已增加),因此图4D中的视图406的比例应相对于图4C中的视图406的比例增加。然而,在一些示例中,由于图4C中的视图406被最大程度地放大,因此视图406的放大率保持不变。类似地,线条414的长度在图4C和图4D之间保持不变。
由于视图406的放大率在图4C和图4D之间保持不变,因此在图4C和图4D中,视图406示出了相同位置(即,目标位置)。因此,在一些实施方案中,与在图4C和图4D两者中显示视图406的用户界面元素404交互将用户瞬移相同的最大虚拟距离。这样,在两个位置之间设置最大瞬移距离,从而防止用户瞬移有效的无限距离(例如,无限地瞬移到由海洋和天空限定的地平线)。如所论述的,该最大瞬移距离可由视觉指示符的尺寸的值来指示(例如,如果用户向上注视并且线条长度不再增加,则向用户指示已设置最大瞬移距离)。
现在转向图4E,响应于与用户界面元素404交互,用户现已在CSR布景内瞬移了最大距离。具体地,图4E示出了例如响应于用户与图4D中的用户界面元素404交互而在设备400上显示的视图406。图4E中的视图406与图4D中的视图406的方向和比例对应。例如,图4D和图4E均包括船412,并且船412在这两个视图之间具有相同的比例。如所论述的,在一些实施方案中,当视图402被修改以显示视图406(例如,用户界面元素404在视图402中扩展以显示越来越多的视图406)时,视图402相对于视图406被保持。例如,当视图402被修改时,视图406中的船412相对于视图402中的任何静态虚拟对象(例如,伞)不移动。如所论述的,这两个视图的此类保持可改进用户在围绕CSR布景移动时的舒适度。
应当认识到,上文相对于图2至图4所论述的实施方案是示例性的,并非旨在进行限制。例如,尽管相对于一个或多个虚拟布景描述了图2至图4中的实施方案,但该技术可类似地应用于增强现实应用或混合现实应用。例如,在一些实施方案中,所显示的视图(例如,202)描绘了物理位置(例如,使用视频透传来显示),并且所显示的视图包括作为虚拟对象的用户界面元素(例如,204)。用户界面元素可以描绘虚拟位置(例如,206)。因此,在一些实施方案中,用户与用户界面元素进行交互以将用户从物理布景瞬移到虚拟布景。在其他实施方案中,用户与用户界面元素进行交互以将用户从虚拟布景瞬移到物理布景。例如,在一些实施方案中,视图202描绘了虚拟位置,并且视图206描绘了物理位置。
现在转向图5,其示出了用于围绕CGR布景移动的示例性过程500的流程图。在一些实施方案中,使用用户设备(例如,100a、100b、100c、200、300a、300b或400)执行过程500。用户设备例如是手持式移动设备、头戴式设备或平视设备。应当认识到,在其他实施方案中,过程500使用两个或更多个电子设备(例如,设备100b和设备100c)来执行。在这些实施方案中,过程500的操作以任何方式分布在两个或更多个设备之间。此外,应当理解,用户设备的显示器可以是透明的或不透明的。还应当理解,过程500可应用于虚拟现实、增强现实或混合现实应用,并且应用于包括可见特征以及不可见特征诸如音频、触觉等的效果。尽管在图5中以特定顺序示出了过程500的框,但是应当理解,可以其他顺序执行这些框。此外,过程500的一个或多个框可以是任选的和/或可以执行附加框。
在框502处,显示(例如,在电子设备处)CSR布景的当前视图(例如,图2A的视图202)。该当前视图从与第一确定方向对应的第一视角描绘了CSR布景的当前位置。在一些实施方案中,电子设备包括具有面向头部的传感器的头戴式显示器。在一些实施方案中,使用面向头部的传感器获得表示眼睛注视的注视数据。在一些实施方案中,使用所获得的注视数据来确定第一确定方向。
在框504处,显示用户界面元素(例如,204)。用户界面元素描绘了从当前位置不可见的目标位置(例如,用户界面元素显示图2A中的视图206)。在一些实施方案中,用户界面元素是球形的。在一些实施方案中,描绘目标位置包括在用户界面元素中显示位于目标位置处的一个或多个虚拟对象的移动。
在框506处,响应于接收到表示对用户界面元素的选择的输入,修改当前视图的显示以显示描绘目标位置的目标视图(例如,图2B中的视图206)。在一些实施方案中,修改当前视图的显示以显示目标视图包括放大用户界面元素。在一些实施方案中,当放大用户界面元素的显示时,基于确定的方向平移当前视图和用户界面元素的内容(例如,在图2A和图2D之间平移视图202和206)。
在一些实施方案中,第一确定方向是对应于第一用户的方向,并且目标视图从第四视角描绘目标位置,该第四视角对应于与不同于第一用户的第二用户对应的确定方向,该第二用户位于目标位置。
在一些实施方案中,修改当前视图的显示以显示目标视图包括确定所接收的输入是否表示对象朝向电子设备的移动。在一些实施方案中,响应于确定所接收的输入表示对象朝向电子设备的移动,根据移动的量值成比例地放大用户界面元素。在一些实施方案中,修改当前视图的显示以显示目标视图包括确定对象的移动是否超过阈值距离。在一些实施方案中,响应于确定对象的移动超过阈值距离,将当前视图的显示替换为目标视图的显示(例如,图2E中的视图202被图2H中的视图206替换)。
在一些实施方案中,在将当前视图的显示替换为目标视图的显示之后,显示第二用户界面元素(例如,214)。该第二用户界面元素描述了当前位置。在一些实施方案中,响应于接收到表示对第二用户界面元素的选择的输入,修改目标视图的显示以显示当前位置的视图(例如,图2H中的视图202)。在一些实施方案中,修改目标视图的显示以显示当前位置的视图包括将目标视图的显示替换为当前位置的视图的显示。
在一些实施方案中,在接收到表示对用户界面元素的选择的输入之前,确定与第一确定方向不同的第二方向。在一些实施方案中,修改用户界面元素的显示以从使用第二方向确定的第二视角描绘目标位置(例如,图2B中的视图206被修改为图2D中的视图206)。在一些实施方案中,修改用户界面元素的显示包括使用户界面元素移位,其中移位的用户界面元素从第二视角描绘目标位置。在一些实施方案中,虽然在用户界面元素中从第二视角描绘了目标位置,但是继续显示从第一视角描绘CSR布景的当前位置的当前视图(例如,图2B中的视图202)。
在一些实施方案中,在修改用户界面元素的显示以从第二视角描绘目标位置时,当前视图被修改以从使用第二方向确定的第三视角描绘CSR布景的当前位置(例如,在图2A和图2D之间修改视图202)。
在一些实施方案中,显示用户界面元素包括使用电子设备的显示器的多个像素来显示用户界面元素。在一些实施方案中,在修改当前视图以从第三视角描绘CSR布景的当前位置时,继续使用在当前视图从第一视角描绘CSR布景的当前位置时用于显示用户界面元素的多个像素来显示用户界面元素(例如,用于显示图2A(和/或图2B)中的用户界面元素204的像素还用于显示图2D中的用户界面元素204)。
现在转向图6,其示出了用于围绕CGR布景移动的示例性过程600的流程图。在一些实施方案中,使用用户设备(例如,100a、100b、100c、200、300a、300b或400)执行过程600。用户设备例如是手持式移动设备、头戴式设备或平视设备。应当认识到,在其他实施方案中,过程600使用两个或更多个电子设备(例如,设备100b和设备100c)来执行。在这些实施方案中,过程600的操作以任何方式分布在两个或更多个设备之间。此外,应当理解,用户设备的显示器可以是透明的或不透明的。还应当理解,过程600可应用于虚拟现实、增强现实或混合现实应用,并且应用于包括可见特征以及不可见特征诸如音频、触觉等的效果。尽管在图6中以特定顺序示出了过程600的框,但是应当理解,可以其他顺序执行这些框。此外,过程600的一个或多个框可以是任选的和/或可以执行附加框。另外,上文相对于图5所述的实施方案中的任一者可被包括在过程600中。类似地,下文相对于图6所述的实施方案中的任一者可被包括在过程500中。
在框602处,显示CSR布景的当前视图(例如,图4A或图4C中的视图402)。该当前视图从与第一确定方向对应的第一视角描绘了CSR布景的当前位置。在一些实施方案中,当前视图由电子设备显示。在一些实施方案中,电子设备包括具有面向头部的传感器的头戴式显示器。在一些实施方案中,使用面向头部的传感器获得表示眼睛注视的注视数据,并且使用所获得的注视数据来确定第一确定方向。
在框604处,显示用户界面元素(例如,404)。该用户界面元素描绘了CSR布景的目标位置。当在用户界面元素(例如,图4A中的视图406)中显示时,目标位置相对于当前视图中的当前位置的显示被以更大比例显示。在一些实施方案中,确定与第一确定方向相关联的第一注视深度,并且使用所确定的第一注视深度来确定用户界面元素的内容的更大比例。
在一些实施方案中,确定与第一确定方向相关联的第二注视深度。该第二注视深度可与第一注视深度相同或不同。在一些实施方案中,显示与用户界面元素(例如,414)相关联的指示符,该指示符具有与所确定的第二注视深度对应的尺寸。在一些实施方案中,显示与用户界面元素相关联的指示符,该指示符具有表示CSR布景中的当前位置与目标位置之间的距离的尺寸。在一些实施方案中,表示当前位置与目标位置之间的距离的尺寸的值是表示该当前位置和该目标位置之间的最大距离的最大值。在一些实施方案中,用户界面元素中的目标位置的显示以最大比例显示。
在框606处,响应于接收到表示对用户界面元素的选择的输入,修改当前视图的显示以显示CSR布景的目标视图(例如,图4B或图4D中的视图406),该目标视图描绘了在用户界面元素中显示的目标位置。当在目标视图中显示时,目标位置以与用户界面元素中目标位置的显示相同的比例显示。
在一些实施方案中,修改当前视图的显示以显示目标视图包括放大用户界面元素的显示。在一些实施方案中,当放大用户界面元素的显示时,基于与第一确定方向不同的第四方向平移当前视图和用户界面元素的内容(例如,在图4C和图4D之间平移视图402和404)。
在一些实施方案中,修改当前视图的显示以显示目标视图包括确定所接收的输入是否表示对象朝向电子设备的移动。在一些实施方案中,响应于确定所接收的输入表示对象朝向电子设备的移动,根据该对象移动的量值成比例地放大用户界面元素。在一些实施方案中,修改当前视图的显示以显示目标视图包括确定对象的移动是否超过阈值距离。在一些实施方案中,响应于确定对象的移动超过阈值距离,将当前视图的显示替换为目标视图的显示(例如,图4A中的视图402被图4B中的视图406替换)。
在一些实施方案中,修改当前视图的显示以显示目标视图包括修改用户界面元素的显示。在修改用户界面元素的显示时,用户界面元素的内容以更大的比例显示。
在一些实施方案中,在用户界面元素和目标视图中显示的目标位置是从根据共同确定的方向而确定的视角显示的(例如,图4A和图4B中的视图406是从根据共同方向而确定的视角显示的)。在一些实施方案中,使用第一确定方向来确定第二视角。在一些实施方案中,显示用户界面元素包括在用户界面元素中从第二视角显示目标位置(例如,图4A中的视图406是从第二视角显示的)。
在一些实施方案中,确定与第一确定方向不同的第二方向,并且使用所确定的第二方向确定第三视角。在一些实施方案中,显示用户界面元素包括在用户界面元素中从第三视角显示CSR布景的目标位置(例如,图4D中的视图406是从第三视角显示的)。在一些实施方案中,修改当前视图的显示以从使用所确定的第二方向确定的第四视角显示CSR布景的当前位置(例如,在图4C和图4D之间修改视图402)。
在一些实施方案中,显示用户界面元素包括以电子设备的显示器的多个像素显示用户界面元素。在一些实施方案中,在修改当前视图的显示(例如,在图4C和图4D之间修改视图402)以从第四视角显示CSR布景的当前位置时,继续使用在当前视图从第一视角描绘CSR布景的当前位置时用于显示用户界面元素的多个像素来显示用户界面元素。
用于执行上述方法500和/或600的特征的可执行指令可选地包括在被配置用于由一个或多个处理器(例如,处理器102)执行的暂态或非暂态计算机可读存储介质(例如,存储器106)或其他计算机程序产品中。
上述技术的各方面设想了采集和使用个人信息以改进在围绕CGR布景移动时的用户体验的可能性。此类信息应在用户知情同意的情况下收集。
处理此类个人信息的实体将遵守既定的隐私做法和/或隐私政策(例如,由第三方认证的政策),这些政策(1)通常被认为符合或超过行业或政府要求,(2)用户可访问,(3)根据需要进行更新,并且(4)符合适用法律。处理此类个人信息的实体将把这些信息用于合理且合法的用途,而不在那些合法用途之外进行共享或销售。
然而,用户可选择性地限制个人信息的访问/使用。例如,用户可选择参与或不参与他们的个人信息的收集。此外,尽管上述技术的各方面设想了个人信息的使用,但是这些技术的各方面可在不需要或不使用个人信息的情况下实现。例如,如果采集了位置信息、用户名和/或地址,它们可被一般化和/或屏蔽,使得它们不唯一地识别个体。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用程序。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。
虽然参照附图对本公开以及示例进行了全面的描述,但应当注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解,此类变化和修改被认为被包括在由权利要求书所限定的本公开和示例的范围内。
Claims (43)
1.一种用于围绕计算机模拟现实(CSR)布景进行移动的方法,所述方法包括:
在具有存储器和一个或多个处理器的电子设备处:
显示所述CSR布景的当前视图,所述当前视图从与第一确定方向对应的第一视角描绘所述CSR布景的当前位置;
显示用户界面元素,所述用户界面元素描绘从所述当前位置不可见的目标位置;以及
响应于接收到表示对所述用户界面元素的选择的输入,修改所述当前视图的所述显示以显示描绘所述目标位置的目标视图,
其中修改所述当前视图的所述显示以显示所述目标视图包括放大所述用户界面元素。
2.根据权利要求1所述的方法,还包括在接收到表示对所述用户界面元素的选择的所述输入之前:
确定与所述第一确定方向不同的第二方向;以及
修改所述用户界面元素的所述显示以从使用所述第二方向确定的第二视角描绘所述目标位置。
3.根据权利要求2所述的方法,其中修改所述用户界面元素的所述显示包括使所述用户界面元素移位,其中所移位的用户界面元素从所述第二视角描绘所述目标位置。
4.根据权利要求2至3中任一项所述的方法,还包括:
在修改所述用户界面元素的所述显示以从所述第二视角描绘所述目标位置时:
修改所述当前视图以从使用所述第二方向确定的第三视角描绘所述CSR布景的所述当前位置。
5.根据权利要求4所述的方法,其中显示所述用户界面元素包括使用所述电子设备的显示器的多个像素来显示所述用户界面元素;并且
还包括:
在修改所述当前视图以从所述第三视角描绘所述CSR布景的所述当前位置时:
继续使用在所述当前视图从所述第一视角描绘所述CSR布景的所述当前位置时用于显示所述用户界面元素的所述多个像素来显示所述用户界面元素。
6.根据权利要求2所述的方法,还包括:
当在所述用户界面元素中从所述第二视角描绘所述目标位置时:
继续显示从所述第一视角描绘所述CSR布景的所述当前位置的所述当前视图。
7.根据权利要求1至6中任一项所述的方法,还包括:
在放大所述用户界面元素的所述显示时,基于所确定的方向平移所述当前视图和所述用户界面元素的内容。
8.根据权利要求1至7中任一项所述的方法,其中修改所述当前视图的所述显示以显示所述目标视图包括:
确定所接收的输入是否表示对象朝向所述电子设备的移动;以及
响应于确定所接收的输入表示所述对象朝向所述电子设备的移动,根据所述移动的量值成比例地放大所述用户界面元素。
9.根据权利要求8所述的方法,其中修改所述当前视图的所述显示以显示所述目标视图包括:
确定所述对象的所述移动是否超过阈值距离;
响应于确定所述对象的所述移动超过所述阈值距离,将所述当前视图的所述显示替换为所述目标视图的显示。
10.根据权利要求9所述的方法,还包括:
在将所述当前视图的所述显示替换为所述目标视图的所述显示之后:
显示第二用户界面元素,所述第二用户界面元素描绘所述当前位置;以及
响应于接收到表示对所述第二用户界面元素的选择的输入,修改所述目标视图的所述显示以显示所述当前位置的视图。
11.根据权利要求10所述的方法,其中修改所述目标视图的所述显示以显示所述当前位置的所述视图包括:
将所述目标视图的所述显示替换为所述当前位置的所述视图的显示。
12.根据权利要求1至11中任一项所述的方法,其中所述电子设备是具有面向头部的传感器的头戴式显示器,所述方法还包括:
使用所述面向头部的传感器获得表示眼睛注视的注视数据;以及
使用所获得的注视数据确定所述第一确定方向。
13.根据权利要求1至12中任一项所述的方法,其中描绘所述目标位置包括在所述用户界面元素中显示位于所述目标位置处的一个或多个虚拟对象的移动。
14.根据权利要求1至13中任一项所述的方法,其中所述用户界面元素是球形的。
15.根据权利要求1至14中任一项所述的方法,其中所述第一确定方向是对应于第一用户的方向,并且其中所述目标视图从第四视角描绘所述目标位置,所述第四视角对应于与不同于所述第一用户的第二用户对应的确定方向,所述第二用户位于所述目标位置。
16.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至15中任一项所述的方法的指令。
17.一种电子设备,包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至15中任一项所述的方法的指令。
18.一种电子设备,包括用于执行根据权利要求1至15中任一项所述的方法的装置。
19.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
显示CSR布景的当前视图,所述当前视图从与第一确定方向对应的第一视角描绘所述CSR布景的当前位置;
显示用户界面元素,所述用户界面元素描绘从所述当前位置不可见的目标位置;以及
响应于接收到表示对所述用户界面元素的选择的输入,修改所述当前视图的所述显示以显示描绘所述目标位置的目标视图,
其中修改所述当前视图的所述显示以显示所述目标视图包括放大所述用户界面元素。
20.一种电子设备,包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
显示CSR布景的当前视图,所述当前视图从与第一确定方向对应的第一视角描绘了所述CSR布景的当前位置;
显示用户界面元素,所述用户界面元素描绘从所述当前位置不可见的目标位置;以及
响应于接收到表示对所述用户界面元素的选择的输入,修改所述当前视图的所述显示以显示描绘所述目标位置的目标视图,
其中修改所述当前视图的所述显示以显示所述目标视图包括放大所述用户界面元素。
21.一种电子设备,包括:
用于显示CSR布景的当前视图的装置,所述当前视图从与第一确定方向对应的第一视角描绘了所述CSR布景的当前位置;
用于显示用户界面元素的装置,所述用户界面元素描绘从所述当前位置不可见的目标位置;以及
用于响应于接收到表示对所述用户界面元素的选择的输入而修改所述当前视图的所述显示以显示描绘所述目标位置的目标视图的装置,
其中修改所述当前视图的所述显示以显示所述目标视图包括放大所述用户界面元素。
22.一种用于围绕计算机模拟现实(CSR)布景进行移动的方法,所述方法包括:
在具有存储器和一个或多个处理器的电子设备处:
显示CSR布景的当前视图,所述当前视图从与第一确定方向对应的第一视角描绘所述CSR布景的当前位置;
显示用户界面元素,所述用户界面元素描绘所述CSR布景的目标位置,其中所述目标位置当被显示在所述用户界面元素中时相对于所述当前视图中的所述当前位置的所述显示被以更大比例显示;以及
响应于接收到表示对所述用户界面元素的选择的输入,修改所述当前视图的所述显示以显示所述CSR布景的目标视图,所述目标视图描绘显示在所述用户界面元素中的所述目标位置,
其中当在所述目标视图中显示时,所述目标位置以与所述用户界面元素中的所述目标位置的所述显示相同的比例显示。
23.根据权利要求22所述的方法,其中在所述用户界面元素和所述目标视图中显示的所述目标位置是从根据共同确定的方向所确定的视角显示的。
24.根据权利要求22和23中任一项所述的方法,还包括:
使用所述第一确定方向确定第二视角,
其中显示所述用户界面元素包括:
在所述用户界面元素中从所述第二视角显示所述目标位置。
25.根据权利要求22至24中任一项所述的方法,还包括:
确定与所述第一确定方向不同的第二方向;以及
使用所确定的第二方向确定第三视角,
其中显示所述用户界面元素包括从所述第三视角在所述用户界面元素中显示所述CSR布景的所述目标位置。
26.根据权利要求25所述的方法,还包括:
修改所述当前视图的所述显示以从使用所确定的第二方向确定的第四视角显示所述CSR布景的所述当前位置。
27.根据权利要求26所述的方法,其中显示所述用户界面元素包括以所述电子设备的显示器的多个像素显示所述用户界面元素,所述方法还包括:
在修改所述当前视图的所述显示以从所述第四视角显示所述CSR布景的所述当前位置时:
继续使用在所述当前视图从所述第一视角描绘所述CSR布景的所述当前位置时用于显示所述用户界面元素的所述多个像素来显示所述用户界面元素。
28.根据权利要求22至27中任一项所述的方法,其中修改所述当前视图的所述显示以显示所述目标视图包括:
放大所述用户界面元素的所述显示;以及
在放大所述用户界面元素的所述显示时,基于不同于所述第一确定方向的第四方向平移所述当前视图和所述用户界面元素的内容。
29.根据权利要求22至28中任一项所述的方法,其中修改所述当前视图的所述显示以显示所述目标视图包括:
确定所接收的输入是否表示对象朝向所述电子设备的移动;以及
响应于确定所接收的输入表示所述对象朝向所述电子设备的移动,根据所述对象的所述移动的量值成比例地放大所述用户界面元素。
30.根据权利要求29所述的方法,其中修改所述当前视图的显示以显示所述目标视图包括:
确定所述对象的所述移动是否超过阈值距离;以及
响应于确定所述对象的所述移动超过所述阈值距离,将所述当前视图的所述显示替换为所述目标视图的显示。
31.根据权利要求22至30中任一项所述的方法,其中修改所述当前视图的显示以显示所述目标视图包括修改所述用户界面元素的所述显示,并且其中在修改所述用户界面元素的所述显示时,所述用户界面元素的所述内容被以更大比例显示。
32.根据权利要求22至31中任一项所述的方法,其中所述电子设备是具有面向头部的传感器的头戴式显示器,所述方法还包括:
使用所述面向头部的传感器获得表示眼睛注视的注视数据;以及
使用所获得的注视数据确定所述第一确定方向。
33.根据权利要求22至32中任一项所述的方法,还包括:
确定与所述第一确定方向相关联的第一注视深度;以及
使用所确定的所述第一注视深度来确定所述用户界面元素的所述内容的所述更大比例。
34.根据权利要求22至33中任一项所述的方法,还包括:
确定与所述第一确定方向相关联的第二注视深度;以及
显示与所述用户界面元素相关联的指示符,所述指示符具有与所确定的所述第二注视深度对应的尺寸。
35.根据权利要求22至34中任一项所述的方法,还包括:
显示与所述用户界面元素相关联的指示符,所述指示符具有表示所述CSR布景中的所述当前位置与所述目标位置之间的距离的尺寸。
36.根据权利要求35所述的方法,其中表示所述当前位置与所述目标位置之间的所述距离的所述尺寸的值是表示所述当前位置和所述目标位置之间的最大距离的最大值。
37.根据权利要求36所述的方法,其中所述用户界面元素中的所述目标位置的所述显示被以最大比例显示。
38.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求22至37中任一项所述的方法的指令。
39.一种电子设备,包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求22至37中任一项所述的方法的指令。
40.一种电子设备,包括用于执行根据权利要求22至37中任一项所述的方法的装置。
41.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
显示CSR布景的当前视图,所述当前视图从与第一确定方向对应的第一视角描绘所述CSR布景的当前位置;
显示用户界面元素,所述用户界面元素描绘所述CSR布景的目标位置,其中所述目标位置当被显示在所述用户界面元素中时相对于所述当前视图中的所述当前位置的所述显示被以更大比例显示;以及
响应于接收到表示对所述用户界面元素的选择的输入,修改所述当前视图的所述显示以显示所述CSR布景的目标视图,所述目标视图描绘显示在所述用户界面元素中的所述目标位置,
其中当在所述目标视图中显示时,所述目标位置以与所述用户界面元素中的所述目标位置的所述显示相同的比例显示。
42.一种电子设备,包括:
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
显示CSR布景的当前视图,所述当前视图从与第一确定方向对应的第一视角描绘所述CSR布景的当前位置;
显示用户界面元素,所述用户界面元素描绘所述CSR布景的目标位置,其中所述目标位置当被显示在所述用户界面元素中时相对于所述当前视图中的所述当前位置的所述显示被以更大比例显示;以及
响应于接收到表示对所述用户界面元素的选择的输入,修改所述当前视图的所述显示以显示所述CSR布景的目标视图,所述目标视图描绘显示在所述用户界面元素中的所述目标位置,
其中当在所述目标视图中显示时,所述目标位置以与所述用户界面元素中的所述目标位置的所述显示相同的比例显示。
43.一种电子设备,包括:
用于显示CSR布景的当前视图的装置,所述当前视图从与第一确定方向对应的第一视角描绘了所述CSR布景的当前位置;
用于显示用户界面元素的装置,所述用户界面元素描绘所述CSR布景的目标位置,其中所述目标位置当被显示在所述用户界面元素中时相对于所述当前视图中的所述当前位置的所述显示被以更大比例显示;以及
用于响应于接收到表示对所述用户界面元素的选择的输入而修改所述当前视图的所述显示以显示所述CSR布景的目标视图的装置,所述目标视图描绘显示在所述用户界面元素中的所述目标位置,
其中当在所述目标视图中显示时,所述目标位置以与所述用户界面元素中的所述目标位置的所述显示相同的比例显示。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862666015P | 2018-05-02 | 2018-05-02 | |
US62/666,015 | 2018-05-02 | ||
US201962831012P | 2019-04-08 | 2019-04-08 | |
US62/831,012 | 2019-04-08 | ||
PCT/US2019/030120 WO2019213200A1 (en) | 2018-05-02 | 2019-05-01 | Moving about a computer simulated reality setting |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112292657A true CN112292657A (zh) | 2021-01-29 |
Family
ID=66530485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980028718.2A Pending CN112292657A (zh) | 2018-05-02 | 2019-05-01 | 围绕计算机模拟现实布景进行移动 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11320958B2 (zh) |
EP (1) | EP3788464B1 (zh) |
JP (1) | JP7155291B2 (zh) |
KR (1) | KR102546535B1 (zh) |
CN (1) | CN112292657A (zh) |
WO (1) | WO2019213200A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3788464B1 (en) | 2018-05-02 | 2023-08-16 | Apple Inc. | Moving about a computer simulated reality setting |
KR102508286B1 (ko) * | 2018-08-27 | 2023-03-09 | 삼성전자 주식회사 | 가상 현실에서 정보를 제공하는 전자 장치 및 방법 |
DE102020104415A1 (de) * | 2019-02-22 | 2020-08-27 | Apple Inc. | Bewegung in einer umgebung |
JP6989199B1 (ja) | 2021-10-06 | 2022-01-05 | クラスター株式会社 | 情報処理装置 |
US11995232B1 (en) | 2022-12-09 | 2024-05-28 | Shopify Inc. | Systems and methods for responsive user interface based on gaze depth |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2953335A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20160350972A1 (en) * | 2015-05-26 | 2016-12-01 | Google Inc. | Multidimensional graphical method for entering and exiting applications and activities in immersive media |
US20170160815A1 (en) * | 2015-12-03 | 2017-06-08 | Google Inc. | Teleportation in an augmented and/or virtual reality environment |
WO2017147909A1 (zh) * | 2016-03-04 | 2017-09-08 | 华为技术有限公司 | 目标设备的控制方法和装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060119598A1 (en) | 2004-12-08 | 2006-06-08 | Evil Twin Studios, Inc. | System and method for communicating travel progress within a virtual environment |
JP2007292713A (ja) * | 2006-03-30 | 2007-11-08 | Denso Corp | ナビゲーション装置 |
US7889212B2 (en) | 2006-09-07 | 2011-02-15 | Apple Inc. | Magnifying visual information using a center-based loupe |
US8560224B2 (en) * | 2008-04-14 | 2013-10-15 | Alpine Electronics, Inc. | Method and apparatus for establishing optimum route to intersection destination for navigation system |
US20090286598A1 (en) | 2008-05-16 | 2009-11-19 | International Business Machines Corporation | System And Method Of Deterministic Teleportation Within A Virtual World |
JP5171386B2 (ja) * | 2008-05-19 | 2013-03-27 | キヤノン株式会社 | コンテンツ管理装置、コンテンツ管理方法、プログラム及び記録媒体 |
US20100079413A1 (en) * | 2008-09-29 | 2010-04-01 | Denso Corporation | Control device |
US8407613B2 (en) * | 2009-07-13 | 2013-03-26 | Apple Inc. | Directory management on a portable multifunction device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
JP5762944B2 (ja) * | 2011-12-28 | 2015-08-12 | 京セラ株式会社 | 装置、方法、及びプログラム |
JP6124517B2 (ja) | 2012-06-01 | 2017-05-10 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
US10176633B2 (en) * | 2012-06-05 | 2019-01-08 | Apple Inc. | Integrated mapping and navigation application |
JP6060536B2 (ja) * | 2012-06-27 | 2017-01-18 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR102005315B1 (ko) * | 2012-07-23 | 2019-07-30 | 삼성전자 주식회사 | 클라우드 서비스 지원 방법과 시스템 및 이를 지원하는 단말기 |
TWI611338B (zh) * | 2012-10-09 | 2018-01-11 | 宏達國際電子股份有限公司 | 縮放螢幕畫面的方法、電子裝置及電腦程式產品 |
CN105474189B (zh) * | 2013-09-03 | 2019-07-12 | 飞力凯网路股份有限公司 | 信息处理终端和信息处理方法 |
JP2015148991A (ja) * | 2014-02-07 | 2015-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10365807B2 (en) * | 2015-03-02 | 2019-07-30 | Apple Inc. | Control of system zoom magnification using a rotatable input mechanism |
CN107912061B (zh) | 2015-03-06 | 2021-06-01 | 伊利诺斯工具制品有限公司 | 用于焊接的传感器辅助头戴式显示器 |
US20160353012A1 (en) | 2015-05-25 | 2016-12-01 | Htc Corporation | Zooming control method for camera and electronic apparatus with camera |
EP3101629B1 (en) | 2015-06-04 | 2021-03-17 | Nokia Technologies Oy | Mediated reality |
US20170228931A1 (en) * | 2016-02-08 | 2017-08-10 | Google Inc. | Limited field of view in virtual reality |
US10567739B2 (en) | 2016-04-22 | 2020-02-18 | Intel Corporation | Synthesis of transformed image views |
CN109906424B (zh) | 2016-11-15 | 2022-07-05 | 谷歌有限责任公司 | 用于虚拟现实系统的输入控制器稳定技术 |
JP6350695B2 (ja) | 2017-02-10 | 2018-07-04 | 株式会社リコー | 装置、方法、およびプログラム |
KR20180099182A (ko) | 2017-02-28 | 2018-09-05 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법 |
US20190188893A1 (en) * | 2017-12-18 | 2019-06-20 | Dataview Vr, Llc | Simulated reality data representation system and method |
EP3788464B1 (en) | 2018-05-02 | 2023-08-16 | Apple Inc. | Moving about a computer simulated reality setting |
DE102020104415A1 (de) | 2019-02-22 | 2020-08-27 | Apple Inc. | Bewegung in einer umgebung |
-
2019
- 2019-05-01 EP EP19723977.5A patent/EP3788464B1/en active Active
- 2019-05-01 CN CN201980028718.2A patent/CN112292657A/zh active Pending
- 2019-05-01 WO PCT/US2019/030120 patent/WO2019213200A1/en unknown
- 2019-05-01 KR KR1020207031568A patent/KR102546535B1/ko active IP Right Grant
- 2019-05-01 US US17/051,703 patent/US11320958B2/en active Active
- 2019-05-01 JP JP2020560953A patent/JP7155291B2/ja active Active
-
2022
- 2022-02-24 US US17/679,943 patent/US11714519B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2953335A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20160350972A1 (en) * | 2015-05-26 | 2016-12-01 | Google Inc. | Multidimensional graphical method for entering and exiting applications and activities in immersive media |
US20170160815A1 (en) * | 2015-12-03 | 2017-06-08 | Google Inc. | Teleportation in an augmented and/or virtual reality environment |
WO2017147909A1 (zh) * | 2016-03-04 | 2017-09-08 | 华为技术有限公司 | 目标设备的控制方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US11714519B2 (en) | 2023-08-01 |
US20210232288A1 (en) | 2021-07-29 |
KR20200138376A (ko) | 2020-12-09 |
JP2021520573A (ja) | 2021-08-19 |
US11320958B2 (en) | 2022-05-03 |
KR102546535B1 (ko) | 2023-06-23 |
EP3788464A1 (en) | 2021-03-10 |
WO2019213200A1 (en) | 2019-11-07 |
US20220179542A1 (en) | 2022-06-09 |
EP3788464B1 (en) | 2023-08-16 |
JP7155291B2 (ja) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110954083B (zh) | 移动设备的定位 | |
US12003890B2 (en) | Environment for remote communication | |
US11714519B2 (en) | Moving about a setting | |
JP2020532796A (ja) | 視線ベースのユーザ対話 | |
KR102340665B1 (ko) | 프라이버시 스크린 | |
CN112041788B (zh) | 使用眼睛注视来选择文本输入字段 | |
JP7081052B2 (ja) | 模擬現実(sr)におけるデバイス共有及び対話性の表示 | |
US11900520B1 (en) | Specifying effects for entering or exiting a computer-generated reality environment | |
KR20230003154A (ko) | 3차원 환경들에서 아바타들의 제시 | |
US20210364809A1 (en) | Augmented visual capabilities | |
CN113646731A (zh) | 用于参与共享布景的技术 | |
US20230215079A1 (en) | Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting | |
CN111612916B (zh) | 在环境内的移动 | |
CN112987914A (zh) | 用于内容放置的方法和设备 | |
US11308716B1 (en) | Tailoring a computer-generated reality experience based on a recognized object | |
US11763517B1 (en) | Method and device for visualizing sensory perception | |
CN112562088A (zh) | 基于用户移动来呈现环境 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |