CN108475117A - 在虚拟现实环境内导航的方法和装置 - Google Patents

在虚拟现实环境内导航的方法和装置 Download PDF

Info

Publication number
CN108475117A
CN108475117A CN201680078952.2A CN201680078952A CN108475117A CN 108475117 A CN108475117 A CN 108475117A CN 201680078952 A CN201680078952 A CN 201680078952A CN 108475117 A CN108475117 A CN 108475117A
Authority
CN
China
Prior art keywords
accessible
untouchable
hand position
physics
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680078952.2A
Other languages
English (en)
Other versions
CN108475117B (zh
Inventor
罗伯特·卡尔·雅格诺
罗比·蒂尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108475117A publication Critical patent/CN108475117A/zh
Application granted granted Critical
Publication of CN108475117B publication Critical patent/CN108475117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了在虚拟现实(VR)环境内导航的示例方法和装置。所公开的示例方法包括限定VR环境的可触及部分;限定与可触及部分分离的VR环境的不可触及部分;以及将可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。

Description

在虚拟现实环境内导航的方法和装置
相关申请的交叉引用
本申请是2016年4月13日提交的美国专利申请No.15/097,920的继续部分并且要求其优先权,其全部内容通过引用被合并在此。
技术领域
本公开总体上涉及虚拟现实(VR),并且更具体地,涉及在VR环境内导航的方法和装置。
背景技术
虚拟现实(VR)环境使用传感器、相机等以检测人位于何处并且人如何在VR环境内移动。位置和移动信息能够被用于确定人触及和/或与VR环境中的对象交互的时间。
发明内容
公开在VR环境内导航的方法和装置。所公开的示例方法包括限定虚拟现实(VR)环境的可触及部分;限定与可触及部分分离的VR环境的不可触及部分;以及将可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。
所公开的示例装置包括用于感测物理手位置的可触及传感器,和处理器,该处理器被编程成:限定虚拟现实(VR)环境的可触及部分;限定超出可触及部分的VR环境的不可触及部分;并且将可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。
所公开的示例非暂时性机器可读介质存储机器可读指令,当执行机器可读指令时使机器至少限定虚拟现实(VR)环境的可触及部分,限定VR环境的不可触及部分,并且将可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。
附图说明
图1是根据本公开的教导的示例VR环境的示意图。
图2A和2B分别是VR环境内的示例导航的俯视图和侧视图。
图3是图示可以例如使用由执行在本文中公开的方法和装置的一个或多个处理器执行的机器可读指令实现的示例方法的流程图。
图4是可以被用于实现在本文中公开的示例的示例计算机设备和示例移动计算机设备的示意性框图。
具体实施方式
VR内容创建者不希望将所有对象放在用户的手臂触及范围内。用户不希望步行到VR环境中的每个对象以使其在手臂触及范围内。在此公开至少克服这些问题的方法和装置。
所公开的示例方法和装置映射或平移VR环境的可触及部分(例如,空间)即在(例如手臂、棒、控制器、指示器、被穿戴的对象等的)触及范围内到落在可触及部分外部的VR环境的不可触及部分(例如,空间)之间的移动和位置。VR环境中的一部分是可触及的如果例如用户可以使用他们的身体的任何部位、当前佩戴的对象、当前握持的对象等与VR环境中的该部分中的任何地方的物理对象进行物理交互。可触及部分的尺寸和/或形状可以与应用、用户、可用物理对象等一起随时间而改变。落在用户的不可触及部分的外部的VR环境的部分可以是不可触及部分。不论用户被动态地坐落于或者位于VR环境中的何处如何都能够应用此映射或者平移,并且当用户在VR环境中移动时映射或者平移能够改变。总体上具有难处理的或虚拟对象的不可触及部分能够非常大或非常小。除了别的之外,映射或平移(例如,转换)通过使用在它们的触及范围内的物理移动给他们提供与在他们的触及范围外的虚拟对象进行交互的能力,来解释什么在触及范围外,从而为用户和内容创建者提供增强的VR体验。通过这种方式,用户能够自然地实质地、几乎、总体上等导航VR环境的全部,同时仅需要在其他们的触及范围内进行物理移动。可触及部分和不可触及部分中的任何一个都能够大于另一个。而且,可触及部分和不可触及部分不需要具有相同的比例。例如,用户可能会在他们面前看到非常精确地排列玩具屋家具或执行显微外科手术的小手。
使用不可触及部分的体积坐标以及特定用户的触及范围,在本文中公开的方法和装置将用户的可触及部分内的物理移动和/或位置平移到不可触及部分内的移动和/或位置。可触及部分能够相对于动态参考点诸如用户在VR环境中的身体或头位置被确定。能够考虑到手动性、舒适性、背景、医疗约束、用户偏好等来确定手臂的触及。可触及部分和不可触及部分不需要具有相同的形状,并且可以随时间改变,并且映射或平移可以在不同的不同方向和时间上不同。换句话说,上面提到并且在此进一步描述的平移具有以下技术效果,当用户经由物理移动(例如,通过移动他们的身体的任何部分、当前佩戴的对象、当前握持的对象等)向VR环境提供输入时然后在VR环境中产生的交互不限于VR环境中用户的可触及的空间,而是能够另外被指向位于VR环境的不可触及部分中的对象。这具有下述优点,即,其范围自然受到用户的物理属性的限制的用户的物理运动能够被用作用于虚拟用户与在物理上超出在上述意义上可触及的那些的VR空间中的位置的交互的输入。
现在将详细参考本公开的非限制性示例,其示例在附图中被图示。在下面通过参考附图描述示例,其中相似的附图标记指的是相似的元件。当示出相似的附图标记时,不重复相应的描述,并且感兴趣的读者参考用于描述相似元件的先前讨论的附图。在附图中示出的这些示例和变型及其部分并未用特定的形状、或者用特定的相对尺寸按比例绘制,因为它们对于本公开来说不重要并且可以使附图更加难以被理解。为了讨论的目的,可能已经有意地夸大具体地元件。相反,为了清晰和理解已经绘制附图。此外,根据本公开的其他实现和本文的权利要求,可以改变、重新排列等等元件的排列和耦合。
转到图1,示出示例VR系统100的框图。示例VR系统100包括VR环境(例如,空间)102。虽然为了简化起见在图1中示出为正方形,但是VR环境102可以具有任何形状和尺寸,并且不需要具有几何形状。然而,为了简单起见,非几何形状可以近似为几何形状。在图1的示例中,用户104能够佩戴VR头戴式显示器(HMD)110,并且能够握持VR控制器112。
除了其他的之外,HMD 110能够被用于通过确定HMD 110的位置作为代理来确定人104的头106的位置。能够被用于确定头106的位置的示例包括可以由HMD 110能够感测到的发射器或图像(其中一个在参考数字120处指定),和/或能够感测HMD 110的位置的传感器或相机(其中一个在参考数字121处指定)。HMD 110能够包括一个或多个相机以感测发射器/图像120。可以使用任何数量和/或类型的发射器120和传感器/相机121以及使用其来确定HMD 110的位置的任何方法。可以由HMD 110或另一设备126、127、128、130执行位置的确定。HMD 110或其他设备126-128和130可以由图4的示例计算设备P00和P50来实现。
除了别的之外,控制器112能够被用于通过确定控制器112的位置作为代理来确定人的手108、握持的对象、佩戴的对象等的位置。能够被用来确定控制器112的位置的示例方法包括HMD 110和传感器/相机121感测控制器112。可以使用任何数量和/或类型的传感器/相机121、以及使用其以确定控制器112的位置的任何方法。控制器112能够发射和/或反射红外(IR)光以帮助通过HMD 110的IR传感器或传感器/相机121追踪手的位置。附加地或替选地,能够使用电磁信号和传感器以进行追踪。可以由HMD 110或另一设备126-128、130执行位置的确定。
如图1中所示,示例VR系统100包括能够通过网络140交换数据的多个计算和/或电子设备。设备可以表示客户端或服务器,并且能够经由网络140或任何其他附加的和/或替选的网络(S)进行通信。示例客户端设备包括但不限于移动设备126(例如,智能电话、个人数字助理、便携式媒体播放器等)、电子平板电脑、膝上型电脑或上网本127、相机、HMD 110、桌面式计算机128、游戏设备以及能够使用网络140或其他网络与其他计算或电子设备或系统进行通信、或者可以被用于访问VR内容或者在VR环境内运行的任何其它的电子设备或者计算设备。设备110和126-128可以表示客户端设备。在一些示例中,设备110和126-128包括能够执行客户端操作系统的一个或多个处理器和一个或多个存储器设备、和能够在与各自的设备一起实现的发光部分设备上访问、控制和发光分配VR内容的一个或多个客户端应用。设备110、126-128和130中的一个或多个能够例如发射或反射能够由一个或多个相机检测到的红外(IR)或其他类型的光,以帮助确定用户或者设备110、126-128、130的位置用于追踪或其他VR功能。附加地或替选地,电磁信号和传感器能够被用于追踪。
图2A和2B图示可以在图1的示例环境100中实现或操作的在本文中公开的示例方法和装置的示例操作。图2A是示例三维(3D)VR环境205(例如,图1的示例环境100)的俯视图,并且图2B是示例3D VR环境205的侧视图。尽管为了简单起见示出为在图2A和2B中的矩形,VR环境205可以具有任何形状和尺寸,诸如几何形状(例如,球形、椭圆形、半球形、不成比例的椭圆形/球形、六边形、八边形等等)、非几何形状、为简单起见通过几何形状近似的非几何形状、或其组合。
在图2A和2B的示例中,用户210佩戴HMD 215(例如,图1的示例HMD 110),并且握持VR控制器220(例如,图1的示例控制器112)。能够使用和/或通过HMD 215和/或VR控制器220确定用户的头230的物理位置225(即,物理头位置225)和用户的手240的位置235。如在图2A和图2B中所示,虚拟用户265同样具有虚拟头位置270。可以另外或替选地使用其他设备(例如,设备126-128和130中的任何一个)和/或方法以确定用户的头230和手240的位置225和235。HMD 215和控制器220可以通信地耦合到确定位置和/或执行在本文中公开的示例方法的其他设备,诸如,示例设备126-128和130。HMD 215、控制器220以及设备126-128和130可以由图4的示例计算设备P00和P50来实现。
因为用户210的一个或多个臂212关于位置225水平地(例如,旋转)和/或垂直地移动时,可触及部分245能够由用户的头230的位置225和由手240或者控制器220围绕位置225外接的区域来限定。在图2A和2B的被图示的示例中,运动范围是简单的3D弧形或球体。然而,可以使用或限定其他形状,包括在不同方向上不同的形状。例如,如果用户是惯用右手的,并且在左侧的运动上以某种方式被限制,宁愿使用右侧等,则可触及部分245可能在右侧比在左侧大,或者一侧可以被省略。
给定VR环境205的体积3D坐标和可触及部分245的特性,能够限定将用户210在可触及部分245中的位置和/或移动到虚拟用户或虚拟形象265在不可触及部分250中的虚拟位置和/或虚拟移动的映射或平移。可触及部分245和不可触及部分250由边界252(例如,线)刻画,并且不可触及部分由边界254(例如,线)刻画。在图2A和2B的示例中,边界254是从位置270到边界254具有254A的径向距离的球体,并且边界252是从位置225到边界252具有径向距离252A的球体。
在一些示例或实例中,可触及部分245和不可触及250可能两者都没有延伸到边界252。它们可以具有不同的形状并且同时邻接边界252。不可触及部分250不需要环绕整个VR环境205,如图2A和2B中所示,其中为简化实施而使用简单的3D弧形或圆形。可以使用其他形状。例如,不可触及部分250可以扩展超出VR环境205以提供VR环境205更全面的覆盖,可以使用用于更复杂成形的VR环境的更复杂的形状等。再次,不可触及部分250无须在不同方向上是相同的尺寸或形状,也就是说,从位置225到边界252的距离可以在不同的方向上不同。例如,边界252可以在第一方向上离位置225第一距离,和在第二方向上第二距离。
在一些示例中,限定映射或平移以允许用户210随着在可触及部分245内的移动实质地或总体上访问VR环境205的全部和/或不可触及部分250。在其他示例中,限定映射或平移以能够使用可触及部分245内的移动访问仅VR环境205的一部分和/或不可触及部分250。
在简单3D弧形或球形的情况下,可以使用可触及部分245和不可触及部分250的大小之间的简单平移或映射缩放比例,在可触及部分245和不可触及部分的中心的位置250中的因子化。
虚拟用户(例如,虚拟形象)265的中心能够由用户210使用例如控制器220动态地或静态地控制,能够由VR内容创建者静态地或动态地限定等等。他们不需要重叠,如图2A和2B中所示。在一些示例中,虚拟用户265的中心与用户210的物理位置225重合。也就是说,中心270和225重合。
能够通过将缩放因子应用于物理手位置和物理头位置225之间的差,并且添加表示虚拟头位置的偏移量,将可触及部分245中的移动或位置映射到不可触及部分250中的移动和位置,例如,这能够在数学上表达:
VirtualHandLocation=VirtualHeadLocation+(PhysicalHandLocation-PhysicalHeadLocation)*ScaleFactor,
其中VirtualHandLocation是虚拟手260的位置255(即,虚拟手位置255),VirtualHeadLocation是虚拟头位置270,PhysicalHandLocation是物理手240的位置235(即,物理手位置235),PhysicalHeadLocation是物理头位置225,并且ScaleFactor表示不可触及部分250和可触及部分245的大小的比率。可以使用其他映射、关系和平移。此映射可以在二维(2D)和三维(3D)中执行。
考虑其中边界252和254是球体并且物理头位置225和虚拟头位置270重合的示例。如果物理手位置235处于边界252处,则上面的差近似于可触及部分245的半径252A。ScaleFactor是半径254A除以半径252A。因此,上面的表达式导致在边界254上的虚拟手位置260,居中在物理头位置225处,其等于虚拟头位置270。
在一些示例中,存在两个或更多个不可触及部分,这些部分被单独地映射并且能够在两者之间交换。例如,用户能够操纵小规模的不可触及部分,并且也操纵大规模的不可触及部分。每个不可触及部分对稍微不同的调整(画出墙vs移动小的对象)更好。在一些示例中,存在同时存在于多个不可触及部分中的多个虚拟光标。
图1和2中所示的元件和接口中的一个或多个可以以任何其它方式组合、划分、重新排列、省略、消除和/或实施。此外,可以使用一个或多个电路、可编程处理器、熔断器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程逻辑器件(FPLD)和/或现场可编程门阵列(FPGA)等。此外,替代或者除了被示出的那些可以包括更多的接口和/或元件,和/或可以包括多于一个的所图示的接口和元件中的任意或者全部。所示的元件例如可以被实现为由一个或多个处理器执行的机器可读指令。可以使用、配置和/或编程处理器、控制器和/或任何其他合适的处理设备,诸如图4中所示的处理器P02或处理器P52,以执行和/或实行在本文中公开的示例,包括但不限于HMD 110、控制器112、设备126-128和130、HMD 215和控制器220。例如,所公开的示例可以体现在存储在由处理器、计算机和/或具有处理器的其他机器可访问的有形和/或非暂时性计算机可读介质上的程序代码和/或机器可读指令中,诸如结合图4在下面所讨论的。机器可读指令包括例如使处理器、计算机和/或具有处理器的机器执行一个或多个特定处理的指令。可以采用许多其他的实施所公开的示例的方法。例如,可以改变执行顺序,和/或可以改变、消除、细分或组合所描述的块和/或交互中的一个或多个。另外,任何或整个示例可以通过例如单独的处理线程、处理器、设备、离散逻辑、电路等顺序执行和/或并行执行。
转到图3,示出可以被执行以实现如在此所公开的VR环境内的导航的示例方法300。图3的示例方法300以确定可触及部分245(块302)并且确定不可触及部分250(块304)开始。识别用户210的头230的位置225(块306),并且确定将可触及部分245中的位置和移动映射到不可触及部分250中的映射(例如,平移、变换等)(块308)。
如果手240被移动(或者如果其是在确定块310处的可触及时间)(块310),则确定手240在可触及部分中的位置235(块312),并且物理手位置235从可触及部分245中的位置235映射到不可触及部分250中的虚拟手260的虚拟手位置255(块314)。控制返回到块316。
返回到块310,如果手240没有移动(或者如果在此确定块处其不是可触及时间)(块310),则控制返回到块316以检查身体移动。
在块316处,如果可触及部分中的物理主体210已经移动,或者虚拟用户265的位置270已经改变(块316),则识别用户210的头230的位置225(块306),并且确定将来自可触及部分245的位置和移动映射到不可触及部分250的映射(块308)。否则,在块316处,控制前进到跳过块306和308的块310。
图3的示例方法300,或者在本文中公开的其它方法可以例如被实现为由一个或多个处理器执行以控制或操作在本文中公开的示例显示组件的机器可读指令。可以使用、配置和/或编程处理器、控制器和/或任何其他合适的处理设备以执行和/或实行在本文中公开的示例方法。例如,图3的示例方法300或者在本文中公开的其他方法可以体现在存储在由处理器、计算机和/或具有处理器的其他机器可访问的有形和/或非暂时性计算机可读介质上的程序代码和/或机器可读指令中,如下面结合图4所讨论的那样。机器可读指令包括例如使处理器、计算机和/或具有处理器的机器执行一个或多个特定处理的指令。可以采用实现图3的示例方法300的许多其他方法、或者在本文中公开的其他方法。例如,可以改变执行顺序,和/或可以改变、消除、细分或组合所描述的块和/或交互中的一个或多个。另外,图3的整个示例方法300中的任何一个、或在本文中公开的其他方法可以通过例如单独的处理线程、处理器、设备、离散逻辑、电路等顺序执行和/或并行执行。
如在此所使用的,术语“计算机可读介质”被明确定义以包括任何类型的有形或非暂时性计算机可读介质并且明确地排除传播信号。示例计算机可读介质包括但不限于易失性和/或非易失性存储器、易失性和/或非易失性存储器设备、光盘(CD)、数字多功能光盘(DVD)、只读存储器(ROM)、随机存取存储器(RAM)、可编程ROM(PROM)、电子可编程ROM(EPROM)、电可擦除PROM(EEPROM)、光存储盘、光存储器设备、磁存储盘、磁存储设备、缓存和/或其中在任何持续时间内存储信息(例如,在延长的时间段、永久地、短暂地、简洁的实例,用于临时缓冲、和/或用于缓存信息)并且能够由处理器、计算机和/或具有处理器的其他机器访问的任何其它的存储介质。
返回到图1,示例网络140可以使用任何数量和类型的专用和/或公共网络来构建,其包括但不限于因特网、蜂窝数据网络、同轴电缆网络、卫星网络、光纤网络、通过电话网络的拨号或者宽带调制解调器、热点、专用通信网络(例如,专用局域网(LAN)、无线局域网(WLAN)、租用线路)等等,以及其任何组合。
图1的示例系统100包括VR内容系统130。VR内容系统130可以表示服务器设备。图1的示例VR内容系统130包括存储能够生成、修改和执行VR场景的内容和/或虚拟现实应用134的任何数量的资料库132。
图1的示例HMD 110可以包括例如VR头戴式受话器、眼镜、目镜或能够发射分配VR内容的任何其他可穿戴式设备。在操作中,HMD110能够例如执行VR应用134以回放、呈现、接收或处理用于用户的图像。然而,在不需要VR应用134的情况下,图像可以由HMD 110回放、呈现和发光分配。在一些实施方式中,HMD 110的VR应用134由图1中示出的一个或多个设备126-128主持。
图1中的一个或多个VR应用134能够被配置成在任何或全部设备110和126-128上执行。HMD 110能够通信地耦合到设备126-128中的一个或多个以访问存储在VR内容系统130上或可通过VR内容系统130访问的VR内容。设备126-128能够通信地耦合(有线和/或无线)到HMD 110。
示例HMD 110可以经由无线网络和/或协议诸如但不限于电气和电子工程师协会802.11x族标准、等的任何组合被无线耦合到设备126-128
在HMD 110电耦合到设备126-128中的一个或多个设备的情况下,可以使用在任意一端上具有适当的连接器的用于插入到设备126-128的电缆。例如,电缆能够在两端上包括通用串行总线(USB)连接器。USB连接器能够是相同的USB类型连接器,或者USB连接器能够每个是不同类型的USB连接器。各种类型的USB连接器包括但不限于USB A型连接器、USB B型连接器、微型USB A连接器、微型USB B连接器、微型USB AB连接器、USB五针接口电缆连接器、USB 4针接口电缆连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0微型B连接器和USB C型连接器。
在一些实施方式中,移动设备126执行VR应用134并为VR环境提供内容。在一些实施方式中,膝上型计算设备127执行VR应用134并提供来自一个或多个内容服务器(例如,VR内容服务器130)的内容。在一些实施方式中,桌面计算设备128执行VR应用134并且提供来自一个或多个内容服务器(例如,VR内容服务器130)的内容。一个或多个内容服务器130和一个或多个计算机可读存储设备132能够使用网络140与移动设备126、膝上型计算设备127和/或桌面计算设备128通信以向HMD 110提供内容。
转到图4,可以与这里描述的技术一起使用的通用计算机设备P00和通用移动计算机设备P50的示例。计算设备P50可以用于实现在本文中公开的任何设备,包括但不限于HMD110、控制器、设备126-128和130、HMD 215和控制器220。计算设备P00旨在表示各种形式的数字计算机,诸如膝上型计算机、桌面式计算机、平板电脑、工作站、个人数字助理、电视机、服务器、刀片式服务器、大型机以及其他适当的计算设备。计算设备P50旨在表示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能电话以及其他类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能意指仅是示例性的,并且意指不限制在本文档中描述和/或主张的本发明的实施方式。
计算设备P00包括处理器P02、存储器P04、存储设备P06、连接到存储器P04和高速扩展端口P10的高速接口P08以及连接到低速总线P14和存储设备P06的低速接口P12。处理器P02能够是基于半导体的处理器。存储器P04能够是基于半导体的存储器。组件P02、P04、P06、P08、P10和P12中的每一个使用各种总线、连接、存储器、缓存等相互连接,并且可以安装在共同的主板上或以其他方式适当地安装。处理器P02能够处理用于在计算设备P00内执行的指令,包括存储在存储器P04中或在存储设备P06上的指令,以在诸如被耦合到高速接口P08上的外部输入/输出设备上发光分配用于GUI的图形信息。在其他实施方式中,可以与多个存储器和多种类型的存储器一起适当地使用多个处理器和/或多个总线。而且,可以连接多个计算设备P00,其中每个设备提供必要操作的部分(例如,作为服务器阵列、一组刀片式服务器或多处理器系统)。
存储器P04在计算设备P00内存储信息。在一个实施方式中,存储器P04是一个或者多个易失性存储器单元。在另一实施方式中,存储器P04是一个或者多个非易失性存储器单元。存储器P04也可以是另一种形式的计算机可读介质,例如,磁盘或光盘。
存储设备P06能够为计算设备P00提供大容量存储。在一个实施方式中,存储设备P06可以是或包含计算机可读介质,诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备或者包括存储区域网络中的设备或其他配置的设备阵列。计算机程序产品能够有形地体现在信息载体中。计算机程序产品还可以包含当被执行时执行一个或多个方法的指令,诸如在上面描述的那些。信息载体是计算机或机器可读介质,诸如存储器P04、存储设备P06或处理器P02上的存储器。
高速控制器P08管理计算设备P00的带宽密集型操作,而低速控制器P12管理较低带宽密集型操作。这种功能分配仅仅是示例性的。在一个实施方式中,高速控制器P08耦合到存储器P04、发光部分P16(例如,通过图形处理器或加速器),并且被耦合到高速扩展端口P10,该高速扩展端口P10可以接受各种扩展卡(未示出)。在实施方式中,低速控制器P12被耦合到存储设备P06和低速扩展端口P14。可以包括各种通信端口(例如,USB、蓝牙、以太网、Wi-Fi)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备,诸如键盘、定点设备、扫描仪、或诸如交换机或路由器的网络设备。
如在附图中所示,计算设备P00可以以多种不同的形式来实现。例如,其可以实现为标准服务器P20,或者在一组这样的服务器中被多次实现。其也可以作为机架式服务器系统P24的一部分来实现。另外,其可以在诸如膝上型计算机P22的个人计算机中实现。替选地,来自计算设备P00的组件可以与诸如设备P50的移动设备(未示出)中的其他组件组合。这些设备中的每一个可以包含计算设备P00、P50中的一个或多个,并且整个系统可以由彼此通信的多个计算设备P00、P50组成。
计算设备P50包括处理器P52、存储器P64、诸如发光部分P54的输入/输出设备、通信接口P66和收发器P68以及其他组件。设备P50还可以设置有存储设备,例如微型硬盘或其他设备,以提供额外的存储。组件P50、P52、P64、P54、P66和P68中的每一个使用各种总线互连,并且若干组件可以安装在共同的母板上或以其他方式适当地安装。
处理器P52能够执行计算设备P50内的指令,包括存储在存储器P64中的指令。处理器可以实现为包括分离和多个模拟和数字处理器的芯片的芯片集。处理器可以例如提供设备P50的其他组件的协调,诸如用户界面的控制、设备P50运行的应用以及通过设备P50的无线通信。
处理器P52可以通过控制接口P58和耦合到发光部分P54的发光部分接口P56与用户通信。发光部分P54可以是例如TFT LCD(薄膜晶体管液晶发光部分)或OLED(有机发光二极管)发光部分,或者其他适当的发光部分技术。发光部分接口P56可以包括用于驱动发光部分P54以向用户呈现图形和其他信息的适当电路。控制接口P58可以接收来自用户的命令并将其转换以提交给处理器P52。另外,可以提供与处理器P52通信的外部接口P62,使得实现设备P50与其他设备的近场通信。外部接口P62可以例如在一些实施方式中提供有线通信,或者在其他实施方式中提供无线通信,并且还可以使用多个接口。
存储器P64在计算设备P50内存储信息。存储器P64能够被实现为计算机可读介质或多个介质、易失性存储器单元或多个单元或非易失性存储器单元或多个单元中的一个或多个。也可以提供扩展存储器P74并通过扩展接口P72连接到设备P50,该扩展接口P72可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器P74可以为设备P50提供额外的存储空间,或者也可以为设备P50存储应用或其他信息。具体而言,扩展存储器P74可以包括执行或补充上述过程的指令,并且还可以包括安全信息。因此,例如,扩展存储器P74可以作为用于设备P50的安全模块来提供,并且可以通过允许安全使用设备P50的指令来编程。另外,可以经由SIMM卡提供安全应用以及附加信息,诸如以不可破解的方式在SIMM卡上放置识别信息。
存储器可以包括例如闪存和/或NVRAM存储器,如在上面讨论的。在一个实施方式中,计算机程序产品有形地体现在信息载体中。计算机程序产品包含当被执行时执行一个或多个方法的指令,诸如在上面描述的那些。信息载体是计算机或机器可读介质,诸如存储器P64、扩展存储器P74或处理器P5上的存储器,其可以例如通过收发器P68或外部接口P62被接收。
设备P50可以通过通信接口P66进行无线通信,该通信接口P66在必要时可以包括数字信号处理电路。通信接口P66可以在诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等各种模式或协议下提供通信。例如,这种通信可以通过射频收发器P68发生。另外,诸如使用蓝牙、Wi-Fi或其他这样的收发器(未示出),可能发生短程通信。另外,GPS(全球定位系统)接收器模块P70可以向设备P50提供附加的导航和位置相关的无线数据,通过在设备P50上运行的应用其可以被适当地使用。
设备P50还可以使用音频编解码器P60进行可听地通信,该音频编解码器P60可以从用户接收口头信息并将其转换为可用的数字信息。音频编解码器P60同样可以诸如通过例如在设备P50的手持机中的扬声器为用户产生可听声音。这样的声音可以包括来自语音电话呼叫的声音,可以包括记录的声音(例如,语音消息、音乐文件等),并且还可以包括由在设备P50上操作的应用产生的声音。
计算设备P50可以以多种不同的形式来实现,如在附图中所示。例如,其可以被实现为蜂窝电话P80。其也可以作为智能手机P82、个人数字助理或其他类似移动设备的一部分被实现。
可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现这里描述的系统和技术的各种实施方式。这些各种实施方式能够包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式,该可编程系统包括至少一个可编程处理器,其可以是专用或通用的,被耦合以从存储系统、至少一个输入设备、以及至少一个输出设备接收数据和指令并且将数据和指令发送到存储系统、至少一个输入设备、以及至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且能够在高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如在此所使用的,术语“机器可读介质”、“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、可编程逻辑器件(PLD)),包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指的是被用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,这里描述的系统和技术能够在具有用于向用户发光分配信息的发光部分设备(例如,CRT(阴极射线管)或LCD(液晶发光部分)监视器)和通过其用户能够将输入提供给计算机的键盘和定点设备(例如,鼠标或轨迹球)的计算机上实现。其他种类的设备也能够被用于提供与用户的交互;例如,提供给用户的反馈能够是任何形式的感官反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且能够以任何形式接收来自用户的输入,包括声音、语音或触觉输入。
在此描述的系统和技术能够在包括后端组件(例如,作为数据服务器)或包括中间件组件(例如,应用服务器),或者包括前端组件(例如,具有图形用户界面或Web浏览器的客户端计算机,用户可以通过其与在此描述的系统和技术的实施方式交互),或者这种后端、中间件或前端组件的任何组合的计算系统中实现。系统的部件能够通过数字数据通信(例如,通信网络)的任何形式或介质互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统能够包括客户端和服务器。客户端和服务器总体上彼此远离并且总体上通过通信网络进行交互。客户端和服务器之间的关系通过运行在各自的计算机上并且彼此具有客户端-服务器关系的计算机程序而出现。
诸如但不限于近似、实质地、总体上等的术语在此被使用以指示精确值或其范围没有被要求并且不需要被指定。如在此所使用的,在上面讨论的术语对于本领域的普通技术人员来说将会具有准备和即时的含义。
此外,参考当前考虑的或被图示的方位使用诸如上、下、顶、底、侧、端、前、后等术语。如果关于另一方位考虑,应理解这些术语必须被相应地修改。
此外,在本说明书和所附权利要求中,除非上下文另外明确指出,否则单数形式“一(a/an)”和“该(the)”不排除复数形式。此外,除非上下文另有明确规定,诸如“和”、“或”、“和/或”等连词是包含性的。例如,“A和/或B”包括单独A、单独B以及A与B。
另外,所呈现的各个附图中示出的连接线和连接器旨在表示各个元件之间的示例性功能关系和/或物理或逻辑耦合。应注意的是,可能存在许多替选的和/或附加的功能关系、物理连接或逻辑连接。此外,除非元件被具体描述为“基本的”或“关键的”,否则没有项目或组件对于本公开的实践是必不可少的。另外,附图和/或附图没有按比例绘制,而是为了说明和描述的清楚被绘制。
在下面的示例中概述进一步的实施方式:
示例1:一种方法,包括:限定虚拟现实(VR)环境的可触及部分;限定与可触及部分分离的VR环境的不可触及部分;以及将可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。
示例2:示例1的方法,其中,在可触及部分中能够触及物理对象。
示例3:示例1或2的方法,其中,将物理手位置平移到虚拟手位置包括:在可触及方向中的可触及平移;和在不同于可触及方向的不可触及方向中的不同于可触及平移的不可触及平移。
示例4:示例3中的一个的方法,其中,可触及方向包括左手方向,并且不可触及方向包括右手方向。
示例5:示例1至4之一的方法,其中,将物理手位置平移到虚拟手位置包括:使得能够通过可触及部分中的物理手位置与总体上全部的不可触及部分进行交互。
示例6:示例1至5之一的方法,其中,将物理手位置平移到虚拟手位置包括二维(2D)和/或三维(3D)平移。
示例7:示例1至6之一的方法,其中,限定可触及部分包括确定身体位置和关于身体位置的移动范围。
示例8:示例7的方法,还包括当身体位置改变时:重新限定可触及部分;并且改变物理手位置到虚拟手位置的平移。
示例9:示例7或8的方法,其中,移动范围包括:在可触及方向上的可触及距离;和在不可触及方向上的不可触及距离。
示例10:示例9的方法,其中,可触及和不可触及距离随着身体位置改变而改变。
示例11:示例7至10之一的方法,其中,将物理手位置平移到虚拟手位置包括,将比例因子应用于物理手位置与身体位置之间的差。
示例12:示例1至11之一的方法,其中,可触及部分包括可触及形状,并且不可触及部分包括与可触及形状不同的不可触及形状。
示例13:一种装置,包括:可触及传感器,该可触及传感器感测物理手位置;和处理器,该处理器被编程成:限定虚拟现实(VR)环境的可触及部分;限定超出可触及部分的VR环境的不可触及部分;并且将感测到的可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。
示例14:示例13的装置,还包括感测身体位置的不可触及传感器,其中处理器关于所述身体位置限定可触及部分。
示例15:示例13或14的装置,其中,将感测到的物理手位置平移到虚拟手位置包括:使得能够通过所述可触及部分中的物理手位置与总体上全部的所述不可触及部分进行交互。
示例16:示例13至15中的一个的装置,其中,当身体位置改变时,处理器重新限定可触及部分,并且改变从可触及部分中的感测到的物理手位置到不可触及部分中的虚拟手位置的平移。
示例17:示例13至16之一的装置,其中,该装置包括VR头戴式设备或VR内容系统。
示例18:一种存储机器可读指令的非暂时性机器可读介质,机器可读指令在被执行时使机器至少:限定虚拟现实(VR)环境的可触及部分;限定VR环境的不可触及部分;并且将可触及部分中的物理手位置平移到不可触及部分中的虚拟手位置。
示例19:示例18的非暂时性介质,其中,将物理手位置平移到虚拟手位置包括:使得能够通过所述可触及部分中的物理手位置与总体上全部的所述不可触及部分进行交互。
示例18或19的非暂时性介质,其中,机器可读指令在被执行时使机器通过确定物理身体位置和/或关于身体位置的物理手移动范围来限定可触及部分。
虽然在此已经描述某些示例方法、装置和制造物品,但是本专利的覆盖范围不限于此。要理解的是,在此采用的术语是为了描述特定方面的目的,而不是限制性的。相反,本专利涵盖完全落入本专利的权利要求范围内的所有方法、装置和制造物品。

Claims (20)

1.一种方法,包括:
限定虚拟现实VR环境的可触及部分;
限定与所述可触及部分分离的所述VR环境的不可触及部分;以及
将所述可触及部分中的物理手位置平移到所述不可触及部分中的虚拟手位置。
2.根据权利要求1所述的方法,其中,在所述可触及部分中能够触及物理对象。
3.根据权利要求1所述的方法,其中,将所述物理手位置平移到所述虚拟手位置包括:
在可触及方向中的可触及平移;和
在不同于所述可触及方向的不可触及方向中的不同于所述可触及平移的不可触及平移。
4.根据权利要求3所述的方法,其中,所述可触及方向包括左手方向,并且所述不可触及方向包括右手方向。
5.根据权利要求1所述的方法,其中,将所述物理手位置平移到所述虚拟手位置包括:使得能够通过所述可触及部分中的物理手位置与总体上全部的所述不可触及部分进行交互。
6.根据权利要求1所述的方法,其中,将所述物理手位置平移到所述虚拟手位置包括二维(2D)和/或三维(3D)平移。
7.根据权利要求1所述的方法,其中,限定所述可触及部分包括确定身体位置和关于所述身体位置的移动范围。
8.根据权利要求7所述的方法,还包括当所述身体位置改变时:
重新限定所述可触及部分;并且
改变所述物理手位置到所述虚拟手位置的所述平移。
9.根据权利要求7所述的方法,其中,所述移动范围包括:
可触及方向上的可触及距离;和
不可触及方向上的不可触及距离。
10.根据权利要求9所述的方法,其中,所述可触及距离和不可触及距离随着所述身体位置改变而改变。
11.根据权利要求7所述的方法,其中,将所述物理手位置平移到所述虚拟手位置包括:对所述物理手位置与所述身体位置之间的差应用比例因子。
12.根据权利要求1所述的方法,其中,所述可触及部分包括可触及形状,并且所述不可触及部分包括与所述可触及形状不同的不可触及形状。
13.一种装置,包括:
可触及传感器,所述可触及传感器感测物理手位置;和
处理器,所述处理器被编程成:
限定虚拟现实VR环境的可触及部分;
限定超出所述可触及部分的所述VR环境的不可触及部分;以及
将所述可触及部分中的所感测到的物理手位置平移到所述不可触及部分中的虚拟手位置。
14.根据权利要求13所述的装置,还包括用于感测身体位置的不可触及传感器,其中,所述处理器关于所述身体位置限定所述可触及部分。
15.根据权利要求13所述的装置,其中,将所感测到的物理手位置平移到所述虚拟手位置包括:使得能够通过所述可触及部分中的物理手位置与总体上全部的所述不可触及部分进行交互。
16.根据权利要求13所述的装置,其中,当所述身体位置改变时,所述处理器重新限定所述可触及部分,并且改变从所述可触及部分中的所感测到的物理手位置到所述不可触及部分中的所述虚拟手位置的所述平移。
17.根据权利要求13所述的装置,其中,所述装置包括VR头戴式设备或VR内容系统。
18.一种存储机器可读指令的非暂时性机器可读介质,所述机器可读指令在被执行时使机器至少:
限定虚拟现实VR环境的可触及部分;
限定所述VR环境的不可触及部分;以及
将所述可触及部分中的物理手位置平移到所述不可触及部分中的虚拟手位置。
19.根据权利要求18所述的非暂时性介质,其中,将所述物理手位置平移到所述虚拟手位置包括:使得能够通过所述可触及部分中的物理手位置与总体上全部的所述不可触及部分进行交互。
20.根据权利要求18所述的非暂时性介质,其中,所述机器可读指令在被执行时使所述机器通过确定物理身体位置和/或关于所述身体位置的物理手移动的范围来限定所述可触及部分。
CN201680078952.2A 2016-04-13 2016-12-23 在虚拟现实环境内导航的方法和装置 Active CN108475117B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/097,920 US10354446B2 (en) 2016-04-13 2016-04-13 Methods and apparatus to navigate within virtual-reality environments
US15/097,920 2016-04-13
PCT/US2016/068542 WO2017180206A1 (en) 2016-04-13 2016-12-23 Methods and apparatus to navigate within virtual-reality environments

Publications (2)

Publication Number Publication Date
CN108475117A true CN108475117A (zh) 2018-08-31
CN108475117B CN108475117B (zh) 2021-11-23

Family

ID=57838505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078952.2A Active CN108475117B (zh) 2016-04-13 2016-12-23 在虚拟现实环境内导航的方法和装置

Country Status (4)

Country Link
US (1) US10354446B2 (zh)
EP (1) EP3384366B1 (zh)
CN (1) CN108475117B (zh)
WO (1) WO2017180206A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113934290A (zh) * 2020-07-13 2022-01-14 阿里巴巴集团控股有限公司 虚拟内容显示方法、装置及设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354446B2 (en) 2016-04-13 2019-07-16 Google Llc Methods and apparatus to navigate within virtual-reality environments
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
US20180331841A1 (en) * 2017-05-12 2018-11-15 Tsunami VR, Inc. Systems and methods for bandwidth optimization during multi-user meetings that use virtual environments
CN108771866B (zh) * 2018-05-29 2021-09-24 网易(杭州)网络有限公司 虚拟现实中的虚拟对象控制方法及装置
US10650239B2 (en) 2018-07-25 2020-05-12 At&T Intellectual Property I, L.P. Context-based object location via augmented reality device
JP6996450B2 (ja) * 2018-08-17 2022-01-17 日本電信電話株式会社 画像処理装置、画像処理方法、およびプログラム
WO2020068073A1 (en) 2018-09-26 2020-04-02 Google Llc Soft-occlusion for computer graphics rendering
CN110393916B (zh) * 2019-07-26 2023-03-14 腾讯科技(深圳)有限公司 视角转动的方法、装置、设备及存储介质
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
CN112169330B (zh) * 2020-09-25 2021-12-31 腾讯科技(深圳)有限公司 虚拟环境的画面显示方法、装置、设备及介质
US12064688B2 (en) * 2020-12-30 2024-08-20 Activision Publishing, Inc. Methods and systems for determining decal projections intersecting spatial units in a frame of a game space

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893935B1 (en) * 2004-03-05 2011-02-22 Hrl Laboratories, Llc Method and system for hybrid trackball and immersive navigation in a virtual environment
CN103765366A (zh) * 2011-06-28 2014-04-30 谷歌公司 使头部移动和在用户界面上显示的项目相关联的方法及系统
US20150193979A1 (en) * 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20120192088A1 (en) 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US20120326966A1 (en) 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications
US20130271371A1 (en) 2012-04-13 2013-10-17 Utechzone Co., Ltd. Accurate extended pointing apparatus and method thereof
US20160098094A1 (en) 2014-10-02 2016-04-07 Geegui Corporation User interface enabled by 3d reversals
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
US10354446B2 (en) 2016-04-13 2019-07-16 Google Llc Methods and apparatus to navigate within virtual-reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7893935B1 (en) * 2004-03-05 2011-02-22 Hrl Laboratories, Llc Method and system for hybrid trackball and immersive navigation in a virtual environment
CN103765366A (zh) * 2011-06-28 2014-04-30 谷歌公司 使头部移动和在用户界面上显示的项目相关联的方法及系统
US20150193979A1 (en) * 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
百度用户#375717967: ""The Go-Go Interaction Technique:Non-linear Mapping for Direct Manipulation in VR"", 《百度文库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113934290A (zh) * 2020-07-13 2022-01-14 阿里巴巴集团控股有限公司 虚拟内容显示方法、装置及设备

Also Published As

Publication number Publication date
CN108475117B (zh) 2021-11-23
US20170301135A1 (en) 2017-10-19
US10354446B2 (en) 2019-07-16
WO2017180206A1 (en) 2017-10-19
EP3384366B1 (en) 2020-09-16
EP3384366A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN108475117A (zh) 在虚拟现实环境内导航的方法和装置
US11394950B2 (en) Augmented reality-based remote guidance method and apparatus, terminal, and storage medium
US10665020B2 (en) Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
Van Krevelen et al. A survey of augmented reality technologies, applications and limitations
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
CN107491174A (zh) 用于远程协助的方法、装置、系统及电子设备
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
US20140320404A1 (en) Image processing device, image processing method, and program
US10983661B2 (en) Interface for positioning an object in three-dimensional graphical space
CN108139805A (zh) 用于在虚拟现实环境中的导航的控制系统
US20230244354A1 (en) 3d models for displayed 2d elements
EP3627288A1 (en) Camera module and system using the same
US20230013860A1 (en) Methods and systems for selection of objects
Fuvattanasilp et al. SlidAR+: Gravity-aware 3D object manipulation for handheld augmented reality
Fang et al. A survey on HoloLens AR in support of human-centric intelligent manufacturing
CN117130518A (zh) 控件显示方法、头显设备、电子设备及可读存储介质
Shin et al. Incorporating real-world object into virtual reality: using mobile device input with augmented virtuality
Wei et al. Label guidance based object locating in virtual reality
Nivedha et al. Enhancing user experience through physical interaction in handheld augmented reality
Bai Mobile augmented reality: Free-hand gesture-based interaction
US12033293B1 (en) Use of virtual tablets in extended reality environments
Lu et al. A combined strategy of hand tracking for desktop VR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant