CN111373349A - 增强现实环境中的导航 - Google Patents

增强现实环境中的导航 Download PDF

Info

Publication number
CN111373349A
CN111373349A CN201880075380.1A CN201880075380A CN111373349A CN 111373349 A CN111373349 A CN 111373349A CN 201880075380 A CN201880075380 A CN 201880075380A CN 111373349 A CN111373349 A CN 111373349A
Authority
CN
China
Prior art keywords
physical
environment
inclination
map
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880075380.1A
Other languages
English (en)
Other versions
CN111373349B (zh
Inventor
泽维尔·贝纳维德斯·帕洛斯
布雷特·巴罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111373349A publication Critical patent/CN111373349A/zh
Application granted granted Critical
Publication of CN111373349B publication Critical patent/CN111373349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种方法，包括：在装置中接收定义增强现实(AR)环境的数据，该数据指定第一AR对象在AR环境中的位置；确定装置的物理倾斜度；将感知倾斜度分配给AR环境的地图，该感知倾斜度基于所确定的物理倾斜度；以及触发在装置的显示器上的地图和AR环境的方面的渲染，其中，第一AR对象的位置被标记在地图上，并且地图看起来相对于显示器具有感知倾斜度。

Description

增强现实环境中的导航
相关申请的交叉引用
本申请要求于2017年11月21日提交的题为“NAVIGATION IN AUGMENTED REALITYENVIRONMENT”的美国非临时专利申请No.15/819,528的优先权并且是该申请的继续，该申请的公开内容通过引用整体地并入在本文中。
技术领域
此文档总体上涉及增强现实环境中的导航。
背景技术
在基于计算机的媒体和其他内容的消费的背景下，向参与者提供沉浸式体验变得越来越普遍。一个领域涉及在诸如智能电话或平板电脑的装置上呈现虚拟现实(VR)和/或增强现实(AR)环境。在AR环境中，人可以观看至少呈现物理环境方面(aspect)(例如，物理空间的视频或图像)和VR方面(例如，叠加在视频或图像上的虚拟对象)的屏幕。
发明内容
在第一方面，一种方法包括：在装置中接收定义增强现实(AR)环境的数据，该数据指定第一AR对象在AR环境中的位置；确定装置的物理倾斜度；将感知倾斜度分配给AR环境的地图，该感知倾斜度基于所确定的物理倾斜度；以及触发在该装置的显示器上的地图和AR环境的方面的渲染，其中，第一AR对象的位置被标记在地图上，并且地图看起来相对于显示器具有感知倾斜度。
实施方式可以包括下述特征中的任意一个或者全部。该方法可以进一步包括连续地监视装置的物理倾斜度，并且基于该物理倾斜度来调整感知倾斜度。所调整的感知倾斜度可以与在物理倾斜度的至少一个区间上连续监视的物理倾斜度成比例。该方法可以进一步包括确定物理倾斜度超过阈值，并且作为响应，只要物理倾斜度超过阈值，就保持地图的当前感知倾斜度。物理倾斜度可以相对于平面来确定。确定物理倾斜度可以包括使用装置的图像传感器。可以相对于物理环境中的垂直方向确定物理倾斜度。该方法可以进一步包括使用装置中的惯性测量单元确定垂直方向。该方法可以进一步包括在地图上放置与第一AR对象相对应的第一表示。该方法可以进一步包括确定第一物理位置和第二物理位置之间的距离，其中装置当前位于第一物理位置处，并且第二物理位置对应于AR环境中第一AR对象的位置，并且其中第一表示基于所确定的距离被放置在地图上的一个位置处。该方法可以进一步包括确定第一物理位置和第二物理位置之间的距离，其中装置当前位于第一物理位置处，并且第二物理位置对应于AR环境中第一AR对象的位置，并且其中地图上的第一表示的大小基于所确定的距离。该地图可以包括网格，并且该方法可以进一步包括确定第一和第二物理位置之间的距离，其中该装置当前位于第一物理位置处，并且第二物理位置对应于AR环境中的第一AR对象的位置，并且基于所确定的距离来调整网格的大小。该方法可以进一步包括确定第一和第二物理位置之间的距离，其中装置当前位于第一物理位置处，并且第二物理位置对应于AR环境中的第一AR对象的位置，该方法还包括基于所确定的距离来调整地图的大小。AR环境可以具有在其中定义的要由装置遵循的路径，该路径在AR环境中通向第一AR对象并且之后通向第二AR对象，该方法进一步包括在地图上放置与第二AR对象相对应的第二表示，并基于路径使第一表示比第二表示大。该方法可以进一步包括在装置到达与第一AR对象的位置相对应的物理位置之前使表示匿名，和响应于装置到达该物理位置而使表示去匿名。该方法可以进一步包括随着时间监视装置的物理位置，以及在地图上生成与物理位置相对应的路径。
在第二方面，非暂时性存储介质在其上可以存储有指令，该指令在被执行时，被配置成使处理器执行操作，所述操作包括：在装置中接收定义增强现实(AR)环境的数据，该数据指定第一AR对象在AR环境中的位置；确定装置的物理倾斜度；将感知倾斜度分配给AR环境的地图，该感知倾斜度基于所确定的物理倾斜度；以及触发在装置的显示器上的地图和AR环境的方面的渲染，其中，第一AR对象的位置被标记在地图上，并且地图看起来相对于显示器具有感知倾斜度。
在第三方面，一种设备可以包括：其中存储有定义增强现实(AR)环境的数据的存储器，该数据指定第一AR对象在AR环境中的位置；定向系统，定向系统被配置成用于确定设备的物理倾斜度，其中，该设备将感知倾斜度分配给AR环境的地图，感知倾斜度基于所确定的物理倾斜度；以及显示器，其中，该设备在显示器上渲染地图和AR环境的方面，并且其中，第一AR对象的位置被标记在地图上，并且地图看起来相对于显示器具有感知倾斜度。
在第四方面，一种设备可以包括：其中存储有定义增强现实(AR)环境的数据的存储器，该数据指定第一AR对象在AR环境中的位置；定向系统，该定向系统被配置成用于确定设备的物理倾斜度；显示器，该显示器呈现AR环境的地图和AR环境的方面；以及装置，该装置用于当该设备具有由定向系统确定的相应的第一物理倾斜度和第二物理倾斜度时在地图上至少保持方向的语义显著性。
实施方式可以包括下述特征中的任意一个或者全部。该装置可以通过响应于设备具有第一物理倾斜度而向地图分配第一感知倾斜度，并且通过响应于该设备具有第二物理倾斜度而向地图分配第二感知倾斜度，来保持方向的语义显著性。第一感知倾斜度可以与第一物理倾斜度成比例，并且其中第二感知倾斜度是与第二物理倾斜度不成比例的恒定感知倾斜度。
附图说明
图1示出可以用于通过增强现实(AR)环境来生成沉浸式体验的系统的示例。
图2示意性地示出物理倾斜度和感知倾斜度之间的关系。
图3示出物理倾斜度和感知倾斜度之间的关系的曲线图的示例。
图4示出AR环境中的地图的示例。
图5A-F示出AR环境中的地图的另一示例。
图6A-B示出AR环境中的地图的另一示例。
图7A示出AR环境中的地图的另一示例。
图7B示意性地示出与图7A中的AR环境有关的物理环境。
图8示出AR环境中的地图的另一示例。
图9示出方法的示例。
图10示出与所公开的实施例一致的计算机装置和移动计算机装置的示例。
在各种附图中，相似的附图标记指示相似的元件。
具体实施方式
此文档描述在增强现实(AR)环境中提供导航的示例，例如，使得帮助持有在其上正呈现AR环境的装置的用户在探索AR环境时随着装置四处移动。在一些实施方式中，装置可以示出AR环境的方面和AR环境的地图。该地图可以指示一个或多个对象在AR环境中的位置。用户可以在探索期间以不同方位持有装置，诸如与地面平行并且显示器面朝上，或者以垂直方位并且显示器面朝用户。可以基于装置的方位来改变显示器在地图上的感知倾斜度(例如，坡度)，使得帮助用户将地图上的移动方向与物理环境中的对应移动方向相关联。例如，地图在显示器上可以看起来不同地倾斜，使得帮助保持方向为向前的感觉。
图1示出系统100的示例，该系统100可以被用于通过AR环境来生成沉浸式体验。在一些实施方式中，沉浸式体验允许用户(未示出)结合物理现实的影像看到一个或多个AR对象。例如，沉浸式体验可以允许用户在物理空间中四处移动时通过持有装置来探索AR环境。可以将多个AR对象相对于物理现实定位在AR环境中的相应位置处，并且用户可以在某种意义上通过将装置移到对应的物理位置来访问AR对象的位置。可以使用任何可用技术来监视或以其它方式确定物理位置，所述任何可用技术包括但不限于光学、基于无线电和/或声学的方位方法。某些实施方式也可以或替代地在虚拟现实(VR)环境中使用。例如，可以提供本文描述的功能以用于在头戴式显示器上进行观察，包括但不限于在下面参考图10描述的VR头戴式耳机1085上。
此处，系统100被显示在空间102中，该空间可以是任何种类的物理空间，包括但不限于房间或其他房屋。此处从上面示意性地示出该空间102。在一些实施方式中，空间102包含一个或多个物理结构(未示出)，并且在一些实施方式中，空间102不包含物理结构。空间102能够被用作沉浸式体验的背景，例如，邀请用户访问空间102中的位置，并且那里呈现有在屏幕上显示的对应的AR体验。
多个物理位置在空间102中可能具有特定的相关性。此处，已在空间102中示意性指示物理位置104A-C。例如，沉浸式体验的创建者可能已经决定，可以在空间102中访问物理位置104A-C中的一些或者全部。用户可以诸如以预定义顺序或随机顺序访问物理位置104A-C中的任一个或全部。物理位置104A-C可以对应于在沉浸式体验期间将可视的相应虚拟对象的虚拟方位，例如，如下面将描述的。
可以使用一个或多个装置来创建AR体验。此处，在空间102中示意性地示出装置106。可以使用任何类型的装置，包括但不限于智能电话或平板装置。例如，与以下参考图10描述的那些装置类似的任何装置都可以被使用。此处装置106包括AR系统108。AR系统108可以使用任何形式的AR技术来感测装置106在空间102中的方位。在一些实施方式中，空间102中的标记可以形成在AR环境中的组织的基础。例如，AR系统108可以使用光感测(例如，红外光)和两个或更多个透镜以在空间102中生成立体视觉，以便于开发其立体理解，该立体理解允许AR系统108也推理到当前不存在视线的空间102的方位中。在一些实施方式中，在装置106上部分地并且在一个或多个其他装置(例如，另一手持装置或云系统)上部分地执行AR系统108。
装置106可以包括一个或多个显示屏幕110。在一些实施方式中，显示屏可以是触摸屏。例如，显示屏幕110可以呈现地图112，该地图允许用户概览在沉浸式体验期间正在探索的AR环境。
装置106可以包括定向系统114。定向系统可以用作确定空间102内装置106的物理存在的一个或多个方面。在一些实施方式中，定向系统114可以确定装置106的物理倾斜度。例如，定向系统114可以包括图像传感器114A(例如，照相机和/或红外(IR)传感器)并且可以捕获空间102的至少部分的图像以便于确定装置106当前被如何定向。作为另一示例，定向系统114可以包括惯性测量单元(IMU)114B(例如，加速度计)，其用于感测装置106当前如何被定向。在一些实施方式中，定向系统114、图像传感器114A和/或IMU 114B可以是装置106中的本地组件，诸如智能电话或平板装置的照相机和/或IMU。
此处示意性地图示AR环境116。AR环境可以是虚拟构造，并且可以存储在诸如装置106上的存储器中。AR环境116的一个或多个方面可以呈现在装置106的显示屏幕110上。例如，在任何给定的时间可以仅向用户呈现AR环境116的一部分。AR环境116的呈现方面可以包括物理现实的部分的影像(例如，空间102的图像)和一个或多个虚拟对象的影像。地图112可以在AR环境116的这种呈现的方面的顶部是可视的。在某种意义上，AR环境116的当前外观可以取决于装置106当前位于空间102中的地方和/或取决于它被如何定向。AR环境116与空间102之间的这种关系在此处由箭头118示意性地表示。
此处，示出AR对象120A-C。例如，在装置106处于物理位置104A时的意义上，AR对象120A可以对应于物理位置104A，AR对象120A被呈现在显示屏幕110上。类似地，AR对象120B可以对应于物理位置104B，并且AR对象120C可以对应于物理位置104C。在AR环境116中，AR对象120A-C可以不依赖于任何特定的行进路径。而是，在此示例中装置106采取的路径仅是说明性的，并且因此由AR环境116中的虚线箭头指示。
图2示意性地示出物理倾斜度和感知倾斜度之间的关系。在此，示出装置200。在一些实施方式中，装置200可以与装置106(图1)相似或相同。装置200具有有助于确定装置200的定向的一个或多个传感器(例如，作为装置200内的定向系统的部分)。例如，图像传感器和/或加速度计可以用于确定装置200的物理倾斜度。
在一些实施方式中，可以相对于物理环境中的垂直轴202确定定向，例如使得垂直轴202基本平行于地球重力场的方向。例如，定向系统可以确定或定义(例如，使用加速度计)垂直轴202，并且然后可以测量或计算装置200相对于垂直轴202的物理倾斜度204A。
在一些实施方式中，可以在物理环境中相对于水平轴206确定定向，例如使得水平轴206基本垂直于地球重力场的方向。例如，定向系统可以确定或定义(例如，使用加速度计)水平轴206，并且然后可以测量或计算装置200相对于水平轴206的物理倾斜度204B。
在一些实施方式中，装置200的定向可以被光学地确定。例如，图像传感器可以捕获物理环境内的表面208(例如，地板或墙壁)的图像。然后，可以将水平轴206定义为位于平行于表面208的平面210内。例如，然后可以确定装置200相对于平面210的物理倾斜度204B。
装置200可以包括显示器212，包括但不限于触摸屏显示器。可以在显示器212上呈现AR环境。可以向这种AR环境提供地图214，该地图214提供当前可以呈现的AR环境的特定方面之外的AR环境的概况。可以在显示器212上渲染地图214，使得它看起来相对于显示器212具有任何感知角度。例如，如果认为显示轴216位于显示器212的平面内，则地图214可以被渲染以看起来相对于显示轴216具有感知倾斜度218。用户仅将地图214感知为具有感知倾斜度214，而实际上，地图214就像在显示器212上渲染的所有其他内容一样，实际上位于显示器212的平面内。在一些实施方式中，感知倾斜度218是可以通过改变地图214的比例来实现的视觉效果。例如，在某些情况下，可以将特定的透视缩短应用于地图214，而在其他情况下，可以应用不同的透视缩短或不应用透视缩短。
地图214的感知倾斜度218可以帮助用户将AR环境内的方向与物理环境中的方向相关联。例如，假设箭头220在此对应于相对于正在操作装置200的用户的向前方向。在沉浸式体验的过程期间，装置200的物理倾斜度204A/B可以例如由于用户如何持有装置200来改变。响应于物理倾斜度204A/B的这种变化，感知倾斜度218可以(或可以不)改变。例如，感知倾斜度218可以使其看起来好像地图214已经远离用户成角度。这可以帮助保持对在地图214上哪个方向对应于物理环境中的向前方向的概念，如此处由箭头220所表示的。在某种意义上，在地图214上向前的方向可以看起来与用户相似或者相同，不论当前的倾斜度204A/B如何。这样，应用于显示器212上的项的感知倾斜度218可以在物理倾斜度204A/B具有第一值(例如，装置200斜向于平面210)时并且当物理倾斜度204A/B具有第二值(例如，装置200平行于平面210)时用作保持地图上的方向(例如，对应于向前箭头220的方向)的语义显著性。
装置200可以连续监视物理倾斜度204A/B。在一些实施方式中，装置200内的定向系统执行装置200的物理倾斜度的实时测量，并且因此可以连续地确定物理倾斜度204A或物理倾斜度204B或两者的当前值。这样，可以基于连续监视的物理倾斜度214A/B来调整感知倾斜度218。
图3示出物理倾斜度302与感知倾斜度304之间的关系的曲线图300的示例。可以为本文描述的任何装置或其他设备确定物理倾斜度302，包括但不限于图1、图2和7B中的那些。感知倾斜度304可以应用于本文描述的任何AR环境，包括但不限于图1、2、4-5、6A-B、7A或8中的那些。
可以相对于任何参考来测量物理倾斜度302。例如，假设物理倾斜度302对应于相对于水平轴206测量的物理倾斜度204B(图2)。这样，物理倾斜度302在曲线图300的原点302A处可以具有零值。
可以相对于任何参考来测量感知倾斜度304。例如，假设感知倾斜度304对应于相对于显示轴216测量的感知倾斜度218(图2)。这样，感知倾斜度304在原点302A处具有零值。
此处的线306指示可以基于端点302B-C之间的物理倾斜度302的值来分配感知倾斜度304的值。例如，在端点302B处，装置可以被垂直地定向并且显示器面朝远离用户；在原点302A处，装置可以是水平的并且显示器面朝上而在端点302C处，装置可以被垂直地定向并且显示器面朝用户。线306指示该关系可以是成比例的和/或不成比例的。例如，线306A在点302D与原点302A之间延伸；感知倾斜度304可以在此区间中与物理倾斜度302成比例。类似地，线306B在原点302A与点302E之间延伸，指示在此区间中，感知倾斜度304可以与物理倾斜度302成比例。作为另一示例，线306C在端点302B和原点302A之间延伸；在此区间中，感知倾斜度304可以与物理倾斜度302不成比例(例如，恒定的感知倾斜度)。类似地，线306D在点302E和端点302C之间延伸指示在此区间中感知倾斜度304可以与物理倾斜度302不成比例(例如，恒定)。
在某种意义上，点302D和/或302E可以被视为成比例性和非成比例性之间的阈值。例如，AR系统可以确定物理倾斜度302超过点302E的阈值，并且因此只要物理倾斜度302超过阈值AR系统可以将感知倾斜度304保持在其当前水平(例如，根据线306D)。
当物理倾斜度302具有第一值(例如，在原点302A处)时，并且当物理倾斜度302具有第二值(例如，在原点302A与点302E之间的区间内)时，应用于AR环境中的地图的感知倾斜度304可以用作保持地图上方向(例如，物理环境中的向前方向)的语义显著性。
图4示出AR环境402中的地图400的示例。AR环境402可以是或包括有本文所述的任何AR环境，包括但不限于图1、2、5、6A-B，7A或8中的那些。地图400可以指示一个或多个AR对象在AR环境中的位置。此处，AR环境402包括被定位在位置406处的AR对象404。AR环境402中的位置406可以对应于物理环境内的特定位置，例如，如上面参考图1所述。
地图400允许用户获得AR环境402中的至少部分的概览。此处，将与AR对象400对应的表示404’放置在地图400上。地图400的中心408可以对应于装置(例如，用户持有的便携式装置)的当前方位。当用户探索AR环境402时，地图400可以被调整。例如，可以将任意方向上的旋转410应用于地图400。可以调整地图400的大小412，例如，以使地图400在AR环境402中更大或更小。地图400可以具有被应用于其的网格400’。例如，网格400’是应用于地图400的周期性图案，以帮助用户计量AR环境402内的移动距离和/或速度。
当用户探索AR环境402时，一个或多个改变可以被应用于表示404’。在一些实施方式中，可以改变表示404’在地图400上的位置。例如，表示404’和中心408之间的距离414，和/或表示404’与地图400的边缘之间的距离416，可以被改变。在一些实施方式中，表示404’的大小可以改变。例如，表示404’的宽度418和/或高度420可以被改变。
可以更改地图400的感知倾斜度。例如，假设AR环境402被呈现在当前基本上以垂直方位被持有的装置上。因此，地图400可以例如以透视图被渲染，使得地图400上的向前方向容易与物理环境中的向前方向相关联。
本文描述的示例可以图示涉及在装置中接收定义AR环境的数据的方法的执行。例如，装置106(图1)可以接收定义AR 402的数据。这样的数据可以指定AR对象在AR环境中的位置，诸如AR对象404的位置406(图4)。该方法可以包括确定装置的物理倾斜度。例如，可以为装置106确定物理倾斜度302(图3)。可以将感知倾斜度分配给AR环境的地图。例如，可以将感知倾斜度304(图3)分配给地图400(图4)。感知倾斜度可以基于所确定的物理倾斜度。例如，可以使用曲线图300(图3)的关系。该方法可以包括触发在装置的显示器上的地图和AR环境的方面的渲染。例如，装置106可以显示地图112和AR环境402的方面。可以在地图上标记AR对象的位置，并且地图可以看起来相对于显示器具有感知倾向度。例如，地图214(图2)可能看起来相对于显示轴216是倾斜的。
在此描述的示例可以图示一种设备，该设备包括其上存储有定义AR环境的数据的存储器，该数据指定第一AR对象在AR环境中的位置。例如，装置106(图1)的存储器可以包含定义AR环境402(图4)的数据，其中数据指定AR对象404的位置406。该设备可以包括被配置成用于确定设备的物理倾斜度的定向系统。例如，定向系统114(图1)可以确定装置200的物理倾斜度204A/B(图2)。该装置可以将感知倾斜度分配给AR环境的地图。例如，装置106(图1)可以将感知倾斜度218(图2)分配给AR环境402的地图400(图4)。感知倾斜度可以基于所确定的物理倾斜度。例如，可以使用曲线图300(图3)的关系。
图5A-F示出AR环境502中的地图500的另一示例。地图500的中心504对应于装置的方位。AR对象(未示出)的表示506被放置在地图500上。例如，AR对象是AR环境502中的人或人体模型，并且表示506可以类似于该人或人体模型。
在图5A的示例中，该装置可以处于水平方位中或接近水平方位并且显示器面朝上。例如，这可以有助于将装置的照相机指向下方并提供地板图像作为AR环境502的部分。由于(基本上)水平方向，地图500相对于正在呈现AR环境502的显示器具有零或者几乎没有的感知倾斜度。因此，地图500可以看起来基本上是圆形的。可以使用地图500的其他形状。
在图5B-F的示例中，该装置可以从(接近)水平方位逐渐升高到更直立的方位。例如，在图5F中所示的示例中，装置可以处于垂直方位中或在接近垂直方位并且显示器面朝用户。例如，这可以有助于将装置的照相机指向用户正在看(并且可选地步行)的方向，并且提供物理环境的周围图像作为AR环境502的部分。因此，地图500可以表现为椭圆形。例如，地图500可已经从图5A中所示的圆形的形状朝着渐增地椭圆形逐渐过渡，直到达到物理倾斜度的阈值(类似于图3中的点302E)，在其之后地图500可能不会响应于更大的物理倾斜度而改变。
当物理倾斜度如图5A中所示时并且当物理倾斜度如图5B-F中的任意一个或者全部所示时，应用于AR环境502中的地图500的感知倾斜度可以用作保持地图500上的方向(例如，物理环境中的向前方向)的语义显著性。例如，图5A中的箭头508与图5F中的箭头510都可以对应于物理环境中的向前方向，从而保持向前方向的语义显著性。
图6A-B示出AR环境中的地图600的另一示例。此处，隐藏表示604被放置在地图600上。隐藏表示604可以是用户可以在AR环境602中访问的AR对象的匿名版本。但是，目前，隐藏表示604没有向用户揭露AR对象看起来像什么。当携带其上呈现AR环境602的装置的用户到达与AR环境602中的AR对象的位置相对应的物理位置时，可以使隐藏表示604去匿名。例如，这可能涉及从地图600上去除隐藏表示604并且替代地将类似于AR对象的表示604’放置在地图600上。
图7A示出AR环境702中的地图700的另一示例。AR环境702可以是或包括有在本文描述的任何AR环境，包括但不限于图1、2、4、5、6A-B或8中的那些。AR环境702还包括具有放置在地图700上的相应表示704A-C的AR对象。根据顺序连接表示704A-C的路径706可以在AR环境702中被定义。
图7B示意性地示出与图7A中的AR环境702有关的物理环境708。该关系可以类似于在上面参考图1描述的关系。此处，装置710存在于物理环境708中。指示物理位置712A-D。例如，物理位置712A是装置710当前位于的位置，并且对应于地图700的中心。如果将装置带到相应的物理位置712B-D，则用户可以在AR环境702中观察与表示704A-C相对应的相应的AR对象。
例如，可以在AR环境702中定义要由装置710遵循的路径706。路径706可以通向表示704A的AR对象，并且之后通向表示704B的AR对象。基于路径在到达表示704B的AR对象之前到达表示704A的AR对象，可以使表示704A大于表示704B。
例如，可以确定物理位置712A和712B之间的距离714。此处，装置710当前位于物理位置712A处，并且物理位置712B对应于表示704A的AR对象的位置。表示704A可以基于所确定的距离714来被放置在地图700上的位置。作为另一示例，表示704A的大小可以基于所确定的距离714。作为另一示例，可以基于所确定的距离714来调整地图700的大小。
地图700可以包括网格(例如，类似于图4中的网格400’)。可以基于所确定的距离来调整网格的大小。
图8示出AR环境中的地图800的另一示例。AR环境802可以是或包括有在本文描述的任何AR环境，包括但不限于图1、2、4、5、6A-B或7A中的那些。可以连续地监视呈现AR环境802的装置的物理位置。可以在地图800上生成与监视中注册的物理位置相对应的路径804。这样，路径804可以指示用户在AR会话中早前已经到达的位置。
图9示出方法900的示例。例如，如下所述，可以使用一个或多个执行存储在非暂时性存储介质中的指令的处理器来执行方法中的任一个或所有操作。在一些实施方式中，可以执行比所示更多或更少的操作。在一些实施方式中，可以以不同的顺序执行两个或更多个操作。仅出于说明的目的，在以下描述中将提及本公开中其他地方引入的一些组件。
在902处，AR环境可以被接收。例如，装置106(图1)可以接收AR环境116。
在904处，物理倾斜度可以被监视。监视可以是连续的或不连续的。例如，定向系统114(图1)可以监视装置106的定向。
在906处，装置的物理倾斜度可以被确定。例如，确定可以基于在904进行的监视来做出。
在908处，所确定的物理倾斜度可以与阈值进行比较。例如，物理倾斜度302(图3)中的一个或多个可以与点302E进行比较。
在910处，感知倾斜度可以被分配给AR对象。例如，感知倾斜度218(图2)可以被分配给地图214。
在912处，显示器上的地图和AR环境的渲染可以被触发。例如，显示器110(图1)上的地图400(图4)和AR环境402的渲染可以被装置106上的软件触发。
在914处，AR对象的表示可以被放置在地图上。例如，AR对象404的表示404’(图4)可以被放置在地图400上。
在916处，装置的物理位置可以被监视。例如，装置710(图7B)的物理位置可以被监视。
在918处，到AR对象的距离可以被确定。例如，物理位置712A和712B之间的距离714可以被确定。
在920处，表示和/或表示的位置可以响应于在918处进行的距离确定而被修改。例如，表示404’(图4)和/或表示404’的位置可以被修改。
在922处，地图和/或地图上的网格的大小可以响应于在918处进行的距离确定而被调整。例如，地图400(图4)的大小和/或网格400’的大小可以被调整。
图10图示可以被用于实现此处描述的技术的计算机装置和移动计算机装置的示例。图10示出通用计算机装置1000和通用移动计算机装置1050的示例，其可以与此处描述的技术一起使用。计算装置1000旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、平板电脑、工作站、个人数字助理、电视、服务器、刀片式服务器、大型机、以及其他适当的计算装置。计算装置1050旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话、和其他类似的计算装置。此处示出的组件、它们的连接和关系、以及它们的功能旨在仅是示例性的，并不旨在限制本文档中描述和/或要求保护的本发明的实现方式。
计算装置1000包括处理器1002、存储器1004、存储装置1006、连接到存储器1004和高速扩展端口1010的高速接口1008、以及连接到低速总线1014和存储装置1006的低速接口1012。处理器1002可以是基于半导体的处理器。存储器1004可以是基于半导体的存储器。组件1002、1004、1006、1008、1010和1012中的每一个使用各种总线进行互连，并且可以安装在公共主板上或适当地以其他方式安装。处理器1002可以处理用于在计算装置1000内执行的指令，该指令包括在存储器1004中或存储装置1006上存储的指令，以在诸如耦合到高速接口1008的显示器1016的外部输入/输出装置上显示GUI的图形信息。在其他实现方式中，可以与多个存储器和各种存储器一起适当地使用多个处理器和/或多个总线。而且，多个计算装置1000可以与提供必要操作的部分(例如，作为服务器库、刀片式服务器组或多处理器系统)的每个装置进行连接。
存储器1004在计算装置1000内存储信息。在一个实现方式中，存储器1004是一个或多个易失性存储器单元。在另一实现方式中，存储器1004是一个或多个非易失性存储器单元。存储器1004还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储装置1006能够为计算装置1000提供大容量存储。在一个实现方式中，存储装置1006可以是或包含计算机可读介质，诸如包括存储区域网络中的装置或其他配置的软盘装置、硬盘装置，光盘装置、或磁带装置、闪速存储器或其他类似的固态存储装置、或装置的阵列。计算机程序产品能够有形地被实施在信息载体中。计算机程序产品还可以包含指令，当指令被执行时执行一个或多个方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如处理器1002上的存储器1004、存储装置1006或存储器。
高速控制器1008管理计算装置1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。这种功能的分配仅是示例性的。在一个实现方式中，高速控制器1008(例如，通过图形处理器或加速器)被耦合到存储器1004、显示器1016，并耦合到可以接受各种扩展卡(未示出)的高速扩展端口1010。在实现方式中，低速控制器1012被耦合到存储装置1006和低速扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器被耦合到一个或多个输入/输出装置，诸如键盘、指示装置、扫描仪、或诸如交换机或路由器的网络装置。
计算装置1000可以以多种不同的形式实现，如附图中所示。例如，其可以被实现为标准服务器1020，或者在这样的服务器组中实现多次。其还可以被实现为机架服务器系统1024的部分。此外，其可以在诸如膝上型计算机1022的个人计算机中实现。可替选地，来自计算装置1000的组件可以与诸如装置1050的移动装置(未示出)中的其他组件组合。这些装置中的每一个可以包含计算装置1000、1050中的一个或多个，并且整个系统可以由彼此通信的多个计算装置1000、1050组成。
计算装置1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出装置、通信接口1066、和收发器1068，以及其他组件。装置1050还可以被设置有诸如微驱动器或其他装置的存储装置，以提供额外的存储。组件1050、1052、1064、1054、1066和1068中的每一个使用各种总线互连，并且若干个组件可以被安装在公共主板上或适当地以其他方式安装。
处理器1052可以执行计算装置1050内的指令，该指令包括在存储器1064中存储的指令。处理器可以被实现为芯片的芯片组，其包括单独的和多个模拟和数字处理器。例如，处理器可以提供用于协调装置1050的其他组件，诸如控制用户界面、由装置1050运行的应用、以及由装置1050的无线通信。
处理器1052可以通过控制接口1058和耦合到显示器1054的显示器接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器，或其他适当的显示技术。显示器接口1056可以包括适当的电路，用于驱动显示器1054以向用户呈现图形和其他信息。控制接口1058可以从用户接收命令并将它们转换用于提交给处理器1052。此外，可以提供与处理器1052通信的外部接口1062，以便能够实心装置1050与其他装置的近区域通信。外部接口1062可以例如在一些实现方式中提供有线通信，或者在其他实现方式中提供无线通信，并且还可以使用多个接口。
存储器1064存储计算装置1050内的信息。存储器1064能够被实现为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元、或一个或多个非易失性存储器单元。扩展存储器1074还可以被提供并通过扩展接口1072连接到装置1050，该扩展接口1072可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器1074可以为装置1050提供额外的存储空间，或者还可以为装置1050存储应用或其他信息。具体地，扩展存储器1074可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以为装置1050作为安全模块被提供，并且可以利用允许安全使用装置1050的指令被编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪速存储器和/或NVRAM存储器，如下面所论述的。在一个实现方式中，计算机程序产品有形地被实施在信息载体中。该计算机程序产品包含指令，当该指令被执行时，执行诸如如上所述的那些的一种或多种方法。信息载体是可以例如通过收发器1068或外部接口1062容纳的计算机或机器可读介质，诸如存储器1064、扩展存储器1074、或处理器1052上的存储器。
装置1050可以通过通信接口1066以无线的方式进行通信，该通信接口1066可以在必要时包括数字信号处理电路。通信接口1066可以在各种模式或协议下提供通信，诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000、或GPRS等。这种通信可以例如通过射频收发器1068发生。此外，可以发生短程通信，诸如使用蓝牙、WiFi或其他这样的收发器(未示出)。另外，GPS(全球定位系统)接收器模块1070可以向装置1050提供附加的导航和位置相关的无线数据，所述无线数据可以由在装置1050上运行的应用适当地使用。
装置1050还可以使用音频编解码器1060来可听地通信，该音频编解码器1060可以从用户接收口述信息并将其转换成可用的数字信息。诸如通过例如在装置1050的手机中的扬声器，音频编解码器1060同样可以为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在装置1050上运行的应用生成的声音。
如附图中所示，计算装置1050可以以多种不同的形式实现。例如，其可以被实现为蜂窝电话1080。其还可以被实现为智能电话1082、个人数字助理或其他类似移动装置的部分。
用户可以使用跟踪的控制器1084与计算装置进行交互。在一些实施方式中，控制器1084可以跟踪用户的身体的移动，诸如手、脚、头和/或躯干的运动，并生成对应于跟踪的运动的输入。该输入可以对应于诸如三个维度的一个或多个运动维度中的运动。例如，被跟踪的控制器可以是用于VR应用的物理控制器，该物理控制器与VR应用中的一个或多个虚拟控制器相关联。作为另一个示例，控制器1084可以包括数据手套。
此处描述的系统和技术的各种实现方式可以在数字电子电路、集成电路、专门定制的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中加以实现。这些各种实现方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现方式，该可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，其可以被耦合以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输到存储系统、至少一个输入装置和至少一个输出装置。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够以高级过程和/或面向对象的编程语言，和/或以汇编/机器语言来实现。如此处所使用的，术语“机器可读介质”、“计算机可读介质”指的是用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括将机器指令作为机器可读信号来接收的机器可读介质。术语“机器可读信号”指的是用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，此处描述的系统和技术能够在具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户能够通过其向计算机提供输入的键盘以及指示装置(例如，鼠标或轨迹球)的计算机上实现。其他类型的装置还能够被用于提供用于与用户的交互；例如，提供给用户的反馈能够是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且能够以任何形式接收来自用户的包括声学、语音或触觉输入的输入。
能够在计算系统中实现此处描述的系统和技术，所述计算系统包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有通过其用户能够与此处描述的系统和技术的实现方式交互的图形用户界面或Web浏览器的客户端计算机)，或者这种后端、中间件或前端组件的任何组合。系统的组件能够通过数字数据通信(例如，通信网络)的任何形式或介质来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在一些实施方式中，图10中所描绘的计算装置可以包括与虚拟现实对接的传感器(VR头戴式耳机1085)。例如，包括在图10中描绘的计算装置1050或其他计算装置上的一个或多个传感器可以向VR头戴式耳机1085提供输入，或者通常，可以向VR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算装置1050可以使用传感器来确定计算装置在VR空间中的绝对方位和/或检测到的旋转，然后可以将其用作到VR空间的输入。例如，计算装置1050可以作为诸如控制器、激光指示器、键盘、武器等的虚拟对象被合并到VR空间中。当合并到VR空间中时用户定位计算装置/虚拟对象能够允许用户定位计算装置以在VR空间中以某种方式观看虚拟对象。例如，如果虚拟对象代表激光指示器，则用户可以操纵计算装置，就像其是实际的激光指示器一样。用户可以左右、上下、成圆圈等移动计算装置，并以与使用激光指示器类似的方式使用装置。
在一些实施方式中，包括在计算装置1050上或连接到计算装置1050的一个或多个输入装置可以用作到VR空间的输入。输入装置可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指向装置、鼠标、轨迹球、操纵杆、照相机、麦克风、耳机或具有输入功能、游戏控制器或其他可连接输入装置的耳塞。当将计算装置被合并到VR空间中时与包括在计算装置1050上的输入装置进行交互的用户可以使特定动作在VR空间中发生。
在一些实施方式中，计算装置1050的触摸屏可以被渲染为VR空间中的触摸板。用户可以与计算装置1050的触摸屏进行交互。例如，在VR头戴式耳机1085中，作为在VR空间中的渲染触摸板上的移动来渲染交互。渲染的移动可以控制VR空间中的对象。
在一些实施方式中，计算装置1050上包括的一个或多个输出装置可以向VR空间中的VR头戴式耳机1085的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动；一个或多个灯或频闪灯的打开、关闭或闪烁和/或闪光；发出警报；播放铃声；播放歌曲以及播放音频文件。输出装置可以包括但不限于振动马达、振动线圈、压电装置、静电装置、发光二极管(LED)、闪光灯和扬声器。
一些实施方式中，计算装置1050可以在计算机生成的3D环境中作为另一对象出现。用户与计算装置1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算装置1050在计算机生成的3D环境中作为虚拟激光指示器出现。当用户操纵计算装置1050时，VR空间中的用户看到激光指示器的移动。用户在计算装置1050或VR头戴式耳机1085上的VR空间中从与计算装置1050的交互中接收反馈。
已经描述许多实施例。然而，将会理解的是，在不脱离本发明的精神和范围的情况下，可以进行各种修改。
另外，附图中描绘的逻辑流程不需要所示的特定次序或顺序次序以实现期望的结果。另外，可以从所描述的流程中提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统或从所述系统中移除。因此，其他实施例在以下权利要求的范围内。

Claims (21)

1.一种方法，包括：
在装置中接收定义增强现实(AR)环境的数据，所述数据指定第一AR对象在所述AR环境中的位置；
确定所述装置的物理倾斜度；
将感知倾斜度分配给所述AR环境的地图，所述感知倾斜度基于所确定的物理倾斜度；以及
触发在所述装置的显示器上的所述地图和所述AR环境的方面的渲染，其中，所述第一AR对象的位置被标记在所述地图上，并且所述地图看起来相对于所述显示器具有所述感知倾斜度。
2.根据权利要求1所述的方法，还包括连续地监视所述装置的所述物理倾斜度，并且基于所述物理倾斜度来调整所述感知倾斜度。
3.根据权利要求2所述的方法，其中，所调整的感知倾斜度在物理倾斜度的至少一个区间上与被连续地监视的物理倾斜度成比例。
4.根据前述权利要求中的任意一项所述的方法，还包括确定所述物理倾斜度超过阈值，并且作为响应，只要所述物理倾斜度超过所述阈值，就保持所述地图的当前感知倾斜度。
5.根据前述权利要求中的任意一项所述的方法，其中，所述物理倾斜度相对于平面来被确定。
6.根据权利要求5所述的方法，其中，确定所述物理倾斜度包括使用所述装置的图像传感器。
7.根据前述权利要求中的任意一项所述的方法，其中，所述物理倾斜度相对于物理环境中的垂直方向来被确定。
8.根据权利要求7所述的方法，还包括使用所述装置中的惯性测量单元来确定所述垂直方向。
9.根据前述权利要求中的任意一项所述的方法，还包括在所述地图上放置与所述第一AR对象相对应的第一表示。
10.根据权利要求9所述的方法，还包括确定第一物理位置与第二物理位置之间的距离，其中，所述装置当前位于所述第一物理位置处，并且所述第二物理位置与所述第一AR对象在所述AR环境中的位置相对应，其中，所述第一表示基于所确定的距离来被放置在所述地图上的一个位置处。
11.根据权利要求9或权利要求10所述的方法，还包括确定第一物理位置和第二物理位置之间的距离，其中，所述装置当前位于所述第一物理位置处，并且所述第二物理位置与所述第一AR对象在所述AR环境中的位置相对应，并且其中，所述地图上的所述第一表示的大小是基于所确定的距离。
12.根据权利要求9-11中的任意一项所述的方法，其中，所述地图包括网格，所述方法还包括：确定第一物理位置和第二物理位置之间的距离，其中，所述装置当前位于所述第一物理位置处并且所述第二物理位置与所述第一AR对象在所述AR环境中的位置相对应，并且基于所确定的距离来调整所述网格的大小。
13.根据权利要求9-12中的任意一项所述的方法，还包括确定第一物理位置与第二物理位置之间的距离，其中，所述装置当前位于所述第一物理位置处，并且所述第二物理位置与所述第一AR对象在所述AR环境中的位置相对应，所述方法还包括基于所确定的距离来调整所述地图的大小。
14.根据权利要求9-13中的任意一项所述的方法，其中，所述AR环境具有在其中定义的要由所述装置遵循的路径，所述路径在所述AR环境中通向所述第一AR对象并且之后通向第二AR对象，所述方法还包括：将与所述第二AR对象相对应的第二表示放置在所述地图上，并且基于所述路径来使所述第一表示比所述第二表示大。
15.根据权利要求9-14中的任意一项所述的方法，还包括在所述装置到达与所述第一AR对象的位置相对应的物理位置之前使所述表示匿名，并且响应于所述装置到达所述物理位置，使所述表示去匿名。
16.根据前述权利要求中的任意一项所述的方法，还包括随着时间监视所述装置的物理位置，并且在所述地图上生成与所述物理位置相对应的路径。
17.一种其上存储有指令的非暂时性存储介质，所述指令在被执行时，被配置成使处理器执行操作，所述操作包括：
在装置中接收定义增强现实(AR)环境的数据，所述数据指定第一AR对象在所述AR环境中的位置；
确定所述装置的物理倾斜度；
将感知倾斜度分配给所述AR环境的地图，所述感知倾斜度基于所确定的物理倾斜度；以及
触发在所述装置的显示器上的所述地图和所述AR环境的方面的渲染，其中，所述第一AR对象的位置被标记在所述地图上，并且所述地图看起来相对于所述显示器具有所述感知倾斜度。
18.一种设备，包括：
存储器，所述存储器中存储有定义增强现实(AR)环境的数据，所述数据指定第一AR对象在所述AR环境中的位置；
定向系统，所述定向系统被配置成用于确定所述设备的物理倾斜度，其中，所述设备将感知倾斜度分配给所述AR环境的地图，所述感知倾斜度基于所确定的物理倾斜度；以及
显示器，其中，所述设备在所述显示器上渲染所述地图和所述AR环境的方面，并且其中，所述第一AR对象的位置被标记在所述地图上，并且所述地图看起来相对于所述显示器具有所述感知倾斜度。
19.一种设备，包括：
存储器，所述存储器中存储有定义增强现实(AR)环境的数据，所述数据指定第一AR对象在所述AR环境中的位置；
定向系统，所述定向系统被配置成用于确定所述设备的物理倾斜度；
显示器，所述显示器呈现所述AR环境的地图和所述AR环境的方面；以及
装置，所述装置用于在所述设备具有由所述定向系统确定的相应的第一物理倾斜度和第二物理倾斜度时至少保持所述地图上的方向的语义显著性。
20.根据权利要求19所述的设备，其中，所述装置通过响应于所述设备具有所述第一物理倾斜度而向所述地图分配第一感知倾斜度，并且通过响应于所述设备具有所述第二物理倾斜度而向所述地图分配第二感知倾斜度来保持所述方向的语义显著性。
21.根据权利要求20所述的设备，其中，所述第一感知倾斜度与所述第一物理倾斜度成比例，并且其中，所述第二感知倾斜度是不与所述第二物理倾斜度成比例的恒定感知倾斜度。
CN201880075380.1A 2017-11-21 2018-11-14 用于在增强现实环境中导航的方法、设备及存储介质 Active CN111373349B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/819,528 2017-11-21
US15/819,528 US10685485B2 (en) 2017-11-21 2017-11-21 Navigation in augmented reality environment
PCT/US2018/060944 WO2019103890A1 (en) 2017-11-21 2018-11-14 Navigation in augmented reality environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410273954.3A Division CN118295523A (zh) 2017-11-21 2018-11-14 用于在增强现实环境中导航的方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111373349A true CN111373349A (zh) 2020-07-03
CN111373349B CN111373349B (zh) 2024-04-05

Family

ID=65139083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075380.1A Active CN111373349B (zh) 2017-11-21 2018-11-14 用于在增强现实环境中导航的方法、设备及存储介质

Country Status (4)

Country Link
US (1) US10685485B2 (zh)
EP (1) EP3714354B1 (zh)
CN (1) CN111373349B (zh)
WO (1) WO2019103890A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11125561B2 (en) 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
US10410320B2 (en) * 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US11120593B2 (en) * 2019-05-24 2021-09-14 Rovi Guides, Inc. Systems and methods for dynamic visual adjustments for a map overlay
US11674818B2 (en) 2019-06-20 2023-06-13 Rovi Guides, Inc. Systems and methods for dynamic transparency adjustments for a map overlay
US20210034869A1 (en) * 2019-07-30 2021-02-04 Didi Research America, Llc Method and device for using augmented reality in transportation
US11684851B2 (en) * 2019-11-19 2023-06-27 Activision Publishing, Inc. Video game with mobile device input dynamics

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310909A (ja) * 2007-08-20 2007-11-29 Namco Bandai Games Inc 画像生成装置及び情報記憶媒体
KR20110132771A (ko) * 2010-06-03 2011-12-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20130073988A1 (en) * 2010-06-02 2013-03-21 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interest
JP2014020863A (ja) * 2012-07-17 2014-02-03 Zenrin Datacom Co Ltd 携帯ナビゲーション装置
US20140063058A1 (en) * 2012-09-05 2014-03-06 Nokia Corporation Method and apparatus for transitioning from a partial map view to an augmented reality view
US8810599B1 (en) * 2010-11-02 2014-08-19 Google Inc. Image recognition in an augmented reality application
US20160153800A1 (en) * 2014-12-01 2016-06-02 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
US20160284125A1 (en) * 2015-03-23 2016-09-29 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US20170169613A1 (en) * 2015-12-15 2017-06-15 Lenovo (Singapore) Pte. Ltd. Displaying an object with modified render parameters

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730312B2 (en) * 2009-11-17 2014-05-20 The Active Network, Inc. Systems and methods for augmented reality
US8761811B2 (en) 2012-04-27 2014-06-24 Oracle International Corporation Augmented reality for maintenance management, asset management, or real estate management
US20140309925A1 (en) 2013-04-14 2014-10-16 Pablo Garcia MORATO Visual positioning system
US10895950B2 (en) * 2016-12-09 2021-01-19 International Business Machines Corporation Method and system for generating a holographic image having simulated physical properties

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310909A (ja) * 2007-08-20 2007-11-29 Namco Bandai Games Inc 画像生成装置及び情報記憶媒体
US20130073988A1 (en) * 2010-06-02 2013-03-21 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interest
KR20110132771A (ko) * 2010-06-03 2011-12-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8810599B1 (en) * 2010-11-02 2014-08-19 Google Inc. Image recognition in an augmented reality application
JP2014020863A (ja) * 2012-07-17 2014-02-03 Zenrin Datacom Co Ltd 携帯ナビゲーション装置
US20140063058A1 (en) * 2012-09-05 2014-03-06 Nokia Corporation Method and apparatus for transitioning from a partial map view to an augmented reality view
US20160153800A1 (en) * 2014-12-01 2016-06-02 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
US20160284125A1 (en) * 2015-03-23 2016-09-29 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US20170169613A1 (en) * 2015-12-15 2017-06-15 Lenovo (Singapore) Pte. Ltd. Displaying an object with modified render parameters

Also Published As

Publication number Publication date
EP3714354B1 (en) 2022-06-22
WO2019103890A1 (en) 2019-05-31
EP3714354A1 (en) 2020-09-30
CN111373349B (zh) 2024-04-05
US10685485B2 (en) 2020-06-16
US20190156573A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN111373349B (zh) 用于在增强现实环境中导航的方法、设备及存储介质
US11181986B2 (en) Context-sensitive hand interaction
CN109643159B (zh) 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
EP3314371B1 (en) System for tracking a handheld device in an augmented and/or virtual reality environment
JP6676213B2 (ja) 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出
CN109074154B (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
US10083544B2 (en) System for tracking a handheld device in virtual reality
KR102222974B1 (ko) 홀로그램 스냅 그리드
US20170372499A1 (en) Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US10359863B2 (en) Dragging virtual elements of an augmented and/or virtual reality environment
US11494990B2 (en) Hybrid placement of objects in an augmented reality environment
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN118295523A (zh) 用于在增强现实环境中导航的方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant