CN118020052A - 基于ar的个人移动系统的性能调节 - Google Patents

基于ar的个人移动系统的性能调节 Download PDF

Info

Publication number
CN118020052A
CN118020052A CN202280066072.9A CN202280066072A CN118020052A CN 118020052 A CN118020052 A CN 118020052A CN 202280066072 A CN202280066072 A CN 202280066072A CN 118020052 A CN118020052 A CN 118020052A
Authority
CN
China
Prior art keywords
personal mobile
location
mobile system
virtual object
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280066072.9A
Other languages
English (en)
Inventor
埃德蒙·格雷夫斯·布朗
乔纳森·M·罗德里格斯二世
本杰明·卢卡斯
理查德·庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/490,915 external-priority patent/US12030577B2/en
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN118020052A publication Critical patent/CN118020052A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/20—Cycle computers as cycle accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J50/00—Arrangements specially adapted for use on cycles not provided for in main groups B62J1/00 - B62J45/00
    • B62J50/20—Information-providing devices
    • B62J50/21—Information-providing devices intended to provide information to rider or passenger
    • B62J50/22—Information-providing devices intended to provide information to rider or passenger electronic, e.g. displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
    • B62K11/00—Motorcycles, engine-assisted cycles or motor scooters with one or two wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
    • B62K3/00—Bicycles
    • B62K3/002—Bicycles without a seat, i.e. the rider operating the vehicle in a standing position, e.g. non-motorized scooters; non-motorized scooters with skis or runners
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
    • B62K2202/00—Motorised scooters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种控制个人移动系统的方法包括在增强现实可穿戴设备上显示虚拟对象，该虚拟对象位于增强现实设备的视场中的与现实世界中的位置相对应的位置中。检测个人移动系统或个人移动系统的用户与现实世界中的位置的接近。响应于对接近的检测，修改个人移动系统的性能特性。

Description

基于AR的个人移动系统的性能调节
优先权要求
本申请要求2021年9月30日提交的美国专利申请序列号17/490,915的优先权权益，该申请通过引用整体并入本文。
技术领域
本公开内容总体上涉及个人移动系统(“PM系统”)和带有增强或虚拟现实的显示器的可穿戴设备(“AR可穿戴设备”)。更具体地，本公开内容涉及个人移动设备与头戴式增强现实设备之间的交互。
背景技术
除了乘车共享平台之外，对替选运输模式发展的日益关注导致个人移动系统的多样性和可用性的激增。PM系统包括能够将用户(有时是乘客)从一个地方运输至另一个地方的所有动力个人运输模式。动力个人运输工具包括但不限于动力踏板车、自行车、滑板、独轮车、皮艇、桨板和冲浪板。以电为动力的自行车和踏板车有时分别被称为电动自行车和电动滑板车。动力个人运输工具还可以包括汽车、卡车、摩托车和船只。除了操作它们所需的身体灵活性和敏捷性之外，电动滑板车、电动电动车和自平衡电动踏板车(例如Ninebot)还存在操作挑战和安全风险，其需要更高水平的用户专注力和能力以便安全操作。城市环境中的PM系统密度的急剧上升加上用户培训的普遍缺乏以及高度混乱和动态的操作环境导致事故和住院治疗的急剧上升。
传统上，PM系统被设计为只有很少的控件，几乎没有性能反馈指示器或在这样的能力(例如，LED或LCD电池或速度指示器)方面极其有限，并且没有障碍物检测或规避系统。由于PM系统的基本特性，并入附加的控件或性能指示器可能不可行或不安全。
另一方面，AR可穿戴设备可以用透明或半透明显示器实现，用户可以通过该显示器查看周围环境。这样的设备使用户能够透过透明或半透明显示器观看以查看周围的物理环境，并且还使用户能够看到针对显示器生成以作为物理环境的一部分出现，和/或覆盖在物理环境上的对象(例如，虚拟对象，例如3D渲染、图像、视频、文本等)。这通常被称为“增强现实”。
AR可穿戴设备可以完全遮挡用户的视野并显示虚拟环境，用户可以通过该虚拟环境移动或被移动。这通常被称为“虚拟现实”。如本文中所用，术语“增强现实”或“AR”是指如传统理解的增强现实和虚拟现实两者，除非上下文另有指示。
附图说明
在不一定按比例绘制的附图中，在不同视图中类似的附图标记可以描述相似的部件。为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高有效数字是指该元件首次被引入的图号。一些非限制性示例在附图的图中示出，在图中：
图1是根据一些示例的可穿戴设备的透视图。
图2示出了根据一些示例的来自用户视角的图1的增强现实可穿戴设备的另一视图。
图3是根据一些示例的个人移动系统的侧视图。
图4示出了根据一些示例的对于操作AR可穿戴设备和个人移动系统适合的网络环境。
图5是根据一个示例的通过显示在图1的眼镜的显示器上的AR元素增强的室外环境的视图。
图6是根据一个示例的户外环境中的踏板车的车把的视图，其中该踏板车用AR元素进行了增强。
图7是根据一个示例的通过显示在图1的眼镜的显示器上的AR元素增强的室外环境的视图。
图8是根据另一个示例的通过显示在图1的眼镜的显示器上的AR元素增强的室外环境的视图。
图9是根据一个示例的示出了网络环境400的操作的流程图900。
图10是根据一些示例的示出了包括眼镜100和踏板车300的细节的联网设备1002的框图。
图11是根据一些示例的示出了可以在其中实现本公开内容的软件架构的框图。
图12是根据一些示例的计算机系统形式的机器的图形表示，在该计算机系统中可以执行一组指令，以用于使机器执行所讨论的方法中的任一种或更多种。
具体实施方式
以下描述描述了示出本主题的示例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节，以便提供对本主题的各种示例的理解。然而，对于本领域技术人员来说将明显的是，本主题的示例可以在没有这些具体细节中的一些或其他细节的情况下实践。示例仅代表可能的变化。除非另有明确说明，否则结构(例如，结构部件，例如模块)是可选的，并且可以被组合或细分，并且操作(例如，在过程、算法或其他功能中)可以在顺序上变化或者被组合或细分。
AR可穿戴设备与PM系统的集成可以通过减轻用户所承担的认知负担来改善用户体验并降低安全风险。AR可穿戴设备不仅可以将遥测数据和导航信息集中并显示至用户的视场中，而且还可以检测物理障碍物或与虚拟对象交互以调节PM系统的性能。AR可穿戴设备可以检测并突出显示障碍物、交通控制设备和危险，以警告用户它们的存在。AR可穿戴设备还可以使用PM系统中包含的传感器来进一步通知或修改正由用户感知到的信息和PM系统的性能特性。
PM系统，例如动力踏板车和电动车通常包括电源(例如电池)、推进源(例如电机或发动机)、用户控件、独立制动系统和管理系统。一些PM系统还可以包括无线电通信系统(例如蜂窝、和/>转发器)和定位系统(例如GPS)。本文中描述的PM系统还可以包括感测技术，例如摄像装置、声纳传感器、雷达传感器、激光传感器、激光雷达传感器、心率传感器和惯性测量单元(“IMU”，例如加速度计、陀螺仪和磁力计)。
一些PM系统包括制动系统，该制动系统可以连接至管理系统并且除了在正常操作期间的制动之外，还旨在在紧急情况期间使PM系统安全停止。制动系统也可以是包括推进源、管理系统和电源的再生制动系统的一部分。
PM系统的典型操作包括将由用户在用户控件上进行的输入发送至管理系统。然后，管理系统将控制从电源到推进源的动力传递，以实现由用户进行的期望动作。
另一方面，AR可穿戴设备，例如AR护目镜或AR眼镜包括透明或半透明显示器，其使用户能够透过透明或半透明显示器观看以查看周围环境。附加信息或对象(例如，诸如3D渲染、图像、视频、文本等的虚拟对象)被显示在显示器上，并且作为周围环境的一部分出现和/或覆盖在周围环境上，以为用户提供增强现实体验。显示器可以例如包括从投影仪接收光束的波导，但是可以使用用于向佩戴者呈现增强或虚拟内容的任何适当的显示器。与PM系统一样，AR可穿戴设备也可以包括无线电通信系统(例如蜂窝、和/>转发器)和定位系统(例如GPS)、摄像装置和IMU传感器。
如本文中所提及的，短语“增强现实体验”包括或指代与图像修改、过滤、媒体覆盖、变换等对应的各种图像处理操作，如本文中进一步所描述的。在一些示例中，这些图像处理操作提供了现实世界环境的交互体验，其中现实世界中的对象、表面、背景、照明等通过计算机生成的感知信息增强。在该上下文中，“增强现实效果”包括用于将选择的增强现实体验应用于图像或视频馈送所需的数据、参数和其他资产的集合。在一些示例中，增强现实效果由Snap公司以注册商标LENSES提供。
由AR可穿戴头戴式设备系统对虚拟对象的渲染可以基于AR可穿戴设备相对于物理对象或相对于固定参考系(AR可穿戴设备外部)的位置，使得虚拟对象正确出现在显示器中。作为示例，AR可穿戴设备可以渲染与物理对象相关联的虚拟对象，使得虚拟对象可以被用户感知为看起来与物理对象对准。在另一个示例中，图形(例如，包含信息、指令和指导的图形元素)看起来被附接至或覆盖感兴趣的物理对象。为此，AR可穿戴设备检测物理对象并跟踪AR可穿戴设备相对于物理对象的位置的姿势。姿势标识AR可穿戴设备相对于参考系或相对于另一个对象的位置和取向。
在某些情况下，可以通过语音命令、到诸如智能手机的相关联设备的输入、由AR可穿戴设备的摄像装置检测到的手势或AR可穿戴设备上设置的触摸板提供用户与AR可穿戴设备的交动，该触摸板可以用于向AR可穿戴设备提供x-y触摸和轻击输入。
在PM系统和AR可穿戴设备集成中，PM系统和AR可穿戴设备彼此通信。PM系统和AR可穿戴设备也可以各自、单独地或通过彼此与其他设备(例如移动电话)或包含其他设备(例如服务器)的网络进行通信。PM系统可以向AR可穿戴设备提供遥测信息，例如速度、加速度、控件位置、用户位置和姿势以及电池电量。PM系统还可以提供来自摄像装置和其他传感器的信息。AR可穿戴设备进而可以提供性能相关的命令(例如，限制或调节最高速度、加速度、制动力)或非性能相关的命令(例如，开灯和关灯或鸣笛)。AR可穿戴设备还可以向PM系统提供仅由AR可穿戴设备收集的遥测数据(例如，由GPS计算的速度、用户的位置和姿势)。类似地，AR可穿戴设备可以从PM系统接收遥测数据和传感器数据。
在一些示例中，增强现实效果包括增强现实内容，其被配置成修改或变换在AR可穿戴设备的图形用户界面(“GUI”)内以某种方式呈现的图像数据。例如，可以使用AR效果数据进行对AR可穿戴设备视场中的环境外观的复杂添加或变换：突出显示、动画显示或变换交通控制信号、道路、建筑物和车辆；向正在AR可穿戴设备上查看的场景中的地标添加增强功能；或者许多其他这样的变换。这包括实时修改以及对存储内容的修改(例如，可以使用AR效果修改的图库中的视频剪辑)两者，实时修改在使用与AR可穿戴设备或与AR可穿戴设备进行通信的一些其他设备(例如，PM系统)相关联的摄像装置捕获到图像时修改该图像，然后通过AR可穿戴设备以AR效果修改显示图像。类似地，实时视频捕获可以与AR效果一起使用，以向AR可穿戴设备的用户显示当前正由设备的传感器捕获的视频图像将如何修改所捕获的数据。这样的数据可以简单地显示在屏幕上而不存储在存储器中，由设备传感器捕获的内容可以在进行或不进行AR效果修改(或两者)的情况下被记录并存储在存储器中，或者由设备传感器捕获的内容可以在进行AR效果修改的情况下通过网络发送至服务器或另一设备。
因此，AR效果以及用于使用AR效果修改内容的相关联的系统和模块可以涉及：对象(例如，面部、手部、身体、猫、狗、表面、对象等)的检测，在这样的对象离开、进入视频帧中的视场以及在视频帧中的视场四处移动时对这样的对象的跟踪，以及在这样的对象被跟踪时对这样的对象的修改或变换。在各种示例中，可以使用用于实现这样的变换的不同的方法。一些示例可以涉及生成一个或多个对象的3D网格模型，以及使用视频内的模型的变换和动画纹理来实现变换。在其他示例中，可以使用对对象上的点的跟踪来将图像或纹理(其可以是二维或三维的)放置在所跟踪的位置处。在另外的示例中，可以使用视频帧的神经网络分析来将图像、模型或纹理放置在内容(例如，图像或视频帧)中。因此，AR效果数据可以包括以下两者：用于在内容中创建变换的图像、模型和纹理，以及利用对象检测、跟踪和放置实现这样的变换所需的附加建模和分析信息。
向AR可穿戴设备的用户显示的虚拟对象可能会影响PM系统的性能特性。在一个示例中，提供了一种控制个人移动系统的方法，包括：在增强现实可穿戴设备上显示虚拟对象，该虚拟对象位于增强现实设备的视场中的与现实世界中的位置相对应的位置中；检测个人移动系统或个人移动系统的用户与现实世界中的位置的接近；以及响应于对接近的检测，修改个人移动系统的性能特性。
对性能特性的修改可以包括个人移动系统的最大速度或最大功率的变更。对性能特性的修改基于虚拟对象的参数可以在预定时间内发生。
现实世界中的位置可以是固定至个人移动系统的至少一部分的参考系中的定位，或者个人移动系统所位于的环境中的参考系中的定位。
在一个示例中，方法还可以包括：响应于对个人移动系统或个人移动系统的用户与现实世界中的位置的接近的检测，将来自增强现实可穿戴设备的显示器的虚拟对象从虚拟对象在增强现实设备的视场中的与现实世界中的位置相对应的位置移除。
方法也还可以包括：响应于对接近的检测，将虚拟对象从环境中的参考系中的定位转移至固定至个人移动系统的至少一部分的参考系中的定位，并且延迟修改个人移动系统的性能特性，直至检测到个人移动系统的用户与固定至个人移动系统的至少一部分的参考系中的定位的相交为止。
在另一示例中，提供了一种非暂态计算机可读存储介质，该计算机可读存储介质包括指令，所述指令当由计算机执行时使计算机执行用于控制个人移动系统的操作，包括但不限于上述方法。在另一示例中，提供了一种计算系统，该计算系统包括处理器和存储指令的存储器，所述指令当由处理器执行时将计算系统配置成执行用于控制个人移动系统的操作，包括但不限于上述方法。
例如，操作可以包括：在增强现实可穿戴设备上显示虚拟对象，该虚拟对象位于增强现实设备的视场中的与现实世界中的位置相对应的位置中；检测个人移动系统或个人移动系统的用户与现实世界中的位置的接近；以及响应于对接近的检测，修改个人移动系统的性能特性。
根据附图、说明书和权利要求，其他技术特征对于本领域技术人员而言可能是明显的。
图1是根据一些示例的AR可穿戴设备(例如眼镜100)的透视图。眼镜100可以包括由任何合适的材料，例如塑料或金属(包括任何合适的形状记忆合金)制成的框架102。在一个或更多个示例中，框架102包括前件104，前件104包括由桥110连接的第一或左光学元件保持器114(例如显示器或透镜保持器)和第二或右光学元件保持器120。前件104还包括左端部112和右端部118。第一或左光学元件116和第二或右光学元件122可以设置在相应的左光学元件保持器114和右光学元件保持器120内。左光学元件116和右光学元件122中的每个可以是透镜、显示器、显示组件或前述的组合。本文中公开的显示组件中的任一个都可以设置在眼镜100中。
框架102还包括左镜腿件106(即左臂)和右镜腿件108(即右臂)，左镜腿件106和右镜腿件108通过诸如铰链(未示出)的任何合适的手段耦接至前件104的相应的左端部112和右端部118，以便耦接至前件104，或者刚性或牢固地固定至前件104，以便与前件104成为一体。在一个或更多个实现中，左镜腿件106和右镜腿件108中的每个都包括第一臂部124和任何合适的第二臂部126，第一臂部124耦接至前件104的相应左端部112和右端部118，第二臂部126用于耦接至用户的耳朵。在一个示例中，前件104可以由单件材料形成，以便具有整体或一体的构造。在一个示例中，如图1中所示，整个框架102可以由单件材料形成，以便具有整体或一体的构造。
眼镜100可以包括计算设备，例如计算机128，其可以是任何合适的类型，以便由框架102承载，并且在一个或更多个示例中，可以具有合适的尺寸和形状，以便至少部分布设在左镜腿件106和右镜腿件108之一中。在一个或更多个示例中，如图1中所示，计算机128被定尺寸和定形状为类似于右镜腿件108(或左镜腿件106)的尺寸和形状，并且因此几乎完全(如果不是完全)布设在这样的右镜腿件108的结构和范围内。在一个或更多个示例中，计算机128布设在右镜腿件108和左镜腿件106中的两者中。计算机128可以包括一个或更多个处理器和存储器、无线通信电路系统、传感器和相关联的电路系统以及电源。如下面所讨论的，计算机128包括低功率电路系统、高速电路系统和显示处理器。各种其他示例可以包括不同配置中的或以不同方式集成在一起的这些元件。如由下面讨论的眼镜100所示，可以实现计算机128的其他方面的细节。
计算机128还包括电池130或其他合适的便携式电力供应。在一个示例中，电池130布设在左镜腿件106和右镜腿件108之一中，或者多个电池130位于每个镜腿件中。在图1中所示的眼镜100中，电池130被示出为布设在左镜腿件106中，并且通过布设在前件104内的电导体电耦接至计算机128。眼镜100可以包括从框架102的外部可进入的适合于对电池130进行充电的连接器或端口(未示出)。眼镜100还可以包括无线接收器、发送器或收发器(未示出)或这些设备的组合、惯性测量传感器和布设在前件104、左镜腿件106和右镜腿件108内的其他传感器。
在一个或更多个实现中，眼镜100包括一个或更多个摄像装置132。尽管描绘了两个摄像装置，但是其他示例考虑使用单个或附加(即，多于两个)摄像装置132。在一个或更多个示例中，除了摄像装置132之外，眼镜100还包括任意数量的传感器或外围设备。例如，眼镜100可以包括声纳传感器、雷达传感器、激光传感器、激光雷达传感器和惯性测量单元(例如加速度计、陀螺仪和磁力计)。
前件104设置有面向外、面向前的前表面或外表面134，以及相对的面向内、面向后的后表面或内表面136，当眼镜100置于用户面部时前表面或外表面134面向前或背离用户，当眼镜100置于用户面部时后表面或内表面136面向用户面部。这样的传感器可以包括面向内的视频传感器或数字成像模块和面向外的视频传感器或数字成像模块(例如摄像装置132)，例如，前者可以安装在前件104的内表面136上或设置在前件104的内表面136内或者安装在或设置在框架102上的其他地方以便面向用户，后者可以安装在前件104的外表面134上或设置在前件104的外表面134内或者安装在或设置在框架102上的其他地方以便背离用户。这样的传感器、外围设备或外围装置还可以包括生物识别传感器、定位传感器(例如GPS)或任何其他这样的传感器。
在一个或更多个实现中，眼镜100包括输入传感器，例如触摸板或按钮(未示出)。触摸板可以安装至左镜腿件106和右镜腿件108中的一个或两个或者与其成为一体。在一个示例中，触摸板通常竖直布置，近似平行于用户的太阳穴。如本文中所使用的，通常竖直对准意味着触摸板与水平相比至少更加竖直，不过优选地是与水平相比更加竖直。可以由一个或更多个按钮提供额外的用户输入。一个或更多个触摸板和按钮提供了由此眼镜100可以从眼镜100的用户接收输入的手段。眼镜100可以包括麦克风以接收来自用户的口头命令并监测其他声音。类似地，眼镜100可以包括扬声器以向用户提供听觉反馈或允许用户播放音乐。
图2示出了来自佩戴者视角的眼镜100。为了清楚起见，省略了图1中所示的许多元件。如图1中所述，图2中所示的眼镜100包括左光学元件116和右光学元件122，左光学元件116和右光学元件122分别固定在左光学元件保持器114和右光学元件保持器120内。
眼镜100包括右前光学组件202和左前光学组件208，右前光学组件202包括右投影仪204和右近眼显示器206，左前光学组件208包括左投影仪210和左近眼显示器212。
在一个示例中，近眼显示器为波导。波导包括反射或衍射结构(例如光栅和/或光学元件，例如镜、透镜或棱镜)。由右投影仪204发射的右投影光214遇到右近眼显示器206的波导的衍射结构，其将光朝向用户的右眼引导以在右光学元件122上或右光学元件122中提供图像，该图像覆盖由用户看到的现实世界的视图。类似地，由左投影仪210发射的左投影光216遇到左近眼显示器212的波导的衍射结构，其将光朝向用户的左眼引导，以在左光学元件116上或左光学元件116中提供图像，该图像覆盖由用户看到的现实世界的视图。
然而，应当理解，可以提供可以在前方视场中向用户显示图像的其他显示技术或配置。例如，代替右投影仪204或左投影仪210和波导，可以替代地提供LCD、LED或其他显示面板或表面。
在使用中，将在近眼显示器上向眼镜100的佩戴者呈现信息、内容、AR效果、虚拟对象和各种用户界面。如下面更详细描述的，用户然后可以使用触摸板和/或按钮(未示出)、通过摄像装置视场内的手势以及通过在相关联设备(例如图10中所示的客户端设备404)上提供语音输入或触摸输入来与眼镜100交互。
图3是根据一些示例的个人移动系统的侧视图。在图3中，踏板车300被用作示例个人移动系统。应当理解，在本文中描述的示例中可以使用其他个人移动系统。踏板车300包括主体302，其中至少两个轮(即前轮306和后轮308)安装至主体302。主体302为至少单个用户提供站立(或利用固定至主体302的座位坐)的平台。踏板车300还包括耦接至轮中的至少一个(例如前轮306)的转向柱304。在一些示例中，前轮306和后轮308中的每个均包括轮毂、辐条、轮圈和轮胎。转向柱304可旋转地耦接至主体302，以允许前轮306的转向。
转向柱304还包括车把310，车把310从转向柱304以基本上垂直的取向延伸，其中车把310设置在一定高度，以便用户在骑行时使踏板车300转向。车把310可以包括左把手312和右把手314。左把手312包括加速度控件316和制动控件318，它们可操作地连接至前轮306和后轮308中的至少一个的制动器。如将在下面进一步详细讨论的，加速度控件316和制动控件318中的每个可操作地连接至管理系统324。
踏板车300还包括电源320、推进源322、管理系统324和前视传感器326。
电源320和推进源322各自独立可操作地连接至管理系统324。加速度控件316和制动控件318也各自独立可操作地连接至管理系统324，不过在一些情况下制动控件318可能仅物理地耦接至手动制动系统。在操作中，用户通过加速度控件316和制动控件318向管理系统324提供输入，以用于启动、保持、改变和停止踏板车300的移动。另外，再生制动可以经由加速度控件316提供。如将在下面进一步讨论的，用户还可以通过眼镜100和客户端设备404中的至少一个提供输入。管理系统324引导能量从电源320流向推进源322。
推进源322还包括电机、至管理系统324的动力连杆和至前轮306和后轮308中的至少一个的机械连杆，使得推进源322可以驱动轮中的至少一个。为了清楚起见，电机可以直接驱动轮或经由链条/链轮/驱动轴/变速器/或其他间接驱动手段间接驱动轮。在一些实现中，制动器和推进源可以布设在前轮306和后轮308中的至少一个的轮毂内。在图3中所示的实现中，推进源322位于前轮306中。制动器可以包括可操作地连接至制动控件318的前鼓式和后鼓式或盘式制动器。也可以使用其他类型的制动器，例如悬臂式制动器和V型制动器。
电源320可以布设在主体302内，并且可以由管理系统324充电，管理系统324又通过连接器328从外部电源接收电能。在一些实现中，电源320是可移除的，以允许用户交换电源320并远离踏板车300对每个电源320充电。
另外，管理系统324在操作时连接至前视传感器326和视觉反馈元件332。前视传感器326布设在传感器壳体330内并安装至转向柱304，使得前视传感器326在踏板车300的行进方向上具有无障碍视野。前视传感器326可以包括感测技术，例如摄像装置、声纳传感器、雷达传感器、激光传感器和激光雷达传感器；以及诸如灯或喇叭的安全部件。视觉反馈元件332面向用户并向用户提供信息(例如，电源状态、速度、位置和从管理系统324接收的其他数据)。视觉反馈元件332还可以包括可操作地连接至管理系统324的通信模块(例如蓝牙换能器、天线)。踏板车300的附加元件将在下面关于联网设备1002进一步详细讨论。在一些实现中，管理系统324的元件被集成至联网设备1002中。
图4是根据一些示例的示出了对于操作AR可穿戴设备(例如眼镜100)和个人移动系统(例如踏板车300)适合的网络环境400的网络图。网络环境400包括眼镜100、踏板车300、客户端设备404和服务器410，它们直接或经由网络408彼此通信耦接。眼镜100、踏板车300、客户端设备404和服务器410可以各自全部或部分地在计算机系统中实现，如下面关于图12所述。服务器410可以是基于网络的系统的一部分。例如，基于网络的系统可以是或包括基于云的服务器系统，其向眼镜100、踏板车300和客户端设备404提供附加信息，例如地理定位信息或虚拟内容(例如虚拟对象的三维模型)。
客户端设备404可以是智能手机、平板电脑、平板手机、膝上型计算机、接入点或任何其他能够使用低功率无线连接和高速无线连接两者与眼镜100和踏板车300连接的这样的设备。客户端设备404连接至服务器410和网络408。网络408可以包括有线连接和无线连接的任意组合。服务器410可以是作为服务或网络计算系统的一部分的一个或更多个计算设备。客户端设备404以及服务器410和网络408的任何元件可以使用图11和图12中描述的软件架构1102或机器1200的细节来实现。
用户402操作眼镜100和踏板车300。用户402可以是人用户(例如，人类)、机器用户(例如，由软件程序配置成与眼镜100和踏板车300交互的计算机)、或其任何合适的组合(例如，由机器辅助的人或由人监督的机器)。用户402不是网络环境400的一部分，但是与眼镜100、踏板车300和客户端设备404相关联。
尽管图4中的AR可穿戴设备被表示为眼镜100，但是AR可穿戴设备可以是带显示器的计算设备，例如智能手机、平板电脑或其他可穿戴计算设备。计算设备可以是手持式的，或者可以可移除地安装至用户402的头部。在一个示例中，显示器是显示用计算设备的摄像装置捕获的内容的屏幕。在另一示例中，设备的显示器可以是透明的，例如眼镜100的左光学元件116和右光学元件122中的一个或两个。
用户402与眼镜100或客户端设备404或其组合上运行的应用交互。该应用可以包括AR应用，该AR应用被配置成向用户402提供与现实世界物理环境412中的物理对象406(例如，二维物理对象(例如，图片)、三维物理对象(例如，雕像、汽车、人)、特定定位(例如，地标)或任何参照物(例如，感知的家具或墙壁的角落))相关联的体验。
除了呈现由踏板车300提供的信息以外，AR应用还可以为用户402提供与踏板车300的操作相关联的体验。例如，用户402可以指点眼镜100的摄像装置132，其捕获物理对象406(例如，停止标志、交通灯、坑洞)的图像或视频馈送。使用眼镜100的AR应用的本地上下文识别数据集模块在眼镜100中跟踪和识别图像或视频馈送的内容。本地上下文识别数据集模块可以包括与现实世界物理对象或参照物相关联的虚拟对象或机器学习模型的库。AR应用然后生成与图像或视频馈送相关的附加信息(例如，三维模型、视觉效果、文本或符号信息的覆盖)，并且响应于识别图像或视频馈送中的特征在眼镜100的显示器中呈现该附加信息。如果视频馈送或图像的内容在眼镜100处未被本地识别，则眼镜100可以通过网络408从服务器410的数据库下载附加信息(例如，三维模型或机器学习模型)，或者可以将图像或视频馈送提供给相关联的设备(例如，客户端设备404或服务器系统1008)以进行处理。
在一个示例中，服务器410可以用于基于来自眼镜100或踏板车300的传感器数据(例如图像和深度数据、定位)检测和识别物理对象406，并且基于传感器数据确定眼镜100、踏板车300和物理对象406中的至少一个的位置或姿势。服务器410还可以基于眼镜100、踏板车300、物理对象406以及在一些实现中客户端设备404的姿势和位置来检索或生成虚拟对象414。服务器410或客户端设备404将虚拟对象414传送至眼镜100，然后眼镜100可以在适当的时间向用户402显示虚拟对象414。替选地，包括虚拟对象的数据可以存储在客户端设备404、眼镜100中的本地存储器中。对象识别、跟踪、虚拟对象生成和AR渲染可以在眼镜100、踏板车300、客户端设备404、服务器410或其组合上执行。
图4中所示的机器、数据库或设备中的任一个可以在通用计算机中实施，该通用计算机通过软件修改(例如，配置或编程)为是专用计算机，以执行本文中针对该机器、数据库或设备所述的功能中的一种或更多种。例如，下面关于图11和图12讨论了能够实现本文中描述的方法中的任一种或更多种的计算机系统。如本文中所使用的，“数据库”是数据存储资源，并且可以存储结构化为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元存储、分层数据存储或其任何合适的组合的数据。此外，图4中所示的机器、数据库或设备中的任意两个或更多个可以组合成单个机器，并且本文中针对任何单个机器、数据库或设备描述的功能可以在多个机器、数据库或设备之中细分。
网络408可以是能够在机器(例如，服务器410)、数据库和设备(例如，眼镜100)之间或之中进行通信的任何网络。因此，网络408可以是有线网络、无线网络(例如，移动或蜂窝网络)或其任何合适的组合。网络408可以包括构成专用网络、公共网络(例如，因特网)或其任何合适的组合的一个或更多个部分。
图5是根据一个示例的利用显示在眼镜100的显示器1016上的AR元素增强的室外环境502的视图。在该示例中，用户正沿着环境502中的街道或路径504骑着踏板车300，环境502包括建筑物506、树508、人510等等。已经确定了眼镜100相对于环境502的姿势，并且使用已知的AR定位和跟踪技术(包括例如通过视觉处理技术，例如同时定位和映射(SLAM))来持续更新眼镜100相对于环境502的姿势。通过将SLAM数据与存储在服务器410中或下载至眼镜100、客户端设备404或踏板车300的环境502的现有点云模型进行比较，可以改进眼镜100的姿势，并且可以进一步确定环境的特定身份和特性。另外，眼镜100、踏板车300或客户端设备404的定位可以根据GPS坐标或者通过这些设备彼此共享定位信息来确定。
眼镜100的姿势允许在环境参考系中向用户显示虚拟对象。也就是说，可以通过眼镜100在路径504上的固定位置显示诸如加电512(图示为蘑菇)和掉电514(图示为香蕉)的虚拟对象。当用户转动他们的头部或接近虚拟对象之一时，保持其在路径504上的明显位置，并且随着用户接近或远离虚拟对象进行适当的缩放。虚拟对象414的位置可以针对特定定位(例如沿着热门路线)预定义，或者可以由AR应用间歇地定位。在一个示例中，虚拟对象414的位置和身份在环境地图中定义，该环境地图存储在客户端设备404或服务器410上并且由AR应用基于眼镜100的姿势和定位来访问。类似地，定义各个虚拟对象414(包括它们的外观和性能变更特性)的数据存储在服务器410上托管的数据库中或本地存储在客户端设备404上。
由于用户在环境502中的位置是已知的(是踏板车300、眼镜100或客户端设备404的位置)，并且虚拟对象414在环境502中的位置是已知的，因此用户可以通过骑过如由用户感知到的虚拟对象或骑行穿过这些虚拟对象与虚拟对象交互。这样的交互的效果将取决于虚拟对象的性质。例如，当检测到踏板车300正经过加电512(的定位)时，踏板车300的可用于使用的最大功率可以增加，或者踏板车的最大速度可以增加，通常在与特定虚拟对象相关联的某个预定时间量内。类似地，当检测到踏板车300正在经过掉电514时，踏板车300的可用于使用的最大功率可以降低，或者踏板车的最大速度可以降低，通常在某个预定时间量内，或者可以完全使踏板车300停止，再次在与特定虚拟对象相关联的某个预定时间量内。
通常通过将相应指令从眼镜100或客户端设备404发送至踏板车300来执行响应于用户在虚拟对象414的定位处的检测来调整踏板车的特性，相应指令由眼镜100或客户端设备检测到用户的位置(如由踏板车300、眼镜100或客户端设备404的位置表示)与虚拟对象的位置相对应而触发。以此方式，与虚拟对象的交互可以影响诸如踏板车300的现实设备的行为或特性。当然将理解，踏板车300本身实际上没有骑过虚拟对象414，而是由眼镜100、客户端设备404或踏板车300来检测踏板车300在虚拟对象414的感知定位处的位置。
在另一示例中，与虚拟对象(例如，如图5中所示的加电512)的交互可以导致由用户获取虚拟对象414以供在稍后的时间使用，在这种情况下，虚拟对象可以转移至眼镜100或踏板车300的参考系并定位在眼镜100或踏板车300的参考系中，如下面参照图6更详细所述。在这样的情况下，如上面所讨论的，需要用户与虚拟对象的进一步交互来触发踏板车300的行为或特性的改变。用户因此可以获取加电512或其他虚拟对象，并选择在他们选择的时间使用它。
图6是根据一个示例的户外环境502中的踏板车300的车把310的视图，其中踏板车300已用AR元素进行增强。在这种情况下，由眼镜100在踏板车300的参考系中向用户402显示虚拟对象，例如加电602、节能模式604和运动模式606。在该示例中，虚拟对象被示出为浮置在踏板车300的车把310正上方。当用户402转动他们的头部或者更靠近或更远离虚拟对象之一时，保持其在车把310上的位置，并且随着用户接近或远离虚拟对象而进行适当的缩放。
图6中所示的虚拟对象可以持续存在于踏板车300的参考系中，例如，节能模式604和运动模式606的虚拟对象可以表示在踏板车300的操作期间始终可用的踏板车操作的特征或调整。以此方式，踏板车的可用控制特征可以扩展到使用踏板车上的物理控件可用的特征之外。
图6中所示的虚拟对象414也可以在踏板车操作期间出现和消失，例如，它们可以在它们变得可用时出现以供使用，并且然后可以在使用之后消失。在一种情况下，当踏板车骑过如图5中所示的加电512时，加电512将从路径504消失，并且在踏板车300的参考系中显示为加电602，如图6中所示。如下面所讨论的，这可能在如下情况下发生：当踏板车300到达现实世界中的对应于加电512的定位的位置时，加电512的性能修改效果没有立即发生，而是延迟直到用户决定激活它的这样的时间为止。加电512已经被有效地获取而不是通过踏板车300的通过而被激活。
为了便于定位图6中的虚拟对象414，通过眼镜100或客户端设备404在眼镜100的摄像装置132的视场内使用应用于来自摄像装置132的视频馈送的对象检测技术来检测车把310。使用3D重建技术，眼镜100与车把310之间的相对位置和取向可以由眼镜100或客户端设备404确定，从而允许在车把310与眼镜100之间的相对位置由于用户或车把移动而改变时虚拟对象在车把310上方的正确放置。
在另一个示例中，踏板车300和眼镜100的相对位置和取向可以通过在通用局部或全局参考系中比较它们各自的姿势来确定。在这样的情况下，对于踏板车300，将有必要的是，提供与车把转动的角度相关的数据，以便在用户视场中将虚拟对象固定至车把310。替选地，虚拟对象可以参考主体302或转向柱304固定，以以固定的取向浮置在车把310或(个人移动系统的其他部分)上方，而不管车把310的取向如何。
在图6中所示的示例的使用中，使用手势检测或其他视觉对象相交技术在来自摄像装置132中的一个或两个的视频馈送中检测用户的手或手指与虚拟对象之一(加电512、节能模式604、运动模式606)的相交。响应于这样的检测，由眼镜100或客户端设备404提供指令，以基于用户已经与其交互的特定虚拟对象来适当地修改踏板车300的行为。
图7是根据一个示例的通过显示在眼镜100的显示器1016上的AR元素增强的室外环境702的视图。如前面的，用户正骑着踏板车300穿过室外环境702。已经确定了眼镜100相对于环境702的姿势，并且使用已知的AR定位和跟踪技术(包括例如通过诸如同步定位和映射(SLAM)的视觉处理技术)来持续更新眼镜100相对于环境702的姿势。通过将SLAM数据与存储在服务器410中或下载至眼镜100、客户端设备404或踏板车300的环境702的现有点云模型进行比较，可以改进眼镜100的姿势，并且可以进一步确定环境的特定身份和特性。另外，眼镜100、踏板车300或客户端设备404的定位可以根据GPS坐标或者通过这些设备彼此共享位置信息来确定。
在该示例中，环境702包括步行路径704、自行车路径706、街道710和位于自行车路径706上以指示自行车路径706中的危险的交通锥712。在该示例中，不允许个人移动系统在步行路径704上使用，而只能在自行车路径706上使用。为了帮助用户导航环境，一个或更多个虚拟对象414被放置在如由眼镜100显示的用户视场中。在该示例中，彩色AR覆盖物708位于自行车路径706上，以突出显示允许用户采用的路径，从而有助于正确的骑行礼仪。替选地，禁止区域(例如步行路径704)或更危险的区域(例如有车的街道710)可以提供有代替706上的AR覆盖物708或除了706上的AR覆盖物708之外的覆盖物。可以使用不同的颜色或效果来区分可以由踏板车300穿越的正确路径或区域与禁区或危险区域。
与上面讨论的示例一样，通过踏板车300与环境中AR覆盖物708的定位的接近来与AR覆盖物708交互可以影响踏板车的行为和特征。在AR覆盖物708的情况下，将踏板车定位在自行车路径706上(即，在如由用户感知的AR覆盖物708上)可以实现在踏板车300的全能力下的操作，而开出自行车路径706(或者开出如由用户感知的AR覆盖物708)可能会导致踏板车300的功能降低。还可以提供额外的效果以提示用户使用正确的路径，例如通过在踏板车离开自行车路径706时改变如由眼镜100显示的AR覆盖物708的颜色或其他效果(例如闪烁或脉冲)。替选地，如果在步行路径704或街道710上提供覆盖物或其他虚拟对象414，则将踏板车300定位在覆盖物上或使踏板车300与虚拟对象相交可能会触发踏板车300的功能降低，踏板车300的功能在踏板车300定位在自行车路径706上时不会改变。
在眼镜100或客户端设备404上运行的AR应用还可以使用已知的对象检测和识别技术扫描环境702中的相关物理对象或特征。例如，在图7中，可以由眼镜100或客户端设备404检测作为在自行车路径706中可能存在危险的指示符的交通锥712。然后，可以由眼镜100显示虚拟对象414以突出显示交通锥。例如，可以在如由用户通过眼镜100查看的场景中的交通锥712上或周围放置脉冲或闪烁的高对比度AR覆盖物。
可以以这种方式突出显示任何危险、识别危险或向个人移动系统的骑行者提供其他相关信息的物理对象406，包括人行横道、标志、警示带等。
除了强调物理对象之外，可以响应于与危险的接近而变更个人移动系统的行为。例如，当用户402接近危险时，如前面的，可以施加制动或者可以降低最大速度或最大功率。
图8是根据另一示例的用显示在眼镜100的显示器1016上的AR元素增强的室外环境802的视图。如前面的，用户正骑着踏板车300穿过室外环境802。同样如前面的，环境802包括步行路径704、自行车路径706和街道710。关于参照图7讨论的环境702，可以提供AR覆盖物708以突出显示自行车路径706，但是为了清楚起见，在图8中省略了该特征。
在该示例中，在眼镜100或客户端设备404上运行的AR应用使用已知的对象检测和识别技术检测到环境702中的另外未标记的危险(坑洞804)。在一个示例中，使用加载至客户端设备404或眼镜100的存储器中的潜在障碍物或对象的上下文或定位特定的ML模型来执行对象检测和识别。这减轻了数据处理负担，因为眼镜100或客户端设备404仅需要搜索可能在该上下文中或在该定位处存在的潜在障碍物或警告标志。例如，如果用户402正骑在山地自行车道上，则上下文特定的ML模型将不包括路标。
在图7的示例中，响应于检测到坑洞804，由眼镜100在眼镜100的视场中的坑洞804的感知到的定位处显示虚拟交通锥806。可以应用各种效果。例如，可以在如由用户通过眼镜100查看的场景中的虚拟交通锥806上或周围放置脉冲或闪烁高对比度AR覆盖物。
可以以这种方式突出显示任何危险、识别危险或向个人移动系统的骑行者提供其他相关信息的物理对象406，包括人行横道、标志、坑洞、天坑、壕沟、沟渠等。除了虚拟交通锥806之外或代替虚拟交通锥806，可以将其他虚拟标志(例如带有“前方危险”的标志)放置在物理危险(例如眼镜100视场中的坑洞804)上方或前方。
除了强调物理对象以外，个人移动系统的行为可以响应于与虚拟交通锥806的接近而变更。例如，如前面的，可以施加制动或者可以降低最大速度或最大功率。
图9是根据一个示例的示出了网络环境400的操作的流程图900。图9中所示的操作通常将在客户端设备404和眼镜100的组合上执行，但是这些操作可以专门在眼镜100中执行或者在眼镜100以及客户端设备404、踏板车300和服务器410中的一个或全部的组合中执行。各种实现当然是可能的。在一个示例中，操作在眼镜100之间联合执行，眼镜100向在客户端设备404上运行的AR应用提供来自其摄像装置132中的至少一个的用于处理的视频馈送和来自其IMU和GPS接收器的位置信息，该AR应用处理视频馈送，执行任何所需的3D重建和跟踪，并生成包括虚拟对象414的AR效果并将该AR效果发送至眼镜100以显示给用户402。为了清楚起见，在本文中参考这样的示例来讨论流程图900。
在流程图900开始之前，眼镜100的定位和跟踪已经开始并正在进行。因此，眼镜100和客户端设备404上运行的AR应用已知眼镜的姿势及其在环境502中的位置。另外，如果需要，相关设备(例如踏板车300或客户端设备404)的定位和姿势被确定并根据需要在眼镜100、踏板车300和客户端设备404之间传送。
在已知其存在和位置的虚拟对象414的情况下，例如在图5中，包括虚拟对象414的定位的环境地图已从服务器410下载至客户端设备404或者可用于从服务器410下载至客户端设备404。在检测危险(包括危险的标识符)的情况下，例如在图7或图8中，客户端设备404已经执行对象检测和识别技术并且继续执行对象检测和识别技术以识别和定位眼镜100的视场内的危险。一旦识别出危险，相应的虚拟对象414被放置在环境地图中或眼镜100的参考系中的相应定位处。
该方法开始于操作902处，操作902在眼镜100的定位和视场与任何附近虚拟对象414的定位之间进行比较。这种比较的目的是双重的。首先，在眼镜100的显示器中显示任何可见的虚拟对象414，该虚拟对象414固定至适当的参考系(例如，如图7中所示的全局现实世界参考系或如图6中所示的局部参考系(例如踏板车300的))，以及其次，确定用户和固定在现实世界参考系中的虚拟对象414(例如，掉电514或加电512)的任何相交或者用户与固定在现实世界参考系中的虚拟对象414(例如，掉电514或加电512)之间的接近。出于后一目的，设备(眼镜100、踏板车300或客户端设备404)中的任一个的定位都可以用作用户定位的代表，因为出于该方法的目的，它们本质上将与用户402并置。
在框904中，由眼镜100使用常规AR技术渲染任何可见的虚拟对象414。在一些情况下，由于如由环境的3D模型确定的介入虚拟对象或物理对象，例如基于该区域的现有3D点云模型或由眼镜100或客户端设备404对来自摄像装置132的视频馈送执行的3D重建技术，在眼镜100的视线中的附近虚拟对象可能不可见。从框904，该方法返回至操作902，并且该循环重复地继续以确保由用户进行的任何移动(如由眼镜100、踏板车300和客户端设备404中的一个或更多个的移动所反映的)以及新的或当前虚拟对象414在用户402的视场中的出现由眼镜100正确地显示给用户402。
从操作902，该方法还继续进行至判定框906，在判定框906中，确定用户402(或用户402的一部分)的定位是否接近虚拟对象414。这可能由于眼镜100、踏板车300或客户端设备404到达虚拟对象414在现实世界中的定位，或者由于视觉上检测到用户402的手或其他身体部位与虚拟对象414的相交。用户402和虚拟对象414需要多近才能断定用户接近对象将取决于特定虚拟对象和相关联的实现。对于加电512或掉电514，接近将足够靠近以使用户402和虚拟对象414基本上并置。对于将触发警告或性能特性变化的虚拟对象，例如虚拟交通锥，或者对于将到达或离开AR覆盖物708的虚拟对象，接近可以适当地较大，以便在踏板车实际到达危险处或开出授权路径之前提供足够的警告。用户402与虚拟对象414之间的相交不需要在所有情况下都是视觉相交——满足特定虚拟对象的测试的足够的接近可以被认为是相对于该特定虚拟对象的相交。
如果在判定框906中未检测到相交，则该方法返回至操作902并从那里继续。如果在判定框906中检测到相交，则在框908处，在适当时更新虚拟对象414。例如，加电512或掉电514可能从其定位消失，并且因此不可用于由用户402或其他骑行者重新使用。消失可能是暂时的，或者直到过程重新开始为止。另一方面，诸如虚拟交通锥或AR覆盖物708的对象可能是持久的。
然后，该方法继续进行至框910，在框910中处理与虚拟对象414相关联的参数，以确定要由眼镜100或客户端设备404采取的适当动作。响应于与虚拟对象414的相交而采取的动作将取决于虚拟对象414的特定特性。与虚拟对象相关联的参数将定义是否存在与和虚拟对象414的相交相关联的任何声音或视觉、踏板车300(或其他个人移动系统)的可用或当前性能特性的相关联变化的性质和程度、性能特性变化的持续时间(永久地、在特定量时间内、在只要踏板车300足够接近虚拟对象414的定位的时间内等)、以及改变的定时(立即、延迟、延迟直到被用户402激活、延迟直到满足另一条件等)。
对于与性能的即时变化相关联的虚拟对象414，该方法在框912处继续进行，在框912中指令或信号从客户端设备404或眼镜100发送至踏板车300，以根据虚拟对象414的特性变更踏板车300的性能特性。该方法然后返回至操作902并从那里继续进行。
对于与延迟的性能变化相关联的虚拟对象414，该方法在框914处继续进行，在框914中虚拟对象被转移至新的定位，通常在眼镜100或踏板车300的局部参考系中，其中可以从用户402接收输入，以在用户的选择的时间激活对应于虚拟对象414的性能变更特性。用户因此有效地获取了虚拟对象414。
在框916中接收到对虚拟对象的选择时(例如，如上面参照图6所讨论的)，在框918中，从客户端设备404或眼镜100向踏板车300发送指令或信号，以根据虚拟对象414的特性变更踏板车300的性能特性。由踏板车300的管理系统324接收并处理包括相关参数的指令或信号，例如性能特性变更的性质、量和持续时间，从而实现特定的性能特性变更。该方法然后返回至操作902并从那里继续进行。
图10是根据一些示例的示出了包括眼镜100和踏板车300细节的联网设备1002的框图1000。
联网设备1002(例如眼镜100、踏板车300、客户端设备404)通信上耦接到至少一个第二联网设备1004和服务器系统1008。做出联网设备1002与第二联网设备1004之间的区别仅出于区分两个不同设备的目的。应该理解的是，本文中关于联网设备1002进行的描述在同等程度上描述了第二联网设备1004。
联网设备1002能够使用低功率无线连接1010和高速无线连接1012与第二联网设备1004通信上耦接。第二联网设备1004经由网络1006连接至服务器系统1008。网络1006可以包括有线连接和无线连接的任意组合。服务器系统1008可以是作为服务或网络计算系统的一部分的一个或更多个计算设备。第二联网设备1004以及服务器系统1008和网络1006的任何元件可以使用图11和图12中描述的软件架构1102或机器1200的细节来实现。
联网设备1002可以包括数据处理器1014、显示器1016、一个或更多个摄像装置1018、输入/输出元件1020和附加传感器1022。输入/输出元件1020可以包括麦克风、音频扬声器、生物识别传感器或与数据处理器1014集成的附加显示元件(例如视觉反馈元件332)。在一些实现中，输入/输出元件1020(例如扬声器、喇叭、触觉发生器、显示器和头灯/信号灯/指示灯)都用于向联网设备1002的用户提示安全问题，视觉上、听觉上或触觉上警告骑行者注意安全问题。关于图11和图12进一步讨论了输入/输出元件1020的示例。例如，输入/输出元件1020可以包括包含输出部件1204、运动部件1206等的I/O部件1202中的任一个。在图1和图2中讨论了显示器1016的示例。在本文中描述的特定示例中，显示器1016包括用于用户左眼和右眼中的每一个的显示器。
传感器1022可以包括光学传感器(例如光敏电阻、激光雷达、红外线)、射频传感器(例如雷达)、机械波传感器(例如声纳、压力)和惯性传感器(例如加速度计、陀螺仪、磁力计)。联网设备1002可以使用前述中的一些或全部以便检测物理对象或确定联网设备1002的位置或姿势。例如，惯性传感器可以提供关于联网设备1002的滚动、偏航和俯仰的信息。联网设备1002可以使用该信息来检测事故或其他撞击并通知用户事故或其他撞击，检测上坡行驶以增加给推进源(例如，推进源322)的功率，或检测下坡行驶以建立系统制动或功率回收以防止联网设备1002(或第二联网设备1004)超过安全速度和加速度。与加速度计/速度计数据的结合还为联网设备1002提供了重要的数据，以进行检测、在必要时进行干预和发送指令来驱动推进(例如，通过管理系统324到推进源322)和制动性能。
数据处理器1014包括图像处理器1024(例如，视频处理器)、GPU和显示驱动器1026、跟踪模块1028、低功率电路系统1030和高速电路系统1032。数据处理器1014的部件通过总线1034互连。
数据处理器1014还包括接口1036。接口1036是指被提供至数据处理器1014的用户命令的任何源。在一个或更多个示例中，接口1036是物理按钮，当按下该物理按钮时，将用户输入信号从接口1036发送至低功率处理器1038。低功率处理器1038可以将按下这样的按钮然后立即释放作为捕获单个图像的请求来处理，反之亦然。低功率处理器1038可以将在第一时间段内按下这样的按钮作为在按钮被按下时捕获视频数据以及在按钮被释放时停止视频捕获的请求来处理，其中将按钮被按下时捕获的视频存储为单个视频文件。替选地，按下按钮达长时间段可以捕获静止图像。在其他示例中，接口1036可以是能够接受与来自摄像装置1018的数据请求相关联的用户输入的任何机械开关或物理接口。在其他示例中，接口1036可以具有软件部件，或者可以与从另一源例如从客户端设备404无线接收的命令相关联。
图像处理器1024包括用于接收来自摄像装置1018的信号并且将来自摄像装置1018的那些信号处理成适合存储在存储器1044中或适合发送至客户端设备404的格式的电路系统。在一个或更多个示例中，图像处理器1024(例如，视频处理器)包括针对处理来自摄像装置1018的传感器数据而定制的微处理器集成电路(IC)、以及微处理器在操作中使用的易失性存储器。
低功率电路系统1030包括低功率处理器1038和低功率无线电路系统1040。低功率电路系统1030的这些元件可以实现为单独的元件或者可以在单个IC上实现为单个芯片上系统的一部分。低功率处理器1038包括用于管理联网设备1002的其他元件的逻辑。如上面所描述的，例如，低功率处理器1038可以接受来自接口1036的用户输入信号。低功率处理器1038还可以被配置成经由低功率无线连接1010从客户端设备404接收输入信号或指令通信。低功率无线电路系统1040包括用于实现低功率无线通信系统的电路元件。BluetoothTMSmart，也称为BluetoothTM低功耗，是可以用于实现低功率无线电路系统1040的低功率无线通信系统的一种标准实现方式。在其他示例中，可以使用其他低功率通信系统。
高速电路系统1032包括高速处理器1042、存储器1044和高速无线电路系统1046。高速处理器1042可以是能够管理数据处理器1014所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器1042包括使用高速无线电路系统1046管理高速无线连接1012上的高速数据传输所需的处理资源。在某些示例中，高速处理器1042执行诸如LINUX操作系统的操作系统或诸如图11的操作系统1104的其他这样的操作系统。除了任何其他职责之外，使用执行数据处理器1014的软件架构的高速处理器1042来管理与高速无线电路系统1046的数据传输。在特定示例中，高速无线电路系统1046被配置成实现电气和电子工程师协会(IEEE)802.11通信标准，其在本文也称为Wi-Fi。在其他示例中，高速无线电路系统1046可以实现其他高速通信标准。
存储器1044包括能够存储由摄像装置1018和图像处理器1024生成的摄像装置数据的任何存储装置。虽然存储器1044被示出为与高速电路系统1032集成，但是在其他示例中，存储器1044可以是数据处理器1014的单独的独立元件。在特定的这样的示例中，电气布线可以提供通过包括高速处理器1042的芯片的从图像处理器1024或低功率处理器1038到存储器1044的连接。在其他示例中，高速处理器1042可以管理存储器1044的寻址，使得低功率处理器1038将在需要涉及存储器1044的读或写操作的任何时候引导高速处理器1042。
跟踪模块1028估计联网设备1002的姿势。例如，跟踪模块1028使用来自摄像装置1018和位置部件1208的图像数据和对应的惯性数据以及GPS数据来跟踪位置并且确定联网设备1002相对于参考系(例如，现实世界环境)的姿势。跟踪模块1028不断地收集和使用描述联网设备1002的移动的更新后的传感器数据来确定更新后的联网设备1002的三维姿势，该姿势指示相对于现实世界环境中的物理对象的相对位置和取向的变化。
在联网设备1002的眼镜100实现中，跟踪模块1028允许通过联网设备1002，经由显示器1016在用户的视场内相对于物理对象视觉放置虚拟对象。GPU和显示驱动器1026可以使用联网设备1002或第二联网设备1004的姿势来生成当联网设备1002以传统增强现实模式运行时要在显示器1016上呈现的虚拟内容或其他内容的帧。在该模式下，GPU和显示驱动器1026基于联网设备1002和/或第二联网设备1004的更新的三维姿势生成虚拟内容的更新的帧，其反映了用户相对于用户现实世界环境中的物理对象的位置和取向的变化。
本文中所述的一种或更多种功能或操作也可以在联网设备1002、第二联网设备1004或服务器系统1008上驻留的应用中执行。例如，本文中描述的一种或更多种功能或操作可以由诸如消息收发应用1108的应用1106之一来执行。
图11是示出可以安装在本文中描述的设备中的任何一个或更多个设备上的软件架构1102的框图1100。软件架构1102由硬件例如包括处理器1112、存储器1114和I/O部件1116的机器1110支持。在该示例中，软件架构1102可以被概念化为层的堆栈，在该层的堆栈中，每个层提供特定的功能。软件架构1102包括诸如操作系统1104、库1118、框架1120和应用1106的层。在操作上，应用1106通过软件堆栈来调用API调用1122并且响应于API调用1122接收消息1124。
操作系统1104管理硬件资源并且提供公共服务。操作系统1104包括例如：内核1126、服务1128、以及驱动器1130。内核1126用作硬件与其他软件层之间的抽象层。例如，内核1126提供存储器管理、处理器管理(例如，调度)、部件管理、联网和安全设置等功能。服务1128可以为其他软件层提供其他公共服务。驱动器1130负责控制底层硬件或与底层硬件对接。例如，驱动器1130可以包括显示驱动器、摄像装置驱动器、或低功耗驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电力管理驱动器等。
库1118提供由应用1106使用的低级别公共基础设施。库1118可以包括系统库1132(例如，C标准库)，该系统库1132提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外，库1118可以包括API库1134，例如媒体库(例如，用于支持各种媒体格式的呈现和操纵的库，所述各种媒体格式例如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如，用于在显示器上的图形内容中以二维(2D)和三维(3D)呈现的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供web浏览功能的WebKit)等。库1118还可以包括各种其他库1136，以向应用1106提供许多其他API。
框架1120提供由应用1106使用的高级别公共基础设施。例如，框架1120提供各种图形用户界面(GUI)功能、高级资源管理和高级定位服务。框架1120可以提供可以由应用1106使用的广泛的其他API，其中一些API可以特定于特定的操作系统或平台。
在示例中，应用1106可以包括家庭应用1138、联系人应用1140、浏览器应用1142、书籍阅读器应用1144、定位应用1146、媒体应用1148、消息收发应用1108、游戏应用1150和诸如第三方应用1152的各种各样的其他应用。应用1106是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的应用1106中的一个或更多个，编程语言例如是面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C语言或汇编语言)。在特定示例中，第三方应用1152(例如，由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、Phone的移动操作系统或另一移动操作系统上运行的移动软件。在该示例中，第三方应用1152可以调用由操作系统1104提供的API调用1122以有助于本文中所描述的功能。
图12是机器1200的图解表示，在该机器1200中可以执行使机器1200执行本文中讨论的方法中的任何一种或更多种的指令1210(例如，软件、程序、应用、小程序、app或其他可执行代码)。例如，指令1210可以使机器1200执行本文中描述的方法中的任何一种或更多种。指令1210将通用的未编程的机器1200变换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器1200。机器1200可以作为独立设备操作或者可以耦接(例如，联网)至其他机器。在联网部署中，机器1200可以以在服务器客户端网络环境中的服务器机器或客户端机器的能力进行操作，或者作为在对等(或分布式)网络环境中的对等机器进行操作。机器1200可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、AR可穿戴设备(例如，智能手表)、智能家居设备(例如，智能电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由机器1200采取的动作的指令1210的任何机器。此外，虽然仅示出了单个机器1200，但是术语“机器”还应被认为包括单独地或联合地执行指令1210以执行本文中讨论的方法中的任何一种或更多种的机器的集合。
机器1200可以包括处理器1212、存储器1214和I/O部件1202，处理器1212、存储器1214和I/O部件1202可以被配置成经由总线1216彼此通信。在示例中，处理器1212(例如，中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其它处理器或其任何合适的组合)可以包括例如执行指令1210的处理器1218和处理器1220。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)。尽管图12示出了多个处理器1212，但是机器1200可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任意组合。
存储器1214包括主存储器1222、静态存储器1224和存储单元1226，所述主存储器1222、静态存储器1224和存储单元1226均可由处理器1212经由总线1216访问。主存储器1214、静态存储器1224和存储单元1226存储实现本文所述的方法或功能中的任何一种或更多种的指令1210。在由联网设备1002执行指令1210期间，指令1210还可以全部地或部分地驻留在主存储器1222内、在静态存储器1224内、在机器可读介质1228内、在存储单元1226内、在处理器1212中的至少一个内(例如，在处理器的高速缓冲存储器内)或者在其任何合适的组合内。
I/O部件1202可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的各种部件。包括在特定机器中的特定I/O部件1202将取决于机器类型。例如，诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构，而无头服务器(headless server)机器将可能不包括这样的触摸输入设备。要理解的是，I/O部件1202可以包括图12中未示出的许多其他部件。在各种示例中，I/O部件1202可以包括输出部件1204和输入部件1230。输出部件1204可以包括视觉部件(例如，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学部件(例如，扬声器)、触觉部件(例如，振动电机、阻力机构)、其他信号发生器等。输入部件1230可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸姿势的定位和/或力的触摸屏、或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
在另外的示例中，I/O部件1202可以包括：生物识别部件1232、运动部件1206、环境部件1234、或位置部件1208以及各种其他部件。例如，生物识别部件1232包括用于检测表达(例如，手部表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1206包括加速度传感器部件(例如，加速计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环境部件1234包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量结果或信号的其他部件。位置部件1208包括位置传感器部件(例如，GPS接收器部件)、海拔传感器部件(例如，检测可以得到海拔的气压的高度计或气压计)、取向传感器部件(例如，磁力计)等。
可以使用各种各样的技术来实现通信。I/O部件1202还包括通信部件1236，通信部件1236能够进行操作以分别经由耦接1242和耦接1244将联网设备1002耦接至网络1238或设备1240。例如，通信部件1236可以包括与网络1238对接的网络接口部件或另一合适的设备。在另外的示例中，通信部件1236可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如，/>低功耗)、/>部件以及经由其他模态提供通信的其他通信部件。设备1240可以是另一机器或各种各样的外围设备中的任何外围设备(例如，经由USB耦接的外围设备)。
此外，通信部件1236可以检测标识符或者包括可操作以检测标识符的部件。例如，通信部件1236可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如，用于检测下述的光学传感器：一维条形码，例如，通用产品代码(UPC)条形码；多维条形码，例如，快速响应(QR)代码、Aztec代码、数据矩阵、数据图示符(Dataglyph)、麦克斯码(MaxiCode)、PDF417、超代码、UCC RSS-2D条形码和其他光学代码)、或者声学检测部件(例如，用于识别标记的音频信号的麦克风)。另外，可以经由通信部件1236得到各种信息，例如经由因特网协议(IP)地理定位的定位、经由信号三角测量的定位、经由检测可以指示特定定位的NFC信标信号的定位等。
各种存储器(例如，存储器1214、主存储器1222、静态存储器1224和/或处理器1212的存储器)和/或存储单元1226可以存储由本文中描述的方法或功能中的任何一个或更多个实现或使用的指令和数据结构(例如，软件)中的一组或更多组。这些指令(例如，指令1210)在由处理器1212执行时使各种操作实现所公开的示例。
可以经由网络接口设备(例如，通信部件1236中包括的网络接口部件)，使用传输介质并且使用许多公知的传输协议中的任意一种传输协议(例如，超文本传输协议(HTTP))，通过网络1238来发送或接收指令1210。类似地，可以使用传输介质经由耦接1244(例如，对等耦接)将指令1210发送或接收至设备1240。
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。指令可以经由网络接口设备使用传输介质通过网络发送或接收。
“客户端设备”是指与通信网络接口以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另外类型的网络或者两个或更多个这样的网络的组合。例如，网络或网络的一部分可以包括无线网络或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接可以实现各种类型的数据传输技术中的任何数据传输技术，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进的增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通讯系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有由功能或子例程调用、分支点、API或被提供用于对特定处理或控制功能进行分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由其接口与其他部件对接以执行机器处理。部件可以是被设计用于与其他部件一起使用的封装功能硬件单元，并且通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如，在机器可读介质上实现的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例中，可以通过软件(例如，应用或应用部分)将一个或更多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如，处理器或处理器组)配置成进行操作以执行如本文描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如，硬件部件可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件部件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路系统。例如，硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件而配置，硬件部件就成为被唯一地定制成执行所配置功能的特定机器(或机器的特定部件)，而不再是通用处理器。将理解的是，可以由于成本和时间考虑来驱动对机械地在专用且永久配置的电路系统中实现硬件部件或者在临时配置(例如，通过软件配置)的电路系统中实现硬件部件的决定。相应地，短语“硬件部件”(或“硬件实现的部件”)应当被理解成包含有形实体，即被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)成以某种方式操作或者执行本文中描述的某些操作的实体。考虑硬件部件被临时配置(例如，被编程)的示例，硬件部件中的每个无需在任一时刻被配置或实例化。例如，在硬件部件包括通过软件配置而成为专用处理器的通用处理器的情况下，该通用处理器可以在不同时间处被配置成各自不同的专用处理器(例如，包括不同的硬件部件)。软件相应地对一个或多个特定处理器进行配置，以例如在一个时刻处构成特定硬件部件并且在不同时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此，描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下，可以通过在两个或更多个硬件部件之间或者在两个或更多个硬件部件之中的信号传输(例如，通过适当的电路和总线)来实现通信。在多个硬件部件在不同时间被配置或实例化的示例中，可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在存储器结构中检索信息来实现这样的硬件部件之间的通信。例如，一个硬件部件可以执行操作，并且将该操作的输出存储在与其通信地耦接的存储器设备中。然后，另外的硬件部件可以在随后的时间访问存储器设备，以检索所存储的输出并对其进行处理。硬件部件还可以发起与输入设备或输出设备的通信，并且可以对资源进行操作(例如，信息的收集)。本文描述的示例方法的各种操作可以至少部分地通过临时配置(例如，通过软件)或永久配置成以执行相关操作的一个或更多个处理器来执行。无论是临时配置还是永久配置，这样的处理器可以构成进行操作以执行本文中描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的，“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地，本文中描述的方法可以至少部分地由处理器实现，其中特定的一个或多个处理器是硬件的示例。例如，方法的操作中的至少一些可以由一个或更多个处理器或者处理器实现的部件执行。此外，一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)进行操作。例如，操作中的至少一些可以由一组计算机(作为包括处理器的机器的示例)来执行，其中这些操作可以经由网络(例如，因特网)和经由一个或更多个适当的接口(例如，API)来访问。操作中的某些操作的执行可以分布在处理器之间，不仅驻留在单个机器内，而且跨多个机器部署。在一些示例中，处理器或处理器实现的部件可以位于单个地理定位中(例如，在家庭环境、办公室环境或服务器群内)。在其他示例中，处理器或处理器实现的部件可以跨多个地理定位分布。
“计算机可读介质”是指机器存储介质和传输介质两者。因此，这些术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物并且可以在本公开内容中互换使用。
“短暂消息”是指可以在时间有限的持续时间内访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。替选地，访问时间可以是默认设置或者由接收方指定的设置。无论设置技术如何，该消息都是暂时的。
“机器存储介质”是指存储可执行指令、例程和/或数据的单个或多个存储设备和/或介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。因此，该术语应当被视为包括但不限于固态存储器以及光学和磁介质，包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括：非易失性存储器，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物并且可以在本公开内容中互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质，所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器码”等)操纵数据值并且产生被应用于操作机器的对应输出信号的任何电路或虚拟电路(通过在实际处理器上执行的逻辑模拟的物理电路)。例如，处理器可以是中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器还可以是具有可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质，并且“信号介质”包括数字通信信号或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以将信息编码在信号中的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物，并且可以在本公开内容中互换使用。
在不脱离本公开内容的范围的情况下，可以对所公开的示例进行改变和修改。这些以及其他改变或修改旨在包括在如所附权利要求书中所表达的本公开内容的范围内。

Claims (20)

1.一种控制个人移动系统的方法，包括：
在增强现实可穿戴设备上显示虚拟对象，所述虚拟对象位于所述增强现实设备的视场中的与现实世界中的位置相对应的位置中；
检测所述个人移动系统或所述个人移动系统的用户与所述现实世界中的所述位置的接近；以及
响应于对接近的所述检测，修改所述个人移动系统的性能特性。
2.根据权利要求1所述的方法，其中，对所述性能特性的修改包括所述个人移动系统的最大速度或最大功率的变更。
3.根据权利要求1所述的方法，其中，对所述性能特性的修改基于所述虚拟对象的参数在预定时间内发生。
4.根据权利要求1所述的方法，其中，所述现实世界中的所述位置是固定至所述个人移动系统的至少一部分的参考系中的定位。
5.根据权利要求1所述的方法，其中，所述现实世界中的所述位置处于所述个人移动系统所位于的环境中的参考系中的定位中。
6.根据权利要求5所述的方法，还包括：
响应于对接近的所述检测，将所述虚拟对象从所述环境中的所述参考系中的所述定位转移至固定至所述个人移动系统的至少一部分的参考系中的定位；以及
延迟修改所述个人移动系统的性能特性，直到检测到所述个人移动系统的所述用户与固定至所述个人移动系统的至少一部分的所述参考系中的所述定位的相交为止。
7.根据权利要求1所述的方法，还包括：
响应于对所述个人移动系统或所述个人移动系统的所述用户与所述现实世界中的所述位置的接近的所述检测，将来自所述增强现实可穿戴设备的显示器的所述虚拟对象从所述虚拟对象在所述增强现实设备的视场中的与所述现实世界中的所述位置相对应的位置移除。
8.一种非暂态计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令当由计算机执行时使所述计算机执行用于控制个人移动系统的操作，所述操作包括：
在增强现实可穿戴设备上显示虚拟对象，所述虚拟对象位于所述增强现实设备的视场中的与现实世界中的位置相对应的位置中；
检测所述个人移动系统或所述个人移动系统的用户与所述现实世界中的所述位置的接近；以及
响应于对接近的所述检测，修改所述个人移动系统的性能特性。
9.根据权利要求8所述的计算机可读存储介质，其中，对所述性能特性的修改包括所述个人移动系统的最大速度或最大功率的变更。
10.根据权利要求8所述的计算机可读存储介质，其中，对所述性能特性的修改基于所述虚拟对象的参数在预定时间内发生。
11.根据权利要求8所述的计算机可读存储介质，其中，所述现实世界中的所述位置是固定至所述个人移动系统的至少一部分的参考系中的定位。
12.根据权利要求8所述的计算机可读存储介质，其中，所述现实世界中的所述位置处于所述个人移动系统所位于的环境中的参考系中的定位中。
13.根据权利要求12所述的计算机可读存储介质，其中，所述指令还将所述计算机配置成：
响应于对接近的所述检测，将所述虚拟对象从所述环境中的所述参考系中的所述定位转移至固定至所述个人移动系统的至少一部分的参考系中的定位；以及
延迟修改所述个人移动系统的性能特性，直到检测到所述个人移动系统的所述用户与固定至所述个人移动系统的至少一部分的所述参考系中的所述定位的相交为止。
14.一种计算系统，包括：
处理器；以及
存储指令的存储器，所述指令当由所述处理器执行时将所述计算系统配置成执行用于控制个人移动系统的操作，所述操作包括：
在增强现实可穿戴设备上显示虚拟对象，所述虚拟对象位于所述增强现实设备的视场中的与现实世界中的位置相对应的位置中；
检测所述个人移动系统或所述个人移动系统的用户与所述现实世界中的所述位置的接近；以及
响应于对接近的所述检测，修改所述个人移动系统的性能特性。
15.根据权利要求14所述的计算系统，其中，对所述性能特性的修改包括所述个人移动系统的最大速度或最大功率的变更。
16.根据权利要求14所述的计算系统，其中，对所述性能特性的修改基于所述虚拟对象的参数在预定时间内发生。
17.根据权利要求14所述的计算系统，其中，所述现实世界中的所述位置是固定至所述个人移动系统的至少一部分的参考系中的定位。
18.根据权利要求14所述的计算系统，其中，所述现实世界中的所述位置处于所述个人移动系统所位于的环境中的参考系中的定位中。
19.根据权利要求18所述的计算系统，其中，所述指令还将所述计算系统配置成：
响应于对接近的所述检测，将所述虚拟对象从所述环境中的所述参考系中的所述定位转移至固定至所述个人移动系统的至少一部分的参考系中的定位；以及
延迟修改所述个人移动系统的性能特性，直到检测到所述个人移动系统的所述用户与固定至所述个人移动系统的至少一部分的所述参考系中的所述定位的相交为止。
20.根据权利要求14所述的计算系统，其中，所述指令还将所述计算系统配置成：
响应于对所述个人移动系统或所述个人移动系统的所述用户与所述现实世界中的所述位置的接近的检测，将来自所述增强现实可穿戴设备的显示器的所述虚拟对象从所述虚拟对象在所述增强现实设备的视场中的与所述虚拟对象在所述现实世界中的所述位置相对应的位置移除。
CN202280066072.9A 2021-09-30 2022-09-28 基于ar的个人移动系统的性能调节 Pending CN118020052A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/490,915 2021-09-30
US17/490,915 US12030577B2 (en) 2021-09-30 AR based performance modulation of a personal mobility system
PCT/US2022/045043 WO2023055803A1 (en) 2021-09-30 2022-09-28 Ar based performance modulation of a personal mobility system

Publications (1)

Publication Number Publication Date
CN118020052A true CN118020052A (zh) 2024-05-10

Family

ID=84245683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280066072.9A Pending CN118020052A (zh) 2021-09-30 2022-09-28 基于ar的个人移动系统的性能调节

Country Status (3)

Country Link
KR (1) KR20240065182A (zh)
CN (1) CN118020052A (zh)
WO (1) WO2023055803A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900550B2 (en) 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
US10825350B2 (en) * 2017-03-28 2020-11-03 Wichita State University Virtual reality driver training and assessment system
DE102019202576A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
WO2020212808A1 (en) * 2019-04-19 2020-10-22 3M Innovative Properties Company Dynamically controlling electrically powered scooters based on sensed infrastructure data

Also Published As

Publication number Publication date
US20230098451A1 (en) 2023-03-30
WO2023055803A1 (en) 2023-04-06
KR20240065182A (ko) 2024-05-14

Similar Documents

Publication Publication Date Title
US10638106B2 (en) System and method for dynamic in-vehicle virtual reality
US10850744B2 (en) System and method for dynamic in-vehicle virtual reality
US10817048B2 (en) System and method for dynamic in-vehicle virtual reality
US10453260B2 (en) System and method for dynamic in-vehicle virtual reality
JP6461318B2 (ja) 道路ユーザを認知したことを示すことを制御する装置、方法、およびコンピュータ・プログラム
US20170287217A1 (en) Preceding traffic alert system and method
US20230415044A1 (en) Augmented reality riding course generation
CN118020052A (zh) 基于ar的个人移动系统的性能调节
WO2023183314A1 (en) Situational-risk-based ar display
US12030577B2 (en) AR based performance modulation of a personal mobility system
US11900550B2 (en) AR odometry using sensor data from a personal vehicle
US20230215106A1 (en) Ar-enhanced detection and localization of a personal mobility device
WO2023122459A1 (en) An odometry using sensor data from a personal vehicle
KR20240091285A (ko) 개인 이동성 시스템을 이용한 증강 현실 강화된 게임플레이
WO2023129812A1 (en) Augmented reality (ar) - enhanced detection and localization of a personal mobility device
US20230401873A1 (en) Ar assisted safe cycling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination