CN107111358A - 使用信标来辅助用户与其环境交互 - Google Patents

使用信标来辅助用户与其环境交互 Download PDF

Info

Publication number
CN107111358A
CN107111358A CN201580059091.9A CN201580059091A CN107111358A CN 107111358 A CN107111358 A CN 107111358A CN 201580059091 A CN201580059091 A CN 201580059091A CN 107111358 A CN107111358 A CN 107111358A
Authority
CN
China
Prior art keywords
user
beacon
information
sound
menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580059091.9A
Other languages
English (en)
Other versions
CN107111358B (zh
Inventor
B·N·科蒂尔
J·S·丘格
M·R·法默
M·J·B·帕克
R·J·威尔科克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107111358A publication Critical patent/CN107111358A/zh
Application granted granted Critical
Publication of CN107111358B publication Critical patent/CN107111358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0295—Proximity-based methods, e.g. position inferred from reception of particular signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)
  • Headphones And Earphones (AREA)

Abstract

本文中描述了基于信标的引导功能，其辅助用户在环境内的期望路线上导航，或以其他方式与环境交互。环境又被填充有多个信标，在一个实现中，多个信标具有相应的非重叠范围。期望路线遍历与多个信标中的路线特定的信标集合相关联的范围。在一个操作方式中，基于信标的引导功能确定用户是否在路线特定的信标中的一个的范围内。基于该知识，基于信标的引导模块可以生成朝向路线中的下一航点指导用户的引导信息。

Description

使用信标来辅助用户与其环境交互
背景技术
用户可以依靠各种常规机构来生成和执行旅行计划和/或以更自发和无约束的方式探索他或她的环境。例如，用户可以使用路线选择应用来生成用于在两个位置之间行进的路线。然后，当用户通过一系列提示在路线上行进时，该相同的应用可以引导用户。提示可以对应于有声和/或显示的消息，例如，口头指示用户在规定距离内进行转弯的消息。然而，在这些常规机构中仍然存在相当大的改进空间。
发明内容
本文中描述了用于辅助用户与物理和/或虚拟空间交互的各种工具。这样的辅助例如可以促进用户在物理和/或虚拟空间内的导航。如本文中所使用的，导航是指用户根据预定计划通过空间的有目的的移动、和/或可以反映不一定符合任何预定计划的自发决定的移动。工具还可以在任何给定时刻辅助用户在空间内的探索(例如，对应于用户在空间中将他或她自己定向的过程)。
作为一般原理，工具被设计为以用户友好的方式向用户提供高度信息化和及时的辅助，从而在没有从与空间交互的实际任务不适当地分散用户的注意力的情况下，丰富用户对用户移动所经过的物理和虚拟空间的体验。考虑到这些特性，甚至对于具有视觉障碍和/或其他障碍的用户也可以成功地使用这些工具。然而，工具本质上是通用的，并且因此可以向任何用户提供用户友好的且不显眼的引导，以执行用户在他或她的环境内进行交互的任何任务。
工具具有有助于上述总结的性能的各个方面。根据一方面，本文中描述了空间交互(SI)模块，SI模块包括基于信标的引导模块，基于信标的引导模块辅助用户在环境内的期望路线上导航，或者更一般地，在环境内移动和探索环境。环境又填充有多个信标，在一个示例性实现中，多个信标具有相应的非重叠范围。期望路线遍历与多个信标中的路线特定的信标集合相关联的范围。
在一个方法中，基于信标的引导模块被配置为：确定用户是否在路线特定的信标中的一个的范围内，以提供当前位置信息(当用户在范围内时)；基于预定旅程信息，确定用户期望到达的下一航点，以提供下一航点信息；基于当前位置信息和下一航点信息确定方向信息；并且基于方向信息生成音频信息。音频信息在被递送给用户时，辅助用户到达下一航点。在一种情况下，音频信息可以至少部分地表示为三维(例如，有向)声音。
上述特征有助于上述目标：特别是在其中用户不能依赖于确定他或她的位置的其他模式(例如，基于使用基于卫星的导航系统)的这些情况下，允许用户安全和有效地移动通过他或她的环境。另外，根据一个示例性实现，使用非重叠的信标范围提供了用于消除用户位置歧义的有效机构，因为用户不能同时存在于两个或更多信标的范围内。
上述方法可以在各种类型的系统、设备、部件、方法、计算机可读存储介质、数据结构、图形用户界面演示、制品等中实施。
提供本发明内容来以简化的形式介绍概念的选择；这些概念在下面的详细描述中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
图1示出了用于辅助用户与物理和/或虚拟空间交互的系统的概述。
图2示出了用户使用图1的系统来进行由多个航点定义的行程的示例。在其他情况下，用户可以使用系统来以更开放和自发的方式与环境进行交互。
图3示出了可以用于实现图1的系统的计算功能的概述。
图4示出了空间交互模块的一个实现，其是图3的计算功能的部件。
图5示出了应用接口模块的一个实现，其是图4的空间交互模块的部件。
图6示出了耳机、手持用户计算设备(为了简明起见，称为“用户设备”)和另一用户计算设备的示例；这些设备可以实现图1的系统的一个或多个方面。
图7示出了实现图6的耳机和用户设备的一个方式。
图8示出了实现图6的耳机和(可选的)用户设备的另一方式。
图9示出了用户在车辆内与图6的用户设备交互的场景。
图10是示出图6所示的设备的一个操作方式的流程图。
图11示出了例如在由用户设备的显示输出机构提供的用户界面演示中，可以由图4和图5的应用接口模块呈现的不同工作空间。
图12示出了可以被用于从第一工作空间转换到第二工作空间的手势。
图13示出了根据一个实现的可以在主页工作空间中呈现的默认中枢菜单。
图14-图16示出了可以在主页工作空间中呈现的相应境况菜单。
图17示出了标识可以被调用的多个功能的菜单；该菜单可以呈现在主页工作空间中。
图18示出了用户可以用来设置各种参数的菜单；该菜单可以呈现在设置工作空间中。
图19示出了当他或她进行旅行或以其他方式与环境交互时，用户可以用来访问与用户相关的信息的菜单；该菜单可以呈现在信息工作空间中。
图20示出了用户可以用来访问关于附近的感兴趣项(IOI)的信息的菜单；该菜单可以呈现在“我附近”工作空间中。
图21示出了可以在主页工作空间中呈现的暂时性菜单的示例。
图22示出了在该特定情况下在设置工作空间中呈现的覆盖菜单的示例。
图23示出了用户可以用来获得关于他或她的当前境况的音频信息的手势。
图24示出了用户可以用来激活任何工作空间中的任何菜单的手势。
图25示出了用户可以用来在任何菜单中导航通过菜单项集合的手势。
图26示出了用户可以用来从当前菜单导航到某个其他在前菜单的后退手势。
图27示出了与图11的实现相比的工作空间的备选组织。
图28示出了图27的主页工作空间中对应于用户尚未创建任何标签的状态的标签信息。
图29示出了图27的主页工作空间中对应于用户现在已经创建标签集合的状态的标签菜单。
图30示出了与图25的实现相比，组织菜单内的菜单项的备选方式。
图31和图32示出了与图25的实现相比，滚动菜单内的菜单项并且然后选择菜单项的备选方式。
图33示出了在菜单的周边处执行的后退手势以及响应于该手势而执行的动作。
图34示出了通过在菜单上绘制圆形形状所执行的手势，以及响应于该手势而执行的后退动作。
图35示出了通过在菜单上绘制半圆而执行的手势，以及响应于手势而执行的后退动作。
图36和图37示出了可以用于分别增加和减少由图1的系统提供的详细级别以及由系统提供的境况信息的级别的不同手势。
图38是概述图4和图5的应用接口模块的一个操作方式的流程图。
图39示出了使用三维音频信息来创建从空间内的特定位置发出的声音的感知。
图40示出了使用三维音频信息来创建跨越空间内的一系列位置移动的声音的感知。
图41示出了路径引导模块可以使用三维声音(例如，周期性节拍声)来以期望的方向引导用户的方式。
图42示出了其中探索模块可以使用三维声音来标识与用户感兴趣的当前焦点相关联的IOI的位置的方式。
图43示出了其中定向模块可以使用三维声音来标识与用户周围的整个空间相关联的IOI的方式。
图44是描述使用三维声音来辅助用户与空间交互的流程图。
图45是描述(图4和图41的)路径引导模块可以使用三维声音来沿期望路线引导用户的一个方式的流程图。
图46是描述例如在自动模式下(例如，当用户遍历路线或以其他方式在空间中移动时)、在探索模式下、或在定向模式下，空间交互模块可以使用三维声音来标识IOI的一个方式的流程图。
图47示出了具有多个信标的环境。在一个示例性实现中，信标产生非重叠范围，其中其相应信号可以由跨越环境移动或以其他方式与环境交互的用户来检测。
图48-图50示出了与图47的示例相比，每个环境具有更多数目的信标的其他环境。
图51是示出在图47-图50的环境类型的境况中，基于信标的引导模块的一个操作方式的流程图。
图52是提供关于基于信标的引导模块可以确定用户在环境内的当前位置的一个方式的进一步细节的流程图。
图53示出了可以用于实现前述附图中所示特征的任何方面的示例性计算功能。
在整个公开和附图中使用相同的附图标记来指代相同的部件和特征。系列100数字指的是最初在图1中找到的特征，系列200数字指的是最初在图2中找到的特征，系列300数字指的是最初在图3中找到的特征，等。
具体实施方式
本公开组织如下。部分A提供了用于辅助用户与真实和/或虚拟空间交互的系统的概述。部分B描述了可以在部分A的系统中使用的不同类型的耳机和手持用户计算设备。部分C描述了可以由部分A的系统提供的示例性用户界面体验。部分D描述了用于生成和使用三维声音和其他(非三维)类型的声音的功能。部分E描述了用于辅助用户导航通过填充有信标的环境的、基于信标的引导功能，在一个示例性实现中，信标具有不重叠的范围。以及部分F描述了可以用于实现先前部分中描述的特征的任何方面的示例性计算功能。
作为初步事项，一些附图在一个或多个结构部件(各自被称为功能、模块、特征、元件等)的上下文中描述概念。附图中所示的各个部件可以通过任何物理和有形的机构(例如，通过在计算机设备上运行的软件、硬件(例如，芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现。在一种情况下，图中所示的各个部件分离成不同的单元可以反映在实际实现中相应的不同物理和有形部件的使用。备选地或附加地，图中所示的任何单个部件可以由多个实际物理部件实现。备选地或附加地，图中的任何两个或更多个分离部件的描绘可以反映由单个实际物理部件执行的不同功能。将依次描述的图53提供关于图中所示的功能的一个示例性物理实现的附加细节。
其他附图以流程图形式描述概念。在这种形式中，某些操作被描述为构成以特定顺序执行的不同框。这样的实现是示例性的而非限制性的。本文中所描述的某些框可以被分组在一起并且在单个操作中执行，某些框可以被分解成多个组成框，并且某些框可以以与本文中所示的顺序(包括执行框的并行方式)不同的顺序执行。流程图中所示的框可以通过任何物理和有形机构(例如，通过在计算机设备上运行的软件、硬件(例如，芯片实现的逻辑功能)等、和/或其任何组合)以任何方式实现。
关于术语，短语“被配置为”涵盖可以构造任何种类的物理和有形功能以执行所标识的操作的任何方式。该功能可以被配置为使用例如在计算机设备上运行的软件、硬件(例如，芯片实现的逻辑功能)等、和/或其任何组合来执行操作。
术语“逻辑”涵盖用于执行任务的任何物理和有形功能。例如，流程图中所示的每个操作对应于用于执行该操作的逻辑部件。可以使用例如在计算机设备上运行的软件、硬件(例如，芯片实现的逻辑功能)等、和/或其任何组合来执行操作。当由计算设备实现时，逻辑部件表示电气部件，电气部件是计算系统的、被实现的物理部分。
以下解释可以将一个或多个特征标识为“可选的”。这种类型的语句不应被解释为可以被认为是可选的特征的详尽指示；即，虽然在文本中没有明确地标识，其他特征可以被认为是可选的。此外，单个实体的任何描述并不旨在排除使用多个这样的实体；类似地，多个实体的描述并不旨在排除使用单个实体。此外，虽然描述可以将某些特征解释为执行所标识的功能或实现所标识的机构的备选方式，但是特征也可以以任何组合方式组合在一起。最后，术语“示例性”或“例示性”是指潜在的很多实现中的一个实现。
A.系统概述
图1示出了用于辅助用户104与物理和/或虚拟空间交互的系统102的概述。物理空间可以对应于例如由一个或多个建筑物的内部限定的室内空间，或者对应于存在于建筑物内部之外的外部空间，或者对应于室内和室外空间的某种组合。虚拟空间可以例如对应于填充有任何类型(一个或多个)的虚拟对象的域。在一些情况下，虚拟空间可以被覆盖在用户可以物理移动通过其的物理空间上。在这些情况下，虚拟空间中的一些虚拟对象可以被分配物理空间中的对应真实位置(将在下面阐明)。
图1广泛地介绍了可以在系统102中使用的示例性部件。在系统102的特定实现可以省略一个或多个所示部件的意义上，这些部件是可选的。附加地或备选地，系统102的特定实现可以包括图1中未示出的附加部件。
在他或她对空间(一个或多个)的探索期间，用户104可以经由任何类型的用户计算设备106(为了简洁，在下文中简称为“用户设备”)和耳机108或仅单独经由耳机108与系统102交互。用户设备106可以对应于具有任何形状因子的任何类型的便携式计算设备。例如，用户设备106可以对应于智能电话、平板型计算设备、膝上型计算设备、上网本型计算设备、媒体消费设备(例如，书阅读器型计算设备或音乐-播放计算设备)、便携式游戏设备、可穿戴计算设备(例如，眼镜、护目镜等)等。在其他情况下(未示出)，用户104可以携带和利用两个或更多个用户计算设备(例如，与平板型计算设备组合的智能电话)。
耳机108可以类似地对应于用于向用户104递送音频信息的任何类型的设备。在一种情况下，例如，耳机108可以使用位于用户104一个或多个耳朵之上或附近的传统扬声器递送音频信息。在另一种情况下，耳机108可以使用骨传导技术递送音频信息。在骨传导技术中，耳机108经由施加到用户头部的骨骼的振动将信息传送到用户的鼓膜。使用骨传导的耳机可以不阻挡用户104的耳道，并且因此允许用户104听到由他或她导航通过的空间产生的其他(外部)声音；在一些情况下，特别是对于视力受损的用户的情况和不熟悉其环境的用户的情况，这种结果可能是期望的，以增加用户与其物理环境交互的安全性。
根据一个一般的使用方式，用户104可以与用户设备106交互，以接收关于他或她主要以视觉形式与空间的交互的信息。附加地或备选地，用户设备106可以例如通过产生触觉反馈提示(例如，基于振动的提示)以非视觉形式递送信息。用户104可以主要与耳机108交互，以接收关于他或她与空间的交互的音频信息。该音频信息可以包括有声信息、其他声音等。系统102还可以从用户设备106或耳机108或两者接收指令。
用户104还可以可选地经由一个或多个传统上固定的计算设备110(例如，台式计算设备、游戏控制台设备、机顶盒设备等)与系统102交互。例如，用户104可以在创建定义经过空间的特定路线的行程信息的行程之前，使用其他用户计算设备110与系统102交互。用户104然后可以在用户设备106和/或耳机108上加载该行程信息。在行程之后，用户104可以再次经由其他用户计算设备110与系统102交互。例如，系统102可以将关于完成的行程的信息下载到其他用户计算设备110，允许用户104为了任何目的在任何时间查看关于该行程的信息。
在一种情况下，通过处理由上述标识的部件(即，用户设备106、耳机108和其他用户计算设备110)提供的功能来执行与系统102相关联的所有功能。在另一种情况下，一个或多个远程处理资源112可以实现由系统102执行的处理的至少一些方面，例如，本质上是特别计算密集的那些方面。例如，远程处理资源112可以包括用于创建新行程、修改现有行程、解释用户的口头指令等的功能。在一种情况下，远程处理资源112可以对应于一个或多个服务器计算设备、一个或多个数据存储库等。
系统102可以使用通信管道114的任何组合来将上述部件耦合在一起。例如，用户设备106可以经由任何无线通信机构(例如，使用蓝牙通信)和/或任何硬连线通信机构(例如，经由USB连接等)与耳机108交互。用户设备106和耳机108可以经由蜂窝连接、Wi-Fi连接、硬连线连接等或其任何组合与系统102的远程部件通信。
此外，虽然未示出，但是为了确定用户设备106的位置，用户设备106可以与任何远程位置确定系统交互。耳机108可以执行相同的功能。远程位置确定机构可以对应于任何基于卫星的位置确定系统(例如，GPS系统)、地面通信塔等。此外，用户设备106和/或耳机108还可以通过任何通信机构(例如，经由蓝牙通信、Wi-Fi通信等)与本地信标交互。
本部分(部分A)的其余部分提供了由系统102提供的功能的概述。后面的部分提供关于系统的各个部件的附加细节。
通常地，用户可以使用系统102作为在用户移动通过熟悉或不熟悉的任何类型的空间时，丰富用户体验的方式。在一种情况下，例如，用户可以根据期望的时间表，使用系统102作为进行从源位置到目标位置的计划旅程的引导。在其他情况下，用户可以例如在没有预先计划的旅程和/或时间表的情况下，使用系统102来以更开放和自发的方式提供探索空间时的辅助。例如，用户可以在他或她漫游通过不熟悉的城市或者蜿蜒穿过展览会或博物馆的展览时，使用系统102来提供辅助；用户可以在没有固定旅程的情况下参与该活动，并且可以以自由形式和自发的方式改变他或她的行程的过程和目标。在另一种情况下，用户可以使用系统102作为激活通过熟悉环境的熟悉路线的方式，等。在另一种情况下，用户可以以混合操作方式使用系统，例如，其中用户的交互的一些方面符合准备的计划，并且其他方面在本质上是更开放的和自发的。
进行到图2，该图示出了用户使用图1的系统102进行预先计划的行程的一个示例。下面将描述用户在进行该行程时的示例性体验，作为将读者介绍到系统102可以执行的功能类型的方式。注意，该示例体验是以示例的精神而不是限制的方式呈现的；如上所述，系统102可以应用于其中用户出于任何目的而与他或她的环境进行交互的各种其他境况中。
在图2的非限制性情况下，假定用户(名为John的人)在开始旅行之前创建了行程(但是，不一定是这种情况)。例如，假定用户已创建了将他从他在伦敦的住所带到医生在城市的另一部分中的约会的路线。因为他不熟悉他要旅行的城市的部分，用户可能已经为这个任务创建了行程。或者，用户可能具有呈现各种移动性相关挑战的一个或多个障碍。例如，用户可能具有任何形式(和程度)的视力损伤。在这种情况下，即使他可能熟悉路线，用户也可能已经创建了行程以辅助他导航路线。在另一种情况下，除了用户之外的一些实体可能已经代表用户创建了行程。在这些情况下，计划的行程由描述行程的所有方面的行程信息定义。
图2具体地以实线表示所计划的行程路线202。在一些情况下，用户可以使用系统102来大致坚持所计划的路线202。在其他情况下，用户可能出于任何原因而偏离所计划的路线202，例如，因为他沿所计划的路线202遇到障碍物，或者他出于任何原因作出自发决定来改变他的旅行过程。例如，在这种仅是示例性的情况下，为了在途中访问商店204以购买一些物品(例如，三明治等)，用户已经脱离所计划的路线202。图2以虚线表示用户的实际路线206。
在图2所示的情况下的所计划的路线202由一系列过渡点(w1、w2、w3、w4和w5)或站点来定义(这里称为航点)。例如，航点w1可以对应于用户行程的起点，而航点w5可以对应于用户行程的目的地。航点w2和w3可以对应于两个交叉点；在每个这样的交叉点处，用户从第一道路转换到第二道路。航点w4可以对应于用户可以改变其交通模式的任何站点。例如，用户可以徒步行进到航点w4。航点w4可以对应于摆渡车(shuttle)站，在摆渡车站处，用户等待摆渡车208的到达，摆渡车208根据预定的时间表到达。然后，用户可以在摆渡车208上继续到航点w5。在其他情况下，交通模式可以对应于火车、地铁、有轨电车或任何私人交通模式(例如，私人汽车、自行车等)。
因此，所计划的路线可以被概念化为具有一系列分段(s1、s2、s3和s4)。图2的示例是简化情况。在其他情况下，行程可以包括更多的航点和相关联的分段。并且该行程可以包括交通模式的任何组合。在其他情况下，行程可能没有图2所示的行程复杂，例如，仅包括开始和结束航点。注意，在其他情况下，行程可以不提前定义。
如本文中所使用的术语“境况”通常是指在进行行程或以其他方式与环境交互时，在任何给定时间用户面对的情况。该情况又至少受用户可能希望与之交互的环境的特征、一天中的当前时间(一周中的星期几)等以及在当前时间用户面对的目标等支配。例如，在时间t1，用户在尝试从航点w1行进到航点w2时，遍历分段s1。因此，用户的行程的境况c1至少部分地由用户沿所计划的行程的当前位置以及用户在所计划的分段s2上到达航点w2的努力来定义。用户在其他时间的境况将根据用户在当时所面对的环境以及当时用户相应的局部目标而有所不同。
利用所计划的路线202和实际路线206的上述初步描述，现在考虑当用户从航点w1行进到航点w5时的示例性用户体验。在一个示例中，假定用户至少携带用户设备106，并且佩戴耳机108(图1所示)。用户设备106在下面被称为智能手机以简化对该设备的引用，但是用户设备106可以包括上面参考图1所述的任何类型的设备。在其他情况下，用户可以仅使用耳机108进行导航(即，通过去除对智能电话的使用)。
作为一般原则，当用户进行其行程或以其他方式与空间交互时，系统102在沿用户路径的适当接合点(juncture)将用户暴露于相关信息。可以以听觉、视觉和/或触觉的形式自动呈现给用户的信息的实例在本文中被称为感兴趣项(IOI)。为了执行该功能，系统102在每个时刻确定用户的当前境况。例如，系统102在每个特定时间感测用户的位置和定向(以及可选地，运动)。系统102可以使用任何技术或技术的组合来执行该任务，技术或技术组合的示例在下文图3的描述的上下文中提供。然后，系统102标识与用户的当前境况相关的IOI。在一些情况下，例如，系统102可以确定IOI与用户的当前境况相关，因为用户在与IOI相关联的物理对象(或区域)的规定距离内，其中该距离预先被定义并且存储。然后，系统102将关于那些IOI的信息递送给用户。如下面将更详细地描述的，用户还可以在行程中的稍后时间手动探索其将(或可能)面对的未来境况，从而允许用户为这些情况做准备。
系统102可以基于从各个源提取的信息来提供IOI。例如，系统102可以从公开可用的地图信息(例如，由华盛顿州雷德蒙德的MICROSOFT公司提供的BING地图服务提供的地图信息)确定道路、自然特征等的位置。系统102可以从任何公布的目录信息确定公共和私有实体(例如，商店、政府建筑物等)的位置。系统102可以从各个公布的源(例如，公共交通时间表信息、公共安全信息)确定相关事件的发生。系统102可以从各个服务(例如，一个或多个在线社交网络应用、一个或多个日历应用等)确定用户相关的信息，等。
每个IOI涉及特定主题或经验焦点。IOI可以按照不同的解释性维度以不同的方式分类。例如，第一类IOI直接映射到用户正在移动或以其他方式交互的空间中的物理对象或物理事件。例如，该类型的IOI可以对应于位于用户附近的商店、或者位于用户前面的开放检修孔、或者用户在规定的到达距离内的下一航点等。第二类IOI中的IOI在环境中不一定具有直接的物理对应物。例如，该类型的IOI可以对应于当用户接近公共汽车站时播放的广告。广告可以与公共汽车站周围的空间相关联，但是，不是对公共汽车站本身的描述。
另一“虚拟类型”IOI可以对应于当他接近咖啡台时，引起用户注意的新闻标题。系统102可以基于用户可能希望在喝一杯咖啡的同时消费该IOI的前提，向用户呈现关于该IOI的信息。另一虚拟类型IOI可以对应于当用户离开地铁站时，递送给用户的天气报告。系统102可以基于用户可能希望为他在离开站点时将要面对的天气做准备的前提，向用户呈现关于该IOI的信息。另一虚拟类型的IOI可以对应于当用户接近他或她的个人住宅时，从社交网络应用检索的消息。系统102可以基于用户可能希望在进入他的家之前，赶上家庭成员或朋友发送的任何消息的前提，向用户呈现关于该IOI的信息。设想很多其他场景，其中用户接收与用户当前情况密切相关的某个类型的信息(和/或与功能交互的机会)，但可能不用于描述用户紧邻附近的实际对象或事件。
还可以基于其在空间探索中所起的作用，对不同的IOI(上述第一“真实”类或第二“虚拟”类)进行分类。例如，可以沿该维度将IOI分类为警告IOI、行程IOI、境况IOI和可用信息IOI等(但是严格来说这些类别可能不是相互排斥的)。系统102发送关于警告IOI的信息，以向用户提醒可能在行程期间影响用户安全的事件(例如，在用户前面存在开放检修孔的指示)。警告消息是尖锐的和中肯的。系统102发送关于行程IOI的信息，以向用户提醒可能影响用户行程的进展的事件(例如，下一航点接近的指示、或公共汽车将迟到的指示)。系统102向用户发送关于境况IOI的信息，以向用户提醒用户可能感兴趣的、用户附近(无论是真实的还是虚拟的)的对象和事件(例如，咖啡店在其行程的前方的指示)。系统102提醒用户存在可用信息IOI，而不自动地递送信息。然后，用户可以选择以按需方式接收该信息，或者忽略它。例如，用户可以通过点击耳机108上的适当功能按钮或通过用户设备106提供的信息菜单或使用等效语音命令来访问可用信息。
系统可以以任何方式递送关于每个IOI的信息。例如，对于至少一些IOI，系统可以通过发送指示声音然后发送有声消息来递送IOI。初步声音使得用户能够“收听”来听到有声通知(即，通过将注意力引导向有声通知)。该声音还提醒用户关于要遵循的信息的类型，使得用户能够更好地决定他或她是否会注意信息。例如，用户可以选择对行程信息给予高度关注，但是对于境况信息(例如，关于用户附近的商店或者关于用户的当前情况的促销供应)不太注意。
在行程中的任何点处，用户可以做出听到关于最近大声读出的一个或多个行程IOI(和/或其他类型的IOI)的信息的请求。该请求可以以下面描述的各种方式进行。如果在最近30秒内已经大声读出了警告，则系统102将通过也重复警告随后重复旅程信息来响应用户的动作。在一些情况下，用户可以请求系统102重复信息，但是该信息不再可用。系统102可以播放适当的声音，随后通过有声消息、“此时信息不可用”等，向用户提醒这种情况。
作为另一一般特征，系统102可以在用户不期望被来自环境的其他感知信息淹没的时间自动地呈现关于一些IOI的信息。例如，系统102可以制止向用户发送关于所计划的路线202的消息，直到用户沿所计划的路线到达规定的“安静区”，在安静区处，用户可以安全且愉快地消费信息。系统102可以预先存储被认为是“安静区”的区域的位置。
现在更加仔细地考虑在图2所示的空间上导航时，用户的特定体验。假定在时间t1，用户正试图到达第二航点w2。在感测用户的位置(和前进方向)之后，系统102可以向用户发送辅助用户到达第二航点w2的方向(以视觉和/或听觉的形式)。此外，当用户在距第二航点w2的规定距离内时，系统102可以向用户发送关于第二航点w2本身的信息。这将使得用户能够对第二航点w2可能需要的进程的任何变化做出适当的准备。上述信息可以主要被形成为行程IOI。
在某些情况下，例如相对于实际采取的路线和/或用户遍历空间的定时，用户的实际行程可能偏离所计划的行程。为了解决这些情况，系统102可以自动地(或以按需方式)确定用户的当前情况是否将影响用户行程的任何剩余部分。例如，系统102可以更新用户到达公共汽车站的估计时间，然后确定用户是否将继续以及时到达来赶上先前标识的公共汽车或摆渡车。如果用户的当前情况以这种方式影响用户的行程，则系统102可以自动地重新生成用于辅助用户在空间内导航的信息。该信息可以被表示为IOI的新的集合。例如，系统102可以建议用户乘坐较晚的公共汽车或摆渡车(并且可以自动进行适当的预订，发送适当的通知和/或作出其他安排)。此外，如上所述，用户可以以任何方式(例如，通过明确请求关于将来遇到的航点的信息等)探索更新后的信息。
图2通常还指示在时间t1，系统102自动通知用户存在境况性质的各种感兴趣项(IOI)(即，上文阐述的术语中的“境况IOI”)。例如，示例性境况IOI可以对应于商店、餐馆、政府办公室、自然地标等。在一种情况下，系统102可以仅在境况IOI在用户的当前时间的规定距离内并且用户尚未通过的情况下，呈现用于用户考虑的境况IOI。
用户可以以任何方式(关于境况IOI和/或任何其他类型的IOI)定制系统102的行为。例如，用户可以规定他希望沿他的路线接收的提示的类型(例如，通过指示他想要接收关于第一类型的商店但不是第二类型的商店的信息)。用户还可以规定他想要接收信息的定时。例如，用户可以规定当通知他存在境况IOI时，应当考虑的最大距离(距他的当前位置)。用户可以在开始行程之前进行这些设置。此外，用户可以动态地改变由系统在行程中递送的信息的类型和数量(例如，通过回拨由系统自动提供的信息量)。因为用户发现信息在沿行程的特定接合点不必要或分散注意力，用户可以选择减少信息量。
系统102可以以任何应用特定的方式呈现关于境况IOI的信息。例如，在一种情况下，系统102可以按照境况IOI在用户前面从左到右或从右到左(例如，通过基本上形成角扫描，其中用户位于扫描原点)、或者从前到后(根据与用户的距离)、或者从后到前等出现的顺序来宣布一些境况IOI。如上所述，在一个实现中，系统102可以在每个通知之前具有指示声音，该指示声音提醒用户关于境况IOI的信息即将要遵循。系统102然后可以例如通过提供宣布“Jane的咖啡店，150英尺”的音频信息来描述境况IOI。系统102可以例如通过为餐厅提供第一类型的初步声音，以及为公共汽车站等提供第二类型的声音等备选地提供与不同类型的场所相关联的不同的初步声音。
在一些情况下，在当前时间，用户的附近内可能存在大量的境况IOI。为了缩减赋予用户的信息量，系统102可以例如通过宣布“通常在100英尺的餐馆”将该信息合并成一个或多个概要消息。这对于任何类型的IOI成立。一般来说，系统102可以确定要在给定时间递送给用户的一组单独IOI是否具有至少一个共同特性。系统102然后可以提供将该组IOI作为块或集合而不是单独地宣布的概要消息。在上述特定示例中，系统102确定一组境况IOI位于用户附近，并且这些IOI涉及相同类型的场所。在另一示例中，系统102可以提供概要警告IOI“在接下来的100码处有许多凹坑”。
系统102可以使用其他规则，来以智能方式提供通知。例如，一些IOI仅在用户接近这些IOI时才是相关的。例如，仅当用户在该对象的几英尺内时，用户才可以对公园长椅感兴趣。因此，系统102可以仅在用户相对接近这些对象时，才宣布这类型的对象的存在。但是在这里，用户可以在这方面定制系统的行为。
根据另一示例性特征，系统102可以使用三维声音来宣布某些类型的IOI(例如，一些类型的境况IOI)的存在。三维声音是指用户感知为从物理空间内的特定位置(一个或多个)发出的声音。然而，实际上，音频信息经由耳机108呈现给用户，并且在环境内没有物理起源。如下面将在部分D中描述的，系统102可以通过使用头部相关的传递函数(HRTF)结合不同类型的宽带音频声音来实现上述结果。在其他实现中，系统102可以使用其他技术和科技(例如，环境立体声(Ambiophonics)、高保真度立体声响复制、波场合成等)来创建三维音频效果(而不是HRTF或除了HRTF之外)。
例如，在境况c1(在时间t1)，系统102可以向用户发送标识至少三个境况IOI(IOI1、IOI2和IOI3)的一系列的方向通知。系统102例如可以通过向用户发送初步声音来宣布境况IOI1的存在，用户感知初步声音是从与境况IOI相关联的实体物理定位的空间中的特定位置发出的。即，如果境况IOI对应于Jane的咖啡店，则该消息将用户的注意力引导到Jane的咖啡店的实际位置。系统102还可以使用三维声音(例如，通过以定向方式(即，使用三维有声信息)宣布“Jane的咖啡店，150英尺”)来提供对该场所的描述。
附加地或备选地，系统102可以向用户发送关于一个或多个信息可用的IOI的信息。如上所述，在不立即宣布该信息的特定内容的情况下，系统102可以通过发送通常向用户提醒可能存在与用户的当前境况相关的信息的消息来执行该操作。然后，用户可以例如通过做出“更多信息”的指令来手动请求系统102接收信息。或者用户可以忽略该信息。
所有上述信息递送特征有助于在用户遍历空间时向用户展现有用信息的目标，而不会使用户被太多信息压倒。
作为另一特征，在沿用户的路径的任何接合点，系统102可以将用户的实际行进方向与期望的行进方向进行比较。系统102可以使用下面结合图3描述的任何机构来确定用户的实际行进方向。系统102可以通过确定用户在当前时间期望朝向哪里来确定期望的方向。系统102然后可以确定偏离信息，该偏离信息确定用户的实际方向偏离期望方向的程度。然后，系统102可以向用户发送尝试沿期望路径引导用户的信息。
例如，在时间t2考虑用户。在这个接合点，用户正试图到达航点w3。假定用户的实际方向由箭头210表示，并且用户的期望方向由箭头212表示。系统102将向用户发送尝试朝向期望方向将用户引导离开他的当前错误方向的指令。
在一个实现中，系统102使用三维节拍声或其他类型的周期性声音来实现上述目标。三维节拍声是由用户感知为源自物理空间中的特定位置(一个或多个)的任何类型的重复声音(例如，点击声)。在图2的情况下，在时间t2，系统102将递送似乎起源于用户沿其行进方向的左侧的三维节拍声。这将向用户建议以下事实：(a)他走向非最佳方向；和(b)他应当稍微向左转，以实现更期望的轨迹。
系统102可以调节节拍声以实现其他效果。例如，系统102可以根据用户当前在非最佳方向上前进的程度来改变节拍声的音调和/或周期性和/或音量(和/或一些其他方面)。用户将节拍声解释为其在错误方向上前进的程度的指示。
到目前为止，该描述大多强调了系统102在沿用户路径的适当接合点向用户自动递送信息的能力。在这种操作模式下，用户与环境的相遇(encounter)可以构成触发例如以上述不同类型的IOI的形式递送信息的事件。另外，在任何时间，用户可以手动地与智能手机或耳机108交互，以手动地探索其环境并且获得关于上述任何IOI的信息。例如，在第一交互方式中，用户可以在沿行程的任何给定时间在智能手机的触敏表面上点击。响应于单个点击，系统102将宣布关于用户当前境况的顶级信息。例如，在时间t1，系统可以通过宣布用户前往航点w2(这可以被视为行程IOI)来响应于单个点击。响应于双个点击，系统102将提供关于当前境况的更详细的信息。响应于三次点击，系统102将提供允许用户与智能手机交互(例如，为了获得关于境况的附加信息的目的)并且调用与当前境况有关的各种功能的指令。
作为另一特征，在任何接合点，用户可以在给定时间与智能手机交互，以激活与用户相关的一个或多个菜单。例如，在时间t1，用户可以在智能手机的表面上执行点击并保持(tap-and-hold)的手势。作为响应，系统102可以激活与用户的当前境况相关联的菜单。然后，用户可以与智能手机交互，以探索立即呈现的菜单，或者导航到任何其他菜单。
更具体地，如将在下面的部分C中详细解释的，系统102可以表示通过工作空间集合可访问的菜单的集合。每个工作空间相对于彼此的工作空间具有固定的位置关系。用户可以通过导航到适当的工作空间和相关联的菜单来访问期望的信息和/或功能。
根据一个特征，用户可以使用单个手(例如，使用握持智能手机的手的拇指)执行所有上述屏幕交互任务。当用户与智能手机的触敏表面交互时，系统102还可以提供听觉和/或触觉反馈提示。总的来说，所有这些特征减小到用户在与系统102交互时需要将其注意力从环境转移的程度。例如，用户可以在与智能手机交互时，将其眼睛保持在其正在行进的道路上。由于上面概括的非视觉特性，视力受损的人也可以成功地与系统102交互。
如将在子部分C.3中描述的，用户还可以经由语音指令手动地与系统102交互。附加地或备选地，用户可以经由由耳机108提供的输入机构与系统102手动交互(如部分B中所描述)。系统102可以提供用户可以通过其手动地与系统102交互的其他机构。
用户还可以调用特殊模式，以用于探索其直接环境(immediate environment)。例如，响应于激活探索模式，系统102可以确定用户的当前注意焦点(其可以对应于用户被推测为当前时间正在注视的方向)(其进而可以基于一个或多个定向确定机构来确定)。然后，系统102可以确定由围绕用户的注意方向形成的子空间包围(或以其他方式与其相关联)的境况IOI。然后，系统102可以通过使用三维声音宣布这些境况IOI、和/或通过发送用于在用户的智能手机上呈现的视觉消息等来读取这些境况IOI。
这些境况IOI中的一些可以属于子空间内具有相应真实位置的环境中的真实对象。这些IOI主要用于在物理空间中标识或标记这些物理实体的位置。其他境况IOI本质上可以是虚拟的(因为它们属于子空间(给定用户的当前境况))，但是可以不直接描述该子空间中的对象。换言之，除了标识物理实体的位置之外，这些其他境况IOI传达与用户的当前境况相关的信息和/或体验。
举一个示例，“虚拟”种类的境况IOI可以对应于当用户接近军营时的消息“记住我们倒下的士兵”。该消息与军营有关，但不能准确地说，只是标记军营的位置。该消息的目的是创建精神关联，以在其接近军营时丰富用户的体验。备选地，在那种情况下的境况IOI可以对应于来自对用户具有特定意义的激励语音或个人消息(如先前由用户指定并且加载到系统102中)的歌曲或摘录。
对于其他类型的IOI(除了境况IOI)也是如此。即，一些IOI主要用作标记标签，而其他IOI旨在刺激认知关联、记忆、情绪等。后一组IOI在本文中被称为“虚拟的”，因为它们涉及不是环境中事件和对象的表面级转录的关联、经验、意义等的领域。这样的IOI可以备选地被称为推理、暗示、关系等IOI。
根据另一特征，响应于激活定向模式，系统102可以围绕用户执行完整的360扫描，以标识与距用户的规定距离相关联的所有感兴趣项。系统102还可以对垂直维度中的连续级执行这样的360度扫描，例如以确定在商场综合楼等的不同级上提供的商店。例如通过改变所标识的IOI的类型、搜索IOI的存在的空间的维度等，用户可以以上述任何方式定制探索模式和定向模式的行为。另外，用户可以与系统102交互，以管理系统102读出IOI的方式。
现在假定在时间t3，用户自发地决定偏离所计划的路线202，以访问商店204例如来购买三明治。当在商店中时，此时用户的境况(c3)属于商店环境。因此，系统102可以执行与上述相同的功能(但是现在在商店的室内环境的境况中)。例如，系统102可以在用户遍历商店204的区(isle)时，自动确定境况IOI，并且向用户宣布这些境况IOI。例如，在接近商店204的乳制品部分时，用户可以接收到读取“前方20英尺，牛奶、奶酪和酸奶”的消息。系统102可以在用户靠近可能感兴趣的产品时逐渐发送更详细的信息。再次，一些境况IOI可以具有与商店中的物理对象的较不直接的对应，例如在汤的部分中递送的消息中，其提醒用户很多汤中存在高钠。
用户还可以以任何方式在商店环境内手动地与系统102交互。例如，用户可以手动地探索与不同产品相关联的不同菜单。用户还可以使用智能电话，以在商店环境中执行各种交易(例如，购买物品、搜索物品等)。
在一些实现中，系统102可以通过确定用户是否在信标集合中的一个信标的范围内来确定用户在商店204内的位置，信标已经被放置(预先)在商店204内的不同的位置处。如将在部分E中描述的，信标可以具有不重叠的范围。
在离开商店204时，系统102可以重新计算用户的行程，以引导用户回到所计划的路线202。例如，系统102可以向用户提供允许用户到达与摆渡车站相关联的航点w4的指令。在到达该航点时，系统102然后可以在该接合点处例如通过宣布用户的摆渡车208的预期到达时间递送与用户相关的信息。该信息可以作为一个或多个行程IOI被递送。
当用户在摆渡车208上行进时，系统102可以继续向用户提供服务。例如，系统102可以通知用户到达最终目的地(即，航点w5(用户医生的办公室))的预期时间。取决于用户正在其上行进的公共(或私人)交通工具的性质，系统102还可以提供可能对用户有用的其他消息。例如，当乘坐公共汽车并接近最终目的地时，系统102可以提醒用户其在退出公共汽车时预期会遇到的高的路缘的存在。此外，系统102可以在用户的允许下提醒公共汽车的驾驶员需要辅助的人将在即将到来的公共汽车站下车。
总之，在整个用户的行程中，用户可以接收听觉形式(例如，有声消息、其他声音(三维声音和非三维声音)等的形式)的大量信息。系统102可以使用各种技术来管理该信息的呈现，其中一些技术已经在上面已经提到(例如，对被递送的信息量进行回拨或拨打的能力)。该特征允许用户及时接收最相关的信息，而不会使用户被太多信息压倒。
例如，系统102可以在受到不同规则的行程期间回放声音，以解决一个声音的递送潜在地干扰另一声音的递送的情况。根据一个示例性规则，系统102将在连续循环中播放节拍声，以在所需方向(例如，在步行时)操纵用户。然而，当正在播放任何其他声音时，系统102可以暂时禁止该声音(或者与该声音的正常状态相比，减小该声音的音量)。这使得用户能够听到其他声音，而不受到被认为是低优先级声音的节拍声的干扰。
根据另一示例性规则，系统102可以无条件地播放表示界面相关事件的声音，例如改变向用户呈现哪个菜单或上下文的轻弹手势。为了避免用户被太多的音频信息过载，这些类型的声音可以被设计为短而明显。用户可以通过暂时地暂停他或她与系统102的交互来至少在一些程度上控制这些类型的线索的回放(因为如果用户没有主动地与系统102交互，则不会产生交互线索)。
根据附加的示例性规则，系统102可以通过以下方式来对导航声音进行优先级排序：将最高优先级分配给警告声音(例如，用于警告IOI)，将下一最高优先级分配给行程信息(例如，用于行程IOI)，并且将再下一最高优先级分配给境况信息(例如，用于任何类型的境况IOI)。在一些情况下，例如因为正在回放更关键的信息，系统102将延迟信息的递送。此外，在一些情况下，所延迟的消息在系统102能够呈现它的时间将不再相关(例如，因为用户已移动到其中信息不再相关的新境况)；如果是，则系统102可以避免呈现该信息。
总之，上述场景在强调系统102的一些有利的技术效果时也是有用的。通常，系统102允许任何用户接收服务于不同但相关目标的引导。首先，系统102尝试在他或她的行程的任何给定时间向用户暴露最有用的信息，从而使用户能够在他或她的环境中更有效地导航，或者实现其他目的。第二，除了提供导航辅助之外，系统102丰富了用户的环境体验，允许用户学习关于环境的新信息，在不使用系统102的情况下，该信息可能不会立即向用户显现；在这方面，系统102允许用户在环境的表面之下隐喻地探究，以理解与环境102有关的先前隐藏的方面和连接。第三，系统102尝试以最小化对用户的干扰的方式向用户提供这个有用的信息。例如，通过允许用户保持主要关注他或她与“真实世界”的交互而不是他或她正在使用以与真实世界交互的工具，第三目标对于向用户提供更愉快和有用的体验是有用的。相反，第三目标尝试通过要求用户与麻烦和复杂的工具交互来减少可能发生的焦虑，用户将被期望向该工具投入相当大的注意力。第三目标还允许用户以安全的方式有效且快速地访问期望的信息，而不会在任何给定时间被太多信息压倒。
很多技术特征有助于上述目标(特别是关于第三目标)。这些特征包括但不限于：a)使用单手交互体验；b)使用用户友好的菜单结构，该菜单结构适应可以以位置不可知方式在触敏表面上执行的手势(将在下面描述)；c)使用用户友好且易于学习的工作空间结构，该工作空间结构提供对“安全”主页工作空间的访问(将在下面描述)；d)使用多个机构来输入命令(例如，经由耳机108、用户设备106、语音识别等)；e)在不会不适当地扰乱用户对行程的关注的情况下，使用音频信息和/或触觉提示来传送信息；f)在没有用复杂的指令淹没用户的情况下，使用三维和非三维声音辅助以期望的方向引导用户或者提醒用户IOI的位置等。
上述优点适用于系统102的任何用户。系统102还可以被具有损害他们进行行程的能力的任何类型的条件的人成功地使用。这些用户可以包括具有部分或全部视力丧失的用户、具有认知或其他心理损伤的用户、具有移动性相关障碍的用户等。对于这些用户，不论此刻用户的目标是什么，系统102充当虚拟引导狗，以安全的方式在他们行程的每个阶段中辅助用户，或以其他方式辅助用户与其环境交互。对于这些用户，除了上面总结的总体益处之外，系统102还允许用户访问对用户将不可用的信息和引导，因此潜在地改善这些用户的移动性、置信度和一般生活质量。
现在前进到图3，该图示出了可以用于实现图1的系统102的计算功能的高级概述。图3的功能以设备不可知的方式示出。在实际实现中，可以将功能分配给例如图1中介绍的任何部件、或这些部件的任何组合。例如，图3示出了该功能包括空间交互(SI)模块302。SI模块302执行关于图2的场景描述的所有(或大多数)功能。SI模块302的一些部分可以由用户设备106实现，而SI模块302的其他部分可以由位于耳机108上的处理部件来实现。附加地或者备选地，SI模块302的一些部分可以由远程处理资源112执行。
SI模块302可以从输入机构304的任何组合接收输入信息，并且可以提供其输出信息以用于在任何输出机构306上呈现。例如，输入机构304可以包括一个或多个定向确定机构308、和/或一个或多个运动确定机构310、和/或一个或多个位置确定机构312等。
定向确定机构(一个或多个)308确定并入这些机构(一个或多个)308的设备的定向。例如，如果由用户设备106容纳，则定向确定机构308确定该用户设备106的三维定向。如果由耳机108容纳，则定向确定机构(一个或多个)确定耳机108的三维定向。更一般地说，定向确定机构(一个或多个)308可以确定用户指向其智能手机或转动他或她的头部(其上放置耳机108)的方向。运动确定机构(一个或多个)310确定并入这些机构(一个或多个)310的设备的运动性质和运动程度。位置确定机构(一个或多个)312确定并入这些机构(一个或多个)312的设备的绝对和/或相对位置。
机构(308、310、312)可以使用传感器的任何组合来实现，传感器包括但不限于：磁力计、加速度计、陀螺仪传感器、基于重力的传感器、扭矩传感器、应变计、弯曲传感器、光学编码器机构等。另外，一些机构(308、310、312)可以从外部系统或源接收信号。例如，机构(308、310、312)可以包括用于基于从基于卫星的导航系统(例如，全球定位系统(GPS)系统)接收的信号来确定设备的位置的传感器。附加地或备选地，机构(308、310、312)可以包括用于通过基于从多个外部源接收的信号(例如，从多个无线电塔和/或局部定向天线等接收的信号)执行三角测量和/或其他处理来确定设备的位置的功能。附加地或备选地，机构(308、310、312)可以包括用于使用航位推算技术确定设备的位置的功能。附加地或备选地，机构(308、310、312)可以包括用于通过处理来自本地信标(例如，Wi-Fi和/或蓝牙信标等)的信息等来确定设备的位置的功能。
输入机构304还可以包括手动输入机构314的任何组合。这些机构可以包括以下中的任一个：键输入机构、触敏输入机构(例如，触敏屏314')、操纵杆、麦克风(例如，用于接收语音指令)、摄像机和/或深度相机(例如，用于接收自由空间手势)等。例如，在图1的情况下，用户设备106可以使用触敏显示屏作为与用户交互的主要方式。例如而非限制，该触敏显示屏可以并入确定用户何时触摸和/或悬停在屏幕上方的电容性触摸屏机构。用户设备106还可以包括相机、麦克风等。耳机108可以包括麦克风(用于接收语音指令)连同一个或多个专用输入机构(例如，实现为在耳机108的侧面上的按钮(将在下一部分中更详细地描述))。
输出机构306可以并入一个或多个音频输出机构316、一个或多个显示输出机构318、一个或多个触觉输出机构320等。例如，音频输出机构(一个或多个)316可以对应于任何类型的常规扬声器。附加地或备选地，音频输出机构(一个或多个)316可以并入骨传导音频设备(例如，由耳机108提供)，例如由纽约州Syracuse的AFTERSHOKZ有限公司生产的骨传导换能器。显示输出机构(一个或多个)318可以对应于例如LCD类型的显示器(例如，如由用户设备106提供)。触觉输出机构(一个或多个)320可以对应于例如振动产生机构(例如，如由用户设备106和/或耳机108等提供的)。振动产生机构可以使用旋转失衡重量和/或通过一些其他机构来实现振动效果。
SI模块302还可以与被认为在SI模块302本身外部的远程功能322交互。例如，SI模块302可以与搜索引擎324交互，以进行搜索。例如，搜索引擎324可以对应于由华盛顿州雷德蒙德的微软公司提供的BING搜索引擎。附加地或备选地，SI模块302可以与行程计算引擎326交互，以用于生成新行程和/或修改现有行程。附加地或备选地，SI模块302可以与语音处理引擎328交互，以解释由用户做出的口头指令。例如，语音处理引擎328可以对应于由华盛顿州雷德蒙德的微软公司提供的CORTANA系统。在其他情况下，远程功能322的一个或多个方面可以作为本地资源被并入SI模块302中。
另外，SI模块302可以与一个或多个数据存储库330中提供的任何外部信息交互。例如，外部信息可以提供公共可访问的地图信息、运输调度信息、警报信息、商业和个人目录信息、社交网络信息、日历信息等。在一些情况下，SI模块302可以使用由外部源提供的应用编程接口(API)与那些外部源(例如，外部网站)交互。
现在参考图4，该图示出了上面介绍的SI模块302的一个实现。从高级别的观点来看，SI模块302可以包括(或者可以被概念化为包括)执行不同的相应功能的多个子部件。此外，一些子部件可以依赖于由其他子部件生成的结果。应用接口模块(AIM)402允许用户与任何子部件交互。例如，应用接口模块402可以提供暴露由子部件提供的各种功能的菜单功能。
通常从顶部到底部参考子部件，SI模块302可以包括用于存储可以由SI模块302在执行其功能时使用的信息的各种数据存储库。例如，数据存储库404可以存储定义一个或多个行程的信息。例如，行程信息可以描述行程中的航点、和/或关于行程的任何其他信息。数据存储库406可以存储由搜索引擎提供的搜索结果；这些结果可以在用户的引导下，在行程的过程中或用户与空间的更一般的交互中产生。数据存储库408可以存储由用户在与SI模块302的交互过程中创建的标签的历史。标签通常对应于菜单的书签或其他信息和/或功能项和/或选项。用户可以在他或她访问该菜单或其他项或信息和/或功能和/或选项时创建标签；在一个实现中，当用户开始行程并且还没有开始与系统102交互时，数据存储库408最初不包含标签。系统102可以使用表示标签集合的任何方式，例如，作为标签列表、标签的径向菜单等。
SI模块302还可以提供执行任何类型的支持服务的各种支持模块410。例如，设置模块可以允许用户向影响系统102的操作的任何参数分配值。数据存储库412可以存储所有这样的设置。支持模块410还可以包括用于与外部搜索引擎交互以提供搜索结果的门户。或者支持模块410可以包括本地提供的搜索引擎。
声音生成模块414执行与声音的生成相关的各种操作。例如，当遇到各种触发情况时，声音生成模块414可以播放特定的声音。一些触发情况对应于用户在与应用接口模块402交互时做出的动作。其他触发情况对应于不是由用户与系统102的交互直接引起的系统102的状态的变化。其他触发情况对应于在行程过程中发生的事件(或更一般地，用户与空间的交互)等。数据存储库416可以存储当回放时产生期望声音的文件。子部分C.2(下文)提供了关于可能生成的不同类型的声音以及播放这些声音的情况的附加信息。
一些声音本质上是非三维或非空间的。此外，声音生成模块414可以产生三维音频信息。如上所述，在用户感知该信息为从三维物理或虚拟环境内的一个或多个位置发出的意义上，音频信息是三维的。声音生成模块414可以通过使用一个或多个头部相关的传递函数(HRTF)转换原始声音信息来创建这些声音。
类似地，触觉提示生成模块418可以在不同的触发情况中产生不同类型的触觉反馈体验。在一种情况下，触觉提示生成模块418产生信号，该信号例如在被递送到用户设备106、耳机108和/或一些其他设备时产生振动提示。
路径引导模块420使用声音生成模块414来生成上述三维周期性(例如，节拍)声音。这种周期性声音的目的是在特定方向上引导用户。路径引导模块420通过确定用户的当前实际航向、期望航向以及实际航向和期望航向之间的差(对应于偏离信息)来产生这种效果。然后，路径引导模块420利用声音生成模块414产生被用户感知为源自特定方向的适当的循环声音。即，声音生成模块414基于由路径引导模块420馈送给它的偏离信息产生循环声音。用户可以通过在期望方向上移动来响应该声音。在另一种情况下，节拍声可以被感知为跨越物理空间中的一系列位置行进。用户可以将该体验解释为在行进声音的方向上移动的指令。
基于信标的引导模块422通过检测从信标集合发射的信号来在室内和/或输出空间内进行导航时向用户提供辅助，在一个示例性实现中，信标具有相应的非重叠范围。部分E提供关于基于信标的引导模块422的操作的附加信息。基于信标的引导模块422可以查阅在数据存储库424中提供的信标信息。信标信息可以描述与已经放置在环境中的信标及其在环境内的相应位置相关联的代码。
相关信息确定(RID)模块426执行确定相关信息以在任何给定时间呈现给用户的一般功能。在图2的描述的上下文中，RID模块426确定与用户的当前境况有关的不同类型的信息项(IOI)。为了执行该任务，RID模块426接收定义当前时刻用户的境况的各种境况输入。这些境况输入可以描述用户的当前位置、用户的当前航向、用户的当前目标等。境况输入还可以描述环境本身，例如，与物理和虚拟环境相关联的对象和事件。任何这样的输入可以从地图信息、目录信息、社交网络信息、日历信息等中挖掘。境况输入还可以描述影响用户与空间的交互的环境因素，例如，如从任何源(一个或多个)获得的公共交通信息、天气信息等。
RID模块426通过基于当前时间的境况输入以及基于各种规则(在数据存储库428中提供)确定在给定时间是否适于通知用户任何信息来操作。RID模块426的行为还可以由用户设置并存储在数据存储库412中的一个或多个参数来定义。例如，基于由用户定义的深度范围，RID模块426可以确定当前时间在用户附近是否存在任何境况IOI。如果存在这样的境况IOI，则RID模块426可以与声音生成模块414和/或由应用接口模块402提供的菜单功能交互，以向用户通知这些境况IOI。
探索模块430和定向模块432执行可以由用户以按需方式调用的相应服务。如参考图2的场景所描述的，探索模块430确定与位于用户前面的子空间相关联的任何境况IOI(其又可以由用户头部的位置、连同定义探测深度的设置参数、和描述搜索空间的跨度的设置参数确定)。为了执行该任务，探索模块430利用RID模块426的服务。探索模块430然后使用三维声音、显示的消息等向用户通知境况IOI。定向模块432执行类似于探索模块430的任务。但是定向模块432不是探测与用户前面突出的子空间相关联的IOI，而是可以扫描当前时间存在于用户周围的整个三维空间。
图5示出了应用接口模块(AIM)402的一个实现。如上所述，应用接口模块402通常提供允许用户与以上参考图4描述的各种子部件交互的接口。
应用接口模块402可以包括解释用户的输入的各种部件，例如，以确定用户正在进行的指令的性质。例如，手势解释模块502可以确定用户通过与用户设备106的触敏屏交互做出的手势或者自由空间手势等。手势解释模块502可以通过将用户做出的标记或触摸或悬停(或其他行为)与数据存储库(标识与已知手势相关联的模式)进行比较来执行该任务。如果用户的行为使得与特定手势相关联的模式与所确定的匹配置信度相匹配，则手势解释模块502可以推断用户已做出该手势。
语音解释模块504可以解释用户的语音指令(例如，其可以经由用户设备106和/或耳机108上的麦克风接收)。在一种情况下，语音解释模块504可以对应于到远程语音处理引擎328(例如，CORTANA系统)的门户。在另一种情况下，语音解释模块504可以对应于用于解释说出的话语的任何类型的本地功能。在任何情况下，执行语音识别的代理可以使用任何技术来执行该任务，例如，基于隐马尔可夫模型的技术、基于神经网络的技术等。
耳机按钮解释模块506解释用户与耳机108的输入机构交互的方式(将在下面描述)。例如，在一些情况下，按钮集合可以根据用户与其交互的方式(例如，根据用户是否是触摸按钮但是不按下按钮、或者基于用户是否触摸并且释放按钮一次或多次，或者基于用户是否按下并保持按钮等)来执行不同的功能。耳机按钮解释模块506将用户的行为映射到特定指令。
动作采取模块508可以基于由上述解释模块(502、504、506)提供的解释来调用动作。例如，响应于解释，动作采取模块508可以：调用菜单；关闭菜单；在工作空间之间转换(将在下面描述)；执行功能；保存设置；呈现信息项等。
B.用于促进用户与其环境之间的交互的耳机和用户设备选项
图6示出了在图1的上下文中，关于上面介绍的耳机108、用户设备106和其他用户计算设备110的附加细节。这些设备的特征在本文中以示例的精神而不是限制的方式呈现。
首先参考耳机108，该设备可以提供由塑料和/或金属和/或任何其他材料制成的框架602。框架602可以是柔性的，并且可以经由框架中的张力和/或通过一些其他固定机构固定到用户的头部，框架中的张力朝着用户的头部横向向内推动。耳机108包括将振动传送到用户头部的骨骼的换能器(604、606)；用户头部的骨骼然后将这些振动传递到用户的鼓膜，在那里它们被感知为音频信息。骨传导型耳机的使用防止耳机108阻塞用户的耳道，从而允许用户安全地响应环境中的其他声音。然而，备选地，耳机108可以包括放置在用户耳朵之上或附近的常规扬声器。
耳机108还可以可选地在其框架上的任何地方包括输入机构608的集合。用户可以使用他或她的手610(或两只手)的一个或多个手指与输入机构608交互。备选地，分离设备(未示出)可以提供输入机构608，并且该分离设备可以经由无线通信(例如，蓝牙通信)和/或有线通信与耳机108通信。图6示出了输入机构608包括三个按钮，但是更一般地，输入机构608可以包括任何数目的机构，并且这些输入机构可以以任何方式放置在框架上。此外，输入机构608可以包括除了按钮之外的其他类型的输入机构，例如轮或旋钮机构、滑块机构等。备选地或附加地，耳机108可以并入一个或多个触敏表面。例如，耳机108的不同区域可以并入不同的触敏机构，并且这些区域可以与不同的相应功能相关联。
耳机108可以包括执行各种任务的处理机构(下面将描述)。耳机108可以包括容纳那些处理机构的隔室612。例如，在一种情况下，隔室612位于耳机108的后部。然而，处理机构可以物理地位于耳机108上的任何位置(一个或多个)处。处理机构本身可以包括任何类型的一个或多个处理设备、存储器等、和/或专用逻辑部件(例如，一个或多个专用集成电路(ASIC))等。
输入机构608可以在被激活时发起任何操作。例如而非限制，用户可以使用输入机构608来指示SI模块302调用探索模式或定向模式(如上所述)。附加地或备选地，在听到某一主题的概要(例如，境况IOI的名称)之后，用户可以使用输入机构608来指示SI模块302提供关于所标识的主题的附加信息；该指令可以被称为“更多信息”指令。
附加地或备选地，用户可以使用输入机构608来指令SI模块302激活收听模式或停止收听模式。在收听模式下，语音解释模块504处理用户的语音以确定用户是否已经说出指令。
附加地或备选地，用户可以使用输入机构608来指示SI模块302重复其已经提供的最近的音频消息。附加地或备选地，用户可以使用输入机构608来请求SI模块302重复(例如诸如，针对预定数量的在先消息，通过从最近的消息开始并且在时间上逐消息回退)先前递送的音频消息的集合。这样的指令可以被称为“倒回”指令。
备选地或附加地，用户可以使用输入机构608来打开或关闭三维节拍声等。其他实现可以使用输入机构608来发出其他指令，和/或省略上面阐述的一个或多个指令。
上述功能或其某一子集可以以任何方式映射到任何数目的相应按钮和/或其他输入机构。此外，在一些实现中，系统102可以包括定制模块，定制模块允许用户定义输入机构和机构调用的操作之间的映射。此外，如上所述，相同的按钮还可以根据用户与其交互的方式来执行两个或更多个功能。在一个实现中，SI模块302可以在用户触摸按钮但不按下按钮时宣布由按钮执行的功能。
根据另一特征，用户可以通过按下用于激活它的相同按钮来停用当前处于活动状态的功能。例如，用户可以通过按下用于请求SI模块302递送该信息的相同按钮来停止SI模块302宣布信息，等。备选地或附加地，耳机108可以并入停止当前正在被执行的功能的专用按钮。
用户设备106可以对应于上述任何类型的便携式设备，例如，智能电话或平板型计算设备。如上所述，用户可以使用单个手614(和/或可选地用两只手)与用户设备106交互。其他用户计算设备110可以对应于任何类型的传统上固定的计算设备，例如，工作站计算设备、游戏控制台、机顶盒设备等。
一个或多个通信路径616可以将用户设备106与耳机108耦合。这样的通信路径例如可以对应于蓝牙通信路径、硬连线通信路径(例如，USB通信路径)等。一个或多个通信路径618可以将其他用户计算设备110耦合到用户设备106和/或耳机108。如上所述，用户可能希望在其他用户计算设备110和用户设备106和/或耳机108之间建立连接的一个原因是将信息上传到这些设备。通信路径618可以以任何方式(例如，经由上述任何类型的无线和/或有线通信路径)实现。
例如与图6所示的特定类型的耳机108相比，系统102的其他实现可以使用不同类型的耳机。例如，在另一实现中，耳机可以并入任何上述标识的特征(包括输入机构608)连同任何类型的头戴式显示(HMD)设备(例如，物理地实现为眼镜(例如，护目镜)、头盔等)。系统102可以使用头戴式显示设备显示任何类型的信息。例如，系统102可以经由头戴式显示设备或其某个子集来显示在下一部分(部分C)中描述的菜单和其他信息中的任一个。在另一种情况下，系统102可以显示与信息(与用户与之交互的现实世界相关联)混合的计算机生成的信息，从而提供增强现实体验。例如，系统102可以在与用户视场内的相关联的对象和事件位置接近的位置显示描述性标签。在另一种情况下，系统102可以显示辅助用户在推荐方向上移动的方向提示等。此外，系统102可以修改显示的信息的类型(例如，通过为具有视力损伤的用户显示简化和放大的信息)，以适应可能影响特定用户的任何视觉障碍。
系统102可以使用任何技术(例如，通过使用光学混合器，其显示计算机生成的信息“超过”用户对实际环境的直接视觉感知(例如，使用部分反射镜等))来实现增强现实体验。在另一实现中，系统102可以使用捕获实际环境的视频相机、以及将来自视频相机的视频信息与计算机生成的信息混合的光学混合器。在任一情况下，系统102可以使用检测用户在环境内的位置的一个或多个设备、检测用户头部的位置和定向的一个或多个设备、和/或检测用户注视的方向的一个或多个设备等来确定用户的假定视场。
在另一种情况下，除了耳机之外，另一类型的可穿戴设备可以执行上述任何功能。例如，可穿戴设备可以对应于腕戴式设备、服装物品等。
为了简化说明，以下描述将假定用户与图6所示的基本类型的耳机108交互，然而，注意，耳机108可以并入任何数目的上述补充特征(例如，头戴式显示器)。此外，代替耳机，或者除耳机之外，可以使用另一类型的可穿戴设备。
图7示出了实现图1的系统102的一种方式。在该实现中，系统102利用用户计算设备702(为了简洁起见，称为“用户设备”)和耳机704。更具体地，根据功能的一个分配，用户设备702实现系统102的大多数功能。即，用户设备702包括SI模块302和输入/输出机构706的集合(包括任何定向、运动和/或位置确定机构708、任何触敏输入机构710、任何触觉输出机构712、任何显示输出机构714等)。上面结合图3的描述提供了这些机构的示例。用户设备702还包括电源716(例如，电池)以及用于与耳机704通信的一个或多个通信机构718。
另一方面，耳机704包括一个或多个音频输出机构720(例如，骨传导音频机构)、电源722(例如，电池)、以及用于与用户设备702通信的一个或多个通信机构724。此外，耳机704可以包括上面参考图6描述的任何类型的输入机构726(例如，对应于图6的输入机构608)。通信机构724可以将由输入机构726调用的指令传输给用户设备702。用户设备702进而可以向耳机704发送音频信息，以用于由音频输出机构(一个或多个)720呈现。
图8示出了实现系统102的另一种方式。这里，系统102包括与图7的耳机704相比具有更多处理能力的耳机802。实际上，在一个实现中，在不使用任何分离的用户设备106的情况下，耳机802可以执行系统102的所有与空间交互相关的方面。在另一实现中，耳机802仍然可以与分离的用户设备106(图8中未示出)交互。该分离的用户设备106可以包括图7的用户设备702的所有部件或其任何子集。
更具体地，在图8的情况下的耳机802可以包括执行上面参考图4描述的功能的任何子集的耳机侧SI模块804。另外，耳机802可以包括任何定向、运动和/或位置确定机构806。这些机构在下文中通常被称为头部感测机构，因为它们确定用户头部的身体姿势或运动(其可以进而反映用户的注意焦点的方向)。另外，耳机802可以包括以上参考图6描述的任何类型的输入机构808。另外，耳机802可以包括电源810和用于与用户设备106交互的一个或多个通信机构812(如果系统102在该实现中使用这样的用户设备106，则不需要)。此外，耳机802包括上述任何类型的音频输出机构814。
在一种操作模式下，当耳机802被提供并且工作正常时，图8的系统102可以利用提供在耳机802上的头部感测机构。由耳机802提供的头部感测机构可以优于由用户设备106提供的相应感测机构，因为头部感测机构可以更准确地反映用户的定向、移动和/或位置。此外，头部感测机构的使用消除了用户与用户设备106交互以寄存他或她的定向、移动和/或位置的需要。
在一些情况下，耳机108可以可选地将由头部感测机构生成的信息转发给用户设备106。用户设备106可以使用该信息来执行处理，然后将其处理的结果转发回到耳机802。耳机802然后可以经由传送结果的骨传导技术将声音传输到用户的耳朵。在另一种情况下，在不需要将由头部感测机构提供的信息转发给用户设备106的情况下，耳机侧SI模块804可以执行该处理。在另一种情况下，耳机侧SI模块804可以本地执行一些操作，并且依靠用户设备106来执行其他操作。例如，耳机侧SI模块804可以依靠用户设备106来执行计算密集的操作(例如，三维声音的计算等)，因为与耳机108相比，这些操作可以在用户设备106上被更有效地执行。
在另一种情况下，当相应部件不能在耳机802上正常工作时，系统102可以利用由用户设备106提供的定向确定机构(一个或多个)、运动确定机构(一个或多个)和/或位置确定机构(一个或多个)。
在另一种情况下，系统102可以利用由耳机802和用户设备106提供的传感器读数，例如通过使用一个设备的传感器读数来标识另一设备的传感器读数中的明显错误，和/或形成传感器读数的两个不同版本的平均值，等。
在图7和图8的任一实现中，由耳机(例如，704、802)和/或用户设备(例如，702、106)执行的功能中的至少一些可以备选地或者附加地由图1的远程处理资源112(例如，对应于云计算资源)来执行。
图9示出了用户902与车辆内的用户设备904交互的场景。尽管在图9中未具体示出，但是用户902还可以利用将音频信息中继到用户而不遮挡用户的耳朵的骨传导耳机。更一般地，与上述情况相比，图9是以上描述的功能可以应用于附加使用场景的更一般的示例。
在图9的情况下，用户902已经使用安装件906将用户设备904安装到车辆的仪表板区域上。用户902可以是车辆的驾驶员(如图9所示)或乘客。电源线908可以从由车辆提供的电源插座向用户设备904输送电力。
图10示出了描述图6所示的设备的一种操作方式的过程1004。在框1004中，作为用户致动至少一个耳机输入机构的结果(例如，基于用户对图6所示的耳机输入机构608中的一个的致动)，系统102接收指令。在框1006中，系统102基于框1004中提供的指令来执行功能，以提供输出结果。框1006可以由耳机108和/或用户设备106执行。在框1008中，耳机108应用输出结果来递送音频信息，这有助于用户在路线上、在空间内导航，或者更多一般来说与空间交互。
总之，上述特征有助于允许用户安全和有效地移动通过他或她的环境的上述目标。例如，这些特征提供了方便的方式，通过该方式用户可以在不在用户移动通过环境时过度地分散用户的注意力的情况下(例如，在不需要用户访问分离的用户设备以及与分离的用户设备交互的情况下)激活(例如，通过与耳机108的用户输入机构608交互)各种操作模式。
C.用于促进用户及其环境之间的交互的示例性用户接口功能
本部分提供关于图4和图5的应用接口模块402的一种操作方式的示例性细节。注意，应用接口模块402允许用户与SI模块302的各种部件交互。为了便于对应用接口模块402的重复引用，该部分将以缩写形式将该部件引用为AIM 402。AIM 402可以指代分立部件、或在系统102的实际实现中由两个或更多个部件执行的功能的聚合。
用户接口体验又具有不同的部件或方面。以下子部分C.1提供关于AIM 402允许用户经由例如由用户设备106提供的可视用户界面演示与SI模块302交互的一种示例性方式的细节。子部分C.2提供关于AIM 402可以向用户提供各种声音和触觉反馈提示的一种示例性方式的细节。子部分C.3提供关于AIM 402允许用户经由语音指令与SI模块302交互的一种示例性方式的细节。
通常，注意，例如，如图2的示例中，以下解释在由用户通过空间拍摄的行程的上下文中描述AIM 402。但是，在用户与空间交互的其他场景中(包括没有准备的路线的情况下，用户为了以自组织方式探索空间的目的而漫游通过空间)，AIM 402提供类似的服务。还注意，下面描述的用户接口特征本质上也是通用的，并且因此可以应用于不一定和用户与空间的交互相关的其他上下文中。
作为另一优选注释，该描述阐述了由AIM 402通过描述由用户执行的姿势相关动作以及由AIM 402响应于姿势相关动作而进行的相应操作来解释的很多姿势。如上面参考图5更全面地描述的，AIM 402在每种情况下通过以下方式来执行该任务：(a)例如，当用户做出指示轻弹手势等时，检测描述由用户执行的手势的输入信息；(b)将输入信息与所存储的与已知手势相关联的模式进行比较，以确定用户已经调用的特定手势；和(c)执行与所检测的手势相关联的操作。为了简洁起见，在下面的很多情况中省略了对这些单独操作的显式描述。
C.1.视觉体验：与工作空间和菜单交互
在一个方法中，AIM 402将主工作空间组织成较小工作空间的集合。工作空间相对于彼此具有位置关系。这种结构是有益的，因为它允许用户开发应用程序的组织的心理图像，就像他或她将通过与其区域的重复遇到而变得熟悉物理空间的区域。这个功能反过来又允许用户有效地访问所寻求的信息和/或功能。
例如，图11示出了AIM 402将主工作空间组织成五个较小的工作空间的一个示例。在进行行程时，主页工作空间1102用作用户交互中的中心焦点。例如，如下面将描述的，主页工作空间1102呈现关于用户在行程中的每个特定点处的当前境况、或与空间的任何其他交互的信息。如果用户还没有开始行程，则主页工作空间1002可以呈现默认中枢页面。
主要工作空间1104位于主页工作空间1102的左边，并且“我附近”工作空间1106位于主页工作空间1102的右边。信息工作空间1108位于主页工作空间1102的顶部，而设置工作空间1110位于主页工作空间1102的底部。这些工作空间的相应角色将在下面更详细地描述。
上述每个工作空间的位置在示例而不是限制的精神内阐述。其他实现可以提供工作空间的其他放置。此外，其他实现可以改变由AIM 402提供的工作空间的数目。例如，另一实现可以通过提供相对于主页工作空间1102对角定位的工作空间来提供另外四个工作空间。
图12示出了用户可以通过其从主页工作空间1102导航到主要工作空间1104的一种方式。在该非限制性情况下，用户在主页工作空间1102上执行向右轻弹手势以导航到主要工作空间1104。虽然未示出，但是用户可以执行向左轻弹手势(或另一向右轻弹手势)以从主要工作空间1104移动回到主页工作空间1102。
以类似的方式，用户可以在主页工作空间1102上执行向左轻弹手势以导航到“我附近”工作空间1106。用户可以在主页工作空间1102上执行向下轻弹手势以导航到信息工作空间1108和在主页工作空间1102上执行向上轻弹手势以导航到设置工作空间1110。用户可以例如使用握持用户设备的手的拇指，例如通过将拇指放置在用户设备106的触敏表面上并且在期望的方向上轻弹它来执行这些手势中的任何一个。在轻弹移动中，用户使用一个或多个手指接触触敏表面，使手指(一个或多个)跨越表面移动一段距离，然后从表面移除手指(一个或多个)，所有这些都是相对快速的连续(好像在平坦表面上轻弹物理对象)。
在一个实现中，为了导航到任何外围区域，期望用户首先导航到主页工作空间1102。然而，在另一实现中，在不首先移动回到主页工作空间1102的情况下，AIM 402可以允许用户从一个外围区域导航到另一外围区域。
更一般地，在本部分中的所有示例中，显示器表面上的虚线圆表示用户用手指接触表面的点。在一些情况下，显示器的表面将显示不同尺寸的两个虚线圆。两个圆中较大的一个表示用户应用他或她的手指的位置，而两个圆中较小的一个表示用户移除他或她的手指的位置。在其他情况下(未示出)，用户可以执行涉及同时在两个或更多个位置触摸触敏表面的至少一个手势(例如，以执行捏缩类型手势)。在其他情况下(未示出)，用户可以通过悬停在设备的表面上而不实际触摸它来执行至少一个手势。在其他情况下(未示出)，用户可以执行自由空间手势，自由空间手势可以由摄像机和/或深度相机等检测。
作为最后的介绍，本部分描述了具体的手势、菜单结构和菜单项，所有这些都在精神和示例性的意义上而非限制性的。其他实现可以改变这些用户接口特征的任何方面。例如，在另一实现(未示出)中，AIM 402可以允许用户使用敲击类型手势或通过在显示器的表面上绘制特定形状等在工作空间之间转换
图13-图16示出了可以在主页工作空间1102中呈现的信息类型。如上所述，当主页工作空间1102在路线上导航或以其他方式与空间交互时，其用作用户注意力的主焦点。在默认状态下，如图13所示，主页工作空间1102可以呈现中枢页面。下面将描述菜单结构的特定性质以及该结构内的菜单项。
在用户行程的过程中，主页工作空间1102可以呈现关于用户的当前境况的信息(但是在行程期间，根据用户的请求，其他信息也可以在主页工作空间1102中呈现)。例如，在图14的情况下，假定用户当前正在乘坐火车。主页工作空间1102可以呈现集中于用户在火车中的体验的菜单。在图15的情况下，假定用户现在正沿特定街道行走。作为默认，主页工作空间1102现在将呈现关于用户在街道上的体验的信息。例如，主页工作空间1102可以呈现示出用户在街道上的当前位置1502的地图。备选地，用户可以与AIM 402交互，以产生图14所示的菜单类型，但是其中该菜单现在将包含与在街道上行走时的用户体验有关的菜单项。凭借上述行为，AIM 402在他或她的环境中的当前境况中显示与用户最相关的信息，并且在主页工作空间1102内呈现该信息；在不必“寻找”最相关的信息的情况下(例如，在无需导航通过繁琐的菜单结构的情况下)，用户因此可以容易地找到并且消费最相关的信息。这样的特征还减少了对用户的干扰，并且因此有助于系统102的安全性。
然而，用户可以与AIM 402交互，以激活与用户的直接周围环境无关的信息，用于在主页工作空间1102中呈现。例如，用户可以例如通过激活标签菜单选项来激活将在下面描述的标签菜单。作为响应，AIM 402将呈现图16所示的标签菜单。标签菜单显示对应于先前打开的菜单的打开的标签的集合。这些标签式菜单中的一些可以对应于关于用户已经完成的先前行程分段的信息。用户可以激活任何这样的标签相关的菜单项。作为响应，AIM402可以例如以菜单或某种其他格式的形式表示关于主页工作空间1102中的先前行程步骤的信息。菜单结构还可以允许用户在用户请求时检查未在行程中遇到的未来行程步骤。
此外，即使在已经开始行程之后，用户可以指示AIM 402返回到图13所示的中枢菜单，例如使得用户可以访问在该默认中枢菜单中指定的信息和/或功能。
作为进一步的澄清，在上面的示例中，当前境况涉及用户的整个行程中的物理位置或分段。在其他情况下，主页工作空间1102可以呈现关于用户对虚拟空间的探索的境况信息。例如，用户可以在由商店提供的产品的层级内导航。在该情况下，主页工作空间1102可以呈现关于一组产品、单个产品等的菜单。
一般来说，图13-图16所示的上述类型的菜单对应于主菜单。AIM 402在主页工作空间1102中显示这些类型的菜单。相反，AIM 402在位于主页工作空间1102的外围的其他工作空间中呈现次级菜单。图17-图20示出了可以在这些外围工作空间中呈现的示例性次级菜单。
例如，图17示出了用于在主要工作空间1104中呈现的主要菜单。主要菜单标识当与SI模块302的不同方面交互时通常使用的动作。图18示出了用于在设置工作空间1110中呈现的设置菜单。设置菜单允许用户改变影响SI模块302的操作的各种参数。图19示出了用于在信息工作空间1108中呈现的信息菜单。信息菜单呈现对诸如剩余电池寿命、信号强度等系统信息的方便访问。信息菜单还提供了到通知和其他有用的警告信息和行程信息(例如，公共交通服务的实时更新)的方便门户。
图20提供用于在“我附近”工作空间1106中呈现的“我附近”菜单。“我附近”菜单呈现关于当前时间在用户的近距离内的(或以其他方式与用户的当前境况相关联的)、如图4的RID模块426所标识的感兴趣的境况项(IOI)的信息。用户可以使用设置菜单来指定最大距离，最大距离确定什么构成“附近”境况IOI。每个境况IOI在“我附近”菜单中通过其名称、其类别(例如，“食物和饮料”类别)以及其与用户的距离被标识。用户可以激活该菜单中的项，使得SI模块302提供关于该境况IOI的音频信息。该音频信息可以被公式化为三维声音信息，使得在递送时，其似乎起源于在物理空间中可以找到与境况IOI相关联的实体的相同方向。
图21示出了可以在主页工作空间1102中呈现的暂时性菜单的示例。例如，用户可以通过首先导航到图19所示的、在信息工作空间1108中呈现的信息菜单来激活该暂时性菜单。然后，用户可以激活菜单中的“通知”菜单项。作为响应，AIM 402可以呈现图21所示的暂时性菜单。
相反，图22示出了覆盖菜单的示例。在该特定示例中，用户可以通过首先前进到图18所示的、如设置工作空间1110中所呈现的设置菜单来激活覆盖菜单。然后，用户可以激活该菜单中的“境况意识”菜单项。AIM 402通过呈现图22所示的覆盖菜单来响应用户的动作。与图21所示的暂时性菜单不同，图22所示的覆盖菜单在设置工作空间1110中被呈现在图18所示的设置菜单“之上”，而非在主页工作空间1102中。如在下面将描述的，覆盖菜单和暂时性菜单也可以响应于“返回”命令的执行而展现不同的行为。
在图22的特定情况下，覆盖菜单允许用户改变由SI模块302提供的境况意识的水平。例如，通过该菜单，用户可以设置确定转发给用户的信息的数量的参数值。在一种情况下，用户可以选择接收与他或她的当前境况潜在相关的所有信息。在另一种情况下，用户可以选择仅接收被认为具有高重要性的警告和其他信息项。
图23示出了用户可以在用户的行程中的任何接合点处指示SI模块302呈现关于他或她的当前境况的信息的一种方式。根据一个非限制性情况，用户可以使用手指(例如，拇指)，以在用户设备106的触敏表面上(在表面上的任何位置处)进行单个点击手势。响应于检测到该手势，SI模块302可以呈现关于用户的当前境况的高级信息作为有声消息。例如，SI模块302可以宣布将适合于该境况的境况菜单的标题。例如，在图14的示例中，SI模块302可以宣布“客车E：伦敦帕丁顿”。
备选地，用户可以做出双个点击手势。响应于检测到该手势，SI模块302可以再次呈现关于用户的当前境况的更详细的信息作为有声消息。例如，在双个点击时，SI模块302可以宣布图14所示的菜单中的菜单项。
接下来假定用户执行三个点击手势。响应于检测到该手势，SI模块302可以宣布以下指令：如果该菜单实际上关于用户的当前境况，则该指令通知用户如何与图14所示的菜单类型交互。例如，指令可以通知用户如何激活菜单、如何在菜单内导航、如何选择菜单内的菜单项等。
前进到图24，该图示出了用户如何激活菜单，以及用户随后如何与菜单交互。在一个非限制性情况下，通过在用户设备106的触敏显示表面的表面上的任何地方进行点击并保持手势，用户可以激活图24所示的菜单。例如，如图24所示，虚线圆2402指示用户已点击并将他或她的拇指保持在触敏表面的表面上的位置。
响应于检测到该手势，AIM 402呈现菜单2404。菜单以用户触摸表面(对应于触摸位置)的表面上的点(对应于显示位置)为中心。用户可以发现这个特征是有用的，因为它消除了为了激活菜单2404而在用户界面演示中寻找特定元素的需要。相反，用户可以在表面上的任何地方执行点击并保持手势。该特征反过来减少了在使用系统102时对用户的干扰。但是不是所有的位置都将导致菜单2404的成功激活。例如，如果用户点击太靠近表面的顶部或底部，则AIM 402可以可选地向用户呈现错误消息(例如，作为有声消息)，要求用户更接近表面中间重复他或她的点击并保持手势。
到目前为止示出的菜单具有特定的统一菜单结构。图24所示的菜单2404具有相同的结构，该结构现在将在下面描述，同时注意，该结构以示例而非限制的精神阐述。其他实现可以采用其他菜单结构和行为。例如，该子部分将以采用不同菜单结构(与图24的菜单2404相比)、展现不同菜单行为的实现的示例来结束。此外，本文中所描述的菜单以线性列表的形式呈现其菜单项；但是可以使用以其他方式呈现其菜单项的其他菜单(例如，径向菜单或饼形菜单等)。
图24所示的菜单结构具有由标记项2406分隔的两个菜单项分组。更具体地，菜单项的第一分组2408呈现特别与用户当前境况或手头任务相关的菜单项。菜单项的第二分组2410呈现与可以在不同工作空间中呈现的多个类型的菜单相关的菜单项，因此可被称为全局或通用菜单项。例如，作为第二分组2410中的菜单项的“停止收听”命令跨越不同的菜单和工作空间相关，而作为第一分组2408中的菜单项的菜单项“项A”可以被选择，因为其与用户试图通过与菜单2404交互来完成的任何任务特别相关。
然而，第二分组2410可以省略针对特定菜单不相关的某些全局选择。例如，如果用户已经在观看“标签”菜单，则与该菜单相关联的第二分组可以省略允许用户访问标签菜单的菜单选项(因为用户已经在观看该菜单)。
不同的菜单项(在第一分组2408或第二分组2410中)在被选择时调用不同的操作。例如，第一类型的菜单项可以在被选择时调用动作。例如，菜单项“开始收听”在被调用时，指示SI模块302开始收听用户的语音命令。第二类型的菜单项可以在被调用时呈现信息(例如，电池状态信息等)。第三类型的菜单项可以在该菜单项被调用时为用户呈现改变属性值的机会。例如，在一些情况下，用户激活这种类型的菜单项可以激活覆盖菜单。然后，用户可以与覆盖菜单交互，以改变所考虑的属性值。在另一种情况下，用户激活这种类型的菜单项可以直接改变属性值(例如，通过将设置从“开”状态切换到“关”状态或反之亦然)。也可以是其他类型的菜单项和相关联的调用行为。
标记项2406显示消息“释放以解除”。该消息通知用户他或她可以从触摸敏感表面的表面释放他们的手指而不选择任何菜单项，假定，即，当手指放置在标记项2406上、而不是某个其他菜单项时，用户释放他或她的手指。响应于这样的手势，AIM 402可以将菜单2412显示在其初始的未激活状态。该菜单2412中的标记项2414承载消息“点击并保持”，其邀请用户执行点击并保持手势，以重新激活处于其活动状态的菜单2404。
前进到图25，假定用户不是停用菜单2404，而是决定向上滚动通过第一分组2408中的项。用户可以通过在向上方向上移动他或她的手指、同时将他或她的手指保持在触敏表面上来执行这个动作。作为响应，AIM 402可以产生图25所示的菜单状态2502。具体地，AIM 402响应于用户的手势可以沿向下方向移动菜单项，这使得第一菜单项2504(而不是标记项2406)变为突出显示。为了选择该菜单项2504，用户可以从菜单项2504释放他或她的手指。备选地，用户可以通过移动回到标记项2406然后在被定位在该项处时释放他或她的手指来停用菜单。或者用户可以在与菜单项的第二分组2410相对的方向上向下滚动。用户可以在手指位于第二分组2410中的菜单项之一时释放他或她的手指，以选择该菜单项。用户可以发现上述用户界面行为是有益的，因为他或她可以用一只手以无缝和流畅的方式与用户设备106交互，在他或她移动通过环境时对用户的干扰最小。例如，在该实现中，用户不需要寻找并选择一系列命令按钮或菜单项；这样做将需要用户特别注意用户设备106。
在图25的具体示例中，假定用户向上滚动到项的第一分组2408的顶部以选择“更多项”的菜单项2506，然后在该菜单项2506上释放他或她的手指。作为响应，AIM 402呈现图26所示的菜单2602。该菜单提供菜单项中表示在先前菜单中示出的第一分组2408的继续的另一第一分组2604；即，虽然图25中的第一分组2408呈现菜单项1、2和3，但是图26的第一分组2604呈现菜单项4、5和6。更一般地，菜单结构可以将菜单项的完整列表表示为一系列链接的较小列表。在图25和图26的示例中示出了两个链接的列表，但是可以通过任何数目的链接列表形成完整列表。
用户可以通过向上滚动到“先前页”菜单项2606并且然后从该项释放他的或手指来返回到图25所示的菜单状态2502。备选地，为了执行该返回指令，如图26所示，用户可以将他或她的手指移动到触敏表面的周边(例如，如虚线圆2608所示)，然后向内朝向表面的中心轻弹。用户可以通过从表面的相对边缘向内轻弹来执行相同的操作。
虽然在图26中未示出，但是菜单2606还可以给予用户(经由适当的菜单项)返回到一系列级联菜单列表中的第一页的选项，例如，而不是通过发出一系列返回指令借助链接的列表来连续地移动返回。此外，虽然在附图中也未示出，但是每个分组可以包括列表末端标记项，其指定分组的末端。用户可以通过移动到该项并在被放置在该项上时移除他或她的手指来停用菜单。
更一般地，用户可以在不同类型的菜单上执行图26所示的后退手势的类型，这可以产生不同类型的动作。例如，在用户确认这是他或她打算做的事情之后，在主页工作空间1102中呈现的根(主)菜单上的返回动作可以使得用户退出与SI模块302相关联的应用。在主页工作空间1102中呈现的暂时性菜单上的返回动作可以使得AIM 402呈现主页工作空间1102中最后呈现的任何上下文菜单。在覆盖菜单上的返回动作有时可以导致呈现次级工作空间中的“下层”次级菜单。例如，特定设置相关的覆盖菜单(例如，如图22所示)上的后退动作可以导致显示设置工作空间1110中的下层设置菜单(例如，如图18所示)。
图27示出了工作空间与图11的实现相比的、对应于由AIM 402提供的菜单功能的第二实现的备选组织。以概述的方式，图27的工作空间结构包括具有与图11所示的功能相同的基本功能的五个工作空间(2702、2704、2706、2708、2710)。例如，在整个行程中，主页工作空间2702继续用作用户注意力的中心焦点。主页工作空间2702还继续显示与用户行程中遇到的当前境况(或与空间的其他类型的交互)相关联的菜单和其他信息。但是主页工作空间2702不再将中枢菜单呈现为默认值。相反，主页工作空间用于将标签相关的信息示出为默认值。
更具体地，主页工作空间2702示出了在不存在活动标签时，图28所示的默认标签信息。默认标签信息可以提供关于用户如何开始创建标签的引导。相反，主页工作空间2702可以显示当存在活动标签时，图29所示的标签菜单。默认地，在列表中具有第一位置(即，标签号1)的标签菜单项对应于当前境况。
图29还示出了与迄今为止描述的菜单结构相比，第二实现提供了不同的菜单结构。例如，第二实现不再将菜单组织成由菜单标记分隔的两组菜单项。相反，第二实现呈现被确定为与用户的当前感兴趣焦点相关的菜单项的单个列表。如果用户希望访问先前在第二分组中呈现的全局菜单项的类型，则用户可以导航到主要工作空间2704以访问那些项。
图30呈现关于菜单项列表中的菜单项的一个可能组织的附加信息。这里，菜单项表示响应于对用户附近的商店进行搜索而产生的搜索结果项。通过执行上面关于第一实现(并且如图23和图24所示)描述的点击并保持手势，用户可以激活任何菜单(例如，图30所示的菜单)。
在激活菜单时，在第二实现中，AIM 402在用户设备的显示表面的中间附近呈现列表中第一条目。然后，用户可以通过在向上方向上进行一个或多个平移手势来向上移动列表，或者通过在向下方向上进行一个或多个平移手势来向下移动列表。当用户在任一方向上到达列表的末端时，列表重复。即，当用户前进经过列表中的最后项时，用户将遇到作为下一条目的第一项。当用户前进经过列表中的第一项时，用户将遇到最后项。由于这种菜单呈现策略，第二实现可以省去使用如第一实现中所使用的多页列表。即，用户使用一个或多个平移手势来导航通过单个主列表。用户通过将一个或多个手指放置与触敏表面接触并沿期望的平移方向拖动这些手指来做出平移手势；这里的移动与轻弹手势相比较慢。
图31提供关于上述行为的附加信息。这里，用户通过沿向下方向拖动所显示的菜单来进行平移手势。但是与第一实现的情况不同，当导航通过列表时，用户不需要将他或她的手指保持在表面上。例如，用户可以进行多个平移手势；在每个平移手势之间，用户可以从表面移除他或她的手指。第二实现不将用户的手指从表面的移除解释为在该时间选择被突出显示的任何菜单项的指令。在由用户规定的不活动时间量之后，或者当用户做出后退手势时，第二实现可以停用菜单。
如图32所示，用户可以通过朝向表面的周边进行短触摸和拖动手势来选择列表中突出显示的项。当AIM 402将用户的手势解释为选择突出显示的项的请求时，AIM 402将提供听觉和/或触觉反馈。然后，当用户从用户设备106的表面移除他或她的手指时，AIM 402将选择该项。备选地，代替移除他或她的手指，用户可以以相对方向拖动他或她的手指后退，以取消AIM 402将再次确认(例如，通过提供适当的一个或多个提示)的选择操作。
图33示出了在菜单的周围执行的后退手势以及对该手势的响应。更具体地，用户现在可以通过从相应边缘向左或向右拉动短距离直到AIM 402指示其已经理解用户的手势(例如，通过提供适当的一个或多个提示)来执行后退手势。此时，用户可以释放他或她的手指以执行后退动作。或者用户可以在相对方向上移动他或者手指，直到AIM 402将用户的动作解释为撤销后退动作的请求。在图33的示例中，后退动作使得AIM 402从搜索结果菜单转换到标签菜单。
图34示出了用户可以通过在菜单上绘制圆形3402(例如，通过在主页工作空间2702中呈现的搜索结果菜单(例如)上绘出圆)来执行的手势。响应于该手势，AIM 402将返回到标签菜单。尽管未示出，但是用户可以随后在标签菜单上执行相同的圆手势。作为响应，AIM 402将返回到搜索结果菜单(或用户发起的任何页面—即，用户绘制原始圆的任何页面)。
图35示出了用户可以通过在菜单上绘制半圆3502(例如，通过在主页工作空间2702中呈现的搜索结果菜单(例如)上画出半圆)来执行的手势。作为响应，AIM 402将焦点返回到当前境况中呈现的任何内容。在图35的示例中，AIM 402返回到与行程中的当前步骤相关联的信息(如图35的右侧所示)。如果用户当前没有进行行程，则当前境况可以对应于最后打开的任何菜单。用户可以通过在图35的右侧所示的页面上绘制半圆来将该转换反向。
图36和图37示出了可以用于分别增加和降低由图1的系统提供的详细级别以及由系统提供的境况信息的级别的不同手势。例如，如图36所示，用户可以在任何菜单(这里，标签菜单)上绘制右箭头形状3602来增加SI模块302的详细级别。如图37所示，用户可以在任何菜单上绘制左箭头形状3702来降低SI模块302的详细级别。详细级别指的是SI模块302递送其例如从简洁到详细的音频信息的简洁性。
也如图37所示，用户可以在任何菜单上绘制向上箭头形状3704或向下箭头形状3706，以分别增加或降低提供给用户的信息的级别。例如，用户可以通过避免发送关于一个或多个最不关键的信息项类别的用户信息(例如，通过省略境况信息、但是发送警告信息和行程信息)来缩小境况信息的数量。
尽管在附图中未具体示出，但是(与第一实现相比)第二实现方式还可以执行其他新手势。例如，用户可以在第一菜单上执行点击并保持手势，以从该菜单转换到动作菜单(其中动作涉及与上下文相关的动作，上下文与第一菜单相关联)。用户可以在动作菜单上执行相同的手势以返回到原始(第一)菜单。在这种情况下，与通常用于激活任何菜单的点击并保持手势相比，点击并保持手势涉及更长的保持动作。
作为另一新手势，用户可在菜单的菜单项上执行竖直轻弹手势。AIM 402将根据轻弹的方向将该动作解释为在上或下方向上快速前进通过菜单项的请求。作为另一新手势，用户可对菜单中的菜单项执行水平轻弹手势，以前进到列表中的下一菜单项。用户可以做出多个这样的水平轻弹特征，以连续地前进通过列表，每次通过一个菜单项。
在第一或第二实现(对应于图11和图27)中，用户可以执行手势以将用户设备106置于口袋模式。当用户设备106检测到该手势时，除了具有取消口袋模式的效果的手势之外，其将忽略用户可以做出的任何后续手势。如名称所暗示的，口袋模式在用户希望将用户设备106收藏在口袋或一些其他隔室(例如，钱包，包等)中的情况下是有用的。当激活时，口袋模式防止用户意外触摸接触和/或移动被(不正确地)解释为有意义的手势。用于调用和撤销模式的手势可以对应于例如指示滑动手势等。
C.2.声音和触觉提示
AIM 402可以通过利用声音生成模块414的使用来呈现各种声音。AIM 402还可以使用触觉提示生成模块418来呈现各种触觉反馈体验(例如，振动提示)。AIM 402可以响应于不同类型的触发事件产生这样的声音和振动提示。例如，响应于状态的某些改变、响应于用户采取的某些界面动作(例如，菜单项之间的导航)、响应于行程中的某些事件等，AIM402可以呈现这些声音和触觉提示。
以下列表描述代表性声音(和相关联的触觉提示)、以及调用它们的示例性情况。
加载/忙。当SI模块302处于用户不能与其交互的状态时，AIM 402可以重复地播放加载/忙的声音。该声音向用户确保SI模块302正在工作，但是它当前正忙于执行动作。例如，该声音可能类似于乒乓球上下弹起；反弹的频率可以随着处理接近完成而增加，并且可以以嘹亮的声音结束。
到区域菜单的转换。该声音指示在专用次级工作空间区域之一中呈现的次级菜单(而不是在主页工作空间中的当前上下文菜单)已经移动到焦点，并且现在正在呈现。该声音还可以传达用户已经执行相应手势的方向。例如，声音可以类似于嗖嗖声(swoosh)，如在相应方向上的阵风。此外，在一种情况下，AIM 402可以将该声音表达为三维声音。
从区域菜单的转换。该声音指示当前上下文菜单(而不是在专用工作空间区域之一中呈现的次级菜单)已经移回焦点并且现在正被呈现。该声音还可以传达用户已经执行相应手势的方向。例如，声音可能类似于“到区域菜单的转换”的嗖嗖声，但是以与“到区域菜单的转换”的声音相对的方向移动。同样，AIM 402可以可选地将该声音表达为三维声音。
菜单激活。该声音表示菜单现在处于活动状态，并且可以被操纵。该声音可以被描述为渐现(fade-in)声音，淡入声音以咬合型(snap-in-type)声音终止。另外，AIM 402可以呈现短的振动提示，短的振动提示确认用户产生状态变化的意图。此外，AIM 402可以调用宣布例如“菜单释放以解除(dismiss)”的语言提示。该提示通知用户菜单是活动的，并且用户可以通过将他或她的手指从标记项释放来停用菜单。
菜单停用。该声音表示菜单已经被停用，因此在不重新激活菜单的情况下，菜单不再可以被操纵。该声音可以被描述为逐渐消失型(fade-away-type)声音。
不支持手势。AIM 402可以播放指示手势被识别但是手势无效(例如，因为它当前不被支持)的该短的声音。该声音可能类似于重击声(thud)，然后是温和的双调拒绝访问型通知。AIM 402可以播放更具体的“不可以后退(cannot go back)”的声音，以指示已经执行了后退手势，但是例如由于不可能进一步向后，所以后退手势不能被执行。
菜单项改变选择。该声音表示用户已经移动到菜单中的菜单项。该声音的音调取决于菜单中菜单项的位置，例如，其中音调可以随着用户向上移动列表而增加，并且随着用户向下移动列表而减小。此外，在一个实现中，与菜单项的第二分组(与全局项相关联)相比，AIM 402可以在遍历菜单项的第一分组(与上下文特定项相关联)时呈现不同的比例。在这两种情况下，用户可以感知类似于在钢琴的键上运行手产生的声音；但是在这种情况下每个声音可以比钢琴音调更短，并且类似于气泡的破裂。
此外，AIM 402可以在遍历每个菜单项时呈现振动提示。用户可以体验类似于在高低不平的表面上运行手的振动提示，每个隆起表示不同的菜单项。用户可以有意识地或潜意识地对隆起计数，以快速获得他或她在列表中的位置的一般概念。此外，AIM 402可以在前进到菜单项时呈现音频消息，音频消息通知用户菜单项处于焦点中并且在用户释放手指时被选择。例如，AIM 402可以通过在列表中给出其号码并且然后宣布该项的描述来宣布菜单项。
确认菜单选择。该短声音指示动作何时导致状态的改变。它可以被实现为短而精确的、末端具有嘹亮的乐段的声音。例如，声音可能类似于哔哔声，随后是朝向其末端渐弱的移动摩擦声音。AIM 402还可以执行确认选择动作的短振动提示。此外，AIM 402可以播放确认该项已经被选择的语言提示。
示出对话框菜单。该短声音表示覆盖菜单现在正在其他内容的顶部呈现。该声音可以类似于渐现的上升型声音。AIM 402还可以提供进一步确认状态的改变已经发生的、伴随的短振动提示。此外，AIM 402可以播放说明现在正在呈现覆盖菜单的语言提示。
关闭对话框菜单。该短声音指示对话框(例如，覆盖菜单)已经被关闭并且焦点已经返回到先前的上下文。该声音可以类似于渐弱的下降型声音。
上下文切换。该短而明显的声音指示例如因为用户已经前进到新的行程步骤等，当前上下文菜单的状态已经被转换，以呈现新内容。该声音可以类似于哔哔声，随后是微妙的十字转门噪声。
上述声音是代表性的，并且不是AIM 402可以提供的全套声音的穷举。例如，在用户与AIM 402交互的同时，以下附加的声音可以在用户执行某些动作时被触发：a)“去往动作(to-actions)”的声音，其指示动作菜单基于对在先前菜单中的菜单项的选择被呈现；b)“来自动作(from-actions)”的声音，其指示活动菜单响应于从动作菜单的返回而被呈现；c)“动作不可用”声音，其指示已经识别针对特定菜单呈现动作的指令，但是不存在与特定菜单相关联的动作；d)“项可选择”声音，其指示在释放用户的手指时，已经成功地标记菜单项以供选择；e)“项不可选择”的声音，其指示先前被标记用于释放时选择的项现在已经被成功地未选择，并且因此将在用户的手指释放时不再被选择；f)“项不可选择”的声音，其指示用于标记用来选择的项的手势已经被识别，但是手势不适用于所考虑的项；g)“选择但不改变”声音，其指示已经进行了选择，但是焦点没有改变是适当的；h)“后退成功”声音，其指示后退手势已被识别并且后退动作已被调用；i)“到标签的切换”的声音，其指示“到标签的切换”手势已经被成功地识别并且标签菜单现在被呈现；j)“来自标签的切换”的声音，以指示“来自标签的切换”的声音已经被识别，并且已经恢复在切换到标签菜单之前呈现的先前菜单；k)“开始收听”声音，其指示SI模块302正在收听用户的语音命令；l)“取消收听”声音，其指示语音识别模式现在已经被取消；m)“完成处理”声音，其指示应用程序已经完成了对语音输入的接收和处理；n)“动作采取”声音，其指示已经采取动作作为基于语音的输入的结果，等。此外，AIM 402还可以呈现将伴随上述任何声音的任何类型的触觉提示。
可以在用户与耳机108交互的过程中发生的某些事件上触发以下示例性声音：a)“按钮点击”声音(在执行动作之前播放)，以指示在耳机按钮上点击手势已被识别；b)“按钮按压”声音(在执行任何动作之前播放)，以指示在耳机按钮上已识别了按压手势；c)“按钮保持”的声音(在执行动作之前播放)，其指示在耳机按钮上已识别保持手势；d)“取消动作”声音，其指示从耳机按钮调用的任何先前动作已被取消(例如，针对停止宣布作为定向动作的一部分的境况IOI的请求等)。此外，AIM 402还可以呈现将伴随上述任何声音的任何类型的触觉提示。
在行程过程期间，以下示例性声音可以在发生某些事件时被触发：a)“开始行程”声音，以指示行程已经开始并且导航正在进行中；b)“模式切换”声音，其指示用户已经切换他或她的交通模式(例如，从步行到火车等)；c)“节拍”声音，以有向地指示用户尝试获得作为导航的一部分的、沿行程的下一点而；d)“警告”声音，以指示警告信息将要被大声的读出、播放，以提高用户的意识并给予用户调入该信息的时间；e)“航点到达”声音，以指示用户已经到达行程航点并且导航信息将要被大声读出、播放，以提高用户的意识并给予用户调入该信息的时间；f)“接近航点”声音，以指示用户正在接近航点并且导航信息将要被读出、播放，以提高用户的意识并给予用户调入该信息的时间；g)“行程更新”声音，其被播放以指示关于当前行程的改变的信息将被大声读出、播放，以提高用户的意识并给予用户调入该信息的时间；h)“境况信息”声音，其指示境况信息将要被读出；i)“进一步信息”声音，其指示附加信息将要被大声读出，等。此外，AIM 402还可以呈现将伴随上述任何声音的任何类型的触觉提示。
一般来说，上述声音和触觉提示进一步促进当用户与他或她的环境交互时向用户提供有用信息的目标，而不会不适当地分散用户的注意力。例如，用户在导航菜单时听到的声音和触觉提示允许用户在不将他或她的注意力从环境转移的情况下，与菜单交互。
C.3.语音识别模式
系统102支持语音识别模式，其中用户可以例如除了与耳机108和/或用户设备106手动交互之外，还经由口头指令向系统102发出命令。或者，系统102可以使用语音识别模式作为用户与系统102交互的唯一模式。为了执行用户语音命令的识别，系统102可以依赖于预先存在的语音识别技术(例如，由MICROSOFT公司提供的CORTANA系统)、和/或本地语音识别技术。图3示出了作为语音处理引擎328的语音识别技术。
如上所述，用户可以经由适当的命令来调用语音识别模式，适当的命令通过耳机108和/或用户设备106的菜单发出。在其他情况下，用户设备106可能已经与作为其默认操作方式的一部分(而不是在执行导航的上下文中)的语音识别系统(例如，CORTANA)交互。这里，用户可以在语音识别模式下通过在导航应用的名称之后发出口头命令(例如，通过说出命令“Soundscape，开始探索模式”)来与SI模块302交互。如果用户已经在导航应用的上下文中激活了语音识别模式，则用户可以仅仅说“开始探索模式”等。
以下列表标识可以在语音模式下发起的示例性操作：a)用户可以打开现有的(保存的)行程；b)用户可以激活或重新激活定向模式；c)用户可以激活或停用探索模式；d)用户可以请求关于特定主题的更多信息；e)用户可以请求停止所有(或一些)有声消息；f)用户可以进行各种参数设置；g)用户可以保存旅行信息，等。
示例性命令可以对应于：a)“创建到目的地[x]的路线，在时间[y]处离开，仅使用公共交通[z]”；“找到最近的咖啡店”；c)“将我带到火车站”；d)“什么时间？e)“增大音量”；f)“从感兴趣项中删除餐馆”等。
语音处理引擎328有时可能遇到其理解用户的命令、但其确定命令省略一个或多个必要信息项的情况。作为响应，语音处理引擎328可以请求用户提供缺失的信息项。
在其他情况下，语音处理引擎328可能遇到其不理解用户的命令的情况。在这些情况下，语音处理引擎328可以要求用户重述该命令。如果不成功，则语音处理引擎328可以向用户呈现对用户的话语所提出的解释(例如，基于对用户命令中的关键字的检测)，然后询问用户解释中的任一个是否正确。如果不成功，则语音处理引擎328可以邀请用户经由耳机108和/或用户设备106输入等效命令。
图38示出了总结图4和图5的AIM 402的一种操作方式的过程3802。在框3804中，AIM 402检测由用户执行的、与激活相关联的工作空间中的菜单的指令相对应的第一手势。相关联的工作空间对应于多个工作空间中的一个，并且相关联的工作空间具有相对于多个工作空间中的其他工作空间的确定的空间关系。例如，第一手势可以对应于参考图24描述的上述点击并保持手势。在框3206中，AIM 402响应于第一手势激活菜单。
在框3808中，AIM 402在菜单中的菜单项集合之间检测由用户执行的、对应于前进到特定菜单项的指令的第二手势。例如，第二手势可以对应于上述(例如，参考图25和图31)任何类型的滚动或平移手势。在框3810中，AIM 402响应于第二手势前进到特定菜单项。
在框3812中，AIM 402检测由用户执行的、与选择特定菜单项的指令相对应的第三手势。例如，第三手势可以对应于图25所示的释放手势的类型或者图32所示的“拉到侧面”手势的类型。在框3814中，AIM 402响应于第三手势执行操作。操作可以对应于动作的调用、参数的设置、信息的呈现等。
总之，上述特征允许用户安全和有效地移动通过他或她的环境。例如，当用户在环境中移动时，工作空间提供用户友好的方式来向用户展现最相关的信息。此外，一些特征允许用户与用户界面演示交互，而不将视觉注意力引导到该演示，和/或不必执行将用户的注意力从与环境交互的物理任务转移的麻烦和复杂的手势。例如，在不查看用户界面演示的情况下，用户可以使用单个手执行一些手势。D.使用声音促进用户与其环境之间的交互
如在开端部分A中所描述的，(图4的)声音生成模块414可以生成非三维(非空间)声音和三维(空间)声音。三维声音是即使其在物理空间中没有实际起源，但是用户感知为从物理空间中的至少一个位置发出的声音。具体地，图39示出了使用三维音频信息来创建对从空间内的特定位置发出的声音的感知。图40示出了使用三维音频信息来创建对跨越空间内的一系列位置移动的声音的感知。
在一个实现中，声音生成模块414可以使用例如在数据存储库416中提供的头部相关的传递函数(HRTF)的库来产生三维声音。HRTF对人脸的解剖特征进行建模，人脸的解剖特征具有与人在其环境中感知声源的方式有关的个人特征。为了产生三维声音，声音生成模块414可以选择适合于特定人以及空间中的特定声音位置(相对于人的位置)的HRTF。然后，声音生成模块414可以应用该HRTF来修改非三维声音(例如，平坦的或非空间声音)，以例如通过将非空间声音与所选择的HRTF进行卷积来产生三维声音。
更具体地，在一种情况下，声音生成模块414可以接收输入信息，该输入信息描述：(a)待播放的非三维声音；(b)空间中声音被感知为源自其的位置；以及(c)(可选地)用户的身份。输入信息可以通过提供标识数据存储库416中的音频信息和/或可以提供音频信息本身的参考信息来描述非三维声音。例如，非三维声音可以对应于指示音和/或有声消息。然后，对于用户的每个耳朵，声音生成模块414可以：(a)针对考虑中的特定用户，标识与位置相关联的HRTF；和(b)将HRTF应用于非三维声音，以产生三维声音。提供给声音生成模块414的输入信息可以源自下面描述的SI模块302的其他模块中的一个或多个(例如，对应于路径引导模块420、相关信息确定(RID)模块426、探索模块430、定向模块432等)。
声音生成模块414关于在数据存储库416中提供的HRTF库来执行上述功能。在一个实现中，SI模块302可以在数据存储库416中存储已经为特定个体准备的(并因此考虑这些人的特定解剖特征的)HRTF。例如，针对每个人，可以通过测量每个人的面部物理特征来获得HRTF。该任务又可以以手动方式(例如，通过使用物理距离测量工具)、通过使用深度相机(例如，通过使用由华盛顿州雷德蒙德的微软公司提供的KINECT系统)等来执行。更具体地，针对特定人生成的HRTF集合包括针对空间中的声音的每个位置(相对于用户的头部的位置)以及针对用户的两只耳朵中的每一个的HRTF。不同的实现可以委托不同的个人(例如，声学工程师、系统管理员、最终用户等)来创建这些HRTF。
在第二实现中，声音生成模块414可以存储HRTF针对不同的相应人群执行良好的单独的组。系统102然后可以邀请最终用户选择被感知为产生最真实的三维声音的HRTF的集合。例如，用户可以通过请求系统102使用不同的HRTF产生相同的三维声音(一个或多个)来在设置阶段做出该选择；用户可以选择产生最期望的结果的声音(一个或多个)(和对应的HRTF)。在第三实现中，声音生成模块414可以存储已经被证明适合于大量用户的HRTF的单个集合，即使这些HRTF没有针对任何特定的人或人群定制。还可以使用其他技术来生成和/或选择合适的HRTF。
在一个实现中，声音生成模块414生成传达宽带音频信息的三维声音。宽带音频信息是包括广泛分布的音频频率(例如，在一个实现中，在300Hz到3.4kHz的范围中)的音频信息。此外，各个三维声音本质上是表达性的，以进一步强调它们的方向性。例如，一个这样的三维声音可以类似于从左到右或从左到右吹来的阵风。音频信息的其他属性(除了其基于HRTF的方向性之外)(例如，通过提供音量、音调、混响、循环频率(用于重复声音)等的变化等)可以有助于其表现性。所有这些因素有助于对声音源自物理空间中的特定位置(一个或多个)的真实感知。
还如部分A中所述，不同的模块可以利用三维声音来用于不同的目的和不同的操作模式。这些模块包括路径引导模块420、RID模块426、探索模块420、定向模块432等。为了简化描述，每个这样的模块有时被描述为产生三维声音。实际上，每个模块通过生成上述输入信息来产生声音，并将输入信息馈送给声音生成模块414；声音生成模块414然后使用输入信息来产生实际的三维声音。
参考图41，首先考虑路径引导模块420的操作。如已经描述的，路径引导模块420确定用户前进的当前方向。路径引导模块420可以基于由系统的定向确定机构(一个或多个)、运动确定机构(一个或多个)、位置确定机构(一个或多个)等提供的任何信息进行该评估。在一种情况下，例如，路径引导模块420可以确定用户的头部被指向的方向(例如，基于耳机108中的定向确定机构)，然后使用该信息作为用户被推定为前进的方向的代理(proxy)。备选地或附加地，路径引导模块420可以确定用户最近经过的一系列位置。路径引导模块420可以使用该信息来计划用户看起来前进的方向。备选地或附加地，路径引导模块420可以确定用户有意指向他或她的用户设备106的方向。
路径引导模块420还可以确定用户的期望方向。路径引导模块420可以至少基于用户的当前位置和下一航点的位置来确定期望的方向。路径引导模块420还可以在确定期望方向时考虑地图信息。例如，地图信息可以以各种方式(例如，通过道路的线路、任何类型的障碍物等)显示用户的路径被限制。路径引导模块420可以使用所有这些信息来确定用户应当前进的方向，以最终将用户放置到可能以最有效的方式达到下一个航点的线路上。
基于实际方向和期望方向，路径引导模块420然后可以确定用户可能偏离期望方向的程度，例如以提供偏离信息。路径引导模块420然后可以使用偏离信息(例如，通过将偏离信息作为输入信息的一部分馈送到声音生成模块414)来生成三维声音，该三维声音将具有将用户转向期望方向的效果。
为了阐明以上描述，考虑图41的图示。这里，用户位于当前位置4102处。下一航点(w)位于目标位置4104处。用户的当前(实际)方向被表示为方向4106。用户期望的方向4108对应于将用户的当前位置4102与目标位置4104连接的向量，但是如上所述，这不需要在所有情况(例如，由于阻塞从当前位置4102到目标位置4104的直接路线的障碍)下都是这种情况。偏离信息可以对应于当前方向4106和期望方向4108之间的角度差。
响应于上述确定，路径引导模块420可以(使用声音生成模块414)产生看起来源自位置4110的三维声音。换言之，用户当前朝向期望方向4108的左侧。用户将听到向右发出的方向提示。用户将该提示感知为促使用户向右移动以校正他或她的路径的方向。如果用户开始以离期望方向4108的右侧太远的方向移动，则路径引导模块420可以在用户左侧产生(使用声音生成模块414)三维声音。用户可以继续，以基本上跟随或追求感知的三维声音的方向。当用户朝正确的方向前进时，三维声音将被感知为直接在用户前方发出；用户然后直接朝向该声音。
如上所述，路径引导模块420可以使用声音生成模块414来创建本质上周期性的三维声音，例如，对应于节拍声。例如，节拍声可以对应于重复的单音调或双音调或n音调剪辑声音等。附加地或备选地，三维声音可以看起来为以用户被促使移动的方向(例如，从左到右或从右到左等)移动。
此外，路径引导模块420可以向声音生成模块414提供输入信息，声音生成模块414具有根据用户的实际当前方向4106偏离期望方向4108的程度来改变节拍声音的一个或多个音频特性的效果。例如，路径引导模块420(结合声音生成模块414)可以在用户与理想路径的当前偏离在第一阈值内时，产生具有第一音调和/或第一循环频率的节拍声。当用户的当前偏离在第一阈值之外但在第二阈值内时，路径引导模块420(结合声音生成模块414)可以产生具有第二音调和/或第二循环频率的节拍声，等。路径引导模块420可以将用户的偏离分类为任何数目的这样的偏离类别，每个偏离类别与特定节拍声音相关联。
在图41的特定示例中，路径引导模块420限定了与期望方向4108的偏离的第一范围4112和与期望方向4108的偏离的第二范围4114，第二范围4114大于第一范围4112。当前方向4106落入第二范围4114内，因此路径引导模块420(结合声音生成模块414)将生成适合于该范围4114的节拍声。
在实际实践中，路径引导模块420在很多情况下是有用的，但是在两种情况下可以被认为是最有用的。在第一种情况下，在可用选项的固定集合中，用户可以到达他或她预期在特定方向上转向的交叉点。或者用户可以到达道路中其期望选择可能路径之一的分叉。路径引导模块420(结合声音生成模块414)可以通过播放用户感知为解决他或她的导航选择的三维节拍声音来向用户提供明确的引导。例如，当站在交叉点时，用户将听到引导他或她向左或向右(例如)的节拍声音。当站在路上的分叉处时，用户将感知将他或她沿道路中的正确分叉引导的节拍声音。
在第二种情景中，用户正在跨越更多的开放空间移动，在该空间中，他或她被给予更大的活动范围以逐渐偏离线路(与用户沿明确限定的道路或路径行走的情况相比)。这里，路径引导模块420可以以图41所示的方式给予用户增量的微移，以使用户保持正确的航向。
在另一使用场景中，相关信息确定(RID)模块426可以在沿用户路径的每个点处以及针对每个对应的当前境况，确定相关感兴趣项(IOI)(例如，境况IOI)的位置。然后，RID模块426可以使用声音生成模块414来为每个IOI生成三维声音。用户将感知到该声音源自物理空间中对应物理实体的实际位置，即，假定IOI对应于空间中具有离散物理位置的物理实体。例如，RID模块426(结合声音生成模块414)可以为在用户附近具有对应物理实体的特定IOI生成以下音频信息：[3D声音]，“Jane的咖啡店，餐馆，向前30英尺”。换言之，在这种情况下，音频信息包括三维声音，之后紧接着是有声消息。用户将三维初步声音感知为从Jane的咖啡店的物理位置发出。有声消息也可以呈现为三维声音(但不一定是)。可选地，有声消息可以备选地包括附加(或更少)的信息字段，或者可以完全省略。
在其他情况下，IOI可以在空间中具有一般来源，而不是精确位置。例如，IOI可以对应于与一般区域相关联的广告，该一般区域又对应于公共汽车站。RID模块426(结合声音生成模块414)可以针对该IOI生成用户感知为从公共汽车站的一般区域或从该区域的中心等发出的声音。该类型的IOI可以被认为是虚拟的，因为其不旨在描述公共汽车站，而是作为公共汽车站的音频属性操作。
在另一实现中，音频信息还可以包括规定IOI相对于用户的方向位置的语言提示。该方向提示可以被概况地表示(例如，通过规定Jane的咖啡店在用户前方且向右)，或者更详细地表示(例如，通过规定Jane的咖啡店相对于用户的当前方向位于10点钟)。附加地或备选地，RID模块426(结合声音生成模块414)可以例如通过针对餐馆播放第一类型的声音和针对洗手间设施播放第二类型的声音等为不同的相应IOI类别提供不同的三维声音。
例如，在探索模式和定向模式下，探索模块430和定向模块432分别利用RID模块426的上述行为。如部分A中所述，用户可以例如经由与耳机108和/或用户设备106的手动交互和/或经由语音指令来输入明确地激活和停用这些模式的命令。
更具体地，图42示出了以探索模式操作的探索模块430的示例性行为。在该模式下，一旦探索模式被用户激活，则探索模块430确定用户的当前位置和用户的当前感兴趣焦点。例如，探索模块430可以使用耳机108和/或用户设备106上的任何位置确定机构(一个或多个)来确定(例如，使用GPS传感器等)用户在当前时间的位置。探索模块430可以使用耳机108和/或用户设备106上的任何定向机构(一个或多个)来确定用户看起来将其身体定向的方向。例如，耳机108上的定向机构(一个或多个)可以确定用户头部指向的方向，用户头部指向的方向可以用作用户感兴趣的焦点的代理指示。备选地或附加地，系统102可以指示用户将用户设备106指向与他或她的感兴趣焦点匹配的方向；在这种情况下，用户设备106的定向机构(一个或多个)将正确地反映用户期望的感兴趣的焦点。还可以使用其他技术来评估用户的推定的感兴趣焦点。
接下来，探索模块430定义感兴趣的搜索空间。在一种情况下，探索模块430可以将搜索空间定义为以用户的推定的感兴趣焦点为中心的任何形状的体积。例如，体积可以对应于源自用户的当前位置的并且被用户的假定的感兴趣焦点二等分的楔形体积。系统定义和/或用户定义的参数设置可以规定体积的深度、体积的角度跨度、体积的宽度等。
接下来，探索模块430可以使用RID模块416来针对感兴趣的IOI(例如但不限于境况IOI)的存在搜索该体积。RID模块416可以通过咨询提供关于IOI的信息的一个或多个数据存储库连同定义用户的特定兴趣的任何参数设置来执行该任务(例如，用户可能已经通过排除咖啡店信息来指示他或她默认地对餐厅信息感兴趣)。在一些情况下，IOI可以与搜索空间相关联，因为IOI具有物理上位于搜索空间中的对应的物理实体。在其他情况下，由于以任何其他方式建立的某种其他关系，IOI可以与搜索空间相关联。例如，管理员(或最终用户自己)可以预先手动地规定地铁站的出口附近的区域将与天气报告IOI相关联，等。
最后，探索模块430可以生成宣布已经标识的IOI的存在的三维音频消息。探索模块430可以通过利用声音生成模块414以上述任何方式生成这些消息。例如，如上所述，音频信息可以对应于简介性声音，随后是宣布IOI的有声消息。探索模块430(结合声音生成模块414)可以按顺序(例如，以跨越体积的顺时针顺序或逆时针顺序，和/或通过增加或减小相对于用户的位置的距离等)读取这些IOI。
图42阐明了上述操作的方式。这里，用户当前位于当前位置4202处。用户的当前注意力方向由虚线4204指示。搜索体积由轮廓4206限定，轮廓4206被用户的注意力方向二等分。该搜索体积限定角度宽度(angular swath)，并且还可具有规定的高度(未示出)(例如，30英尺)。总体来说，搜索体积类似于楔形。探索模块430使用RID模块426来在搜索体积中找到三个境况IOI。探索模块430(结合声音生成模块414)通过看起来源自与境况IOI相关联的物理实体的位置的三维声音来宣布这些境况IOI。
总的来说，用户可以通过旋转其注意力方向(围绕其当前位置旋转)分阶段地与探索模块430交互。在每个阶段，在移动到新的注意力焦点之前，用户可以等待听到IOI，该IOI位于由用户当前推定的注意力焦点限定的搜索体积内(或者以其他方式与该搜索体积相关联)。例如，在一种情况下，由用户的感兴趣的方向包围的宽度(swath)是45度。用户可以通过向东北、东南、西南和西北转向，连续地对其周围的IOI进行完整的盘点。在每个定向处，用户将听到包围在感兴趣的象限中的IOI。
根据另一示例性特征，用户可以在听到其宣布之后以任何方式选择IOI。例如，用户可以在听到关于Jane的咖啡店之后发出语音指令“带我去”或“更多信息”。或者，用户可以通过将他或她的注意力焦点转向IOI的感知位置(例如，基于宣布该IOI的、感知到的三维声音的位置)来选择IOI。用户可以例如通过将他的头部或身体或用户设备106直接转向IOI的感知位置来执行该任务。或者，用户可以通过由用户设备106提供的适当菜单来选择IOI。或者，用户可以在听到IOI被宣布之后，经由耳机按钮做出适当的选择，等。响应于以任何方式作出的IOI的选择，SI模块302可以呈现关于IOI的附加信息，或提供关于如何到达IOI的指令，等。SI模块302还可以通过增加宣布所选择的IOI的存在的三维声音的音量或者通过以其他方式使该声音在用户体验中更突出来确认用户的选择。
最后，定向模块432通过以上述方式确定用户的当前位置来操作。然后它定义用户周围的三维体积。例如，三维体积可以对应于圆柱体或球体或者盒体或矩形(例如)，其中用户位于体积的中心。定向模块432然后使用RID模块426来标识存在于体积内的IOI集合(如果存在)。定向模块432然后使用声音生成模块414以任何顺序读出IOI。
例如，在图43中，定向模块432限定具有圆柱体形状的三维体积，用户位于其当前位置4302的中心处。定向模块432使用RID模块426来标识位于圆柱体内的、或者以其他方式与由圆柱体限定的空间相关联的IOI。然后，定向模块432以任何顺序读出IOI。例如，考虑访问具有三层楼的商场的用户。假定用户站在商场一楼的露天中庭。定向模块432可以读取它在逐层(例如，楼层z1、楼层z2、然后楼层z3)的基础上找到的IOI。定向模块432可以以任何顺序(例如，顺时针顺序、逆时针顺序等)宣布每个楼层上的IOI。然后，用户可以可选地以上述任何方式选择任何IOI。
作为结束评论，上述解释阐述了使用三维声音来宣布诸如餐馆等的境况IOI的存在。但是SI模块302可以使用三维声音来宣布存在任何类型的IOI，例如，警告IOI和行程IOI。例如，SI模块302可以生成关于道路中坑洼的警告，坑洼看起来源于坑洼的位置。作为另一阐明，SI模块302还可以以平面或非空间方式递送很多类型的IOI。例如，SI模块302可以产生不具有方向性的另一警告IOI，以整体地通知用户其当前正在行进的道路由于下雨而打滑。
此外，以上描述基于使用用户感知为源自物理空间中的位置的声音。附加地或备选地，触觉提示生成模块418可以生成传送方向信息的振动提示。例如，耳机108可以包括两个或更多个振动机构，例如在其框架602的左侧上的第一振动机构和在其框架602的右侧上的第二振动机构。触觉提示生成模块418可以激活第一或第二振动机构，以分别向用户提供左转或右转的指令。这种类型的指令可以通过包括附加的振动机构而包括附加的分级。通过激活用户设备106上的不同振动机构(例如，通过激活左侧振动机构来提供左转的提示，并且通过激活右侧振动机构来提供右转的提示)，可以实现相同的效果。振动机构可以被耦合到用户身体的其他设备或部分。
图44示出了描述使用三维声音来引导用户沿期望路线导航的过程4402。在框4404中，SI模块302确定在空间内沿路线的用户的当前位置。在框4406中，SI模块302生成三维声音。三维声音创建由用户感知为三维声音从空间内的至少一个特定位置发出的感知。在框4408中，SI模块302将三维声音递送给用户。三维声音辅助用户沿路线导航。
图45示出了描述以下一个方式的过程4502：路径引导模块420可以使用三维声音来沿期望路线引导用户。在框4504中，路径引导模块420确定用户朝向的当前方向。在框4506中，路径引导模块420标识期望用户朝向的期望方向。在框4508中，路径引导模块420确定当前方向和期望方向之间的差，以提供偏离信息。在框4510中，路径引导模块420使用声音生成模块414来基于偏离信息生成周期性三维声音(例如，节拍声音)。该三维声音将用户朝着期望的方向指导。三维声音可以具有取决于用户偏离期望方向的程度的一个或多个属性(例如，音调)。
图46示出了描述其中SI模块302可以使用三维声音来标识和宣布IOI的一个方式的过程4602。在框4604中，SI模块302确定感兴趣项(IOI)的集合，每个感兴趣项对应于在当前境况中与用户相关的实体或事件或信息片段。在框4606中，SI模块302为每个感兴趣项生成三维声音。用户将声音感知为源自与感兴趣项相关联的相同物理位置(一个或多个)(例如，通过将与商店相关联的声音感知为从商店的位置发出)。
在一种情况下，当用户遍历路线时，SI模块302可以将过程4602应用为后台服务。例如，如由任何基于距离的参数设置所管理的，当用户充分接近与这些IOI相关联的位置时，RID模块426可以提醒用户IOI的存在。
在另一场景中，如框4608所示，探索模块430可以通过使用RID模块426来应用上述一般过程4602，以标识与用户的注意力当前被指向或者推测为当前被指向的子空间相关联的IOI集合。在另一场景中，如方框4610所示，定向模块432可以通过使用RID模块416来应用上述一般过程4602，以标识与当前时间用户周围的整个空间相关联的IOI集合，而不需要参考用户的当前感兴趣焦点(因为用户现在对他或她周围的空间的完整体积感兴趣)。用户可以通过例如经由耳机108或用户设备106发出适当的指令来调用和暂停探索模块430或定向模块432的读出。
作为最后一个话题，上述示例基于如下简化的假定：虚拟声音产生实体(例如，虚拟声源)在空间中的位置相对于收听者的位置至少在递送三维声音的过程中是稳定的。在很多情况下，这可能是一个有效的假定，但它可能不适用于所有情况。
例如，考虑以下场景。在第一种情况下，当用户在任何类型的交通工具中(例如，在火车上)通过实体时，用户可以收听描述(或以其他方式涉及)固定位置实体的三维声音。例如，当用户作为乘客在汽车中行进时，在相对于Space Needle的任何方向上，用户可以收听描述西雅图Space Needle塔的消息。在第二种情况下，当用户静止不动但是仍然移动他或她的头部，使得用户的左耳和右耳相对于固定位置实体的位置改变时，可以收听描述(或以其他方式涉及)固定位置实体的三维声音。在第三种情况下，用户可以收听描述(或以其他方式涉及)相对于收听者的固定位置处于运动中的实体的三维声音。例如，当用户保持在机场航站楼中的固定位置时，用户可以收听宣布正沿跑道移动的飞机到达的消息。在第四种情况下，IOI和用户的位置均可能在音频信息的递送期间处于运动中。
另外注意，IOI不需要总是对应于物理实体(例如，Space Needle塔或移动的飞机)。例如，移动的“虚拟”IOI可以对应于虚拟广告牌，该虚拟广告牌递送用户感知为沿街道朝夜总会的入口移动的空间消息，诱使用户进入该场所。此外，本文中关于与IOI相关联的声音阐述的一切同样适用于其他声音(例如，周期性节拍声)。
为了解决上述任何情况，SI模块302可以动态地更新其在其递送过程中产生的三维音频信息，以在每个时刻反映用户的头部和IOI之间的相对位置(例如，在上面引用的示例中的Space Needle或移动的飞机的位置)。SI模块302可以以不同的方式执行该任务。在一个非限制性方法中，SI模块302可以在音频信息递送上的迭代过程中执行以下操作：(a)确定用户的头部相对于IOI的位置，以提供相对位置信息；(b)基于相对位置信息选择HRTF(每个耳朵)；(c)对由所选择的HRTF在当前时间要递送的任何音频信息进行卷积，以基于相对位置信息产生适合的三维声音。
举一个具体示例，考虑需要五秒来递送给用户的消息。针对该递送的每秒，SI模块302可以确定用户的头部和IOI之间的相对位置。SI模块302可以使用该信息来针对消息递送的每一秒产生基于在该时刻用户头部和IOI之间的相对位置的三维声音。
更一般地，可以以不同的更新速率执行上述迭代处理。更新速率可以取决于收听者和IOI之间的相对位置变化的速率。即，SI模块302可以针对相对位置信息的大的相对变化以相对快的速率更新HRTF，并且针对较慢的变化以较慢的速率来更新HRTF。更新速率还可以考虑在系统102中可用以更新三维声音信息的处理资源的量。
SI模块302还可以应用被设计为加速上述动态处理(其可以表示对其资源的大处理负担)的各种技术。例如，在一些情况下，由于：(a)收听者在空间中的移动；或(b)IOI在空间中的移动；或(c)收听者和IOI的移动，系统102可以针对至少一个预测轨迹预先计算动态声音；每个这样的轨迹定义了收听者和IOI之间的某种类型的预期相对运动。例如，假定火车每天以大致相同的速度经过IOI。在这种情况下，可以预先计算基于动态变化的HRTF的三维声音(每个耳朵)。当列车沿轨道移动时，该三维声音考虑了用户头部的假定的进展，并且可以基于当用户沿轨道移动时，用户的头部具有预定的固定定向的简化假定。SI模块302可以在其检测到收听者的位置相对于IOI到达预定触发位置(例如，沿轨道、距IOI预定距离的位置)时，启动该三维声音。
可以扩展上述操作方式以解释不同的场景。例如，系统102可以预先计算不同的动态三维声音，以考虑不同的列车速度、不同的固定头部定向(例如，指示用户在消息的递送期间是否正向前看，或者是否正在看向窗户外面等)等。
上述情况还可以扩展到更一般的设置，其中用户和IOI之间的移动可以被分解成多种可能性，从而允许针对这些可能性预先计算相应的动态三维声音。SI模块302然后可以在确定用户的当前境况匹配预定可能性中的一个时发出任何预先计算的声音。
在另一种情况下，SI模块302可以动态地执行处理，以例如基于用户的当前航向来预测用户相对于IOI的位置的移动。SI模块302然后可以基于用户相对于IOI的计划轨迹来动态地预先计算三维声音。
还可以使用其他技术来加速动态变化的三维声音的计算。在一些实现中，例如，SI模块302可以利用远程处理资源112的增强的处理能力(例如，通过利用由这些资源112执行的并行处理)。
总之，上述特征有助于允许用户有效地、安全地和愉快地移动通过他或她的环境的上述目标。例如，当用户穿过环境时，使用不同的演示模式，特征向用户提供不同类别的信息。该功能以用户友好的方式将该信息呈现给用户，从而避免在任何给定时间使用户被太多信息压倒。使用三维声音还增强了用户理解所提供的信息与环境中的对象、区域和事件之间的联系的能力。
E.使用信标来辅助用户与其环境交互
以下部分提供关于基于信标的引导模块422的操作的附加信息。注意，基于信标的引导模块422提供用于通过利用信标来引导用户通过空间的策略，信标具有限定的相应范围。空间可以对应于室内空间，例如由一个或多个建筑物或任何类型的结构的内部限定的空间。备选地或附加地，空间可对应于户外空间。
信标可以发射任何类型的电磁辐射，例如无线电波、红外波等。在其他情况下，信标可以发射声波(例如，在超声波范围内)。此外，在一些情况下，信标可以根据任何协议(例如，蓝牙协议、Wi-Fi协议等)或协议组合生成信号。例如而非限制，信标可以对应于蓝牙低能量(BLE)信标。此外，信标可以具有任何期望深度的范围，以最佳地适应其被部署的目标环境。在一些室内设置中，例如，选择具有相对较短范围(例如，一个或多个米的范围)的信标。在一些情况下，信标的规定范围可以基于其信号要由特定类型的用户设备(例如，特定智能电话)或特定类别的用户设备(例如，特定类型的智能手机)检测的隐含或明确陈述的假定，用户设备具有已知和稳定的信号接收特性。
在另一种情况下，每个信标是无源设备(例如，无源RFID)，当该设备在距信标的规定距离内时，无源设备可以由用户设备106(或一些其他询问设备)询问。该规定距离对应于设备的范围。然而，为了便于解释，剩余的描述将假定每个信标主动地发射信号。
在一个实现中，每个信标拥有定义其身份的代码。信标可以持续地或周期性地(或以按需方式)发出宣告其代码(和/或任何其他应用特定的信息)的信号，该信号可以由信标的范围内的接收设备检测。例如，考虑具有大约一米的范围的BLE信标。位于该范围内的接收设备可以检测信标的信号并读取其特定代码。
在图47的示例中，室内(和/或室外)环境的特征在于走廊和障碍物(例如，障碍物1、障碍物2和障碍物3)的集合。该场景涉及例如通过将信标放置在两个或更多个走廊的每个交叉点处来使用信标的集合(例如，信标b1、b2、...b7)预先填充环境。围绕每个信标的最外的虚线圆表示信标的范围。如上所述，位于信标的范围内的接收设备可以成功地检测信标；否则，接收设备将不知道信标。注意，在一个示例性实现中，信标的范围不重叠。该特征是有利的，因为它消除了在任何给定时间，用户的位置的任何模糊性。换言之，用户的设备不能同时检测两个或更多个信标，因为这些信标的范围不重叠，并且用户不能同时存在于两个地方。在一些环境中，还可以通过考虑将接收从信标发射的信号的用户设备(或设备类别)的性质来确保信标范围的非重叠性质。
作为第一初步步骤，所有信标在图47的环境中的位置可以被加载到数据存储库424中。数据存储库424还可以存储与这些信标相关联的代码。
作为第二初步步骤，系统102可以使用任何路线规划工具来生成通过图47的环境的路线。路线规划工具可以应用任何算法来执行此任务。例如，路线规划工具可以将由走廊和障碍物限定的搜索空间表达为具有多个节点和链路的图表。即，链路表示走廊，节点表示走廊的交叉点。路线规划工具然后可以使用任何算法(例如，公知的Dijkstra算法)来找到通过图表的最有效的路径。一旦定义了路线，基于信标的引导模块422就可以标识将由用户在路线中行进时遍历的信标子集(在本文中被称为路线特定的信标)，并且存储这些信标的身份。在图47的情况下，用户预期会遇到所有的信标，但通常不是这种情况(下文将阐明)。
现在假定用户使用上述系统102作为引导来开始路线。系统102可以经由耳机108和/或用户设备106来以上述方式向用户提供实时引导。然而，在这种情况下，与上述技术相比，系统102使用不同的技术来确定用户在每个时间的当前位置。
更具体地，基于信标的引导模块422持续地扫描环境，以确定用户是否在任何信标的范围内。如果是，则基于信标的引导模块422将用户的当前位置标识为已经检测到的信标的当前位置。换言之，基于信标的引导模块422先验地知道与检测到的信标及其在环境中的位置相关联的代码。如果用户的耳机108或用户设备106检测到该信标的存在(基于由所检测的信号传送的代码)，则基于信标的引导模块422可以假定用户具有与所检测的信标相同的位置。
在该接合点处，基于信标的引导模块422可以利用路径引导模块420的服务，以使用三维声音和/或基于其他引导信息(例如，非三维声音、显示的指令等)以期望方向引导用户。例如，假定用户的用户设备106检测到它在信标b4的范围中。路径引导模块420将基于预定旅程信息确定沿用户行程的下一航点对应于信标b5。路径引导模块420然后可以生成用户将感知为源自用户的右侧的三维声音，三维声音用于将用户引向下一航点(例如，信标b5)。用户将该提示解释为他或她应该向右转向的指令。用户将以该方向继续，直到他或她遇到另一信标(例如，信标b5)，此时可以更新用户的方向。
在一些情况下，用户可能以非预期的方式偏离所计划的路径，使得他或她落在他或她预期下一次遇到信标的范围之外。图48表示解决这种情况的一个方式。这里的策略是增加沿用户所计划路线的信标的数目，这具有增加评估用户的当前位置的频率的效果，并且因此降低用户可能离开路线的可能性(例如，他或她落在他或她预期遇到的信标的范围之外的程度)。注意，图48仅示出了用户期望在所计划的路线上遍历的那些信标。但是环境可以包括用户不期望遍历的附加信标(未示出)。
用户明显迷路的机会在图47和图48中并不大，例如，因为用户的选择被障碍物显著地限制。然而，用户可能变得困惑并且错误地转弯，使得他离开所计划的路线。或者用户可能有意地决定偏离所计划的路径。例如，在与图48中的信标b9相关联的交叉点处，用户可以采取左转而不是右转。因此，用户可能最终遇到其不期望遇到的路径外的信标(未示出)。
基于信标的引导模块422可以以不同的方式解决这种情况。在一种情况下，基于信标的引导模块422可以通知用户不再可以向用户提供引导，因为用户似乎已经离开轨道，并且不再可以确定用户的航向和意图。基于信标的引导模块422还可以向用户询问他或她是否打算追随通过环境的原始定义的路径。
在另一情况下，如果可以获得关于用户的当前位置、航向和意图的足够信息，则基于信标的引导模块422可以将用户引导回到所计划的路线上。例如，基于信标的引导模块422可以通过基于用户的最近已知位置的集合形成轨迹来确定用户看起来当前前进的方向(尽管它看起来是错误的)。基于信标的引导模块422然后可以使用该航向信息连同关于用户的当前位置(如果已知)的信息来将用户引导回到所计划的路线上。或者基于信标的引导模块422可以询问用户以确定他或她是打算仍然追随所计划的路线，还是选择另一路线。
在任何场景中，当该信息可用时，基于信标的引导模块422还可以依赖于用户的当前位置和航向的其他证据(除了由BLE信标提供的信息之外)。例如，基于信标的引导模块422可以从GPS传感器源、航位推算技术等收集该信息。在其他情况下，假定这些附加源中的至少一些不可用或不可靠。
图49描述了另一种情况，其中用户遍历的空间比图47和图48的示例更加开放。该空间预先填充有短距离信标的集合。例如，如果空间的物理特性允许，则可以用这种信标的规则矩阵来填充该空间。信标具有彼此不重叠的范围。
再次，路线规划工具可以基于任何输入目标、并且使用为此目的使用任何路线规划算法来生成通过空间的路线4902。然后，基于信标的引导模块422确定用户在他或她行进所计划的路线4902时，预期要遍历的信标。这些信标被表示为实心黑色信标符号。
在路线4902的实际遍历期间，基于信标的引导模块422执行与上述相同的功能。即，当基于信标的引导模块422确定用户已经沿预期路径进入信标(例如，信标b22)的范围时，则其接受该信标的位置作为用户的当前位置。然后，其重新计算用户的航向并更新三维节拍声(和/或其他引导信息)，以将用户朝向下一信标(例如，信标b33)引导。
在图49的情况下，因为错误地给予用户更多的自由度，用户将偏离轨道的风险大于图48的情况。图50描述了解决这种情况的一种方式。这里，基于信标的引导模块422定义用户可以以更一般的方式(例如，通过也包括位于最优路线5002的任一侧的相邻信标)沿所计划的路线5002遇到的信标(表示为实心黑色信标符号)。在假定用户仍然试图遵守所计划的路线5002，但已经略微偏离了路线的情况下，如果他或她漫步进入这些相邻信标的范围内，则基于信标的引导模块422可以继续向用户提供引导。基于信标的引导模块422可以仅当用户漫游超过与最外相邻信标相关联的边界时生成错误条件。
在另一实现中，基于信标的引导模块422可以基于用户沿他或她的路径到目前为止已经遇到的信标，形成关于用户的期望目的地的假设。例如，基于信标的引导模块422可以基于到目前为止遇到的信标的位置来形成轨迹。然后，基于信标的引导模块422可以例如通过沿其当前方向延伸轨迹来确定轨迹所指向的可能的中间点或最终目的地。基于信标的引导模块422然后可以询问用户他或她是否希望追随朝向假定目的地的路径。如果是，则基于信标的引导模块422此后可以提供上述的辅助用户到达所标识的目的地的相同类型的导航辅助。
在本文所述的任何情况下，基于信标的引导模块422还可以考虑关于用户的先前旅行习惯的历史信息和/或关于其他人的旅行习惯的历史信息(相对于特定环境)。该信息在可用时可以提供用户到达期望目的地的意图的进一步证据。
图51示出了描述例如在图47-图50的环境类型的上下文中，基于信标的引导模块422的一个操作方式的过程5102。在框5104中，基于信标的引导模块422从在环境内的当前位置操作的计算设备的传感器(一个或多个)接收特定信标信号。计算设备可以对应于用户设备108或耳机108等。如上所述，在一个示例性实现中，环境填充有具有相应的非重叠范围的多个信标。此外，作为预备步骤，路线规划模块可以定义由行程信息描述的期望路线。或者，当用户遍历环境时，可以基于针对用户的意图中间点或最终目的地做出的假定，以动态方式生成期望路线。在任何情况下，该期望路线遍历与路线特定的信标集合(来自环境中的信标的总集合)相关联的范围。
在框5106中，基于信标的引导模块422基于特定信标信号确定用户是否在路线特定的信标中的一个信标的范围内；当用户在该范围内时，该操作产生当前位置信息。在框5108中，基于信标的引导模块422基于预定行程信息确定用户期望到达的下一航点，以提供下一航点信息。在一些情况下，该下一航点可以对应于沿用户的预定行程的下一信标。在框5110中，基于信标的引导模块422接下来基于当前位置信息和下一航点信息来确定方向信息。方向信息反映了建议用户旅行以到达下一航点的方向。在框5112中，基于信标的引导模块422基于方向信息生成音频信息(和/或其他引导信息)。在框5114中，基于信标的引导模块422将音频信息递送给用户，例如作为三维节拍声。音频信息辅助用户到达下一航点。基于信标的引导模块422可以在路径引导模块420和声音生成模块414的辅助下执行上述功能。
图52示出了提供关于基于信标的引导模块422可以确定用户在环境内的当前位置的一种方式的进一步细节的过程5202。在框5204中，基于信标的引导模块422标识与已接收的特定信标信号相关联的特定信标代码。在框5206中，基于信标的引导模块422基于特定信标代码标识与特定信标代码相关联的特定信标。在框5208中，基于信标的引导模块422基于(在数据存储库424中)所存储的信息来标识特定信标的位置，所存储的信息标识信标代码以及环境内信标的相应位置。
总之，上述特征有助于上述目标，即特别是在用户不能依赖于确定他或她的位置的其他模式(例如，基于使用基于卫星的导航系统)的那些情况下，允许用户安全和有效地移动通过他或她的环境。此外，因为用户不能同时存在于两个或更多个信标的范围内，使用非重叠的信标范围(根据一个示例性实现)提供了用于消除用户的位置歧义的有效机构。
在第一实现的以上描述中，假定用户设备106(和/或耳机108)在任何给定时间接收由零个信标或单个信标但不是多个信标发射的信号。在其他实现中，可以以不同的方式放款上述特性。
例如，在第二实现中，如果基于信标的引导模块422接收来自该信标的、具有高于规定阈值的信号强度的信号，则基于信标的引导模块422将断定用户设备106和/或耳机108在特定信标的范围内。但是与第一实现不同，基于信标的引导模块422还可以同时从环境中的一个或多个其他信标接收较弱的信号，其中这些信号中的每个的强度低于规定的阈值。在该场景中，使用具有位置的信标来填充环境，使得在任何给定时间，基于信标的引导模块422将接收：(1)不具有高于阈值的信号强度的信号；或(2)仅一个具有高于阈值的信号强度的信号。在实践中，第二实现以与第一实现相同的方式运行，并且提供相同的益处(例如，通过假定用户在信标中的一个信标的范围内，提供用于在任何给定时间消除用户位置歧义的二元机构)。因此，由于上述行为，第二实现中的信标可以被认为是功能上或有效地非重叠的。并且因此，如本文中所使用的对“非重叠”的任何引用应理解为涵盖信标具有字面上不重叠的范围的情况，以及因为用户设备106和/或耳机108最多可以从具有高于规定阈值的信号强度的一个信标接收信号而可以认为范围不重叠的情况。
在第三实现中，基于信标的引导模块422可以在任何给定时间接收来自具有任意信号强度的任何数目的信标的信号。特定位置处的信号(和强度)集合定义了针对该位置的信号配置信息(profile information)。在初步操作中，基于信标的引导模块422可以存储针对环境中每个可导航位置的信号配置信息，例如，构成关于信号及其在该位置处的相应强度的信息。总的来说，所存储的信息构成环境的剖面图(profile map)。在导航期间，基于信标的引导模块422可以确定其在给定时间在给定位置处正在接收的信号，以提供当前信号配置信息。然后，基于信标的引导模块422可以使用当前信号配置信息作为密钥来找到具有最接近的匹配信号配置信息的位置。该位置定义了在给定时间用户的可能位置。在一些环境中，由于各种环境特定的原因，由信标发射的信号的强度和/或检测这些信号的能力可以随时间变化。基于信标的引导模块422可以通过比较信号配置信息的标准化版本来解决这个问题。注意，第三实现中的信标的位置不需要满足与上述第一或第二实现相关联的非重叠约束。
F.代表性计算功能
图53示出了可以用于实现上述系统102的任何方面的计算功能5302。例如，图53所示的计算功能5302的类型可以用于实现任何用户设备106、任何远程处理资源112中、由耳机108使用的处理设备、单独的用户计算设备110等。在所有情况下，计算功能5302表示一个或多个物理和有形处理机构。
计算功能5302可以包括一个或多个处理设备5304(例如，一个或多个中央处理单元(CPU)、和/或一个或多个图形处理单元(GPU)等)。
计算功能5302还可以包括用于存储诸如代码、设置、数据等的任何种类的信息的任何存储资源5306。例如而非限制，存储资源5306可以包括以下中的任一个：任何类型(一个或多个)的RAM、任何类型(一个或多个)的ROM、闪存设备、硬盘、光盘等。更一般地，任何存储资源可以使用用于存储信息的任何技术。此外，任何存储资源可以提供信息的易失性或非易失性保留。此外，任何存储资源可以表示计算功能5302的固定或可移除部件。当处理设备5304执行存储在任何存储资源或存储资源组合中的指令时，计算功能5302可以执行上述功能中的任何功能。
关于术语，任何存储资源5306或存储资源5306的任何组合可以被视为计算机可读介质。在很多情况下，计算机可读介质表示某种形式的物理和有形实体。术语计算机可读介质还包括例如经由物理导管和/或空气或其他无线介质等发送或接收的传播信号。然而，特定术语“计算机可读存储介质”和“计算机可读介质设备”明确地排除传播信号本身，同时包括所有其他形式的计算机可读介质。
计算功能5302还包括用于与任何存储资源交互的一个或多个驱动机构5308(例如，硬盘驱动机构、光盘驱动机构等)。
计算功能5302还包括用于接收各种输入(经由输入设备5312)以及用于提供各种输出(经由输出设备5314)的输入/输出模块5310。示例性输入设备包括键盘设备、鼠标输入设备、触敏输入设备、数字化垫、一个或多个摄像机、一个或多个深度相机、自由空间手势识别机构、一个或多个麦克风、语音识别机构、任何运动检测机构(例如，加速度计、陀螺仪等)等。一个特定输出机构可以包括演示设备5316和相关联的图形用户界面(GUI)5318。其他输出设备包括打印机、模型生成机构、触觉输出机构、存档机构(用于存储输出信息)等。计算功能5302还可以包括用于经由一个或多个通信管道5322与其他设备交换数据的一个或多个网络接口5320。一个或多个通信总线5324将上述部件通信地耦合在一起。
通信管道(一个或多个)5322可以以任何方式(例如，通过局域网、广域网(例如，因特网)、点对点连接等或其任何组合)实现。通信管道(一个或多个)5322可以包括由任何协议或协议组合管理的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
备选地或附加地，可以至少部分地通过一个或多个硬件逻辑部件来执行前面部分中描述的任何功能。例如而非限制，计算功能5302可以使用以下中的一个或多个来实现：现场可编程门阵列(FPGA)；专用集成电路(ASIC)；应用特定标准产品(ASSP)；片上系统(SOC)；复杂可编程逻辑器件(CPLD)等。
最后，以下陈述总结了上述系统102的相应方面。
根据第一方面，描述了一种用于辅助用户与空间交互的计算设备。计算设备包括用于执行辅助用户在环境内的期望路线上移动的功能的空间交互模块。环境填充有多个信标，多个信标具有相应的非重叠范围，并且期望路线遍历与多个信标中路线特定的信标集合相关联的范围。空间交互模块包括基于信标的引导模块，基于信标的引导模块被配置为：确定用户是否在路线特定的信标中的一个信标的范围内，以在用户处于范围内时提供当前位置信息；基于预定行程信息，确定用户期望到达的下一航点，以提供下一航点信息；基于当前位置信息和下一航点信息，确定方向信息；并且基于方向信息生成引导信息。引导信息在递送给用户时辅助用户到达下一航点。
根据第二方面，环境至少部分对应于由至少一个建筑物的内部提供的室内环境。
根据第三方面，环境至少部分对应于室外环境。
根据第四方面，引导信息是音频信息，音频信息沿适当的方向引导用户以到达下一航点。
根据第五方面，计算设备经由耳机将音频信息递送给用户。
根据第六方面，空间交互模块访问所存储的信息，所存储的信息标识多个相应信标的位置。每个这样的信标发射具有信标代码的信标信号，该信标代码标识已经发射信标信号的信标。基于信标的引导模块被配置为通过以下方式来确定标识用户的当前位置的当前位置信息：确定与由计算设备已接收的特定信标信号相关联的特定信标代码，然后确定与特定信标代码相关联的特定信标和该特定信标的位置。
根据第七方面，基于信标的引导模块被配置为忽略从不是路线特定的信标集合的成员的信标发射的任何信标信号。
根据第八方面，路线特定的信标集合仅涵盖位于期望路线上的信标。
根据第九方面，路线特定的信标集合涵盖位于期望路线上的信标以及位于期望路线附近的一个或多个相邻信标。
根据第十方面，描述了一种用于辅助用户在空间内导航的方法。该方法包括由计算设备接收特定信标信号，该计算设备在环境内的当前位置处操作。环境填充有多个信标，多个信标具有相应的非重叠范围，并且期望路线遍历与多个信标中路线特定的信标集合相关联的范围。该方法还包括：基于特定信标信号，确定用户是否在路线特定信标中的一个信标的范围内，以在用户在范围内时提供当前位置信息；基于预定行程信息，确定用户期望到达的下一航点，以提供下一航点信息；基于当前位置信息和下一航点信息，确定方向信息；基于方向信息生成引导信息；以及将引导信息递送给用户。引导信息辅助用户到达下一航点。
根据第十一方面，第十方面中提到的环境至少部分地对应于由至少一个建筑物的内部提供的室内环境。
根据第十二方面，第十方面中提到的环境至少部分地对应于室外环境。
根据第十三方面，计算设备经由耳机将引导信息递送给用户。
根据第十四方面，信标位于环境内的路径的交叉点处。
根据第十五方面，信标还位于环境中沿至少一个路径的中间位置处。
根据第十六方面，信标在环境中的位置形成网格图案。
根据第十七方面，上述方法(在第十方面中)通过以下操作来确定当前位置信息：标识与特定信标信号相关联的特定信标代码；基于特定信标代码，标识与特定信标代码相关联的特定信标；以及基于所存储的信息，标识特定信标的位置，所存储的信息标识信标代码和环境内信标的相应位置。
根据第十八方面，(根据第十方面)的方法还包括以下操作：忽略从不是路线特定的信标集合的成员的信标发射的任何信标信号。
根据第十九方面，描述了一种用于存储计算机可读指令的计算机可读存储介质。当计算机可读指令由一个或多个处理设备执行时，计算机可读指令实现基于信标的引导模块。计算机可读指令包括被配置为由用户使用在环境内的当前位置处操作的计算设备来接收特定信标信号的逻辑。环境填充有多个信标，多个信标具有相应的非重叠范围。此外，期望路线遍历与多个信标中路线特定的信标集合相关联的范围。计算机可读指令还包括：被配置为标识与特定信标信号相关联的特定信标代码的逻辑；被配置为基于特定信标代码，标识与特定信标代码相关联的特定信标的逻辑；被配置为基于所存储的信息，标识特定信标的位置以提供当前位置信息的逻辑，所存储的信息标识信标代码和特定信标在环境内的相应位置；被配置为基于预定行程信息，确定用户期望到达的下一航点以提供下一航点信息的逻辑；被配置为基于当前位置信息和下一航点信息，确定方向信息的逻辑；以及被配置为基于方向信息，生成引导信息的逻辑，引导信息辅助用户到达下一航点。
根据第二十方面，计算机可读指令还包括被配置为忽略从不是路线特定的信标集合的成员的信标发射的任何信标信号的逻辑。
第二十一方面对应于上述第一到第二十方面的任何组合(例如，任何置换或子集)。
根据第二十二方面，提供了用于实现第一至第二十一方面中任一方面的一个或多个计算设备(和/或一个或多个耳机)。
根据第二十三方面，提供了一种用于实现第一至第二十一方面中任一方面的系统。
根据第二十四方面，提供一个或多个计算机可读存储介质，一个或多个计算机可读存储介质包括被配置为实现第一至第二十一方面中任一方面的逻辑。
根据第二十五方面，提供用于实现第一至第二十一方面中任一方面的一个或多个装置。
此外，在结束时，本文中所描述的功能可以采用各种机构来确保以符合适用的法律、社会规范以及个体用户的期望和偏好的方式来处理任何用户数据。例如，功能可以允许用户明确地选择(并且然后明确地选择退出)功能的规定。功能还可以提供合适的安全机构(例如，数据清理机构、加密机构、密码保护机构等)，以确保用户数据的隐私。
此外，尽管以结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求中定义的主题不一定限于上述具体特征或动作。相反，上面描述的具体特征和动作被公开作为实现权利要求的示例形式。

Claims (15)

1.一种用于辅助用户与空间交互的计算设备，包括：
空间交互模块，用于执行辅助所述用户在环境内的期望路线上移动的功能，
所述环境被填充有多个信标，所述多个信标具有相应的非重叠范围，
所述期望路线遍历与所述多个信标中路线特定的信标集合相关联的范围，
所述空间交互模块包括基于信标的引导模块，所述基于信标的引导模块被配置为：
确定用户是否在所述路线特定的信标中的一个信标的范围内，以当所述用户在所述范围内时提供当前位置信息；
基于预定的行程信息来确定所述用户期望到达的下一航点，以提供下一航点信息；
基于所述当前位置信息和所述下一航点信息来确定方向信息；以及
基于所述方向信息生成引导信息，
所述引导信息一旦被递送给所述用户，则辅助所述用户到达所述下一航点。
2.根据权利要求1所述的计算设备，
其中所述空间交互模块访问所存储的信息，所存储的信息标识所述多个信标的相应位置，
其中每个信标发射具有信标代码的信标信号，所述信标代码标识已发射所述信标信号的信标，并且
其中所述基于信标的引导模块被配置为通过以下方式来确定标识所述用户的所述当前位置的所述当前位置信息：确定与已被所述计算设备接收的特定信标信号相关联的特定信标代码，并且然后确定与所述特定信标代码相关联的特定信标和所述特定信标的所述位置。
3.根据权利要求2所述的计算设备，其中所述基于信标的引导模块被配置为：忽略从不是所述路线特定的信标集合的成员的信标发射的任何信标信号。
4.根据权利要求1所述的计算设备，其中所述路线特定的信标集合仅涵盖位于所述期望路线上的信标。
5.根据权利要求1所述的计算设备，其中所述路线特定的信标集合涵盖位于所述期望路线上的信标以及位于所述期望路线附近的一个或多个相邻信标。
6.一种用于辅助用户在空间内导航的方法，包括：
由计算设备接收特定信标信号，所述计算设备在环境内的当前位置处操作，
所述环境被填充有多个信标，所述多个信标具有相应的非重叠范围，
期望路线遍历与所述多个信标中路线特定的信标集合相关联的范围，
基于所述特定信标信号，确定所述用户是否在所述路线特定的信标中的一个信标的范围内，以当所述用户在所述范围内时，提供当前位置信息；
基于预定的行程信息，确定所述用户期望到达的下一航点，以提供下一航点信息；
基于所述当前位置信息和所述下一航点信息，确定方向信息；
基于所述方向信息，生成引导信息；以及
向所述用户递送所述引导信息，
所述引导信息辅助所述用户到达所述下一航点。
7.根据权利要求6所述的方法，其中所述方法通过以下方式来确定所述当前位置信息：
标识与所述特定信标信号相关联的特定信标代码；
基于所述特定信标代码，标识与所述特定信标代码相关联的特定信标；以及
基于所存储的信息，标识所述特定信标的位置，所存储的信息标识所述信标代码和信标在所述环境内的相应位置。
8.根据权利要求7所述的方法，还包括：忽略从不是所述路线特定的信标集合的成员的信标发射的任何信标信号。
9.一种用于存储计算机可读指令的计算机可读存储介质，所述计算机可读指令在由一个或多个处理设备执行时，实现基于信标的引导模块，所述计算机可读指令包括：
被配置为由用户使用在环境内的当前位置处操作的计算设备来接收特定信标信号的逻辑，
所述环境被填充有多个信标，所述多个信标具有相应的非重叠范围，
期望路线遍历与所述多个信标中路线特定的信标集合相关联的范围，
被配置为标识与所述特定信标信号相关联的特定信标代码的逻辑；
被配置为基于所述特定信标代码来标识与所述特定信标代码相关联的特定信标的逻辑；
被配置为基于所存储的信息来标识所述特定信标的位置，以提供当前位置信息的逻辑，所存储的信息标识所述信标代码和特定信标在所述环境内的相应位置；
被配置为基于预定的行程信息来确定所述用户期望到达的下一航点，以提供下一航点信息的逻辑；
被配置为基于所述当前位置信息和所述下一航点信息来确定方向信息的逻辑；以及
被配置为基于所述方向信息生成引导信息的逻辑，所述引导信息辅助所述用户到达所述下一航点。
10.根据权利要求9所述的计算机可读存储介质，还包括：被配置为忽略从不是所述路线特定的信标集合的成员的信标发射的任何信标信号的逻辑。
11.根据权利要求6所述的方法，其中所述环境至少部分对应于由至少一个建筑物的内部提供的室内环境。
12.根据权利要求6所述的方法，其中所述计算设备经由耳机向所述用户递送所述引导信息。
13.根据权利要求6所述的方法，其中所述信标位于所述环境内的路径的交叉点处。
14.根据权利要求13所述的方法，其中所述信标还位于所述环境中沿至少一个路径的中间位置处。
15.根据权利要求6所述的方法，其中信标在所述环境中的位置形成网格图案。
CN201580059091.9A 2014-10-31 2015-10-28 使用信标来辅助用户与其环境交互 Active CN107111358B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073762P 2014-10-31 2014-10-31
US62/073,762 2014-10-31
US14/690,421 2015-04-19
US14/690,421 US9652124B2 (en) 2014-10-31 2015-04-19 Use of beacons for assistance to users in interacting with their environments
PCT/US2015/057683 WO2016069671A1 (en) 2014-10-31 2015-10-28 Use of beacons for assistance to users in interacting with their environments

Publications (2)

Publication Number Publication Date
CN107111358A true CN107111358A (zh) 2017-08-29
CN107111358B CN107111358B (zh) 2020-02-14

Family

ID=55852329

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202010159269.XA Withdrawn CN111367413A (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能
CN201580058765.3A Active CN107111472B (zh) 2014-10-31 2015-10-28 使用具有输入机制的耳机来便于用户与环境之间的交互
CN201580059086.8A Active CN107111473B (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能
CN201580059091.9A Active CN107111358B (zh) 2014-10-31 2015-10-28 使用信标来辅助用户与其环境交互
CN201580059085.3A Active CN107111332B (zh) 2014-10-31 2015-10-29 使用声音来促进用户与其环境之间的交互

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202010159269.XA Withdrawn CN111367413A (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能
CN201580058765.3A Active CN107111472B (zh) 2014-10-31 2015-10-28 使用具有输入机制的耳机来便于用户与环境之间的交互
CN201580059086.8A Active CN107111473B (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580059085.3A Active CN107111332B (zh) 2014-10-31 2015-10-29 使用声音来促进用户与其环境之间的交互

Country Status (11)

Country Link
US (4) US10048835B2 (zh)
EP (4) EP3213177B1 (zh)
JP (1) JP6689265B2 (zh)
KR (2) KR102470734B1 (zh)
CN (5) CN111367413A (zh)
AU (2) AU2015339427B2 (zh)
BR (1) BR112017005842A2 (zh)
CA (1) CA2965353C (zh)
MX (1) MX2017005657A (zh)
RU (1) RU2706462C2 (zh)
WO (4) WO2016069668A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141453A (zh) * 2018-08-09 2019-01-04 星络科技有限公司 一种路线指引方法及系统
CN109991592A (zh) * 2019-04-11 2019-07-09 上海山流智能科技有限公司 一种盲人导航系统及导航方法
CN110134307A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 实现室内导航楼层锁定的方法、系统、介质和电子设备
CN113532444A (zh) * 2021-09-16 2021-10-22 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质

Families Citing this family (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965028B2 (en) 2012-08-23 2015-02-24 Skullcandy, Inc. Speakers, headphones, and kits related to vibrations in an audio system, and methods for forming same
CN103677496A (zh) * 2012-09-07 2014-03-26 腾讯科技（深圳）有限公司 界面控制方法及控制装置
WO2015026863A1 (en) 2013-08-19 2015-02-26 Estimote, Inc. Wireless beacon and methods
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
KR102263695B1 (ko) * 2014-01-20 2021-06-10 삼성전자 주식회사 복수개의 카메라를 이용한 휴대 장치 및 제어방법
US10691324B2 (en) * 2014-06-03 2020-06-23 Flow Labs, Inc. Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
EP3328091B1 (en) * 2014-12-31 2020-04-08 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
EP3041261B1 (en) 2014-12-31 2020-05-06 Skullcandy, Inc. Speaker assemblies for passive generation of vibrations and related headphone devices and methods
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9826351B2 (en) 2015-09-02 2017-11-21 Estimote Polska Sp. Z O. O. System and method for beacon fleet management
US10136250B2 (en) 2015-09-02 2018-11-20 Estimote Polska Sp. Z O. O. System and method for lower power data routing
WO2017040690A1 (en) 2015-09-02 2017-03-09 Estimote, Inc. System and methods for object tracking with wireless beacons
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
CN105894533A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 基于智能设备实现体感控制的方法、系统以及智能设备
KR102561572B1 (ko) * 2016-01-20 2023-07-31 삼성전자주식회사 센서 활용 방법 및 이를 구현한 전자 장치
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
US9867009B2 (en) 2016-03-22 2018-01-09 Estimote Polska Sp. Z O. O. System and method for multi-beacon interaction and management
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
DK201670737A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
EP3471924A4 (en) * 2016-06-15 2020-07-29 iRobot Corporation SYSTEMS AND METHODS OF CONTROL OF AN AUTONOMOUS MOBILE ROBOT
US10582328B2 (en) * 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
WO2018009584A1 (en) * 2016-07-06 2018-01-11 Coney Lillie Bruce Travel assistance system
WO2018009878A1 (en) 2016-07-07 2018-01-11 Estimote Polska Sp. Z O. O. Method and system for content delivery with a beacon
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
KR20180029697A (ko) * 2016-09-13 2018-03-21 삼성전자주식회사 네비게이션 업데이트 방법 및 장치
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
JP6686829B2 (ja) * 2016-10-04 2020-04-22 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10058282B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10063957B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
WO2018093193A1 (en) 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
EP3324387A1 (de) * 2016-11-18 2018-05-23 Schaefer GmbH Leitsystem und -verfahren, insbesondere für sehbehinderte personen
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
JP6626992B2 (ja) 2016-12-15 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10126132B2 (en) 2017-01-17 2018-11-13 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
US11521253B2 (en) 2017-02-03 2022-12-06 Columbia Insurance Company Autonomous system to assist consumers to select colors
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
WO2018163637A1 (ja) * 2017-03-09 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11638869B2 (en) * 2017-04-04 2023-05-02 Sony Corporation Information processing device and information processing method
US11193783B2 (en) * 2017-04-04 2021-12-07 Microsoft Technology Licensing, Llc Guidance audio cues for navigation assistance
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
JP6887011B2 (ja) * 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11408749B2 (en) * 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US11082792B2 (en) * 2017-06-21 2021-08-03 Sony Corporation Apparatus, system, method and computer program for distributing announcement messages
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
WO2019045622A1 (en) * 2017-08-31 2019-03-07 Terranet Ab HEADSET AND METHOD OF OPERATING THE HEADSET
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
KR101984557B1 (ko) * 2017-09-22 2019-09-03 (주)파트론 헤드셋 및 이의 충돌 경고 방법
KR102545721B1 (ko) * 2017-09-27 2023-06-21 애플 인크. 공간적 오디오 내비게이션
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US11651238B2 (en) * 2017-10-20 2023-05-16 Bragi GmbH Earpiece advisor
EP3477466A1 (en) * 2017-10-31 2019-05-01 Nokia Technologies Oy Provision of virtual reality content
US20190155568A1 (en) * 2017-11-20 2019-05-23 Serious Biz, LLC Live presentation delivery aid system and method
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
EP3495969A1 (en) * 2017-12-07 2019-06-12 Nokia Technologies Oy An apparatus and associated methods for presentation of augmented reality content
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
JP6408118B1 (ja) * 2017-12-12 2018-10-17 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7496311B2 (ja) 2017-12-20 2024-06-06 マジック リープ， インコーポレイテッド 拡張現実視認デバイスのための挿入体
CN108168546B (zh) * 2017-12-28 2021-08-06 重庆大学 定位系统及定位方法
CN108269460B (zh) * 2018-01-04 2020-05-08 高大山 一种电子屏幕的阅读方法、系统及终端设备
US11318050B2 (en) 2018-01-24 2022-05-03 American Printing House for the Blind, Inc. Navigation assistance for the visually impaired
CN108063997A (zh) * 2018-01-25 2018-05-22 芜湖应天光电科技有限责任公司 一种可实现跟随导航的骨传导耳机的控制方法及骨传导耳机
US10869154B2 (en) 2018-02-06 2020-12-15 Bose Corporation Location-based personal audio
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势（上海）汽车科技有限公司 用于辅助信息呈现的方法及装置
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
CN109753144A (zh) * 2018-05-08 2019-05-14 北京字节跳动网络技术有限公司 一种实现信息交互的方法、设备及系统
JPWO2019225192A1 (ja) 2018-05-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
JP2021525902A (ja) 2018-05-30 2021-09-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 小型の可変焦点構成
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11567632B2 (en) * 2018-07-03 2023-01-31 Apple Inc. Systems and methods for exploring a geographic region
US11856479B2 (en) * 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11067403B2 (en) * 2018-07-05 2021-07-20 GM Global Technology Operations LLC Vehicle energy usage tracking
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
JP7401519B2 (ja) 2018-08-02 2023-12-19 マジック リープ， インコーポレイテッド 頭部運動に基づく瞳孔間距離補償を伴う視認システム
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ， インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
US10583067B2 (en) 2018-08-08 2020-03-10 International Business Machines Corporation Source-of-sound based navigation for a visually-impaired user
EP3840645A4 (en) 2018-08-22 2021-10-20 Magic Leap, Inc. PATIENT VISUALIZATION SYSTEM
US10523685B1 (en) 2018-08-22 2019-12-31 Estimote Polska Sp z o.o. System and method for verifying device security
WO2020039251A2 (en) 2018-08-24 2020-02-27 Estimote Polska Sp z o.o. A method and system for asset management
JP7234555B2 (ja) * 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11323815B2 (en) 2018-12-14 2022-05-03 Google Llc Graphical user interface indicator for broadcaster presence
US11844741B2 (en) * 2018-12-31 2023-12-19 Bruce Corporation Travel assistance system
CN117241182A (zh) * 2019-01-05 2023-12-15 深圳市韶音科技有限公司 骨传导扬声装置
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US20200280814A1 (en) * 2019-03-01 2020-09-03 Bose Corporation Augmented reality audio playback control
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
CN111083590B (zh) * 2019-11-11 2020-09-18 深圳市音飙科技有限公司 一种带智能摄像头的骨传导耳机
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
CN114667538A (zh) 2019-11-15 2022-06-24 奇跃公司 用于在外科手术环境中使用的观看系统
JP2023503257A (ja) * 2019-11-18 2023-01-27 マジック リープ， インコーポレイテッド パス可能世界のマッピングおよび位置特定
CN111121749B (zh) * 2019-12-26 2023-05-23 韩可 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
EP4090046A4 (en) * 2020-01-07 2023-05-03 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD, AUDIO PLAYER AND PROGRAM
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
US11796334B2 (en) 2020-05-15 2023-10-24 Apple Inc. User interfaces for providing navigation directions
US11599194B2 (en) 2020-05-22 2023-03-07 International Business Machines Corporation Spatial guidance system for visually impaired individuals
US11846515B2 (en) 2020-06-11 2023-12-19 Apple Inc. User interfaces for customized navigation routes
JPWO2022018836A1 (zh) 2020-07-21 2022-01-27
CN111870947B (zh) * 2020-08-10 2024-06-04 网易（杭州）网络有限公司 游戏交互方法、装置、电子设备及存储介质
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
CN112365153B (zh) * 2020-11-10 2022-08-02 吉林建筑大学 视力障碍者旅游计划制定方法及相关装置
WO2022106513A1 (en) * 2020-11-18 2022-05-27 Kalbermatter Jana System and device for informing about spatially distributed objects
US11356501B1 (en) 2020-12-29 2022-06-07 Here Global B.V. Method, apparatus, and system for dynamic beacons address allocation
CN113160666B (zh) * 2021-05-12 2022-08-30 咪咕数字传媒有限公司 盲文阅读方法、电子设备及存储介质
US20220390248A1 (en) 2021-06-07 2022-12-08 Apple Inc. User interfaces for maps and navigation
US20220401607A1 (en) * 2021-06-22 2022-12-22 International Business Machines Corporation Activating emitting modules on a wearable device
BR102022015291A2 (pt) * 2021-08-03 2023-02-14 The Boeing Company Sistema de assistência de orientação de passageiros com deficiência visual
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
CN114267224A (zh) * 2022-01-04 2022-04-01 中国科学技术大学 助聋眼镜
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule
EP4276415A1 (en) * 2022-04-29 2023-11-15 Waymo Llc Spatial audio for wayfinding
CN114942032B (zh) * 2022-05-13 2024-06-04 上海大不自多信息科技有限公司 户外综合导航方法、系统及存储介质
US20240121569A1 (en) * 2022-10-09 2024-04-11 Sony Interactive Entertainment Inc. Altering audio and/or providing non-audio cues according to listener's audio depth perception
WO2024081353A1 (en) * 2022-10-13 2024-04-18 Bose Corporation Scene recentering
DE102022211314A1 (de) 2022-10-25 2024-04-25 Volkswagen Aktiengesellschaft Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System und Kraftfahrzeug mit einem datenverarbeitenden System
CN116592898B (zh) * 2023-07-17 2023-10-03 武汉工程大学 一种室内定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050136845A1 (en) * 2003-09-22 2005-06-23 Fujitsu Limited Method and apparatus for location determination using mini-beacons
US20060247849A1 (en) * 2005-04-27 2006-11-02 Proxemics, Inc. Wayfinding
CN102196557A (zh) * 2010-03-19 2011-09-21 微软公司 选择用于位置推断的信标
CN102711035A (zh) * 2011-03-18 2012-10-03 微软公司 改进的设备位置检测
CN102906541A (zh) * 2010-04-09 2013-01-30 通腾科技股份有限公司 导航或地图绘制设备和方法
CN102954800A (zh) * 2011-08-23 2013-03-06 财团法人工业技术研究院 车载装置及其行车辅助系统与行车辅助信息提供方法

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7374294A (en) 1993-07-28 1995-02-28 Board Of Regents, The University Of Texas System Remotely controlled, infrared beacon system for guiding the visually impaired
FR2748807B1 (fr) 1996-05-14 1998-10-02 Rockwell Collins France Appareil individuel d'orientation
US5806017A (en) 1996-08-19 1998-09-08 Board Of Regents The University Of Texas System Electronic autorouting navigation system for visually impaired persons
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP2002131072A (ja) * 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
US6684176B2 (en) 2001-09-25 2004-01-27 Symbol Technologies, Inc. Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation
US6999066B2 (en) 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
GB2415071B (en) 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
US7290219B2 (en) * 2003-04-28 2007-10-30 International Business Machines Corporation System and method for selection based action bar
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7039522B2 (en) 2003-11-12 2006-05-02 Steven Landau System for guiding visually impaired pedestrian using auditory cues
US8028239B1 (en) 2003-12-19 2011-09-27 Microsoft Corporation Context-based management user interface supporting extensible subtractive filtering
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
WO2006087709A1 (en) 2005-02-17 2006-08-24 Lumus Ltd. Personal navigation system
US20070018890A1 (en) * 2005-07-22 2007-01-25 Kulyukin Vladimir A Multi-sensor wayfinding device
KR100653091B1 (ko) 2005-07-26 2006-12-01 삼성전자주식회사 입체 음향을 이용한 위치 인지 시스템, 시스템에 구비되는송신부, 수신부 및 위치 인지 방법
US8340304B2 (en) 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8098856B2 (en) 2006-06-22 2012-01-17 Sony Ericsson Mobile Communications Ab Wireless communications devices with three dimensional audio systems
KR20080063041A (ko) 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US20080218307A1 (en) * 2007-03-07 2008-09-11 Optimal Licensing Corporation Anticipatory utility control device
US7952961B2 (en) 2007-10-15 2011-05-31 Honeywell International Inc. Audio compass for motion tracking
WO2009070712A2 (en) 2007-11-27 2009-06-04 Jadi, Inc. Method and system for locating and navigating a target
PT104120B (pt) * 2008-06-30 2010-11-23 Metro Do Porto S A Sistema de orientação, navegação e informação especialmente adaptado para pessoas cegas ou amblíopes
US8326630B2 (en) 2008-08-18 2012-12-04 Microsoft Corporation Context based online advertising
US8040219B2 (en) 2008-11-06 2011-10-18 Sony Ericsson Mobile Communications Ab System and method for in-building location determination
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
DE102008055180A1 (de) 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
EP2249239B1 (en) 2009-05-08 2015-07-15 BlackBerry Limited Target zones for menu items on a touch-sensitive display
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US9529437B2 (en) * 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US20100317371A1 (en) 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US9201143B2 (en) 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8140258B1 (en) 2010-03-02 2012-03-20 The General Hospital Corporation Wayfinding system
JP2011234139A (ja) 2010-04-28 2011-11-17 Sharp Corp ３次元音声信号生成装置
US20120046768A1 (en) 2010-08-19 2012-02-23 Sony Ericsson Mobile Communications Ab Method for providing multimedia data to a user
US20120077437A1 (en) 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
CN201854394U (zh) 2010-10-27 2011-06-01 赵圆 耳机指南针
CN102457791A (zh) 2010-10-27 2012-05-16 赵圆 耳机指南针
US20120159401A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Workspace Manipulation Using Mobile Device Gestures
US8965284B2 (en) 2011-04-07 2015-02-24 Nokia Corporation Facilitating positioning through Bluetooth low energy wireless messaging
GB2490479A (en) 2011-04-20 2012-11-07 Nokia Corp Use of a virtual sound source to enhance a user interface
US9285944B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US8874366B2 (en) 2011-05-23 2014-10-28 Microsoft Corporation First waypoint distance
US20140164080A1 (en) 2011-06-07 2014-06-12 Solomon Thompson, JR. Organizational tools and or a collaboration system utilizing the same therein
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
CA2847975A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US8538686B2 (en) 2011-09-09 2013-09-17 Microsoft Corporation Transport-dependent prediction of destinations
US9445305B2 (en) 2011-09-12 2016-09-13 Microsoft Corporation Low energy beacon encoding
US9514717B2 (en) 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US8855798B2 (en) 2012-01-06 2014-10-07 Gracenote, Inc. User interface to media files
US20140133658A1 (en) 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US20130225197A1 (en) 2012-02-24 2013-08-29 Broadcom Corporation Low Power Location Beacon
CN102789313B (zh) * 2012-03-19 2015-05-13 苏州触达信息技术有限公司 一种用户交互系统和方法
US8949974B2 (en) 2012-05-11 2015-02-03 Tyfone, Inc. Mobile device with password protected desktop screen
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
EP2690407A1 (en) * 2012-07-23 2014-01-29 GN Store Nord A/S A hearing device providing spoken information on selected points of interest
US9015099B2 (en) 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
TWI484405B (zh) * 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US8718930B2 (en) 2012-08-24 2014-05-06 Sony Corporation Acoustic navigation method
US20140075370A1 (en) * 2012-09-13 2014-03-13 The Johns Hopkins University Dockable Tool Framework for Interaction with Large Scale Wall Displays
US20140078086A1 (en) 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US8965398B2 (en) 2012-09-26 2015-02-24 Hewlett-Packard Development Company, L.P. Bluetooth beacon based location determination
US9338622B2 (en) 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
EP2720001A1 (en) 2012-10-15 2014-04-16 GN Store Nord A/S A navigation system with a hearing device
WO2014080066A1 (en) * 2012-11-20 2014-05-30 Jolla Oy A graphical user interface for a portable computing device
EP2735845A1 (en) 2012-11-23 2014-05-28 GN Store Nord A/S Personal guide system providing spoken information on an address based on a line of interest of a user
EP2746726A1 (en) 2012-12-21 2014-06-25 GN Store Nord A/S System and method for tagging an audio signal to an object or a location; system and method of playing back a tagged audio signal
US9301069B2 (en) 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
EP2749843A1 (en) 2012-12-28 2014-07-02 GN Store Nord A/S Method for filtering and selecting geographical points of interest and mobile unit corresponding thereto
KR20150098635A (ko) 2013-02-04 2015-08-28 샵킥, 인크. 블루투스 및 하이브리드―모드 송신기들을 이용한 존재 검출
US9063212B2 (en) 2013-02-11 2015-06-23 Trimble Navigation Limited Indoor navigation with low energy location beacons
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
DE102013203918A1 (de) 2013-03-07 2014-09-11 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US9207303B2 (en) 2013-03-15 2015-12-08 Christopher Thomas Beidel System and method for locating a mobile device
US9785240B2 (en) 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140287779A1 (en) 2013-03-22 2014-09-25 aDesignedPath for UsabilitySolutions, LLC System, method and device for providing personalized mobile experiences at multiple locations
WO2014157885A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for providing menu interface
CN105102273B (zh) 2013-04-16 2017-06-23 本田技研工业株式会社 车辆用电子设备
US20150046828A1 (en) * 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9317183B2 (en) 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
US10564843B2 (en) 2013-08-22 2020-02-18 Samsung Electronics Co., Ltd. Display device and method of displaying screen on said display device
EP2842529A1 (en) 2013-08-30 2015-03-04 GN Store Nord A/S Audio rendering system categorising geospatial objects
CN203523024U (zh) 2013-11-06 2014-04-02 彭庆国 一种智能型多功能耳机
JP6201770B2 (ja) 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150330787A1 (en) 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
US9372092B2 (en) 2014-08-08 2016-06-21 Here Global B.V. Method and apparatus for providing a contextual menu in a map display
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US20160077793A1 (en) 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050136845A1 (en) * 2003-09-22 2005-06-23 Fujitsu Limited Method and apparatus for location determination using mini-beacons
US20060247849A1 (en) * 2005-04-27 2006-11-02 Proxemics, Inc. Wayfinding
CN102196557A (zh) * 2010-03-19 2011-09-21 微软公司 选择用于位置推断的信标
CN102906541A (zh) * 2010-04-09 2013-01-30 通腾科技股份有限公司 导航或地图绘制设备和方法
CN102711035A (zh) * 2011-03-18 2012-10-03 微软公司 改进的设备位置检测
CN102954800A (zh) * 2011-08-23 2013-03-06 财团法人工业技术研究院 车载装置及其行车辅助系统与行车辅助信息提供方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141453A (zh) * 2018-08-09 2019-01-04 星络科技有限公司 一种路线指引方法及系统
CN109141453B (zh) * 2018-08-09 2021-06-18 恒大智慧科技有限公司 一种路线指引方法及系统
CN109991592A (zh) * 2019-04-11 2019-07-09 上海山流智能科技有限公司 一种盲人导航系统及导航方法
CN110134307A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 实现室内导航楼层锁定的方法、系统、介质和电子设备
CN113532444A (zh) * 2021-09-16 2021-10-22 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2016069672A1 (en) 2016-05-06
US9612722B2 (en) 2017-04-04
CN107111358B (zh) 2020-02-14
BR112017005842A2 (pt) 2017-12-19
KR20170080651A (ko) 2017-07-10
AU2020256377B2 (en) 2021-12-16
MX2017005657A (es) 2017-06-29
JP6689265B2 (ja) 2020-04-28
CN107111472B (zh) 2020-04-28
WO2016069671A1 (en) 2016-05-06
CN111367413A (zh) 2020-07-03
EP3213181A1 (en) 2017-09-06
RU2017114986A3 (zh) 2019-04-18
EP3213177A1 (en) 2017-09-06
US20160123745A1 (en) 2016-05-05
RU2017114986A (ru) 2018-11-02
EP3213177B1 (en) 2021-02-24
CN107111332A (zh) 2017-08-29
AU2015339427B2 (en) 2020-07-30
RU2706462C2 (ru) 2019-11-19
US20160124707A1 (en) 2016-05-05
AU2020256377A1 (en) 2020-12-10
KR102486763B1 (ko) 2023-01-09
US9977573B2 (en) 2018-05-22
CN107111332B (zh) 2021-04-23
CN107111472A (zh) 2017-08-29
EP3213180A1 (en) 2017-09-06
WO2016069668A1 (en) 2016-05-06
CN107111473A (zh) 2017-08-29
EP3213179A1 (en) 2017-09-06
US20160124588A1 (en) 2016-05-05
KR102470734B1 (ko) 2022-11-24
CA2965353C (en) 2023-08-22
AU2015339427A1 (en) 2017-04-13
US20160123759A1 (en) 2016-05-05
WO2016069819A1 (en) 2016-05-06
CN107111473B (zh) 2020-03-20
US10048835B2 (en) 2018-08-14
KR20170078646A (ko) 2017-07-07
CA2965353A1 (en) 2016-05-06
US9652124B2 (en) 2017-05-16
JP2018502360A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107111358A (zh) 使用信标来辅助用户与其环境交互
US20240205605A1 (en) Context-Aware Voice Guidance
CN104584096B (zh) 由智能数字助理进行的中断的上下文相关处理
US20130322665A1 (en) Context-aware voice guidance
Kameswaran et al. Understanding in-situ use of commonly available navigation technologies by people with visual impairments
Kuriakose et al. Multimodal navigation systems for users with visual impairments—a review and analysis
Lutz Taux: a system for evaluating sound feedback in navigational tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant