CN107111472A - 使用具有输入机制的耳机来便于在用户与他们的环境之间的交互 - Google Patents

使用具有输入机制的耳机来便于在用户与他们的环境之间的交互 Download PDF

Info

Publication number
CN107111472A
CN107111472A CN201580058765.3A CN201580058765A CN107111472A CN 107111472 A CN107111472 A CN 107111472A CN 201580058765 A CN201580058765 A CN 201580058765A CN 107111472 A CN107111472 A CN 107111472A
Authority
CN
China
Prior art keywords
user
information
earphone
sound
menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580058765.3A
Other languages
English (en)
Other versions
CN107111472B (zh
Inventor
A·S·厄米洛夫
B·N·科蒂尔
C·N·多罗夫泰
H·N·查班
J·S·丘格
M·R·法默
M·J·B·帕克
O·J·F·萨兰德
R·J·威尔科克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107111472A publication Critical patent/CN107111472A/zh
Application granted granted Critical
Publication of CN107111472B publication Critical patent/CN107111472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0295—Proximity-based methods, e.g. position inferred from reception of particular signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)
  • Headphones And Earphones (AREA)

Abstract

本文中描述一种用于在用户与空间交互时、例如在用户在空间内的路线之上导航时向用户呈现音频信息的耳机。耳机可以包括用于从用户接收命令的输入机制的集合。命令转而调用要由空间交互(SI)模块执行的相应空间交互有关功能。耳机可以在具有或者没有分立用户计算设备的情况下操作。

Description

使用具有输入机制的耳机来便于在用户与他们的环境之间的 交互
背景技术
用户可以用更自发和不受约束的方式在生成和执行行进计划时和/或在探索他的或者她的环境时依赖于各种常规机制。例如用户可以使用路线选择应用，以生成用于在两个位置之间行进时使用的路线。该相同应用然后可以在用户通过系列提示在路线之上行进时指导用户。提示可以对应于口述和/或显示的消息，比如口头地指令用户在规定的距离内做出转弯的消息。然而有用于在这些常规机制中改进的相当大的空间。
发明内容
本文中描述用于辅助用户与物理和/或虚拟空间交互的各种工具。这样的辅助例如可以便于用户在物理和/或虚拟空间内的导航。如本文中所用的，导航是指用户根据预定的计划穿过空间的有目的的移动，和/或可以反映未必地与任何预定的计划相符的自发决定的移动。工具还可以辅助用户在任何给定的时间瞬间在空间内的探索，该探索例如对应于用户在空间中对他或者她本身进行定向的过程。
作为一般原理，工具被设计为以用户友好的方式向用户提供高信息量和及时的辅助，由此丰富用户移动穿过的物理和虚拟空间的用户体验，但是没有不适当地让用户从与空间交互的实际任务分心。鉴于这些特性，工具可以甚至成功地由具有视力受损和/或其它障碍的用户使用。然而，工具在性质上是通用的，因此可以在执行任何任务时向任何用户提供用户友好和不唐突的指导，在该任何任务中，用户与他的或者她的环境交互。
工具具有有助于以上概括的性能的各种方面。根据一个方面，本文中描述一种用于在用户与空间交互时向用户呈现音频信息的耳机。耳机还可以包括用于从用户接收命令的输入机制的集合。命令转而调用要由空间交互(SI)模块执行的相应空间交互有关功能。
例如命令可以指令SI模块：停止递送音频信息；重复上次递送的音频信息项；重复上次递送的音频信息项的集合(例如通过“倒退”)；开始探索模式；开始定向模式；执行更多信息的功能(以请求附加信息)；开始或者停止收听模式(其中分别启用和停用语音识别)等。在探索模式中，空间交互模块提供关于与用户的注意力当前被引向的子空间关联的兴趣项的集合的信息。在定向模式中，空间交互模块提供关于在当前时间与围绕用户的整个空间关联的兴趣项的集合的信息。
在一个实现方式中，耳机可以包括它自己的定向、运动和/或定位确定机制(例如罗盘)。在另一实现方式中，耳机依赖于由分立用户设备(例如智能电话)提供的分立定向、运动和/或定位确定机制。
在一个实现方式中，系统使用仅与耳机关联的处理资源来实施SI模块。在另一实现方式中，系统使用仅与分立用户计算设备关联的处理资源来实施SI模块。在其它实现方式中，由SI模块执行的功能可以由耳机和/或用户计算设备和/或一个或者多个远程处理资源(例如“云实施”的服务)中的任一项共享。
以上特征有助于以上目标：允许用户安全地和高效地移动穿过他的或者她的环境。例如特征提供方便方式，通过该方便方式，用户可以激活各种操作模式(例如通过与耳机的用户输入机制交互)，而没有在用户移动穿过环境时不适当地让用户分心，例如没有要求用户访问分立用户设备和与分立用户设备交互。
可以在各种类型的系统、设备、部件、方法、计算机可读存储介质、数据结构、图形用户界面呈现、制造品等中表现以上方法。
提供这一发明内容以用简化的形式介绍概念选择；以下在具体实施方式中进一步描述这些概念。这一发明内容没有旨在于标识要求保护的主题内容的关键特征或者必要特征，它也没有旨在于用来限制要求保护的主题内容的范围。
附图说明
图1示出用于辅助用户与物理和/或虚拟空间交互的系统的概况。
图2示出其中用户使用图1的系统以进行由多个路点定义的行程的示例。在其它情况下，用户可以使用该系统以用更开放和自发的方式与环境交互。
图3示出可以用来实施图1的系统的计算功能的概括。
图4示出空间交互模块的一个实现方式，该空间交互模块是图3的计算功能的部件。
图5示出应用接口模块的一个实现方式，该应用接口模块是图4的空间交互模块的部件。
图6示出耳机、手持用户计算设备(简称为“用户设备”)和另一用户计算设备的示例；这些设备可以实施图1的系统的一个或者多个方面。
图7示出实施图6的耳机和用户设备的一种方式。
图8示出实施图6的耳机和(可选)用户设备的另一种方式。
图9示出其中用户在交通工具内与图6的用户设备交互的场景。
图10是图示图6中所示装备的一种操作方式的流程图。
图11示出例如可以在由用户设备的显示输出机制提供的用户接口呈现中由图4和5的应用接口模块呈现的不同工作空间。
图12示出可以用来从第一工作空间向第二工作空间转变的手势。
图13示出根据一个实现方式的可以在起始工作空间中呈现的默认中枢菜单。
图14-16示出可以在起始工作空间中呈现的相应情境菜单。
图17示出标识可以调用的多个功能的菜单；可以在主工作空间中呈现该菜单。
图18示出用户可以用来设置各种参数的菜单；可以在设置工作空间中呈现该菜单。
图19示出用户可以用来在他或者她进行行程或者以别的方式与环境交互时访问与用户相关的信息的菜单；可以在信息工作空间中呈现该菜单。
图20示出用户可以用来访问涉及附近兴趣项(IOI)的信息的菜单；可以在“我附近”工作空间中呈现该菜单。
图21示出可以在起始工作空间中呈现的瞬态菜单的示例。
图22示出在这一特定情况下在设置工作空间中呈现的覆盖菜单的示例。
图23示范用户可以用来获得关于他的或者她的当前情境的音频信息的手势。
图24示出用户可以用来激活在任何工作空间中的任何菜单的手势。
图25示出用户可以用来导航遍历任何菜单中的菜单项的汇集的手势。
图26示出用户可以用来从当前菜单导航到某个其它在前菜单的后退手势。
图27示出与图11的实现方式比较的、工作空间的备选组织。
图28示出与其中用户还没有创建任何标签的状态对应的、在图27的起始工作空间中的标签信息。
图29示出与其中用户现在已经创建标签的汇集的状态对应的、在图27的起始工作空间中的标签菜单。
图30示出与图25的实现方式比较的、在菜单内组织菜单项的备选方式。
图31和32示出与图25的实现方式比较的、滚动遍历在菜单内的菜单项、然后选择菜单项的备选方式。
图33示出在菜单的外围执行的后退手势和响应于这一手势而执行的动作。
图34示出通过在菜单上绘制圆形而执行的手势和响应于手势而执行的后退动作。
图35示出通过在菜单上绘制半圆而执行的手势和响应于手势而执行的后退动作。
图36和37示出可以用来分别增加和减少由图1的系统提供的冗长级别和由该系统提供的情境信息级别的不同手势。
图38是概括图4和5的应用接口模块的一种操作方式的流程图。
图39示范使用三维音频信息以创建对从在空间内的特定位置发出的声音的感知。
图40示范使用三维音频信息以创建对跨在空间内的系列位置移动的声音的感知。
图41示范其中路径指导模块可以使用三维声音(例如周期节拍声音)以在希望的方向上指导用户的方式。
图42示范其中探索模块可以使用三维声音以标识与用户的当前兴趣聚焦关联的IOI的位置的方式。
图43示范其中定向模块可以使用三维声音以标识与围绕用户的整个空间关联的IOI的方式。
图44是描述使用三维声音以辅助用户与空间交互的流程图。
图45是描述其中(图4和41的)路径指导模块可以使用三维声音以沿着希望的路线指导用户的一种方式的流程图。
图46是描述其中空间交互模块可以使用三维声音以例如在自动化模式(例如在用户穿越路线或者以别的方式在空间中移动之时)中、在探索模式中或者在定向模式中标识IOI的一种方式的流程图。
图47示出具有多个信标的环境。在一个说明性实现方式中，信标产生非重叠范围，在这些非重叠范围中，它们的相应信号可以由跨环境移动或者以别的方式与环境交互的用户来检测。
图48-50示出其它环境，每个其它环境具有与图47的示例比较的更大数目的信标。
图51是示出基于信标的指导模块在图47-50的环境类型的情境内的一种操作方式的流程图。
图52是提供关于其中基于信标的指导模块可以确定用户在环境内的当前位置的一种方式的其它细节的流程图。
图53示出可以用来实施前述附图中所示特征的任何方面的说明性计算功能。
相同标号贯穿公开内容和各图用来引用相似部件和特征。系列100标号指代原先在图1中找到的特征，系列200标号指代原先在图2中找到的特征，系列300标号指代原先在图3中找到的特征等。
具体实施方式
组织本公开内容如下。章节A提供用于辅助用户与实际和/或虚拟空间交互的系统的概况。章节B描述可以在章节A的系统中使用的不同类型的耳机和手持用户计算设备。章节C描述可以由章节A的系统提供的说明性用户接口体验。章节D描述用于生成和使用三维声音以及其它(非三维)类型的声音的功能。章节E描述用于辅助用户在用信标填充的环境内导航的基于信标的指导功能，这些信标在一个说明性实现方式中具有非重叠范围。并且章节F描述可以用来实施在先前章节中描述的特征的任何方面的说明性计算功能。
作为预备事项，各图中的一些图在不同地称为功能、模块、特征、元件等的一个或者多个结构部件的情境中描述概念。各图中所示的各种部件可以用任何方式由任何物理和有形机制、例如由在计算装备上运行的软件、硬件(例如芯片实施的逻辑功能)等和/或其任何组合来实施。在一种情况下，所示的将各图中的各种部件分离成不同单元可以反映在实际实现方式中使用对应不同物理和有形部件。备选地或者附加地，各图中所示任何单个部件可以由多个实际物理部件实施。备选地或者附加地，在各图中描绘任何两个或者更多分立部件可以反映由单个实际物理部件执行的不同功能。依次将描述的图53提供关于各图中所示功能的一个说明性物理实现方式的附加细节。
其它图以流程图形式描述概念。在这一形式中，描述某些操作为构成按照某个顺序执行的不同块。这样的实现方式为说明性而非限制的。本文中描述的某些块可以被分组在一起并且在单个操作中被执行，某些块可以被分解成多个部件块，而某些块可以按照与本文中图示的顺序不同的顺序来执行(包括执行块的并行方式)。流程图中所示块可以用任何方式由任何物理和有形机制、例如由在计算机装备上运行的软件、硬件(例如芯片实施的逻辑功能)等和/或其任何组合来实施。
关于术语，短语“配置为”涵盖任何种类的物理和有形功能可以被构造为执行标识的操作的任何方式。该功能可以被配置为例如使用在计算机装备上运行的软件、硬件(例如芯片实施的逻辑功能)等和/或其任何组合来执行操作。
术语“逻辑”涵盖用于执行任务的任何物理和有形功能。例如流程图中所示的每个操作对应于用于执行该操作的逻辑部件。可以例如使用在计算机装备上运行的软件、硬件(例如芯片实施的逻辑功能)等和/或其任何组合来执行操作。在由计算装备实施时，逻辑部件代表如下电部件，该电部件是无论以何种方式实施的计算系统的物理部分。
以下说明可以标识一个或者多个特征为“可选的”。这一类型的陈述不会被解释为对可以视为可选的特征的穷举指示；也就是说，其它特征可以视为可选、尽管在正文中没有被显式地标识。另外，对单个实体的任何描述没有旨在于排除使用多个这样的实体；相似地，对多个实体的描述没有旨在于排除使用单个实体。另外，尽管描述可以说明某些特征作为执行标识的功能或者实施标识的机制的备选方式，但是还可以在任何组合中将特征组合在一起。最后，术语“举例”或者“说明性”是指在潜在地许多实现方式之中的一个实现方式。
A.系统的概述
图1示出用于辅助用户104与物理和/或虚拟空间交互的系统102的概括。物理空间可以例如对应于由一个或者多个建筑物的内部定义的室内空间，或者对应于在建筑物内部以外存在的外部空间，或者对应于室内和室外空间的某个组合。虚拟空间可以例如对应于用任何一个或者多个类型的虚拟对象填充的域。在一些场景中，虚拟空间可以覆盖在用户可以物理地移动经过的物理空间上。在那些情况下，可以向在虚拟空间中的一些虚拟对象指派在物理空间中的对应真实定位(以下将阐明)。
图1广义地介绍可以在系统102中使用的说明性部件。部件在系统102的特定实现方式可以省略所示部件中的一个或者多个部件的意义上是可选的。附加地或者备选地，系统102的特定实现方式可以包括没有在图1中示出的附加部件。
在他或者她探索空间期间，用户104可以经由任何类型的用户计算设备106(为了简洁，以下简称为“用户设备”)和耳机108、或者仅仅只有耳机108与系统102交互。用户设备106可以对应于具有任何形状因子的任何类型的便携计算设备。例如用户设备106可以对应于智能电话、写字板类型计算设备、膝上型计算设备、上网本型计算设备、媒体消费设备(比如书籍阅读器类型计算设备或者音乐播放计算设备)、便携游戏设备、可穿戴计算设备(比如眼镜、护目镜等)等。在其它情况(未示出)下，用户104可以携带和利用两个或者更多用户计算设备，比如与写字板类型计算设备组合的智能电话。
耳机108可以同样地对应于用于向用户104递送音频信息的任何类型的设备。例如在一种情况下，耳机108可以使用在用户104的一个或者多个耳朵之上或者邻近该一个或者多个耳朵定位的常规扬声器来递送音频信息。在另一情况下，耳机108可以使用骨骼传导技术来递送音频信息。在骨骼传导技术中，耳机108经由向用户的头部的骨骼赋予的振动向用户的耳膜传递信息。使用骨骼传导的耳机可以不阻挡用户104的耳道，因此允许用户104听见由他或者她导航经过的空间产生的其它(外部)声音；这一结果可以在一些情况下是希望的，以增加用户与他们的物理环境交互的安全性，特别是对于视力受损的用户的情况和对他们的周围环境不熟悉的用户的情况。
根据一个一般使用方式，用户104可以与用户设备106交互，以接收关于他或者她与空间的交互的、主要地可视的形式的信息。附加地或者备选地，用户设备106可以比如通过产生触觉反馈暗示(例如基于振动的暗示)来递送非可视形式的信息。用户104可以主要地与耳机108交互，以接收关于他或者她与空间的交互的音频信息。该音频信息可以包括口述信息、其它声音等。系统102还可以从用户设备106或者耳机108或者二者接收指令。
用户104还可以可选地经由一个或者多个传统上静止的计算设备110(比如桌面型计算设备、游戏控制台设备、机顶盒设备等)与系统102交互。例如用户104可以在行程之前使用其它用户计算设备110来与系统102交互，以创建定义经过空间的特定路线的行程信息。用户104然后可以在用户设备106和/或耳机108上加载该行程信息。在行程之后，用户104可以再次经由其它用户计算设备110与系统102交互。例如系统102可以将关于完成的行程的信息下载到其它用户计算设备110，从而允许用户104出于任何目的在任何时间查看关于该行程的信息。
在一种情况下，与系统102关联的所有功能由以上标识的部件(即用户设备106、耳机108和其它用户计算设备110)提供的处理功能来执行。在另一种情况下，一个或者多个远程处理资源112可以实施由系统102执行的处理的至少一些方面，比如在性质上特别地计算密集的那些方面。例如远程处理资源112可以包括用于创建新行程、修改现有行程、解释用户的口述指令等的功能。在一种情况下，远程处理资源112可以对应于一个或者多个服务器计算设备、一个或者多个数据存储等。
系统102可以使用通信管道114的任何组合，以将以上描述的部件耦合在一起。例如用户设备106可以经由任何无线通信机制(例如使用蓝牙通信)和/或任何硬接线通信机制(例如经由USB连接等)与耳机108交互。用户设备106和耳机108可以经由蜂窝连接、Wi-Fi连接、硬接线连接等或者其任何组合与系统102的远程部件通信。
另外，虽然未示出，用户设备106可以出于确定用户设备106的定位的目的而与任何远程定位确定系统交互。耳机108可以执行相同功能。远程定位确定机制可以对应于任何基于卫星的定位确定系统(例如GPS系统)、陆地通信塔等。进而另外，用户设备106和/或耳机108还可以通过任何通信机制(例如经由蓝牙通信、Wi-Fi通信等)与本地信标交互。
这一章节(章节A)的其余部分提供由系统102提供的功能的概况。之后的章节提供关于系统的个体部件的附加细节。
一般而言，用户可以使用系统102作为一种在用户移动经过任何类型的熟悉或者不熟悉的空间时丰富用户的体验的方式。例如在一个场景中，用户可以在受制于希望的时间表而进行从源位置到目标位置的计划的行程时使用系统102作为指导。在其它情况下，用户可以使用系统102以在用更开放和自发的方式探索空间时提供辅助，例如而没有预先计划的行程和/或时间表。例如用户可以使用系统102以在他或者她徘徊经过不熟悉的城市或者漫步经过展览会或者博物馆的展览时提供辅助；用户可以参与这一活动而没有固定的路程，并且可以用自由形式和自发的方式变更他的或者她的行程的进程和目标。在又一情况下，用户可以使用系统102作为一种使经过熟悉环境的熟悉路线有生机等的方式。在又一情况下，用户可以用混合操作方式使用系统，例如其中用户的交互的一些方面与预备的计划相符，而其它方面在性质上更开放和自发。
前进到图2，该图示出其中用户使用图1的系统102以进行预先计划的行程的一个示例。以下将描述用户在进行这一行程时的说明性体验，作为一种向读者介绍系统102可以执行的功能类型的方式。注意，在说明性而不是限制的精神上呈现这一示例体验；如以上指出的那样，可以出于任何目的而在广泛多种其它情境中应用系统102，在这些其它情境中，用户与他的或者她的环境交互。
在图2的非限制情况下，假设用户(名为John的男士)已经在踏上行程之前创建行程(但是同样无需情况如此)。例如假设用户已经创建路线，该路线用于将他从他在伦敦的住所带到在城市的另一部分中的医生预约。用户可以已经为这一任务创建行程，因为他对他将要行进经过的城市的该部分不熟悉。或者用户可能具有带来各种移动性有关挑战的一个或者多个障碍。例如用户可能具有任何形式(和程度)的视力受损。在这一情境中，用户可以已经创建行程以辅助他导航路线，即使他可以对路线熟悉。在另一种情况下，除了用户之外的某个实体可以已经代表用户创建行程。在这些情况下，计划的行程由描述行程的所有方面的行程信息来定义。
图2具体地表示行程的计划的路线202为实线。在一些情况下，用户可以使用系统102以大致地追随计划的路线202。在其它情况下，用户可以出于任何原因而从计划的路线202偏离，例如由于他遇到沿着计划的路线202的障碍物，或者他做出自发决定以出于任何原因而改变他行进的进程。例如在这一仅为说明性的情况下，出于拜访沿路的商店204以购买某个物品(例如三明治等)的目的，用户已经脱离计划的路线202。图2表示用户的实际路线206为虚线。
在图2的所示情况下的计划的路线202由本文中称为路点的系列转变点(w1、w2、w3、w4和w5)或者站来定义。例如路点w1可以对应于用户的行程的起点，而路点w5可以对应于用户的行程的目的地。路点w2和w3可以对应于两个路口；在每个这样的路口，用户从第一道路向第二道路转变。路点w4可以对应于用户可以改变他的交通模式的任何站。例如用户可以步行行进到路点w4。路点w4可以对应于用户等待往返汽车208到达的往返汽车站，往返汽车208按预定时刻表到达。用户然后可以在往返汽车208上继续到路点w5。在其它情况下，交通模式可以对应于火车、地铁、公共汽车、电车或者任何私人交通模式(例如私人汽车、自行车等)。
因此，计划的路线可以被概念化为具有系列分段(s1、s2、s3和s4)。图2的示例是简化的情况。在其它情况下，行程可以包括多得多的路点和关联分段。并且该行程可以涵盖交通模式的任何组合。在又一些其它情况下，行程可以没有图2中所示行程复杂，例如仅包括开始和结束路点。并且重复一点，在其它情况下，可以未预先定义行程。
如本文中使用该术语那样，情境一般地是指用户在进行行程或者以别的方式与环境交互之时在任何给定的时间遇到的境况。转而，境况至少由用户可能希望与之交互的环境的特征、当天当前时间(和当周当日)等、以及用户在当前时间遇到的目标等来支配。例如在时间t1，用户正在穿越分段s1尝试从路点w1向路点w2行进。用户的行程的情境c1因此至少部分由用户沿着计划的行程的当前位置和用户用于到达在计划的分段s2之上的路点w2的工作量(effort)来定义。用户在其它时间的情境将根据用户在那些时间遇到、与用户在该时间的相应本地目标耦合的环境而不同。
有了对计划的路线202和实际路线206的以上预备描述，现在考虑在用户从路点w1向路点w5行进时的说明性用户体验。在一个示例中假设用户至少携带用户设备106并且穿戴耳机108(图1中所示)。用户设备106以下称为智能电话以简化对这一设备的引用，但是用户设备106可以包括以上参照图1提到的任何类型的设备。在又一些其它情况下，用户可以仅用耳机108(也就是通过消除对智能电话的使用)来导航。
作为一般原则，在用户进行他的行程或者以别的方式与空间交互时，系统102在沿着用户的路径的适当接合点处让用户暴露于相关信息。可以用听觉、视觉和/或触觉形式向用户自动地呈现的信息的实例在本文中称为兴趣项(IOI)。为了执行这一功能，系统102确定用户在每个时间瞬间的当前情境。例如系统102感测用户在每个特定时间的位置和定向(以及可选地，运动)。系统102可以使用任何技术或者技术组合以执行这一任务，以下在对图3的描述的上下文中提供该技术或者技术组合的示例。系统102然后标识与用户的当前情境相关的IOI。例如在一些情况下，系统102可以确定IOI与用户的当前情境相关，因为用户在与IOI关联的物理对象(或者区域)的规定的距离内，其中预先定义和存储该距离。系统102然后向用户递送关于那些IOI的信息。如以下将更具体描述的那样，用户还可以人工地探索他在行程中的以后时间将(或者可以)遇到的将来情境，从而允许用户为那些情形做预备。
系统102可以基于从各种源提取的信息提供IOI。例如系统102可以从公开地可用的地图信息(比如由华盛顿州雷德蒙德市的微软公司提供的BING地图服务提供的地图信息)确定道路的位置、自然特征等。系统102可以从任何公开的目录信息确定公共和私人实体(例如商店、政府建筑物等)的位置。系统102可以从各种公开的源(比如公共交通时刻表信息、公共安全信息)确定相关事件的出现。系统102可以从各种服务(比如一个或者多个在线社交联网应用、一个或者多个日历应用等)确定用户有关信息等。
每个IOI涉及特定话题或者体验聚焦。IOI可以沿着不同说明维度以不同方式来分类。例如第一类的IOI直接地映射到在用户正在移动经过或者以别的方式与其交互的空间中的物理对象或者物理事件。例如这一类型的IOI可以对应于位于用户附近的商店、或者位于用户前面的开放检修孔、或者用户在规定的到达距离内的下一路点等。第二类的IOI未必地在环境中具有直接物理对等物。例如这一类型的IOI可以对应于在用户靠近公共汽车站时播放的广告。广告可以与围绕公共汽车站的空间关联，但是以别的方式而不是对公共汽车站本身的描述。
另一“虚拟类型”的IOI可以对应于在用户靠近咖啡台时被带到他的注意力的新闻标题。系统102可以基于用户可能希望在饮用一杯咖啡之时消费该IOI这样的假设向用户呈现关于该IOI的信息。另一虚拟类型的IOI可以对应于在用户离开地铁站时向用户递送的天气预报。系统102可以基于用户可能希望为他在离开地铁站时将要遇到的天气做预备这样的假设，向用户呈现关于该IOI的信息。另一虚拟类型的IOI可以对应于在用户靠近他的或者她的个人住所时从社交网络应用取回的消息。系统102可以基于用户可能希望在进入他的家里之前得到由家庭成员或朋友发送的任何消息这样的假设，向用户呈现关于该IOI的信息。设想许多其它场景，在这些场景中，用户接收与用户的当前境况有关、而可能没有服务于描述在用户的紧接附近的实际对象或者事件的某个类型的信息(和/或用于与功能交互的机会)。
(以上描述的第一“真实”类或者第二“虚拟”类的)不同IOI还可以基于它们在空间探索中服务于的它们的角色来分类。例如IOI可以沿着这一维度被分类为警告IOI、行程IOI、情境IOI和可用信息IOI等(但是这样的类别严格地说可以不是互斥的)。系统102发送关于警告IOI的信息，以向用户提醒可能对用户在行程期间的安全有影响的出现事件(比如在用户前面有开放检修孔这样的指示)。警告消息是急剧和扼要的。系统102发送关于行程IOI的信息，以向用户提醒可能对用户的行程的进度有影响的出现事件(比如下一路点正在靠近或者公共汽车将晚点这样的指示)。系统102向用户发送关于情境IOI的信息，以向用户提醒在用户附近的可能让用户感兴趣的对象和事件(无论真实或者虚拟)(比如咖啡店在用户的行程上在他的前方这样的指示)。系统102向用户提醒可用信息IOI的存在，而没有自动地递送它们。用户然后可以选择以按需方式接收这一信息或者忽略它。例如用户可以通过以下方式来访问可用信息：通过轻敲在耳机108上的适当功能按钮、或者通过由用户设备106提供的信息菜单、或者使用等效语音命令。
系统可以用任何方式递送关于每个IOI的信息。例如对于至少一些IOI，系统可以通过发送由口述消息跟随的告警声音来递送IOI。预备声音让用户能够“调谐收听”以听到口述通报，也就是通过将注意力引向口述通报。声音还向用户提醒将要跟随的信息类型，从而用户更好地能够决定他或者她是否将把注意力贡献给它。例如用户可以选择将提高的注意力给予行程信息，但是将更少注意力贡献给情境信息(例如关于在用户附近的商店、或者涉及用户的当前境况的促销要约)。
在行程中的任何点，用户可以做出用于听到最新近地大声读的关于一个或者多个行程IOI(和/或其它类型的IOI)的信息的请求。可以用以下将描述的各种方式做出该请求。如果已经在上30秒内大声读警告，则系统102将通过还重复警告、继而重复行程信息来对用户的动作做出响应。在一些情况下，用户可以请求系统102重复信息，但是这一信息不再可用。系统102可以播放适当声音以向用户提醒这一情形，继而为口述消息“信息这时不可用”等。
作为另一一般特征，系统102可以在用户没有被期望为被来自环境的其它感觉信息所淹没的时间自动地呈现关于一些IOI的信息。例如系统102可以制止发送关于计划的路线202的用户消息，直至用户到达沿着计划的路线的规定的“静默区”，在“静默区”处用户可以安全地和可享受地消费信息。系统102可以预先存储视为“静默区”的区域的位置。
现在更密切地考虑用户在图2中所示空间之上导航之时的具体体验。假设在时间t1，用户正在尝试到达第二路点w2。在感测用户的位置(和动向)之后，系统102可以发送辅助用户到达第二路点w2的用户指引(以视觉和/或听觉形式)。另外，在用户在距离第二路点w2的规定的距离内时，系统102可以发送关于第二路点w2本身的用户信息。这将让用户能够为第二路点w2可能需要的任何进程改变做出适当预备。以上描述的信息可以主要地被表示为行程IOI。
在某些情形中，用户的实际行程可以例如相对于实际地采取的路线和/或用户穿越空间的定时从计划的行程脱离。为了解决那些情形，系统102可以自动地(或者以按需方式)确定用户的当前情形是否将影响用户的行程的任何其余部分。例如系统102可以更新用户到达公共汽车站的估计的时间，然后确定用户是否将继续按时到达以赶上先前标识的公共汽车或者往返汽车。如果用户的当前情形以这一方式影响用户的行程，则系统102可以自动地重新生成用来辅助用户在空间内导航的信息。可以表达该信息为新IOI集合。例如系统102可以建议用户上以后的公共汽车或者往返汽车(并且可以自动地做出适当预约、发送适当通知和/或做出其它安排)。另外，如以上指出的那样，用户可以用任何方式(例如通过明确地请求关于将来将遇到的路点的信息等)来探索更新的信息。
图2还大致地指示在时间t1，系统102自动地向用户通知情境性质的各种兴趣项(IOI)(也就是说，在以上阐述的术语中为“情境IOI”)的存在。例如说明性情境IOI可以对应于商店、餐厅、政府办公室、自然地标等。在一种情况下，仅仅如果情境IOI在当前时间在用户的规定的距离内并且用户尚未经过它，则系统102可以呈现情境IOI以供用户考虑。
用户可以用任何方式定制系统102的行为(相对于情境IOI和/或任何其它类型的IOI)。例如用户可以例如通过指示他想要接收关于第一商店类型而不是第二商店类型的信息，来指定他希望沿着他的路线接收的提示类型。用户还可以指定他想要接收信息的定时。例如用户可以指定应当在向他通知情境IOI的存在时考虑的最大距离(从他的当前位置)。用户可以在踏上行程之前做出这些设置。此外，用户可以例如通过回拨由系统自动地提供的信息的数量，来动态地改变系统在行程的进程之上递送的信息的类型和量。用户可以选择减少信息数量，因为他发现在沿着行程的特定接合点处没有必要或者让人分心。
系统102可以用任何专用方式呈现关于情境IOI的信息。例如在一种情况下，系统102可以按照情境IOI出现在用户前面的顺序来通报情境IOI的汇集，从左到右或者从右到左(例如通过实质上形成角度扫掠，其中用户被定位在扫掠的原点)或者从前到后(按照从用户的距离)或者从后到前等。如以上指出的那样，在一个实现方式中，系统102可以为每个通报前置告警声音，该告警声音向用户提醒关于情境IOI的信息将要跟随。系统102然后可以例如通过提供通报“Jane的咖啡店，150英尺”的音频信息来描述情境IOI。系统102可以备选地比如通过提供用于餐厅的第一预备声音类型和用于公共汽车站的第二声音类型等，来提供与不同设施类型关联的不同预备声音。
在一些情况下，可以在当前时间有在用户附近的大量情境IOI。为了削减给予用户的信息的数量，系统102可以比如通过通报“餐厅，大致地在100英尺”来将这一信息合成成一个或者多个摘要消息。这对于任何IOI类型同样成立。一般而言，系统102可以确定将在给定的时间向用户递送的一组个体IOI是否具有至少一个公共特性。系统102然后可以提供将该组IOI作为块或者集合而不是个体地通报的摘要消息。在以上指出的具体示例中，系统102确定一组情境IOI位于用户附近并且这些IOI涉及相同设施类型。在另一示例中，系统102可以提供摘要警告IOI“接下来100码内的许多大坑洞”。
系统102可以使用其它规则以用智能方式提供通报。例如仅如果用户与一些IOI近邻，则这些IOI才相关。例如仅如果用户在公园长椅的数英尺内，则用户才可能对这一对象感兴趣。因此，系统102仅在用户相对地接近这些种类的对象时才可以通报这些对象的存在。但是这里同样，用户可以就这一点定制系统的行为。
根据另一说明性特征，系统102可以使用三维声音以通报一些类型的IOI(比如一些类型的情境IOI)的存在。三维声音是指用户感知为从在物理空间内的一个或者多个特定位置发出的声音。然而，在现实中，音频信息经由耳机108被呈现给用户，并且在环境内没有物理起源。如以下将在章节D中描述的那样，系统102可以通过与不同类型的宽带音频声音结合使用头部有关传递函数(HRTF)来实现以上结果。在其它实现方式中，系统102可以使用其它技能和技术来创建三维音频效果(代替HRTF或者除HRTF之外)，比如Ambiophonics、Ambisonics、波场合成等。
例如在情境c1(在时间t1)，系统102可以向用户发送标识至少三个情境IOI(IOI1、IOI2和IOI3)的系列有方向通报。系统102例如可以通过向用户发送预备声音来通报情境IOI1的存在，用户感知该预备声音为从与情境IOI关联的实体物理地位于的空间中的特定位置发出。也就是说，如果情境IOI对应于Jane的咖啡店，则消息将把用户的注意力引向Jane的咖啡店的实际位置。系统102还可以使用三维声音(比如通过以有方向方式通报“Jane的咖啡店，150英尺”、也就是使用三维口述信息)来提供对这一设施的描述。
附加地或者备选地，系统102可以发送关于一个或者多个信息可用IOI的用户信息。如以上说明的那样，系统102可以通过以下方式来执行这一操作：发送大致地向用户提醒存在可能与用户的当前情境相关的信息的消息、但是没有立即地通报该信息的具体实质。用户然后可以例如通过做出“更多信息”指令来人工地要求系统102接收信息。或者用户可以忽略信息。
所有以上信息递送特征有助于如下目标：在用户穿越空间时向用户显露有用信息，而没有让用户为太多信息所淹没。
作为另一特征，在沿着用户的路径的任何接合点，系统102可以比较用户的实际行进方向与希望的行进方向。系统102可以使用以下结合图3描述的机制中的任何机制来确定用户的实际行进方向。系统102可以通过确定用户被预期在当前时间动向何处来确定希望的方向。系统102然后可以确定偏离信息，该偏离信息确定用户的实际方向从希望的方向偏离的程度。系统102然后可以发送用户信息，该用户信息尝试沿着希望的路径导引用户。
例如考虑在时间t2的用户。在这一接合点，用户正在尝试到达路点w3。假设用户的实际方向由箭头210表示，而用户的希望的方向由箭头212表示。系统102将发送用户指令，用户指令尝试将用户朝着希望的方向从他的当前错误方向导引开。
在一个实现方式中，系统102使用三维节拍声音或者其它类型的周期声音来实现以上目标。三维节拍声音是被用户感知为从在物理空间中的一个或者多个特定位置始发的任何类型的重复声音(比如点击声音)。在图2的情况下，在时间t2，系统102将递送表现为沿着用户的行进方向向他的左侧始发的三维节拍声音。这将向用户建议如下事实：(a)他在非最优方向上行动；以及(b)他应当略微地左转以实现更希望的轨迹。
系统102可以调制节拍声音以实现其它效果。例如系统102可以根据用户当前在非最优方向上行动的程度，改变节拍声音的音调和/或周期和/或音量(和/或某个其它方面)。用户将解释节拍声音为对他在错误方向上行动的程度的指示。
至此，描述主要地强调系统102用于在沿着用户的路径的适当接合点向用户自动地递送信息的能力。在这一操作模式中，用户与环境的相遇可以构成触发例如以上文描述的不同IOI类型的形式递送信息的事件。附加地，在任何时间，用户可以与智能电话或者耳机108人工地交互，以人工地探索他的环境并且获得关于以上描述的IOI中的任何IOI的信息。例如在第一交互方式中，用户可以沿着行程在任何给定的时间轻敲智能电话的触敏表面。响应于单轻敲，系统102将通报关于用户的当前情境的顶级信息。例如在时间t1，系统可以通过通报用户向路点w2行动——这可以视为行程IOI——来对单轻敲做出响应。响应于双轻敲，系统102将提供关于当前情境的更详细信息。响应于三轻敲，系统102将提供指令，该指令允许用户例如出于获得关于情境的附加信息的目的而与智能电话交互并且调用与当前情境有关的各种功能。
作为另一特征，在任何接合点，用户可以与智能电话交互，以在给定的时间激活与用户相关的一个或者多个菜单。例如在时间t1，用户可以在智能电话的表面上执行轻敲和保持手势。作为响应，系统102可以激活与用户的当前情境关联的菜单。用户然后可以与智能电话交互，以探索立即地呈现的菜单或者导航到任何其它菜单。
更具体地，如将在下面的章节C中具体说明的那样，系统102可以代表通过工作空间的集合可访问的菜单的汇集。每个工作空间具有相对于每个其它工作空间的固定的定位关系。用户可以通过导航到适当工作空间和关联菜单来访问希望的信息和/或功能。
根据一个特征，用户可以单手(例如使用保持智能电话的手的拇指)来执行所有以上屏幕交互任务。系统102还可以在用户与智能电话的触敏表面交互时提供听觉和/或触觉反馈暗示。总而言之，所有这些特征减少用户需要在与系统102交互之时从环境转移他的注意力的程度。例如用户可以在与智能电话交互之时将他的目光保持在他正在其上行走的路上。由于以上概括的非可视特性，其视力有损伤的人也可以与系统102成功地交互。
如将在子章节C.3中描述的那样，用户还可以经由语音指令与系统102人工地交互。附加地或者备选地，用户可以经由耳机108提供的输入机制与系统102人工地交互(如在章节B中描述的那样)。系统102可以提供用户可以通过其而与系统102人工地交互的又一些其它机制。
用户还可以调用用于在探索他的紧接环境时使用的特殊模式。例如响应于激活探索模式，系统102可以确定用户的当前注意力聚焦，其可以对应于假设用户在当前时间正在注视的方向(该方向转而可以基于一个或者多个定向确定机制来确定)。系统102然后可以确定由围绕用户的注意力方向而形成的子空间所包围(或者以别的方式与该子空间关联)的情境IOI。系统102然后可以通过使用三维声音通报这些情境IOI和/或通过发送用于在用户的智能电话上呈现的可视消息等来读出这些情境IOI。
这些情境IOI中的一些情境IOI可以涉及环境中的在子空间内具有相应真实定位的真实对象。这些IOI主要地服务于标识或者标记这些物理实体在物理空间中的位置。其它情境IOI可以在性质上是虚拟的，因为它们涉及子空间(给定用户的当前情境)、但是可以未直接地描述在该子空间中的对象。换而言之，这些其它情境IOI传达与用户的当前情境有关的信息和/或体验，超出标识物理实体的位置的信息和/或体验。
引用一个示例，“虚拟”种类的情境IOI可以对应于消息“记住我们的失陷部队”，因为用户靠近军方军营。该消息与军营有关，但是不能被准确地认为简单地标记军营的位置。该消息的意图是创建心智关联，以丰富用户在他靠近军营时的体验。备选地，在该境况中的情境IOI可以对应于歌曲或者来自励志讲话的摘录或者对用户具有特定意义的个人消息(如先前由用户指定和加载到系统102中的)。
这对于(除了情境IOI之外的)其它IOI类型同样成立。也就是说，一些IOI主要地用作标注标签，而其它IOI旨在于刺激认知关联、记忆、情绪等。后一组IOI在它们涉及关联、体验、意义等领域的意义上而在本文中称为“虚拟”，该领域不是对在环境中的事件和对象的表面级转录。这样的IOI可以备选地称为推断、建议、关系等IOI。
根据另一特征，响应于激活定向模式，系统102可以围绕用户执行完整360度扫描，以标识与从用户的规定的距离关联的所有兴趣项。系统102还可以对于在竖直维度中的相继级来执行这一360度扫描，例如以确定在购物中心综合体等的不同层上提供的商店。用户可以用以上描述的任何方式(例如通过改变标识的IOI类型、针对IOI的存在被搜索的空间的维度等)来定制探索模式和定向模式的行为。此外，用户可以与系统102交互，以支配系统102读出IOI的方式。
现在假设在时间t3，用户自发地决定从计划的路线202转向，以拜访商店204以例如购买三明治。在商店中时，用户在这一时间的情境(c3)涉及商店环境。因此，系统102可以执行如以上描述的相同功能，但是现在在商店的室内环境的情境中。例如系统102可以在用户穿越商店204的岛(isle)时自动地确定情境IOI，并且向用户通报那些情境IOI。例如在靠近商店204的奶制品部分时，用户可以接收读为“牛奶、奶酪和酸奶，向前20英尺”的消息。在用户挪动更接近可能让他感兴趣的产品时，系统102可以发送逐渐地更详细的信息。同样，例如如在羹汤部分中递送的消息中那样(该消息向用户提醒在许多羹汤中存在高钠)，情境IOI中的一些情境IOI可以具有与在商店中的物理对象的更少的直接对应性。
用户还可以用任何方式在商店环境内与系统102人工地交互。例如用户可以人工地探索与不同产品关联的不同菜单。用户还可以使用智能电话以在商店环境中执行各种事务，比如购买物品、研究物品等。
在一些实现方式中，系统102可以通过确定用户是否在已经在商店204内的不同位置放置(预先)的信标的集合中的一个信标的范围内来确定用户在商店204内的位置。如将在章节E中描述的那样，信标可以具有非重叠范围。
在离开商店204时，系统102可以重新计算用户的用于将用户引回到计划的路线202的行程。例如系统102可以向用户提供允许用户到达与往返汽车台关联的路点w4的指令。在到达该路点时，系统102然后可以比如通过通报用户的往返汽车208的预期的到达时间来递送与在这一接合点的用户相关的信息。可以递送该信息作为一个或者多个行程IOI。
系统102可以继续在用户正在往返汽车208上行进之时向他提供服务。例如系统102可以向用户通知到达最终目的地、即路点w5(用户的医生的办公室)的预期时间。系统102还可以根据用户正在其上行进的公共(或者私人)交通的性质来提供可以对用户有用的其它消息。例如在乘坐在公共汽车上并且靠近最终目的地时，系统102可以向用户提醒存在他被预期在下公共汽车时遇到的高路边。另外，系统102可以在用户的允许下向公共汽车的司机提醒需要辅助的人将在即将到来的公共汽车站下车。
概括而言，贯穿用户的行程，用户可以接收听觉形式(例如口述消息、其它声音(三维声音和非三维声音)等的形式)的大量信息。系统102可以使用各种技术管理对这一信息的呈现，以上已经提到这些技术中的一些技术(比如用于回拨(dial back)或者上拨(dialup)递送的信息的量的能力)。这一特征允许用户以及时方式接收最相关信息，而没有让用户为太多信息所淹没。
例如系统102可以受制于不同规则在行程期间回放声音，以解决其中对一个声音的递送潜在地干扰对另一声音的递送的情形。根据一个说明性规则，系统102将在连续循环中播放节拍声音，以在例如在步行之时在希望的方向上导引用户。然而，系统102可以在正在播放任何其它声音时暂时地停用这一声音(或者与这一声音的正常状态比较而言减少这一声音的音量)。这让用户能够听见其它声音，而没有来自视为低优先级声音的节拍声音的干扰。
根据另一说明性规则，系统102可以无条件地播放代表接口有关事件(比如改变向用户呈现的那个菜单或者情境的轻弹手势)的声音。为了避免让用户超负担太多音频信息，可以设计这些类型的声音简短而独特。用户可以通过暂时地中止他或者她与系统102的交互(因为如果用户未活跃地与系统102交互，则不会产生交互暗示)，来至少在某个程度上控制对这些类型的暗示的回放。
根据附加说明性规则，系统102可以通过如下方式来使导航声音优先：向(例如用于警告IOI的)警告声音指派最高优先级级别、向(例如用于行程IOI的)行程信息指派下一最高优先级级别、和向(例如用于任何类型的情境IOI的)情境信息指派下一最高级别。在一些情况下，系统102将延迟信息递送，例如由于正在回放更关键的信息。另外，在一些情况下，截至系统102能够呈现它的时间，延迟的消息将不再相关(例如由于用户已经移动到其中信息不再相关的新情境)；如果是，则系统102可以制止呈现该信息。
作为结论，以上描述的场景也在强调系统102的有利技术效果中的一些有利技术效果时有用。一般而言，系统102允许任何用户接收服务于不同、但是有关目标的指导。首先，系统102尝试让用户沿着他的或者她的行程在任何给定的时间暴露于最有用的信息、因此让用户能够在他的或者她的环境内更有效地导航或者实现其它目标。第二，系统102丰富用户对环境的体验超出提供导航辅助，允许用户学习不使用系统102就可能没有立即地为用户所清楚的关于环境的新信息；就这一点而言，系统102允许用户比喻性地深入研究环境的表面以下，以理解涉及环境102的原本隐藏的方面和连接。第三，系统102尝试以最小化对用户施加的分心的方式向用户提供这一有用信息。例如通过允许用户维持对他或者她与“真实世界”的交互、而不是对他或者她正在用来与真实世界交互的工具的主要聚焦，第三目标对于向用户提供更可享受和有用的体验是有用的。反言之，第三目标尝试通过要求用户与用户将被预期将显著注意力贡献于的繁琐且复杂的工具交互来减少可能出现的焦虑。第三目标还允许用户以安全方式高效地和快速地访问希望的信息，而没有在任何给定的时间为太多信息所淹没。
许多技术特征有助于以上概括的目标，特别是就第三目标而言。特征包括但不限于：a)使用单手交互体验；b)使用用户友好菜单结构，该菜单结构适应可以用位置不可知方式在触敏表面上执行的手势(以下将描述)；c)使用用户友好和易于学习的工作空间结构，该工作空间结构提供对“安全”起始工作空间的访问(以下将描述)；d)使用多个机制录入命令(例如经由耳机108、用户设备106、语音识别等)；e)使用音频信息和/或触觉暗示以传达信息，而未不适当地扰乱用户对行程的聚焦；f)使用三维和非三维声音以帮助在希望的方向上导引用户，而未用复杂指令淹没用户，或者向用户提醒IOI的位置等。
以上优点适用于系统102的任何用户。系统102还可以成功地由具有削弱其进行行程的能力的任何类型的状态的人士来使用。这些用户可以包括具有部分或者完全视力损失的用户、具有认知或者其它心理损伤的用户、具有移动性有关障碍的用户等。对于这些用户，系统102充当虚拟指导犬，从而以安全方式在用户的行程的每个阶段中辅助他们或者以别的方式辅助用户与他们的环境交互，无论用户的目标当时恰好是什么。对于这些用户，除了以上概括的一般益处之外，系统102还允许用户访问否则对于他们而言不可用的信息和指导，因此潜在地提高这些用户生活的移动性、信心和总体质量。
现在前进到图3，这一幅图示出可以用来实施图1的系统102的计算功能的高级概况。以设备不可知方式示出图3的功能。在一个实际实现方式中，可以例如向在图1中介绍的部件中的任何部件或者这些部件的任何组合分配功能。例如，图3示出该功能包括空间交互(SI)模块302。SI模块302执行关于图2的场景描述的功能中的所有(或者多数)功能。SI模块302的一些部分可以由用户设备106实施，而SI模块302的其它部分可以由位于耳机108上的处理部件实施。附加地或者备选地，SI模块302的一些部分可以由远程处理资源112执行。
SI模块302可以从输入机制304的任何组合接收输入信息，并且可以提供它的输出信息用于在任何输出机制306上呈现。例如输入机制304可以包括一个或者多个定向确定机制308和/或一个或者多个运动确定机制310和/或一个或者多个定位确定机制312等。
定向确定机制308确定并入这些机制308的设备的定向。例如如果由用户设备106容纳，则定向确定机制308确定这一用户设备106的三维定向。如果由耳机108容纳，则定向确定机制确定耳机108的三维定向。更一般而言，定向确定机制308可以确定用户正在将他的智能电话指向或者将他的或者她的头部(耳机108被放置在头部上)转向的方向。运动确定机制310确定并入这些机制310的设备的移动性质和程度。定位确定机制312确定并入这些机制312的设备的绝对和/或相对定位。
可以使用传感器的任何组合来实施机制(308、310、312)，该传感器包括但不限于：磁力计、加速度计、陀螺传感器、基于重力的传感器、转矩传感器、应变计、挠曲传感器、光学编码器机制等。此外，机制(308、310、312)中的一些机制可以从外部系统或者源接收信号。例如机制(308、310、312)可以包括用于基于从基于卫星的导航系统(例如全球定位系统(GPS)系统)接收的信号来确定设备的定位的传感器。附加地或者备选地，机制(308、310、312)可以包括用于通过基于从多个外部源接收的信号(比如从多个无线电塔和/或局部化有方向天线等接收的信号)执行三角测量和/或其它处理来确定设备的定位的功能。附加地或者备选地，机制(308、310、312)可以包括用于使用航位推算(dead reckoning)技术来确定设备的定位的功能。附加地或者备选地，机制(308、310、312)可以包括用于通过处理来自本地信标(例如Wi-Fi和/或蓝牙信标等)的信息等来确定设备的定位的功能。
输入机制304还可以包括手动输入机制314的任何组合。这些机制可以包括以下中的任何机制：键输入机制、触敏输入机制(例如触敏屏幕314’)、操纵杆、麦克风(例如用于接收语音指令)、视频相机和/或深度相机(例如用于接收自由空间手势)等。例如在图1的情况下，用户设备106可以使用触敏显示屏幕作为它的与用户交互的主要方式。例如而非限制地，该触敏显示屏幕可以并入确定用户何时触摸屏幕和/或在屏幕上方悬停的电容触摸屏机制。用户设备106还可以包括相机、麦克风等。耳机108可以包括麦克风(用于接收语音指令)、连同例如如在耳机108一侧上实施为按钮的一个或者多个专用输入机制(将在下一章节中更具体地描述)。
输出机制306可以并入一个或者多个音频输出机制316、一个或者多个显示输出机制318、一个或者多个触觉输出机制320等。例如音频输出机制316可以对应于任何类型的常规扬声器。附加地或者备选地，音频输出机制316可以并入骨骼传导音频设备(例如如由耳机108提供)，比如由纽约州锡拉丘兹市的AFTERSHOKZ,LLC生产的骨骼传导换能器。显示输出机制318可以例如对应于LCD类型显示器(例如如由用户设备106提供)。触觉输出机制320可以例如对应于振动产生机制(例如如由用户设备106和/或耳机108等提供)。振动产生机制可以使用旋转失衡重物和/或通过一些其它机制实现振动效果。
SI模块302还可以与可以视为在SI模块302本身外部的远程功能322交互。例如SI模块302可以出于进行研究的目的而与搜索引擎324交互。例如搜索引擎324可以对应于由华盛顿州雷德蒙德市的微软公司提供的BING搜索引擎。附加地或者备选地，SI模块302可以出于生成新行程和/或修改现有行程的目的而与行程计算引擎326交互。附加地或者备选地，SI模块302可以与话音处理引擎328交互以解释由用户做出的口述指令。例如话音处理引擎328可以对应于由华盛顿州雷德蒙德市的微软公司提供的CORTANA系统。在其它情况下，可以在SI模块302中并入远程功能322的一个或者多个方面作为本机资源。
此外，SI模块302可以与在一个或者多个数据存储330中提供的任何外部信息交互。例如外部信息可以提供公开地可访问的地图信息、交通时刻表信息、提醒信息、企业和个人目录信息、社交网络信息、日历信息等。在一些情况下，SI模块302可以使用由那些外部源提供的应用编程接口(API)来与外部源(例如外部网站)交互。
现在参照图4，这一幅图示出以上介绍的SI模块302的一个实现方式。从高级观点来看，SI模块302可以包括(或者可以被概念化为包括)执行不同相应功能的多个子部件。另外，一些子部件可以依赖于由其它子部件生成的结果。应用接口模块(AIM)402允许用户与子部件中的任何子部件交互。例如应用接口模块402可以提供暴露由子部件提供的各种功能的菜单功能。
一般地从上至下参照子部件，SI模块302可以包括用于存储可以由SI模块302在执行它的功能时使用的信息的各种数据存储。例如数据存储404可以存储定义一个或者多个行程的信息。例如行程信息可以描述行程中的路点和/或关于行程的任何其它信息。数据存储406可以存储由搜索引擎提供的搜索结果；可以在指引用户时、在行程的进程或者用户与空间的更一般交互期间生成那些结果。数据存储408可以存储由用户在用户与SI模块302交互的进程中创建的标签的历史。标签一般地对应于菜单或者其它信息项和/或功能和/或选项的书签。用户可以在他或者她拜访该菜单或者其它信息项和/或功能和/或选项时创建标签；在一个实现方式中，数据存储408在用户踏上行程而尚未开始与系统102交互时初始地不含标签。系统102可以使用表示标签的汇集的任何方式，例如作为标签的列表、标签的放射状菜单等。
SI模块302还可以提供执行任何类型的支持服务的各种支持模块410。例如设置模块可以允许用户向影响系统102的操作的任何参数指派值。数据存储412可以存储所有这样的设置。支持模块410还可以包括用于与外部搜索引擎交互的门户，以提供搜索结果。或者支持模块410可以包括本机地提供的搜索引擎。
声音生成模块414执行与声音生成有关的各种操作。例如声音生成模块414可以在遇到各种触发境况时播放特定声音。一些触发境况对应于用户在与应用接口模块402交互时做出的动作。其它触发境况对应于不是直接地由用户与系统102的交互所引起的、系统102的状态的改变。其它触发境况对应于在行程的进程(或者更一般地，用户与空间的交互)期间出现的事件等。数据存储416可以存储在回放时产生希望的声音的文件。子章节C.2(在下面)提供关于可以生成的不同声音类型和在其之下播放这些声音的境况的附加信息。
一些声音在性质上为非三维或者非空间的。此外，声音生成模块414可以产生三维音频信息。如以上描述的那样，音频信息在用户将感知这一信息为从在三维物理或者虚拟环境内的一个或者多个位置发出的意义上是三维的。声音生成模块414可以通过使用一个或者多个头部有关传递函数(HRTF)变换原有声音信息来创建这些声音。
相似地，触觉暗示生成模块418可以在不同触发境况中产生不同类型的触觉反馈体验。在一种情况下，触觉暗示生成模块418产生例如在向用户设备106、耳机108和/或某个其它设备递送时产生振动暗示的信号。
路径指导模块420使用声音生成模块414以生成以上描述的三维周期(例如节拍)声音。这一周期声音的目的是在特定方向上指导用户。路径指导模块420通过确定用户的当前实际动向、希望的动向、以及在实际和希望的动向之间的差异(对应于偏离信息)来产生这一效果。然后，路径指导模块420然后利用声音生成模块414以产生由用户感知为从特定方向始发的适当循环声音。也就是说，声音生成模块414基于由路径指导模块420向它馈送的偏离信息来产生循环声音。用户可以通过在希望的方向上移动来对这一声音做出响应。在另一种情况下，可以感知节拍声音为跨在物理空间中的系列位置行进。用户可以解释这一体验作为用于在行进声音的方向上移动的指令。
基于信标的指导模块422在通过检测从在一个说明性实现方式中具有相应非重叠范围的信标的汇集而发射的信号来在室内和/或输出空间内导航时向用户提供辅助。章节E提供关于基于信标的指导模块422的操作的附加信息。基于信标的指导模块422可以查阅在数据存储424中提供的信标信息。信标信息可以描述与已经在环境中放置的信标及其在环境内的相应位置关联的代码。
相关信息确定(RID)模块426执行确定用于在任何给定的时间向用户呈现的相关信息的一般功能。在对图2的描述的上下文中，RID模块426确定与用户的当前情境有联系的不同类型的信息项(IOI)。为了执行这一任务，RID模块426接收各种情境输入，这些情境输入定义用户在当前时间的情境。这些情境输入可以描述用户的当前位置、用户的当前动向、用户的当前目标等。情境输入还可以描述环境本身，比如与环境关联的对象和事件(物理和虚拟两者)。可以从地图信息、目录信息、社交网络信息、日历信息等挖掘任何这样的输入。情境输入还可以描述如从任何源获得的对用户与空间的交互有影响的环境因素，比如公共交通信息、天气信息等。
RID模块426通过基于在当前时间的情境输入和基于(在数据存储428中提供的)各种规则，确定在给定的时间向用户通知任何信息是否适当来操作。RID模块426的行为还可以按照由用户设置和在数据存储412中存储的一个或者多个参数来定义。例如RID模块426可以基于由用户定义的深度范围来确定在当前时间是否存在与用户邻近的任何情境IOI。如果这样的情境IOI存在，则RID模块426可以与声音生成模块414和/或由应用接口模块402提供的菜单功能交互，以向用户通知这些情境IOI。
探索模块430和定向模块432执行可以由用户以按需方式调用的相应服务。如参照图2的场景描述的那样，探索模块430确定与位于用户前面的子空间关联的任何情境IOI(该子空间转而可以由用户的头部的定位、连同定义调查深度的设置参数和描述搜索空间的跨距的设置参数来确定)。为了执行这一任务，探索模块430利用RID模块426的服务。探索模块430然后使用三维声音、显示的消息等来向用户通知情境IOI。定向模块432执行与探索模块430相似的任务。但是取代调查与在用户前面突出的子空间关联的IOI，定向模块432可以扫描在当前时间围绕用户而存在的整个三维空间。
图5示出应用接口模块(AIM)402的一个实现方式。如以上指出的那样，应用接口模块402一般地提供允许用户与以上参照图4描述的各种子部件交互的接口。
应用接口模块402可以包括解释用户的输入以例如确定用户正在做出的指令的性质的各种部件。例如手势解释模块502可以确定用户通过与用户设备106的触敏屏幕交互来做出的手势、或者自由空间手势等。手势解释模块502可以通过比较由用户做出的标记或者触摸或者悬停(或者其它行为)与标识和已知的手势关联的图案的数据存储来执行这一任务。如果用户的行为以确定的匹配置信程度匹配与特定手势关联的图案，则手势解释模块502可以推断用户已经做出该手势。
语音解释模块504可以解释用户的口述指令等，例如口述指令可以经由在用户设备106和/或耳机108上的麦克风来接收。在一种情况下，语音解释模块504可以对应于通向远程话音处理引擎328(例如CORTANA系统)的门户。在另一种情况下，语音解释模块504可以对应于用于解释口述言语的任何类型的本机功能。在任何情况下，执行语音识别的代理可以使用任何技术执行这一任务，比如基于隐藏马尔科夫模型的技术、基于神经网络的技术等。
耳机按钮解释模块506解释用户与耳机108的输入机制交互的方式(以下将描述)。例如在一些情况下，按钮的集合可以执行不同功能，这根据用户与它们交互的方式，例如根据用户是否触摸按钮、但是没有按压它，或者基于用户是否触摸和释放按钮一次或者多次，或者基于用户是否按压和保持按钮等。耳机按钮解释模块506将用户的行为映射到特定指令。
动作采取模块508可以基于由以上描述的解释模块(502、504、506)提供的解释来调用动作。例如响应于解释，动作采取模块508可以：调用菜单；关闭菜单；在工作空间之间转变(以下将描述)；执行功能；保存设置；呈现信息项等。
B.用于便于在用户与其环境之间的交互的耳机和用户设备选项
图6示出关于以上在图1的上下文中介绍的耳机108、用户设备106和其它用户计算设备110的附加细节。本文中在说明性而不是限制的精神下呈现这些设备的特征。
首先参照耳机108，这一设备可以提供由塑料和/或金属和/或任何其它材料制成的框架602。框架602可以是柔性的，并且可以经由框架中的与用户的头部相抵向内横向地推动的张力、和/或通过某个其它固着机制而固着到用户的头部。耳机108包括向用户的头部的骨骼传输振动的换能器(604、606)；用户的头部的骨骼然后向用户的耳膜传送这些振动，在耳膜处它们被感知为音频信息。使用骨骼传导类型耳机防止耳机108阻塞用户的耳道，并且由此允许用户对在环境中的其它声音安全地做出响应。然而，备选地，耳机108可以包括放置在用户的耳朵之上或者附近的常规扬声器。
耳机108还可以可选地在它的框加上的任何处包括输入机制608的集合。用户可以用他的或者她的一只(或者两只)手610的一个或者多个手指与输入机制608交互。备选地，分立设备(未示出)可以提供输入机制608，并且该分立设备可以经由无线通信(例如蓝牙通信)和/或有线通信与耳机108通信。图6示出输入机制608包括三个按钮，但是更一般地，输入机制608可以包括任何数目的机制，并且这些输入机制可以用任何方式被放置在框架上。另外，输入机制608除了按钮之外还可以包括其它类型的输入机制，比如轮或者旋钮机制、滑块机制等。备选地或者附加地，耳机108可以并入一个或者多个触敏表面。例如耳机108的不同区域可以并入不同触敏机制，并且那些区域可以与不同相应功能关联。
耳机108可以包括执行各种任务的处理机制(以下将描述)。耳机108可以包括容纳那些处理机制的隔间612。例如在一种情况下，隔间612位于耳机108的背部中。然而，处理机制可以物理地位于耳机108上的任何一个或者多个位置。处理机制本身可以包括任何类型的一个或者多个处理设备、存储器等、和/或专用逻辑部件(例如一个或者多个专用集成电路(ASIC))等。
输入机制608可以在激活时发起任何操作。例如而非限制地，用户可以使用输入机制608以指令SI模块302调用探索模式或者定向模式(以上描述的)。附加地或者备选地，在听到某个话题的摘要(例如情境IOI的名称)之后，用户可以使用输入机制608以指令SI模块302提供关于标识的话题的附加信息；这一指令可以称为“更多信息”指令。
附加地或者备选地，用户可以使用输入机制608以指令SI模块302激活收听模式或者停止收听模式。在收听模式中，语音解释模块504处理用户的话音以确定用户是否已经口述指令。
附加地或者备选地，用户可以使用输入机制608以指令SI模块302重复它提供的最新近音频消息。附加地或者备选地，用户可以使用输入机制608以请求SI模块302例如通过对于预定数目的在前消息、逐个消息地、从最新近消息开始并且在时间上向后推进来重复先前递送的音频消息的集合。这样的指令可以称为“倒退”指令。
备选地或者附加地，用户可以使用输入机制608以接通或者关断三维节拍声音等。其它实现方式可以使用输入机制608以发出其它指令和/或省略以上阐述的指令中的一个或者多个指令。
以上功能或者其某个子集可以用任何方式被映射到任何数目的相应按钮和/或其它输入机制。另外，在一些实现方式中，系统102可以包括允许用户定义在输入机制与机制调用的操作之间的映射的定制模块。另外，如以上描述的那样，相同按钮还可以根据用户与它交互的方式执行两个或者更多功能。在一个实现方式中，SI模块302可以在用户触摸按钮、但是没有按压它时通报由按钮执行的功能。
根据另一特征，用户可以通过按压用来激活当前在活跃状态中的功能的相同按钮来去激活该功能。例如用户可以通过按压用来要求SI模块302递送信息的相同按钮等来停止SI模块302通报这一信息。备选地或者附加地，耳机108可以并入停止当前正在执行的无论什么功能的专用按钮。
用户设备106可以对应于以上描述的便携设备的类型中的任何类型，比如智能电话或者写字板类型计算设备。如以上描述的那样，用户可以使用单只手614(和/或可选地用两只手)来与用户设备106交互。其它用户计算设备110可以对应于任何类型的在传统上静止的计算设备，比如工作站计算设备、游戏控制台、机顶盒设备等。
一个或者多个通信路径616可以耦合用户设备106与耳机108。这样的通信路径例如可以对应于蓝牙通信路径、硬接线通信路径(例如USB通信路径)等。一个或者多个通信路径618可以将其它用户计算设备110耦合到用户设备106和/或耳机108。如以上描述的那样，用户可能希望建立在其它用户计算设备110与用户设备106和/或耳机108之间的连接的一个原因是向这些设备上传信息。可以用任何方式(例如经由以上描述的任何类型的无线和/或有线通信路径)实施通信路径618。
系统102的其它实现方式可以使用例如与图6中所示的耳机108的具体类型比较的不同耳机类型。例如在另一实现方式中，耳机可以并入以上标识的特征中的任何特征(包括输入机制608)、连同例如物理地实施为眼镜(例如护目镜)、头盔等的任何类型的头戴式显示(HMD)设备。系统102可以使用头戴式显示设备来显示任何类型的信息。例如系统102可以经由头戴式显示设备显示在下一章节(章节C)中描述的菜单和其它信息中的任何菜单和其它信息、或者其某个子集。在另一种情况下，系统102可以显示与用户与之交互的真实世界关联的信息混合的、计算机生成的信息，以由此提供增强现实体验。例如系统102可以与在用户的视野内的关联的对象和事件在定位上邻近地显示描述标签。在另一种情况下，系统102可以显示辅助用户在推荐的方向上移动的有方向提示等。另外，系统102可以修改显示的信息的类型，以适应可能影响特定用户的任何视觉损伤(例如通过为具有视力损伤的用户显示简化和放大的信息)。
系统102可以使用任何技术来实现增强现实体验，例如通过使用用户对实际环境的直接视觉感知“之上”显示计算机生成的信息的光学混合器(例如使用部分反射镜等)。在另一实现方式中，系统102可以使用视频相机以捕获实际环境、连同混合来自视频相机的视频信息与计算机生成的信息的光学混合器。在任一种情况下，系统102可以使用检测用户在环境内的位置的一个或者多个设备、检测用户的头部的定位和定向的一个或者多个设备、和/或检测用户的凝视的方向的一个或者多个设备等来确定用户的假设的视野。
在另一种情况下，除了耳机之外或者附加于耳机，另一类型的可穿戴设备可以执行以上阐述的功能中的任何功能。例如可穿戴设备可以对应于腕戴式设备、服饰物品等。
为了简化说明，以下描述将假设用户与图6中所示的基本类型的耳机108交互，但是重复一点，耳机108可以并入以上提到的任何数目的补充特征(比如头戴式显示器)。另外，代替耳机或者除了耳机，可以使用另一类型的可穿戴设备。
图7示出实施图1的系统102的一种方式。在这一实现方式中，系统102利用用户计算设备702(简称为“用户设备”)和耳机704两者。更具体而言，根据一种功能分配，用户设备702实施系统102的多数功能。也就是说，用户设备702包括SI模块302和输入/输出机制706的汇集，包括任何定向、运动和/或定位确定机制708、任何触敏输入机制710、任何触觉输出机制712、任何显示输出机制714等。以上结合对图3的描述提供这些机制的示例。用户设备702还包括功率源716(例如电池)和用于与耳机704通信的一个或者多个通信机制718。
在另一方面，耳机704仅包括一个或者多个音频输出机制720(比如骨骼传导音频机制)、功率源722(比如电池)和用于与用户设备702通信的一个或者多个通信机制724。此外，耳机704可以包括以上参照图6描述的输入机制726的类型中的任何类型(例如对应于图6的输入机制608)。通信机制724可以向用户设备702传输由输入机制726调用的指令。用户设备702转而可以向耳机704发送音频信息以用于由音频输出机制720呈现。
图8示出实施系统102的另一种方式。这里，系统102包括具有与图7的耳机704比较的更多处理能力的耳机802。实际上，在一个实现方式中，耳机802可以执行系统102的所有空间交互有关方面，而未使用任何分立用户设备106。在另一实现方式中，耳机802仍然可以与分立用户设备106(在图8中未示出)交互。该分立用户设备106可以包括图7的用户设备702的所有部件或者其任何子集。
更具体地，在图8的情况下的耳机802可以包括执行以上参照图4描述的功能的任何子集的耳机侧SI模块804。此外，耳机802可以包括任何定向、运动和/或定位确定机制806。这些机制在下面一般地称为头部感测机制，因为它们确定用户的头部的物理姿态或者移动，该物理姿态或者移动转而可以反映用户的注意力聚焦的方向。此外，耳机802可以包括以上参照图6描述的输入机制808的类型中的任何类型。此外，耳机802可以包括功率源810和用于与用户设备106交互的一个或者多个通信机制812(如果系统102在这一实现方式中利用它不需要的这样的用户设备106)。此外，耳机802包括以上描述的任何类型的音频输出机制814。
在一个操作模式中，图8的系统102可以在耳机802上提供的头部感测机制被提供并且恰当地工作时利用它们。由耳机802提供的头部感测机制可以对于由用户设备106提供的对等感测机制是优选的，因为头部感测机制可以更准确地反映用户的定向、移动和/或定位。另外，使用头部感测机制消除用户与用户设备106交互以登记他的或者她的定向、移动和/或定位的需要。
在一些情况下，耳机108可以可选地向用户设备106转发由头部感测机制生成的信息。用户设备106可以使用这一信息以执行处理、然后向耳机802转发回这一处理的结果。耳机802然后可以经由传达结果的骨骼传导技术向用户的耳朵传输声音。在另一种情况下，耳机侧SI模块804可以执行这一处理而无需向用户设备106转发由头部感测机制提供的信息。在再一情况下，耳机侧SI模块804可以本机地执行一些操作，并且依赖于用户设备106执行其它操作。例如耳机侧SI模块804可以依赖于用户设备106执行计算密集操作(比如计算三维声音等)，因为与耳机108比较，可以在用户设备106上更高效地执行那些操作。
在另一情况下，在对等部件未在耳机802上恰当地工作时，系统102可以利用由用户设备106提供的定向确定机制、运动确定机制和/或定位确定机制。
在再一情况下，例如通过使用一个设备的传感器读数以标识另一设备的传感器读数的明显误差和/或形成传感器读数的两个不同版本的平均等，系统102可以利用由耳机802和用户设备106二者提供的传感器读数。
在图7和8的实现方式中的任一实现方式中，由耳机(例如704、802)和/或用户设备(例如702、106)执行的功能中的至少一些功能可以备选地或者附加地由图1的远程处理资源112(例如对应于云计算资源)执行。
图9示出其中用户902在交通工具内与用户设备904交互的场景。虽然未在图9中具体地图示，但是用户902还可以利用向用户中继音频信息而未阻塞用户的耳朵的骨骼传导耳机。更一般地，图9是以上描述的功能可以应用于除了以上描述的情况之外的附加使用场景的更一般点的示例。
在图9的情况下，用户902已经使用底座906将用户设备904装配到交通工具的仪表板区域上。用户902可以是交通工具的司机(如图9中所示)或者乘客。功率绳908可以从由交通工具提供的功率插座向用户设备904递送功率。
图10示出描述图6中所示装备的一种操作方式的过程1004。在块1004中，系统102由于用户致动至少一个耳机输入机制(例如基于用户致动图6中所示耳机输入机制608之一)而接收指令。在块1006中，系统102基于在块1004中提供的指令执行功能，以提供输出结果。块1006可以由耳机108和/或用户设备106执行。在块1008中，耳机108应用输出结果以递送音频信息，该音频信息辅助用户在路线之上、在空间内导航，或者更一般地与空间交互。
概括而言，以上特征有助于允许用户安全地和高效地移动穿过他的或者她的环境的以上目标。例如特征提供方便方式，通过该方便方式，用户可以激活各种操作模式(例如通过与耳机108的用户输入机制608交互)，而未在用户移动穿过环境时不适当地让用户分心，例如无需用户访问分立用户设备和与分立用户设备交互。
C.用于便于在用户与其环境之间的交互的说明性用户接口功能
这一章节提供关于图4和5的应用接口模块402的一种操作方式的说明性细节。重复一点，应用接口模块402允许用户与SI模块302的各种部件交互。为了便于重复引用应用接口模块402，这一章节将用AIM 402的缩写形式对这一部件进行引用。AIM 402可以是指分立部件、或者在系统102的一个实际实现方式中由两个或者更多部件执行的功能的聚合。
用户接口体验转而具有不同部件或者方面。下面的子章节C.1提供关于AIM 402允许用户经由例如如由用户设备106提供的可视用户接口呈现与SI模块302交互的一种说明性方式的细节。子章节C.2提供关于AIM 402可以向用户提供各种声音和触觉反馈暗示的一种说明性方式的细节。子章节C.3提供关于AIM 402允许用户经由口述指令与SI模块302交互的一种说明性方式的细节。
一般地注意，以下说明例如如在图2的示例中那样在用户经过空间而进行的行程的情境中描述AIM 402。但是AIM 402在其它场景中提供相似服务，在该其它场景中用户与空间交互，包括如下情况：其中出于以临时方式探索空间的目的，用户徘徊经过空间而没有预备的路线。作为又一备注，以下描述的用户接口特征也在性质上是一般目的，因此可以在未必地与用户和空间的交互有关的其它情境中被应用。
作为另一序言备注，本说明书通过描述由用户执行的手势有关动作、连同由AIM402响应于手势有关动作而进行的对应操作来阐述由AIM 402解释的许多手势。如以上参照图5更充分地描述的那样，AIM 402在每种情况下通过以下各项来执行这一任务：(a)检测输入信息，该输入信息描述例如在用户做出告警轻弹手势等时由用户执行的手势；(b)比较输入信息与存储的和已知手势关联的图案，以确定用户已经调用的特定手势；以及(c)执行与检测到的手势关联的操作。以下在许多情况下为了简洁而省略对这些个体操作的明确叙述。
C.1可视体验：与工作空间和菜单交互
在一种方式中，AIM 402将主工作空间组织成更小工作空间的汇集。工作空间具有相对于彼此的定位关系。这一结构是有益的，因为它允许用户开发应用的组织的心智图片，很像他或者她将通过反复遇到物理空间的区域而变得熟悉它的区域。这一特征转而允许用户高效地访问正在寻求的信息和/或功能。
例如图11示出其中AIM 402将主工作空间组织成五个更小工作空间的示例。起始工作空间1102用作在进行行程之时的用户交互中的中心聚焦。例如如以下将描述的那样，起始工作空间1102在行程或者与空间的任何其它交互中的每个特定点，呈现关于用户的当前情境的信息。如果用户还没有开始行程，则起始工作空间1002可以呈现默认中枢页。
主工作空间1104位于起始工作空间1102的左侧，而“我附近”工作空间1106位于起始工作空间1102的右侧。信息工作空间1108位于起始工作空间1102的顶部，而设置工作空间1110位于起始工作空间1102的底部。以下将更具体地描述这些工作空间的相应角色。
在说明性而不是限制的精神下阐述以上描述的每个工作空间的定位。其它实现方式可以提供工作空间的其它放置。另外，其它实现方式可以变化由AIM 402提供的工作空间的数目。例如另一实现方式可以通过提供相对于起始工作空间1102对角地定位的工作空间来提供另外四个工作空间。
图12示出用户可以从起始工作空间1102导航到主工作空间1104的一种方式。在这一非限制情况下，用户在起始工作空间1102上执行右轻弹手势，以导航到主工作空间1104。虽然未示出，但是用户可以执行左轻弹手势(或者另一右轻弹手势)，以从主工作空间1104移动回到起始工作空间1102。
以相似方式，用户可以在起始工作空间1102上执行左轻弹手势，以导航到“我附近”工作空间1106。用户可以在起始工作空间1102上执行下轻弹手势以导航到信息工作空间1108，以及在起始工作空间1102上执行上轻弹手势以导航到设置工作空间1110。用户可以例如使用保持用户设备的手的拇指、例如通过将拇指放置在用户设备106的触敏表面上并且在希望的方向上轻弹它，来执行这些手势中的任何手势。在轻弹移动中，用户用一个或者多个手指与触敏表面接触、跨表面移动手指达一距离、然后从表面移除手指，所有这些都相对地迅速接连(如同跨平坦表面轻弹物理对象)。
在一个实现方式中，为了导航到任何外围区域，用户被预期首先导航到起始工作空间1102。然而，在另一实现方式中，AIM 402可以允许用户从一个外围区域导航到另一外围区域，而未首先移动回到起始工作空间1102。
更一般地，在这一章节中的所有示例中，在显示器的表面上的虚线圆代表用户用手指接触表面的点。在一些情况下，显示器的表面将示出不同大小的两个虚线圆。两个圆中的较大圆代表用户施加他的或者她的手指的位置，而两个圆中的较小圆代表用户移除他的或者她的手指的位置。在其它情况下(未示出)，用户可以执行至少一个手势，该手势包括在两个或者更多位置同时触摸触敏表面(例如以执行夹捏类型手势)。在其它情况下(未示出)，用户可以通过悬停于设备的表面上方而未实际地触摸它来执行至少一个手势。在其它情况下(未示出)，用户可以执行可以由视频相机和/或深度相机等检测的自由空间手势。
作为最后介绍备注，所有都在说明性而非限制的精神下，这一章节描述特定手势、菜单结构和菜单项。其它实现方式可以变化这些用户接口特征的任何方面。例如在另一实现方式(未图示)中，AIM 402可以允许用户使用轻敲类型手势或者通过在显示器的表面上绘制特定形状等来在工作空间之间转变。
图13-16图示可以在起始工作空间1102中呈现的信息类型。如以上提到的那样，起始工作空间1102用作用户在他们在路线之上导航或者以别的方式与空间交互时的注意力的主要聚焦。在默认状态中，如图13中所示，起始工作空间1102可以呈现中枢页。以下将描述菜单结构的具体性质和在该结构内的菜单项。
在用户的行程的进程中，起始工作空间1102可以呈现关于用户的当前情境的信息(但是还可以在用户请求时在行程期间在起始工作空间1102中呈现其它信息)。例如在图14的情况下，假设用户当前正在乘坐火车。起始工作空间1102可以呈现聚焦于用户在火车中的体验的菜单。在图15的情况下，假设用户现在正在沿着特定街道步行。作为默认，起始工作空间1102现在将呈现关于用户在街道上的体验的信息。例如起始工作空间1102可以呈现示出用户在街道上的当前位置1502的地图。备选地，用户可以与AIM 402交互以产生图14中所示的菜单类型，但是其中该菜单现在将包含涉及用户在街道上步行之时的体验的菜单项。借助以上行为，AIM 402显露在环境中在用户的当前情境中与他或者她最相关的信息，并且在起始工作空间1102内呈现该信息；用户因此可以容易地找到和消费最相关信息而无需“猎取”它，例如无需导航遍历繁琐菜单结构。这样的特征也减少给用户施加的分心，因此有助于系统102的安全。
用户然而可以与AIM 402交互，以激活未涉及用户的紧接周围环境的信息，用于在起始工作空间1102中呈现。例如用户可以例如通过激活以下将描述的标签菜单选项来激活标签菜单。作为响应，AIM 402将呈现图16中所示的标签菜单。标签菜单示出与先前打开的菜单对应的开放标签的汇集。这些有标签的菜单中的一些菜单可以对应于关于用户已经完成的在先行程分段的信息。用户可以激活任何这样的标签有关菜单项。作为响应，AIM 402可以例如以菜单或者某个其它格式的形式在起始工作空间1102中表示关于在先行程步骤的信息。菜单结构还可以在用户请求时允许用户检查还没有在行程上遇到的将来行程步骤。
另外，即使在已经踏上行程之后，用户仍然可以指令AIM 402返回到图13中所示的中枢菜单，例如从而用户可以访问在该默认中枢菜单中指定的信息和/或功能。
作为进一步阐明，在上面的示例中，当前情境涉及在用户的整个行程中的物理位置或者分段。在其它情况下，起始工作空间1102可以呈现关于用户对虚拟空间的探索的情境信息。例如用户可以在由商店提供的产品的分级结构内导航。在该场景中，起始工作空间1102可以呈现涉及一组产品、个体产品等的菜单。
一般而言，图13-16中所示的以上描述的菜单类型对应于主菜单。AIM 402在起始工作空间1102中显示这些菜单类型。对照而言，AIM 402在位于起始工作空间1102的外围的其它工作空间中呈现次级菜单。图17-20示出可以在这些外围工作空间中呈现的说明性次级菜单。
例如图17示出用于在主工作空间1104中呈现的主菜单。主菜单标识在与SI模块302的不同方面交互时通常使用的动作。图18示出用于在设置工作空间1110中呈现的设置菜单。设置菜单允许用户改变对SI模块302的操作有影响的各种参数。图19示出用于在信息工作空间1108中呈现的信息菜单。信息菜单呈现对系统信息(比如剩余电池寿命、信号强度)的方便访问。信息菜单还提供通向通知以及其它有用警告信息和行程信息(比如来自公共交通服务的实时更新)的方便门户。
图20提供用于在“我附近”工作空间1106中呈现的“我附近”菜单。“我附近”菜单呈现如由图4的RID模块426标识的、关于在当前时间位于与用户的近距离内(或者以别的方式与用户的当前情境关联)的情境兴趣项(IOI)的信息。用户可以使用设置菜单以指定确定什么构成“附近”情境IOI的最大距离。每个情境IOI在“我附近”菜单中由它的名称、它的类别(比如“食品和饮料”类别)及其与用户的距离来标识。用户可以激活在这一菜单中的项，从而使SI模块302提供关于这一情境IOI的音频信息。该音频信息可以被表示为三维声音信息，从而在递送时，它表现为在可以在物理空间中找到与情境IOI关联的实体的相同方向上始发。
图21示出可以在起始工作空间1102中呈现的瞬态菜单的示例。例如用户可以通过首先导航到在图19中示出和在信息工作空间1108中呈现的信息菜单来激活这一瞬态菜单。用户然后可以激活菜单中的“通知”菜单项。作为响应，AIM 402可以呈现图21中所示的瞬态菜单。
对照而言，图22示出覆盖菜单的示例。在这一具体示例中，用户可以通过首先前进到如在设置工作空间1110中呈现的图18中所示的设置菜单来激活覆盖菜单。用户然后可以激活该菜单中的“情境认知”菜单项。AIM 402通过呈现图22中所示的覆盖菜单来对用户的动作做出响应。不同于图21中所示的瞬态菜单，在设置工作空间1110中的图18所示的设置菜单“之上”、而不是在起始工作空间1102中呈现图22中所示的覆盖菜单。覆盖菜单和瞬态菜单还可以如以下将描述的那样响应于执行“后退”命令而表现不同行为。
在图22的具体情况下，覆盖菜单允许用户改变由SI模块302提供的情境认知级别。例如通过这一菜单，用户可以设置确定向用户转发的信息的量的参数值。在一种情况下，用户可以选择接收与他的或者她的当前情境潜在地相关的所有信息。在另一种情况下，用户可以选择仅接收视为高重要性的警告和其它信息项。
图23示范用户可以在用户的行程中的任何接合点指令SI模块302呈现关于他的或者她的当前情境的信息的一种方式。根据一种非限制情况，用户可以使用手指(例如拇指)在用户设备106的触敏表面上、在该表面上的任何位置做出单轻敲手势。响应于检测到这一手势，SI模块302可以呈现关于用户的当前情境的高级信息作为口述消息。例如SI模块302可以通报将对于这一情境而言适合的情境菜单的标题。例如在图14的示例中，SI模块302可以通报“车厢E：伦敦帕丁顿”。
备选地，用户可以做出双轻敲手势。响应于检测到这一手势，SI模块302可以呈现关于用户的当前情境的更详细的信息再次作为口述消息。例如在双轻敲时，SI模块302可以通报图14中所示的菜单中的菜单项。
接着假设用户执行三轻敲手势。响应于检测到这一手势，SI模块302可以通报指令，该指令向用户通知如何与图14中所示的菜单的类型交互(如果该菜单事实上涉及用户的当前情境)。例如指令可以向用户通知如何激活菜单、如何在菜单内导航、如何选择在菜单内的菜单项等。
前进到图24，这一幅图示出用户如何可以激活菜单，然后用户如何可以随后与菜单交互。在一种非限制情况下，用户可以通过在用户设备106的触敏显示表面的表面上的任何处做出轻敲和保持手势，来激活图24中所示的菜单。例如如图24中所示，虚线圆2402指示用户已经在触敏表面的表面上轻敲和保持他的或者她的拇指的位置。
响应于检测到这一手势，AIM 402呈现菜单2404。菜单居中于表面上的、用户触摸表面(对应于触摸位置)的点(对应于显示位置)。用户可以发现这一特征有用，因为它消除对于出于激活菜单2404的目的而猎取在用户接口呈现中的特定元素的需要。相反，用户可以在表面上的任何处执行轻敲和保持手势。这一特征转而减少在使用系统102时对用户施加的分心。但是并非所有位置都将造成成功激活菜单2404。例如如果用户轻敲太接近表面的顶部或者底部，则AIM 402可以可选地向用户呈现错误消息(例如作为口述消息)，该错误消息要求用户更接近表面的中间重复他的或者她的轻敲和保持手势。
至此图示的菜单具有特定统一菜单结构。图24中所示的菜单2404具有现在以下将描述的相同结构，其中注意在说明性而不是限制的精神下阐述这一结构。其它实现方式可以采用其它菜单结构和行为。例如这一子章节将以如下实现方式的示例来结束，该实现方式采取与图24的菜单2404比较的不同菜单结构并且表现不同菜单行为。另外，本文中描述的菜单以线性列表的形式呈现它们的菜单项；但是可以使用以其它方式呈现其菜单项的其它菜单(例如放射状或者饼形菜单等)。
图24中所示的菜单结构具有被标记符项2406分离的两个菜单项分组。更具体地，第一菜单项分组2408呈现与用户手头的当前情境或者任务特别地相关的菜单项。第二菜单项分组2410呈现与可以在不同工作空间中呈现的多个菜单类型相关的菜单项，因此可以称为全局或者通用菜单项。例如作为在第二分组2410中的菜单项的“停止收听”命令跨不同菜单和工作空间而相关，而作为在第一分组2408中的菜单项的菜单项“项A”可以被选择，因为它与用户正在尝试通过与菜单2404交互来实现的无论什么任务特别地相关。
然而，第二分组2410可以省略对于特定菜单而言不相关的某些全局选择。例如如果用户已经正在查看“标签”菜单，则与该菜单关联的第二分组可以省略允许用户访问标签菜单的菜单选项(因为用户已经正在查看该菜单)。
不同菜单项(在第一分组2408或者第二分组2410中)在被选择时调用不同操作。例如第一菜单项类型可以在被选择时调用动作。例如菜单项“开始收听”在被调用时指令SI模块302开始收听用户的语音命令。第二菜单项类型可以在被调用时呈现信息(比如电池状态信息等)。第三菜单项类型可以在该菜单项被调用时呈现用于用户改变性质值的机会。例如在一些情况下，用户激活这一菜单项类型可以激活覆盖菜单。用户然后可以与覆盖菜单交互以改变考虑中的性质值。在另一种情况下，用户激活这一菜单项类型可以例如通过将设置从“开启”状态切换成“关闭”状态或者反之亦然，来直接地改变性质值。再一些其它菜单项类型和关联调用行为是可能的。
标记符项2406显示消息“释放以解除”。这一消息向用户通知他或者她可以从触敏表面的表面释放他们的手指而未选择任何菜单项，也就是假设用户在他的或者她的手指被定位在标记符项2406、而不是某个其它菜单项上之时释放他的或者她的手指。响应于这样的手势，AIM 402可以将菜单2412显示在它的原有去激活状态中。在该菜单2412中的标记符项2414承载消息“轻敲和保持”，该消息邀请用户执行轻敲和保持手势以在菜单2404的活跃状态中重新激活它。
前进到图25，假设代替去激活菜单2404，用户决定向上滚动遍历第一分组2408中的项。用户可以通过在向上方向上移动他的或者她的手指、同时维持他的或者她的手指在触敏表面上来执行这一动作。作为响应，AIM 402可以产生图25中所示的菜单状态2502。具体而言，AIM 402已经对用户的手势做出响应，可以在向下方向上移动菜单项，这使第一菜单项2504变成被醒目显示(而不是标记符项2406)。为了选择这一菜单项2504，用户可以从菜单项2504释放他的或者她的手指。备选地，用户可以通过移动回到标记符项2460、然后在定位在该项处之时释放他的或者她的手指，来去激活菜单。或者用户可以在相反方向上向下滚动到第二菜单项分组2410。用户可以在他的或者她的手指被定位在第二分组2410中的菜单项之一上以选择该菜单项之时释放他的或者她的手指。用户可以发现以上用户接口行为有益，因为他或者她可以用无缝和流畅方式用单手与用户设备106交互，其中在用户移动穿过环境时给他或者她施加的分心最小。例如在这一实现方式中，无需用户猎取和选择系列命令按钮或者菜单项；这样做将要求用户向用户设备106给予特殊注意力。
在图25的具体示例中，假设用户向上滚动到第一项分组2408的顶部以选择“更多项”菜单项2506，然后在这一菜单项2506上释放他的或者她的手指。作为响应，AIM 402呈现图26中所示的菜单2602。该菜单提供另一第一菜单项分组2604，该另一第一菜单项分组代表在先前菜单中示出的第一分组2408的继续；也就是说，图25中的第一分组2408呈现菜单项1、2和3，而图26的第一分组2604呈现菜单项4、5和6。更一般地，菜单结构可以表示菜单项的完整列表作为系列链接的更小列表。在图25和26的示例中示出两个链接的列表，但是可以通过任何数目的链接的列表来形成完整列表。
用户可以通过向上滚动到“先前页”菜单项2606、然后从这一项释放他的或者她的手指，来返回到图25中所示的菜单状态2502。备选地，为了执行这一后退指令，如图26中所示，用户可以将他的或者她的手指移动到触敏表面的外围(例如如由虚线圆2608指示的那样)、然后朝着表面的中心向内轻弹。用户可以通过从表面的相反边缘向内轻弹来执行相同操作。
虽然在图26中没有示出，但是菜单2606还可以向用户给予用于返回到在系列级联的菜单列表中的第一页的选项(经由适当菜单项)，例如而不是通过发出系列后退指令来相继地经过链接的列表向后移动。另外，虽然也没有在附图中示出，但是每个分组可以包括指明分组的结束的列表结束标记符项。用户可以通过移动到这一项并且在他的或者她的手指被放置在该项上之时移除他的或者她的手指，来去激活菜单。
更一般地，用户可以在不同类型的菜单上执行图26中所示的后退手势类型，这可以产生不同类型的动作。例如在起始工作空间1102中呈现的根(主)菜单上的后退动作可以使用户在由用户确认这是他或者她打算做的事情时，退出与SI模块302关联的应用。在起始工作空间1102中呈现的瞬态菜单上的后退动作可以使AIM 402呈现上次在起始工作空间1102中呈现的无论什么情境菜单。在覆盖菜单上的后退动作有时可以造成在次级工作空间中呈现“下层”次级菜单。例如在特定设置有关覆盖菜单(例如如图22中所示)上的后退动作可以造成在设置工作空间1110中显示下层设置菜单(例如如图18中所示)。
图27示出与由AIM 402提供的第二菜单功能实现方式对应的、与图11的实现方式比较的备选工作空间组织。通过概述的方式，图27的工作空间结构包括服务于与图11中所示的那些基本功能相同的基本功能的五个工作空间(2702、2704、2706、2708、2710)。例如起始工作空间2702继续用作用户贯穿行程的注意力的中心聚焦。起始工作空间2702还继续显示与在用户的行程(或者与空间的其它交互类型)中遇到的当前情境关联的菜单和其它信息。但是起始工作空间2702不再默认呈现中枢菜单。相反，起始工作空间致力于默认示出标签有关信息。
更具体地，起始工作空间2702在没有活跃标签时示出图28中所示的默认标签信息。默认标签信息可以提供关于用户如何可以变得开始创建标签的指导。对照而言，起始工作空间2702可以在有活跃标签时显示图29中所示的标签菜单。默认地，在列表中具有第一定位(即标签编号1)的标签菜单项对应于当前情境。
图29还示出第二实现方式提供与至此描述的菜单结构比较的不同菜单结构。例如第二实现方式不再将菜单组织成被菜单标记符分离的两个菜单项分组。相反，第二实现方式呈现被确定与用户的当前兴趣聚焦相关的单个菜单项列表。如果用户希望访问先前在第二分组中呈现的全局菜单项类型，则用户可以导航到主工作空间2704以访问那些项。
图30呈现关于在菜单项列表中的菜单项的一个可能组织的附加信息。这里，菜单项代表响应于进行对于在用户附近的商店的搜索而产生的搜索结果项。用户可以通过执行以上关于第一实现方式描述(以及如图23和24中所示)的轻敲和保持手势，来激活任何菜单(比如图30中所示菜单)。
在激活菜单时，在第二实现方式中，AIM 402在用户设备的显示表面的中间附近呈现列表中的第一条目。用户然后可以通过在向上方向上做出一个或者多个摇动(pan)手势来上移遍历列表、或者通过在向下方向上做出一个或者多个摇动手势来下移遍历列表。在用户在任一方向上到达列表的结尾时，列表重复。也就是说，在用户前进经过列表中的最后项时，用户将遇到第一项作为下一条目。在用户前进经过列表中的第一项时，用户将遇到最后项。由于这一菜单呈现策略，第二实现方式可以省却使用如在第一实现方式中使用的多页列表。也就是说，用户使用一个或者多个摇动手势来导航遍历单个主列表。用户通过放置一个或者多个手指与触敏表面接触并且在希望的摇动方向上拖动那些手指来做出摇动手势；这里的移动与轻弹手势比较而言更慢。
图31提供关于以上描述的行为的附加信息。用户这里通过在向下方向上拖动显示的菜单来做出摇动手势。但是不同于第一实现方式的情况，用户无需在导航遍历列表时在表面上保持他的或者她的手指。例如用户可以做出多个摇动手势；在每个摇动手势之间，用户可以从表面移除他的或者她的手指。第二实现方式不会解释从表面移除用户的手指作为用于选择恰好当时醒目显示的无论什么菜单项的指令。第二实现方式可以在规定的用户不活动时间量之后或者在用户做出后退手势时去激活菜单。
如图32中所示，用户可以通过朝着表面的外围做出短暂触摸和拖动手势来选择列表中的醒目显示的项。AIM 402将在它解释用户的手势作为用于选择醒目显示的项的请求时，提供听觉和/或触觉反馈。然后，AIM 402将在用户从用户设备106的表面移除他的或者她的手指时选择项。备选地，代替移除他的或者她的手指，用户可以在相反方向上拖回他的或者她的手指以取消选择操作，AIM 402将再次确认这一点(例如通过提供一个或者多个适当暗示)。
图33示出在菜单的外围执行的后退手势和对这一手势的响应。更具体地，用户现在可以通过从相应边缘左拉或者右拉短距离直至AIM 402指示它已经理解用户的手势(例如通过提供一个或者多个适当暗示)来执行后退手势。那时，用户可以释放他的或者她的手指以执行后退动作。或者用户可以在相反方向上移动他的或者她的手指，直至AIM 402解释用户的动作作为用于撤消后退动作的请求。在图33的示例中，后退动作使AIM 402从搜索结果菜单向标签菜单转变。
图34示出用户可以通过在菜单上绘制圆形3402、例如通过在起始工作空间2702中呈现的搜索结果菜单(例如)上描绘出圆来执行的手势。响应于这一手势，AIM 402将返回到标签菜单。虽然未示出，但是用户可以后续地在标签菜单上执行相同圆手势。作为响应，AIM402将返回到搜索结果菜单(或者用户从其始发的无论什么页——也就是说，用户在其上绘制原有圆的无论什么页)。
图35示出用户可以通过在菜单上绘制半圆3502、例如通过在起始工作空间2702中呈现的搜索结果菜单(例如)上描绘出半圆来执行的手势。作为响应，AIM 402将把聚焦返回到在当前情境中正在呈现的无论什么内容。在图35的示例中，AIM 402返回到与在行程中的当前步骤关联的信息(如在图35的右侧示出)。如果用户当前没有正在着手行程，则当前情境可以对应于上次打开的无论什么菜单。用户可以通过在图35的右侧示出的页上绘制半圆来反转这一转变。
图36和37示出可以用来分别增加和减少由图1的系统提供的冗长级别和由该系统提供的情境信息级别的不同手势。例如如在图36中指示的那样，用户可以在任何菜单(这里为标签菜单)上绘制右箭头形状3602，以增加SI模块302的冗长级别。如在图37中指示的那样，用户可以在任何菜单上绘制左箭头形状3702，以减少SI模块302的冗长级别。冗长级别是指SI模块302递送它的音频信息的简洁性，例如范围从扼要到详细。
还如在图37中指示的那样，用户可以在任何菜单上绘制上箭头形状3704或者下箭头形状3706以分别增加或者减少向用户提供的信息级别。例如用户可以通过制止发送关于最不关键的信息项的类别中的一个或者多个类别的用户信息(比如通过省略情境信息、但是发送警告信息和行程信息)，来缩小情境信息的量。
第二实现方式还可以执行其它新手势(与第一实现方式比较)，但是在各图中没有具体地图示这些新手势。例如用户可以在第一菜单上执行轻敲和保持手势，以从该菜单转变到动作菜单(其中动作涉及与第一菜单关联的情境相关的动作)。用户可以在动作菜单上执行相同手势以返回到原有(第一)菜单。在这一情况下的轻敲和保持手势涉及比用来一般地激活任何菜单的轻敲和保持手势更长的保持动作。
作为另一新手势，用户可以在处于菜单的菜单项上之时执行竖直轻弹手势。AIM402将根据轻弹的方向解释这一动作作为用于在向上或者向下方向上快速地前进遍历菜单项的请求。作为另一新手势，用户可以在菜单中的菜单项上执行水平轻弹手势，以前进到列表中的下一菜单项。用户可以做出多个这样的水平轻弹特征，以一次一个菜单项地相继地前进遍历列表。
在第一或者第二实现方式(对应图11和27)中的任一实现方式中，用户可以执行手势以将用户设备106置于口袋模式中。在用户设备106检测到该手势时，它将忽略用户可以做出的任何后续手势，而具有取消口袋模式的效果的手势除外。顾名思义，口袋模式在其中用户希望在口袋或者某个其它隔间(比如钱包、书包等)中装载用户设备106的那些情况下有用。在活跃时，口袋模式防止用户的意外触摸接触和/或移动被(不正确地)解释为有意义的手势。用来调用和撤消模式的手势可以例如对应于告警挥动手势等。
C.2.声音和触觉暗示
AIM 402可以通过利用对声音生成模块414的使用来呈现各种声音。AIM 402还可以使用触觉暗示生成模块418来呈现各种触觉反馈体验(例如振动暗示)。AIM 402可以响应于不同触发事件类型产生这样的声音和振动暗示。例如，响应于某些状态改变、响应于由用户采取的某些接口动作(比如在菜单项之中导航)、响应于在行程中的某些事件等，AIM 402可以呈现这些声音和触觉暗示。
以下列表描述代表性的声音(和关联触觉暗示)和其中调用它们的说明性境况。
加载/忙碌。AIM 402可以在SI模块302处于其中用户不能与它交互的状态中之时重复地播放加载/忙碌声音。该声音向用户确保SI模块302正在工作，但是它当前忙于执行动作。例如这一声音可以类似于上下弹跳的乒乓球，弹跳的频率可以随着处理接近完成而增加，并且可以以夸张类型声音而结束。
转变到区域菜单。这一声音指示：在专用次级工作空间区域之一中呈现的次级菜单已经移动到聚焦中并且现在正在被呈现，以代替在起始工作空间中的当前情境菜单。这一声音还可以传达用户已经执行对应手势的方向。例如声音可以类似于嗖嗖声，如同在相应方向上的一阵风。另外，在一种情况下，AIM 402可以表达这一声音作为三维声音。
从区域菜单转变。这一声音指示：当前情境菜单已经移动回到聚焦中并且现在正在被呈现，以代替在专用工作空间区段之一中的次级菜单。这一声音还可以传达用户已经执行对应手势的方向。例如声音可以类似于作为转变到区域菜单嗖嗖声的对等物、但是在与转变到区域菜单声音相反的方向上移动的嗖嗖声。同样，AIM 402可以可选地表达这一声音作为三维声音。
菜单激活。这一声音指示菜单现在活跃并且可以被操控。可以描述这一声音作为以扣合类型声音终止的渐强声音。此外，AIM 402可以呈现确认用户的用于产生状态改变的意图的短暂振动暗示。进而另外，AIM 402可以调用例如通报“菜单释放以解除”的口头暗示。该暗示向用户通知菜单活跃并且用户可以通过从标记符项释放他的或者她的手指来去激活菜单。
菜单去激活。这一声音指示菜单已经被去激活、因此在未重新激活它的情况下不再可以被操控。可以描述该声音为渐弱类型声音。
未支持的手势。AIM 402可以播放这一短暂声音，该声音指示手势被识别、但是它在其它方面无效(例如由于它当前未被支持)。这一声音可以类似于跟随有温柔两音调访问拒绝样式通知的砰击声。AIM 402可以播放更具体的不能退回声音，以指示已经执行后退手势，但是不能执行它，例如由于不可能进一步退回。
菜单项选择改变。这一声音指示用户已经移动到在菜单中的菜单项。这一声音的音调依赖于菜单项在菜单中的定位，例如其中音调可以在用户上移列表时增加并且在用户下移列表时减少。另外，在一个实现方式中，AIM 402可以在遍历菜单项的第一分组(与情境特定项关联)时呈现与菜单项的第二分组(与全局项关联)比较的不同比例。在两种情况下，用户可以感知产生的声音为与手部在钢琴的键之上游动相似；但是在这一情况下的每个声音可以比钢琴音调更短，并且与泡沫的爆裂声相似。
另外，AIM 402可以在遍历每个菜单项时呈现振动暗示。用户可以体验振动暗示为与手部在凹凸不平表面之上游动相似，其中每个凸块代表不同菜单项。用户可以有意识地或者潜意识地对凸块进行计数，以快速地得到他的或者她的在列表内的定位的大致概念。另外，AIM 402可以在前进到如下菜单项时呈现音频消息，该菜单项向用户通知菜单项在聚焦中并且将在释放用户的手指时被选择。例如AIM 402可以通过给出菜单项在列表中的编号、然后通报对项的描述来通报菜单项。
确认菜单选择。这一短暂声音指示动作何时已经造成对状态的改变。它可以被实施为在结束时具有夸张的短暂和精确声音。例如声音可以类似于由朝着其结束而渐弱的行进刺耳声音跟随的哔哔声。AIM 402还可以执行确认选择动作的短暂振动暗示。另外，AIM402可以播放确认项已经被选择的口头暗示。
示出对话菜单。这一短暂声音指示现在正在其它内容的顶上呈现覆盖菜单。这一声音可以类似于渐强上升类型声音。AIM 402还可以提供进一步确认状态改变已经发生的伴随短暂振动暗示。另外，AIM 402可以播放陈述现在正在呈现覆盖菜单的口头暗示。
关闭对话菜单。这一短暂声音指示已经关闭对话(例如覆盖菜单)并且聚焦已经返回到先前情境。声音可以类似于渐弱下降类型声音。
情境切换。这一短暂和独特声音指示当前情境菜单的状态已经转变以呈现新内容，例如由于用户已经前进到新行程步骤等。该声音可以类似于由细微转门噪声跟随的哔哔声。
以上描述的声音是代表性的而没有穷举AIM 402可以提供的全套声音。例如，以下附加声音可以在某些动作时被触发、由用户在与AIM 402交互之时执行：a)去往动作声音，用于基于在在先菜单中做出的对菜单项的选择来指示动作菜单被呈现；b)来自动作声音，用于指示响应于从动作菜单的返回来呈现活跃菜单；c)动作不可用声音，用于指示已经识别用于呈现用于特定菜单的动作的指令，但是没有与特定菜单关联的动作；d)项可选择声音，该声音指示菜单项已经被成功地标记用于在释放用户的手指时选择；e)项不可选择声音，用于指示先前被标记用于在释放时选择的项现在已经被成功地去选择、因此在释放用户的手指时不再会被选择；f)项不可选择声音，用于指示已经识别用于标记项用于选择的手势，但是该手势不适用于所考虑的项；g)选择但是没有改变声音，用于指示已经做出选择，但是没有聚焦改变是适当的；h)后退成功声音，用于指示后退手势被识别并且后退动作已经被调用；i)切换到标签声音，用于指示已经成功地识别切换到标签手势并且现在正在呈现标签菜单；j)从标签切换声音，用于指示已经识别从标签切换手势并且已经恢复在切换到标签菜单之前呈现的在先菜单；k)开始收听声音，用于指示SI模块302现在正在收听用户的语音命令；l)取消收听声音，用于指示现在已经取消语音识别模式；m)完成处理声音，用于指示应用已经完成接收和处理语音输入；n)采取动作声音，用于指示已经由于基于语音的输入而采取动作等。另外，AIM 402还可以呈现将伴随以上描述的声音中的任何声音的任何类型的触觉暗示。
可以在某些事件时触发以下说明性声音(该某些事件可以在用户与耳机108交互的进程中出现)：a)按钮轻敲声音(在执行动作之前播放)，用于指示已经在耳机按钮上识别轻敲手势；b)按钮按压声音(在执行任何动作之前播放)，用于指示已经在耳机按钮上识别按压手势；c)按钮保持声音(在执行动作之前播放)，该声音指示已经在耳机按钮上识别保持手势；d)取消动作声音，该声音指示例如对于用于停止通报情境IOI(作为定向动作的一部分)的请求，已经取消从耳机按钮调用的任何先前动作等。另外，AIM 402还可以呈现将伴随以上描述的声音中的任何声音的任何类型的触觉暗示。
可以在可以在行程的进程期间出现的某些事件时触发以下说明性声音：a)开始行程声音，用于指示已经开始行程并且导航现在在进行中；b)模式切换声音，该声音指示用户已经切换他的或者她的交通模式(例如从步行到火车等)；c)节拍声音，用于有方向地指示用户正在试图到达的沿着行程的下一点作为导航的一部分；d)警告声音，用于指示警告信息将要被朗读、被播放以加强用户的认知并且给用户时间调谐收听该信息；e)路点到达声音，用于指示用户已经到达行程路点并且导航信息将要被朗读、被播放以加强用户的认知并且给用户时间调谐收听该信息；f)靠近路点声音，用于指示用户正在靠近路点并且导航信息将要被朗读、被播放以加强用户的认知并且给用户时间调谐收听该信息；g)行程更新声音，该声音被播放以指示关于对当前行程的改变的信息将要被朗读、被播放以加强用户的认知并且给用户时间调谐收听该信息；h)情境信息声音，该声音指示情境信息将被朗读；i)其它信息声音，该声音指示附加信息将被朗读等。另外，AIM 402还可以呈现将伴随以上描述的声音中的任何声音的任何类型的触觉暗示。
一般而言，以上声音和触觉暗示进一步促进如下目标：在用户与他的或者她的环境交互时，向用户提供有用信息，而没有不适当地让用户分心。例如用户在导航菜单之时听到的声音和触觉暗示允许用户与菜单交互，而没有将他的或者她的注意力从环境转移。
C.3.语音识别模式
系统102支持语音识别模式，在该语音识别模式中，例如除了人工地与耳机108和/或用户设备106交互之外，用户还可以经由口述指令向系统102发出命令。或者系统102可以使用语音识别模式作为用户与系统102交互的唯一模式。为了执行对用户的语音命令的识别，系统102可以依赖于预先存在的语音识别技术(例如由微软公司提供的CORTANA系统)和/或本机语音识别技术。图3图示语音识别技术为话音处理引擎328。
如以上提到的那样，用户可以经由通过耳机108发出的适当命令和/或用户设备106的菜单来调用语音识别模式。在其它情况下，用户设备106可以已经与语音识别系统(例如CORTANA)交互作为它的默认操作方式的一部分，但是没有在执行导航的情境中。这里，用户可以通过发出前置有导航应用的名称的口述命令(例如通过口述命令“Soundscape，开始探索模式”)，来在语音识别模式中与SI模块302交互。如果用户已经在导航应用的情境中激活语音识别模式，则用户可以仅说“开始探索模式”等。
以下列表标识可以在语音模式中发起的说明性操作：a)用户可以打开现有(保存的)行程；b)用户可以激活或者重新激活定向模式；c)用户可以激活或者去激活探索模式；d)用户可以要求关于特定话题的更多信息；e)用户可以请求休止所有(或者一些)口述消息；f)用户可以做出各种参数设置；g)用户可以保存行程信息等。
说明性命令可以对应于：a)“创建去往目的地[x]的路线，在时间[y]离开，仅使用公共交通[z]”；“找到最近咖啡店”；c)“带我到火车站”；d)“什么时间？”；e)“增加音量”；f)“从兴趣项移除餐厅”等
话音处理引擎328有时可能遇到如下情形，在该情形中，它理解用户的命令，但是它确定命令省略一个或者多个必须信息项。作为响应，话音处理引擎328可以要求用户供应遗漏的信息项。
在其它情况下，话音处理引擎328可能遇到如下情形，在该情形中，它没有理解用户的命令。在那些情况下，话音处理引擎328可以要求用户重新叙述命令。如果那没有成功，则话音处理引擎328可以向用户呈现对用户说话的提议解释(例如基于在用户的命令中检测到关键词)，然后向用户询问解释中的任何解释是否正确。如果那没有成功，则话音处理引擎328可以邀请用户经由耳机108和/或用户设备106录入等效命令。
图38示出过程3802，该过程概括图4和5的AIM 402的一种操作方式。在块3804中，AIM 402检测与用于激活在关联的工作空间中的菜单的指令对应的、由用户执行的第一手势。关联的工作空间对应于多个工作空间之一，并且关联的工作空间具有相对于多个工作空间中的其它工作空间而言的确定的空间关系。例如第一手势可以对应于参照图24描述的以上描述的轻敲和保持手势。在块3206中，AIM 402响应于第一手势激活菜单。
在块3808中，AIM 402检测与用于前进到在菜单中的菜单项的汇集之中的特定菜单项的指令对应的、由用户执行的第二手势。例如第二手势可以对应于以上描述(例如参照图25和31)的滚动或者摇动手势的类型中的任何类型。在块3810中，AIM 402响应于第二手势前进到特定菜单项。
在块3812中，AIM 402检测与用于选择特定菜单项的指令对应的、由用户执行的第三手势。例如第三手势可以对应于图25中所示的释放手势类型或者图32中所示的拉向侧部手势类型。在块3814中，AIM 402响应于第三手势执行操作。操作可以对应于调用动作、设置参数、呈现信息等。
概括而言，以上特征允许用户安全地和高效地移动穿过他的或者她的环境。例如工作空间提供在用户移动穿过环境时向用户显露最相关信息的、用户友好的方式。另外，特征中的一些特征允许用户与用户接口呈现交互，而没有将视觉注意力引向该呈现，和/或无需执行从与环境交互的物理任务转移用户的注意力的繁琐和复杂手势。例如用户可以用单手执行手势中的一些手势，而没有注视用户接口呈现。
D.使用声音来便于在用户与其环境之间的交互
如在背景技术章节A中描述的那样，(图4的)声音生成模块414可以生成非三维(非空间)声音和三维(空间)声音。三维声音是如下声音：即使该声音在物理空间中没有实际起源，用户仍然感知它为从在物理空间中的至少一个位置发出。具体而言，图39示范使用三维音频信息以创建对从在空间内的特定位置发出的声音的感知。图40示范使用三维音频信息以创建对跨空间内的系列位置移动的声音的感知。
在一个实现方式中，声音生成模块414可以使用例如在数据存储416中提供的头部有关传递函数(HRTF)库来产生三维声音。HRTF对用户的脸部的解剖特征进行建模，该解剖特征对个人感知声音在他的或者她的环境中的起源的方式具有个人特定影响。为了产生三维声音，声音生成模块414可以选择对于特定个人并且对于在空间中的特定声音位置(相对于个人的位置)而言适合的HRTF。声音生成模块414然后可以应用该HRTF，以例如通过卷积非空间声音与选择的HRTF，来修改非三维声音(例如平面或者非空间声音)，以产生三维声音。
更具体地，在一种情况下，声音生成模块414可以接收描述以下各项的输入信息：(a)待播放的非三维声音；(b)声音将被感知为始发于的、空间中的位置；以及(c)(可选地)用户的身份。输入信息可以通过在数据存储416中提供标识音频信息的参考信息来描述非三维声音，和/或可以提供音频信息本身。例如非三维声音可以对应于告警音调和/或口述消息。然后，对于用户的每只耳朵，声音生成模块414可以：(a)对于所考虑的特定用户，标识与位置关联的HRTF；以及(b)将HRTF应用于非三维声音以产生三维声音。向声音生成模块414提供的输入信息可以起源于以下描述的SI模块302的例如与路径指导模块420、相关信息确定(RID)模块426、探索模块430、定向模块432等对应的其它模块中的一个或者多个其它模块。
声音生成模块414相对于在数据存储416中提供的HRTF库执行以上功能。在一个实现方式中，SI模块302可以在数据存储416中存储已经为特定个体而预备的(并且因此考虑这些人的特定解剖特征的)HRTF。例如对于每个人，HRTF可以通过测量每个人的脸部的物理特性来获得。该任务转而可以用人工方式(例如通过使用物理距离测量工具)、通过使用深度相机(例如通过使用由华盛顿州雷德蒙德市的微软公司提供的KINECT系统)等来执行。更具体地，对于特定个人，生成的HRTF集合包括用于声音在空间中的每个位置(相对于用户的头部的定位)和用于用户的两只耳朵中的每只耳朵的HRTF。不同实现方式可以委托不同个体来创建这些HRTF(例如声学工程师、系统管理员、终端用户等)。
在第二实现方式中，声音生成模块414可以存储对于不同相应组的人良好执行的分离HRTF组。系统102然后可以邀请终端用户选择被感知为产生最逼真三维声音的HRTF集合。例如用户可以通过要求系统102使用不同HRTF产生相同三维声音，在设立阶段中做出这一选择；用户可以选择产生最希望的结果的声音(和对应HRTF)。在第三实现方式中，声音生成模块414可以存储已经证实对于大用户群体而言适合的HRTF的单个集合，即使这些HRTF不是针对任何特定个人或者人的分组定制的。再一些其它技术可以用来生成和/或选择适当HRTF。
在一个实现方式中，声音生成模块414生成传达宽带音频信息的三维声音。宽带音频信息是包括音频频率的宽分布(例如在一个实现方式中在300Hz到3.4kHz的范围中)的音频信息。另外，个体三维声音在性质上有表达力，以进一步强调它们的方向性。例如一个这样的三维声音可以类似于从左到右或者从右到左吹的一阵风。音频信息的其它性质(除了它的基于HRTF的方向性之外)可以有助于它的表达力，比如通过提供音量、音调、回响、循环频率(用于重复声音)等的变化。所有这些因素有助于声音正在从在物理空间中的一个或者多个特定位置始发这样的逼真感知。
如还在章节A中描述的那样，不同模块可以出于不同目的和在不同操作模式中利用对三维声音的使用。这些模块包括路径指导模块420、RID模块426、探索模块420、定向模块432等。为了简化描述，有时描述每个这样的模块为产生三维声音。在现实中，每个模块通过生成它向声音生成模块414馈送的以上描述的输入信息来产生声音；声音生成模块414然后使用输入信息以产生实际三维声音。
参照图41，首先考虑路径指导模块420的操作。如已经描述的那样，路径指导模块420确定用户行动的当前方向。路径指导模块420可以基于由系统的定向确定机制、运动确定机制、定位确定机制等提供的信息中的任何信息做出这一评定。例如在一种情况下，路径指导模块420可以确定用户的头部指向的方向(例如基于耳机108中的定向确定机制)，然后使用这一信息作为用于假设用户行动的方向的代表。备选地或者附加地，路径指导模块420可以确定用户已经新近地穿越的系列位置。路径指导模块420可以使用这一信息以预测用户表现为行动的方向。备选地或者附加地，路径指导模块420可以确定用户有意地将他的或者她的用户设备106指向的方向。
路径指导模块420还可以确定用户的希望的方向。路径指导模块420可以至少基于用户的当前位置和下一路点的位置来确定希望的方向。路径指导模块420还可以在确定希望的方向时考虑地图信息。例如地图信息可以揭示用户的路径以各种方式受约束，例如受道路的进程、任何类型的障碍物等约束。路径指导模块420可以使用所有这一信息以用可能的最高效方式确定用户应当行动的方向，以最终地将用户置于用于到达下一路点的进程上。
基于实际方向和希望的方向，路径指导模块420然后可以确定用户可能从希望的方向偏离的程度，以例如提供偏离信息。路径指导模块420然后可以使用偏离信息，以(例如通过向声音生成模块414馈送偏离信息作为输入信息的一部分)生成将具有在希望的方向上导引用户的效果的三维声音。
为了阐明以上描述，考虑图41的图示。这里，用户位于当前位置4102。下一路点(w)位于目标位置4104。用户的当前(实际)方向表示为方向4106。用户的希望的方向4108对应于连接用户的当前位置4102与目标位置4104的该矢量，但是如以上指出的那样，无需在所有情形中都是这种情况(例如由于阻挡从当前位置4102到目标目的地4104的直接路线的障碍物)。偏离信息可以对应于在当前方向4106与希望的方向4108之间的角度差。
响应于以上确定，路径指导模块420可以产生表现为从位置4110始发的三维声音(使用声音生成模块414)。换而言之，用户当前向希望的方向4108的左侧行动。用户将听到向右发出的有方向暗示。用户将感知该暗示为促使用户朝右转向以纠正他的或者她的路径的方向。如果用户开始在向希望的方向4108的右侧太远的方向上移动，则路径指导模块420可以产生向用户的左侧离开的三维声音(使用声音生成模块414)。用户可以继续，实质上跟随或者追随感知的三维声音的方向。在用户在正确方向上行动时，三维声音将被感知为直接地在用户前面发出；用户然后向该声音直行。
如以上指出的那样，路径指导模块420可以使用声音生成模块414以创建在性质上有周期(例如与节拍声音对应)的三维声音。例如节拍声音可以对应于重复的单音调或者两音调或者n音调马蹄般的声音等。附加地或者备选地，三维声音可以表现为在用户正在被促使移动的方向上(例如从左到右或者从右到左等)移动。
另外，路径指导模块420可以向声音生成模块414提供输入信息，该声音生成模块具有根据用户的实际当前方向4106从希望的方向4108偏离的程度而变化节拍声音的一个或者多个音频特性的作用。例如路径指导模块420(与声音生成模块414结合)可以在用户从理想路径的当前偏离在第一门限内时，生成具有第一音调和/或第一循环频率的节拍声音。路径指导模块420(与声音生成模块414结合)可以在用户的当前偏离在第一门限以外、但是在第二门限内时，生成具有第二音调和/或第二循环频率的节拍声音，以此类推。路径指导模块420可以将用户的偏离分类成任何数目的这样的偏离类别，每个偏离类别与特定节拍声音关联。
在图41的具体示例中，路径指导模块420定义从希望的方向4108的第一偏离范围4112和从希望的方向4108的第二偏离范围4114，第二范围4114大于第一范围4112。当前方向4106落入第二范围4114内，因此路径指导模块420(与声音生成模块414结合)将生成对于这一范围4114而言适合的节拍声音。
在实际实践中，路径指导模块420在许多境况中有用，但是可以被感知为在两个境况中最有用。在第一情况下，用户可以到达他或者她被预期在固定的可用选项集合之中的特定方向上转弯的路口。或者用户可以到达在道路上的、他被预期选择可能路径之一的岔口。路径指导模块420(与声音生成模块414结合)可以通过播放用户感知为分辨他的或者她的导航选择的三维节拍声音，来向用户提供无歧义指导。例如在站在路口中时，用户将听到将他或者她引向左或者右(例如)的节拍声音。在站在道路中的岔口时，用户将感知节拍声音为沿着道路中的正确岔口引导他或者她。
在第二场景中，用户正在跨如下更开放空间移动，在该空间中，他或者她被给予更多范围以逐渐地转向离开进程(与其中用户正在沿着定义好的道路或者路径步行的情况比较)。这里，路径指导模块420可以用图41中所示方式向用户给予递增劝说(nudge)，以保持用户在恰当动向上。
在另一使用场景中，相关信息确定(RID)模块426可以在沿着用户的路径的每个点并且针对每个对应当前情境，确定相关兴趣项(IOI)(比如情境IOI)的位置。RID模块426然后可以使用声音生成模块414以生成用于每个IOI的三维声音。用户将感知该声音为从对应物理实体在物理空间中的实际位置始发，也就是假设IOI对应于在空间中具有离散物理位置的物理实体。例如RID模块426(与声音生成模块414结合)可以生成用于在用户的附近具有对等物理实体的特定IOI的以下音频信息：[3D声音]，“Jane的咖啡店，餐厅，向前30英尺”。换而言之，在这一情况下，音频信息包括随后不久被口述消息跟随的三维声音。用户将感知三维预备声音为从Jane的咖啡店的物理位置发出。口述消息还可以被呈现为三维声音(但是它无需是)。口述消息可以备选地包括附加(或者更少)信息字段，或者可以被完全地省略。
在其它情况下，IOI可以在空间中具有大致起源，而不是精准位置。例如IOI可以对应于与大致区域关联的广告，该大致区域转而对应于公共汽车站。RID模块426(与声音生成模块414结合)可以生成用于该IOI的声音，该声音被用户感知为从公共汽车站的大致区域或者从该区域的中心等发出。该IOI类型可以至此视为虚拟，因为它没有旨在于描述公共汽车站，但是作为公共汽车站的音频属性操作。
在另一实现方式中，音频信息还可以包括指定IOI相对于用户的有方向位置的口头暗示。可以广义地(例如通过指定Jane的咖啡店在用户前方和右侧)或者更狭义地(例如通过指定Jane的咖啡店相对于用户的当前位置位于10点钟)表达该有方向暗示。附加地或者备选地，RID模块426(与声音生成模块414结合)可以例如通过播放用于餐厅的第一声音类型和用于休息室设施的第二声音类型等，来提供用于不同相应IOI类别的不同三维声音。
探索模块430和定向模块432二者例如分别在探索模式和定向模式中利用RID模块426的以上描述的行为。如在章节A中描述的那样，用户可以例如经由与耳机108和/或用户设备106的人工交互和/或经由语音指令，录入用于明确地激活和去激活这些模式的命令。
更具体地，图42示出在探索模式中操作的探索模块430的说明性行为。在这一模式中，一旦探索模式由用户激活，探索模块430确定用户的当前位置和用户的当前兴趣聚焦。例如探索模块430可以使用在耳机108上和/或在用户设备106上的任何定位确定机制以确定用户在当前时间的位置(例如使用GPS传感器等)。探索模块430可以使用在耳机108上和/或在用户设备106上的任何定向机制以确定用户表现为对他的身体进行定向的方向。例如在耳机108上的定向机制可以确定用户的头部指向的方向，该方向可以用作用户的兴趣聚焦的代表指示。备选地或者附加地，系统102可以指令用户将用户设备106指向与他的或者她的兴趣聚焦匹配的方向；在该情况下，用户设备106的定向机制将正确地反映用户的旨在的兴趣聚焦。再一些其它技术可以用来评定用户的假设的兴趣聚焦。
接着，探索模块430定义兴趣搜索空间。在一种情况下，探索模块430可以定义搜索空间为在用户的假设的兴趣聚焦上居中的任何形状的体积。例如该体积可以对应于从用户的当前位置始发并且由用户的假设的兴趣聚焦对分的楔形体积。系统定义和/或用户定义的参数设置可以指定体积的深度、体积的角度跨距、体积的宽度等。
接着，探索模块430可以使用RID模块416以针对兴趣IOI(比如但不限于情境IOI)的存在来搜寻体积。RID模块416可以通过查阅提供关于IOI的信息、连同定义用户的特定兴趣的任何参数设置的一个或者多个数据存储来执行这一任务(例如用户可以已经指示他或者她默认对餐厅信息感兴趣而排除咖啡店信息)。在一些情况下，IOI可以与搜索空间关联，因为它具有物理地位于搜索空间中的对等物理实体。在其它情况下，IOI可以由于以任何其它方式建立的一些其它连结而与搜索空间关联。例如管理员(或者终端用户他或她自己)可以预先人工地指定在地铁站的出口附近的区域将与天气预报IOI关联等。
最后，探索模块430可以生成通报存在已经标识的IOI的三维音频消息。探索模块430可以通过利用声音生成模块414来用以上描述的任何方式生成这些消息。例如如以上描述的那样，音频信息可以对应于由通报IOI的口述消息跟随的引言声音。探索模块430(与声音生成模块414结合)可以按照顺序(比如按照跨体积的顺时针顺序或者逆时针顺序)和/或通过增加或者减少相对于用户的位置而言的距离等来读出这些IOI。
图42阐明以上描述的操作方式。这里，用户当前位于当前位置4202。用户的当前注意力方向由虚线4204指示。搜索体积由轮廓4206定义，该轮廓由用户的注意力方向对分。该搜索体积定义角度地带(swath)，并且还可以具有比如30英尺的规定的高度(未示出)。总言之，搜索体积类似于楔。探索模块430使用RID模块426以在搜索体积中找到这些情境IOI。探索模块430(与声音生成模块414结合)通过表现为从与情境IOI关联的物理实体的位置始发的三维声音来通报这些情境IOI。
总言之，用户可以通过旋转他的注意力方向、通过围绕他的当前位置枢转、分阶段与探索模块430交互。在每个阶段，用户可以在继续移动到新注意力聚焦之前，等待听到位于这样由他的当前的假设的注意力聚焦定义的搜索体积内(或者以别的方式与搜索体积关联)的IOI。例如在一种情况下，由用户的兴趣方向包围的地带是45度。用户可以通过接连转向东北、东南、西南和西北来进行围绕他的完整IOI存货。在每个定向，用户将听到在该兴趣象限中包含的IOI。
根据另一说明性特征，用户可以在听到IOI被通报之后以任何方式选择它。例如用户可以在听到Jane的咖啡店之后发出语音指令“带我去那儿”或者“更多信息”。或者用户可以通过朝着IOI的感知的位置转动他的或者她的注意力聚焦(例如基于通报这一IOI的三维声音的感知的位置)来选择该IOI。用户可以例如通过朝着IOI的感知的位置直接地转动他的头部或者身体或者用户设备106来执行这一任务。或者用户可以经由由用户设备106提供的适当菜单选择IOI。或者用户可以在听到正在通报的IOI之后经由耳机按钮做出适当选择等。响应于(以无论什么方式做出的)IOI的选择，SI模块302可以呈现关于IOI的附加信息或者提供关于如何到达IOI的指令等。SI模块302还可以通过增加通报存在选择的IOI的三维声音的音量，或者通过以别的方式使该声音在用户的体验中更显著，来确认用户的选择。
最后，定向模块432通过用以上描述的方式确定用户的当前位置来操作。它然后定义围绕用户的三维体积。例如三维体积可以对应于柱形或者球形或者盒或者矩形(例如)，其中用户位于体积的中心。定向模块432然后使用RID模块426以标识在体积内存在的IOI的集合(如果有的话)。定向模块432然后使用声音生成模块414以按照任何顺序读出IOI。
例如在图43中，定向模块432定义具有柱形的形状的三维体积，其中用户在当前位置4302被定位在三维体积的中心。定向模块432使用RID模块426以标识位于柱形内或者以别的方式与由柱形定义的空间关联的IOI。然后，定向模块432按照任何顺序读出IOI。例如考虑拜访具有三层的购物中心的用户。假设用户站在购物中心的第一层上的露天中庭中。定向模块432可以读出它在逐层基础上(例如z1层、z2层、然后z3层)找到的IOI。定向模块432可以按照任何顺序(比如顺时针顺序、逆时针顺序等)通报在每层上的IOI。用户然后可以可选地用以上描述的方式中的任何方式选择任何IOI。
作为结束评述，以上说明阐述使用三维声音以通报情境IOI(比如餐厅等)的存在。但是SI模块302可以使用三维声音以通报任何类型的IOI(比如警告IOI和行程IOI)的存在。例如SI模块302可以生成关于在道路中的坑洞的警告，该警告表现为从坑洞的位置发出。作为另一阐明，SI模块302还可以用平面或者非空间方式递送许多IOI类型。例如SI模块302可以产生另一警告IOI，该另一警告IOI没有方向性以大致地向用户通知他当前正在其上行进的道路由于雨水而路滑。
另外，以上描述以使用用户感知为从在物理空间中的位置始发的声音为基础。附加地或者备选地，触觉暗示生成模块418可以生成传达有方向信息的振动暗示。例如耳机108可以包括两个或者更多振动机制，例如在它的框架602的左侧上的第一振动机制和在它的框架602的右侧上的第二振动机制。触觉暗示生成模块418可以分别激活第一或者第二振动机制以向用户提供用于左转或者右转的指令。这一指令类型可以通过包括附加振动机制来包括附加级别。可以通过激活在用户设备106上的不同振动机制(例如通过激活左侧振动机制以提供用于左转的暗示和激活右侧振动机制作为向右的暗示)来实现相同效果。振动机制可以耦合到又一些其他设备或者用户的身体的部分。
图44示出过程4402，该过程描述使用三维声音以在沿着希望的路线导航时指导用户。在块4404中，SI模块302确定用户在空间内沿着路线的当前位置。在块4406中，SI模块302生成三维声音。三维声音创建用户的如下感知：三维声音从在空间内的至少一个特定位置发出。在块4408中，SI模块302向用户递送三维声音。三维声音辅助用户沿着路线导航。
图45示出过程4502，该过程描述路径指导模块420可以使用三维声音以沿着希望的路线指导用户的一种方式。在块4504中，路径指导模块420确定用户行动的当前方向。在块4506中，路径指导模块420标识用户被预期行动的希望的方向。在块4508中，路径指导模块420确定在当前方向与希望的方向之间的差异，以提供偏离信息。在块4510中，路径指导模块420使用声音生成模块414以基于偏差信息生成周期三维声音(例如节拍声音)。该三维声音朝着希望的方向指引用户。三维声音可以具有一个或者多个性质(比如音调)，该一个或者多个性质依赖于用户已经从希望的方向偏离的程度。
图46示出过程4602，该过程描述SI模块302可以使用三维声音以标识和通报IOI的一种方式。在块4604中，SI模块302确定兴趣项(IOI)的集合，每个兴趣项对应于在当前情境中与用户相关的实体或者事件或者一条信息。在块4606中，SI模块302生成用于每个兴趣项的三维声音。用户将感知声音为从一个或者多个相同物理位置始发，该物理位置转而与兴趣项关联(例如通过感知与商店关联的声音为从商店的位置发出)。
在一种情况下，SI模块302可以在用户穿越路线时应用过程4602作为后台服务。例如，如由任何基于距离的参数设置所支配的那样，RID模块426可以在用户挪动为充分靠近与IOI关联的位置时，向用户提醒这些IOI的存在。
在另一情况下，如在块4608中指示的那样，探索模块430可以通过以下方式来应用以上大致过程4602：使用RID模块426以标识与用户的注意力当前被引向或者被假设当前被引向的子空间关联的IOI的集合。在另一场景中，如在块4610中指示的那样，定向模块432可以通过以下方式来应用以上大致过程4602：使用RID模块416以标识在当前时间与围绕用户的整个空间关联的IOI的集合，而没有参考用户的当前兴趣聚焦(因为用户现在对当时围绕他或者她的整个空间体积感兴趣)。用户可以通过例如经由耳机108或者用户设备106发出适当指令，来调用和中止探索模块430或者定向模块432的读出。
作为最后话题，以上示例基于如下简化假设：虚拟声音产生实体(例如虚拟声音源)在空间中的定位至少在递送三维声音的进程内相对于收听者的位置而言稳定。这可以在许多情况下是有效假设，但是它可能没有对于所有情形成立。
例如考虑以下场景。在第一情况下，用户可以在用户在任何类型的交通工具中(例如在火车上)经过固定定位的实体时，收听描述(或者以别的方式涉及)该实体的三维声音。例如用户可以在用户正在相对于西雅图的太空针(Space Needle)塔而言的任何方向上作为乘客在小汽车中行进时，收听描述太空针的消息。在第二情况下，在用户静止站立、但是然而四处移动他的或者她的头部(从而用户的左耳和右耳的定位相对于固定定位的实体的位置而改变)时，用户可以收听描述(或者以别的方式涉及)固定定位的实体的三维声音。在第三情况下，用户可以收听相对于收听者的固定定位描述(或者以别的方式涉及)运动中的实体的三维声音。例如用户可以收听通报正在沿着跑道移动的飞机到达的消息，而用户在机场的航站楼中保持于固定的定位。在第四情况下，IOI和用户的位置二者可以在递送音频信息期间在运动中。
另外指出IOI无需总是对应于物理实体(比如太空针或者移动飞机)。例如移动“虚拟”IOI可以对应于递送如下空间消息的虚拟布告板：用户感知该空间消息为朝着夜店的入口沿着街道移动，从而诱导用户进入该设施。另外，本文中关于与IOI关联的声音而阐述的每件事同样地适用于其它声音(比如周期节拍声音)。
为了解决以上情形中的任何情形，SI模块302可以动态地更新它正在它的递送的进程上产生的三维音频信息，以在每个时间实例反映在用户的头部与IOI(例如在以上引用的示例中为太空针或者移动飞机的位置)之间的相对定位。SI模块302可以用不同方式执行这一任务。在一个非限制方法中，SI模块302可以在递送音频信息时在迭代过程中执行以下操作：(a)确定用户的头部相对于IOI的定位，以提供相对定位信息；(b)基于相对定位信息选择HRTF(每只耳朵)；(c)通过选择的HRTF卷积将在当前时间递送的无论什么音频信息，以产生基于相对定位信息而适合的三维声音。
为了引用一个具体示例，考虑需要五秒来向用户递送的消息。SI模块302可以对于该递送的每秒确定在用户的头部与IOI之间的相对定位。SI模块302可以使用该信息以对于消息的递送的每秒，产生基于在该时间实例在用户的头部与IOI之间的相对定位的三维声音。
更一般地，可以在不同更新速率执行以上迭代处理。更新速率可以依赖于在收听者与IOI之间的相对定位改变的速率。也就是说，SI模块302可以对于相对定位信息的大相对改变在相对快的速率、而对于更慢改变在更慢速率更新HRTF。更新速率还可以考虑在系统102中可用来更新三维声音信息的处理资源的数量。
SI模块302还可以应用被设计为加速以上动态处理(该动态处理可以代表对它的资源的大处理负担)的各种技术。例如在一些情况下，系统102可以预先计算用于至少一个预测的轨迹的动态声音；每个这样的轨迹定义由于以下各项所致的在收听者与IOI之间的某个类型的预期的相对移动：(a)收听者在空间中移动；或者(b)IOI在空间中移动；或者(c)收听者和IOI二者移动。例如假设火车每天在大致地相同的速度经过IOI。在这一情况下，可能预先计算以动态地改变的HRTF为基础的三维声音(每只耳朵)。该三维声音考虑在火车沿着轨道移动时用户的头部的假设的前进，并且可以基于如下简化假设：用户的头部在用户沿着轨道移动时具有预定的固定的定向。SI模块302可以在它检测到收听者的定位到达相对于IOI的预定触发位置(比如沿着轨道的距离IOI的预定距离的位置)时，起动该三维声音。
可以扩展以上操作方式以考虑不同场景。例如系统102可以预先计算不同动态三维声音，以考虑不同火车速度、不同的固定的头部定向(例如指示用户是否在递送消息期间正在直视前方或者注视窗外等)等。
还可以将以上情形延及如下更一般设置，在该设置中可以将在用户与IOI之间的移动分解成许多可能性，从而允许针对这些可能性预先计算相应动态三维声音。SI模块302然后可以在它确定用户的当前情境匹配预定可能性之一时起动任何预先计算的声音。
在另一种情况下，SI模块302可以动态地执行处理，以例如基于用户的当前动向来预测用户相对于IOI的位置而言的移动。SI模块302然后可以基于用户相对于IOI的预测的轨迹动态地预先计算三维声音。
再一些其它技术可以用来加速动态地改变的三维声音的计算。例如在一些实现方式中，SI模块302可以例如通过利用由远程处理资源112执行的并行处理，来利用那些资源112的增强的处理能力。
概括而言，以上特征有助于以上陈述的目标：允许用户高效地、安全地和可享受地移动穿过他的或者她的环境。例如特征在用户穿越环境时使用不同呈现模式来向用户提供不同类别的信息。以避免在任何给定的时间让用户为太多信息所淹没的用户友好方式，功能向用户呈现这一信息。使用三维声音进一步增强用户理解在提供的信息与在环境中的对象、区域和事件之间的连结的能力。
E.使用信标用于辅助用户与他们的环境交互
以下章节提供关于基于信标的指导模块422的操作的附加信息。重复一点，基于信标的指导模块422提供用于通过利用对具有定义的相应范围的信标的使用来引导用户穿过空间的策略。空间可以对应于室内空间，例如由任何类型的一个或者多个建筑物或者结构的内部定义的空间。备选地或者附加地，空间可以对应于室外空间。
信标可以发射任何类型的电磁辐射，比如无线电波、红外线波等。在其它情况下，信标可以发射声波(例如在超声范围中)。另外，在一些情况下，信标可以根据比如蓝牙协议、Wi-Fi协议等的任何协议或者协议组合来生成信号。例如而非限制地，信标可以对应于蓝牙低能量(BLE)信标。另外，信标可以具有任何希望的深度的范围，以最好地适应在其中部署它的目标环境。例如在一些室内设置中，选择具有相对短程(例如一米或者多米的范围)的信标。在一些情况下，信标的规定范围可以基于如下隐含或者明确地陈述的假设：它的信号将由具有已知和稳定的信号接收特性的、特定类型的用户设备(比如特定智能电话)或者特定类的用户设备(比如特定类的智能电话)来检测。
在又一情况下，每个信标是可以由用户设备106(或者某个其它询问设备)在该设备在与信标的规定的距离内时询问的无源设备(比如无源RFID)。该规定的距离对应于设备的范围。然而，为了便于说明，其余描述将假设每个信标主动地发射信号。
在一个实现方式中，每个信标处理定义它的身份的代码。信标可以不断地或者周期地(或者以按需方式)发射通报它的代码(和/或任何其它专用信息)的信号，该信号可以由在信标的范围内的接收设备检测。例如考虑具有约一米的范围的BLE信标。位于该范围内的接收设备可以检测信标的信号并且读取它的特定代码。
在图47的示例中，室内(和/或室外)环境由走廊和障碍物(例如障碍物1、障碍物2和障碍物3)的汇集表征。这一场景包括例如通过将信标放置在两个或者更多走廊的每个交点，来向环境预先填充信标(例如信标b1、b2、…、b7)的汇集。包围每个信标的最外虚线圆代表信标的范围。如以上指出的那样，位于信标的范围内的接收设备可以成功地检测信标；否则，接收设备将不知道信标。注意在一个说明性实现方式中，信标的范围没有重叠。这一特性是有利的，因为它消除关于用户在任何给定的时间的位置的任何歧义。换而言之，用户的设备不能同时检测两个或者更多信标，因为这些信标的范围没有重叠，并且用户不能在相同时间同时存在于两个地方。在一些环境中，信标范围的非重叠性质可以通过还考虑将接收从信标发射的信号的用户设备(用户设备类)的性质来保证。
作为第一预备步骤，可以在数据存储424中加载在图47的环境中的所有信标的位置。数据存储424还可以存储与那些信标关联的代码。
作为第二预备步骤，系统102可以使用任何路线计划工具以生成穿过图47的环境的路线。路线计划工具可以应用任何算法来执行这一任务。例如路线计划工具可以表达由走廊和障碍物定义的搜索空间为具有多个节点和链接的图形。也就是说，链接代表走廊而节点代表走廊的交点。路线计划工具然后可以使用任何算法(比如熟知的Dijkstra算法)以找到穿过图形的最高效路径。一旦定义路线，基于信标的指导模块422可以标识用户将在沿路线行进时穿越的信标(本文中称为路线特定信标)的子集，并且存储那些信标的身份。在图47的情况下，用户被预期遇到所有信标，但是一般地不是这种情况(以下将阐明)。
现在假设用户使用以上描述的系统102作为指导来踏上路线。系统102可以经由耳机108和/或用户设备106用以上描述的方式向用户提供实时指导。然而，在这一情况下，系统102使用与以上描述的技术比较的不同技术来确定用户在每个时间的当前位置。
更具体地，基于信标的指导模块422不断地扫描环境以确定用户是否在任何信标的范围内。如果是，则基于信标的指导模块422标识用户的当前位置作为已经检测到的信标的当前位置。换而言之，基于信标的指导模块422先验地知道与检测到的信标关联的代码及其在环境中的位置。如果用户的耳机108或者用户设备106检测到该信标的存在(基于由检测到的信号传达的代码)，则基于信标的指导模块422可以做出用户具有与检测到的信标相同的位置的假设。
在这一接合点，基于信标的指导模块422可以利用路径指导模块420的服务，以使用三维声音和/或基于其它指导信息(比如非三维声音、显示的指令等)在希望的方向上指引用户。例如假设用户的用户设备106检测到它在信标b4的范围内。路径指导模块420将基于预定的行程信息确定沿着用户的行程的下一路点对应于信标b5。路径指导模块420然后可以生成用户将感知为从用户的右侧始发的三维声音，该三维声音服务于朝着下一路点(例如信标b5)指引用户。用户将解释这一暗示作为他或者她应当向右转的指令。用户将在这一方向上继续直至他或者她遇到另一信标(例如信标b5)，这时可以更新用户的方向。
在一些情况下，用户可以用他或者她位于他或者她被预期接着遇到的信标的范围以外这样的方式，以非预期的方式从计划的路径偏离。图48代表处理这一情形的一种方式。存在如下策略：增加沿着用户的计划的路线的信标的数目，这具有增加用户的当前定位被评定的频率、因此减少用户可能从路线走开的可能性(例如在他或者她位于他或者她被预期遇到的信标的范围以外的程度上)的效果。注意图48仅示出用户被预期在计划的路线上穿越的那些信标。但是环境可以包括用户没有被预期穿越的(未示出的)附加信标。
例如由于用户的选择显著地受障碍物约束，用户显著地走入迷途的机会在图47和48中并不大。然而，用户可能变得困惑并且转错弯，从而使他离开计划的路线。或者用户可以有意地决定从计划的路径偏离。例如在与图48中的信标b9关联的路口，用户可以进行左转而不是右转。用户因此可能最终地遇到他没有被预期遇到的路径外信标(未示出)。
基于信标的指导模块422可以用不同方式处理这一情形。在一种情况下，基于信标的指导模块422可以向用户通知指导不再能够提供给用户，因为用户表现为已经从轨道走开，并且不再可能确定用户的动向和意图。基于信标的指导模块422还可以向用户查询他或者她是否打算追随穿过环境的原有定义的路径。
在另一种情况下，如果可以获得关于用户的当前位置、动向和意图的充分信息，则基于信标的指导模块422可以指引用户回到计划的路线上。例如通过基于用户的最新近已知定位的集合来形成轨迹，基于信标的指导模块422可以确定用户表现为当前行动的方向(虽然它表现为错误的)。基于信标的指导模块422然后可以使用该动向信息、连同关于用户的当前定位的信息(如果已知)，以将用户导引回到计划的路线上。或者基于信标的指导模块422可以向用户查询以确定他或者她是否打算仍然追随计划的路线或者选择另一路线。
在任何场景中，基于信标的指导模块422(除了由BLE信标提供的信息之外)还可以在用户的当前位置和动向的其它证据可用时依赖于该信息。例如基于信标的指导模块422可以从GPS传感器源、航位推算技术等收集该信息。在其它情况下，假设这些附加源中的至少一些源不可用或者不可靠。
图49描述另一情形，在该情形中，用户穿越的空间与图47和48的示例比较更开放。空间由短程信标的汇集填充。例如如果空间的物理特性允许，则空间可以由这样的信标的规律矩阵填充。信标具有未相互重叠的范围。
同样，路线计划工具可以基于任何输入目标和使用用于这一目的的任何路线计划算法，来生成穿过空间的路线4902。基于信标的指导模块422然后确定用户被预期在他或者她沿计划的路线4902行进时穿越的信标。表示这些信标为黑色实心信标符号。
在实际穿越路线4902期间，基于信标的指导模块422执行如以上描述的相同功能。也就是说，在基于信标的指导模块422确定用户已经进入沿着预期的路径的信标(比如信标b22)的范围时，它然后接受该信标的位置作为用户的当前位置。它然后重新计算用户的动向并且更新三维节拍声音(和/或其它指导信息)以朝着下一信标(例如信标b33)指导用户。
用户将在图49的情况下转向离开轨道的风险大于图48的情况，因为向用户给予犯错的更多自由程度。图50描述一种处理这一情形的方式。这里，基于信标的指导模块422用更通用方式(例如通过也涵盖位于最优路线5002的两侧的邻近信标)来定义用户可以沿着计划的路线5002遇到的信标(表示为黑色实心信标符号)。在用户仍然正在尝试坚持计划的路线5002、但是已经仅略微地转向离开进程的假设之下，如果用户徘徊到这些邻近信标的范围中，则基于信标的指导模块422可以继续向他或者她提供指导。基于信标的指导模块422可以仅在用户徘徊超出与最外邻近信标关联的边界时生成错误状况。
在另一实现方式中，基于用户至此已经沿着他的或者她的路径遇到的信标，基于信标的指导模块422可以形成关于用户的希望的目的地的假定。例如基于信标的指导模块422可以基于至此遇到的信标的位置形成轨迹。基于信标的指导模块422然后可以例如通过沿着轨迹的当前方向延伸它，来确定轨迹指向的可能中间或者最终目的地。基于信标的指导模块422然后可以向用户询问他或者她是否希望追随朝着假设的目的地的路径。如果是，则基于信标的指导模块422可以此后提供以上描述的帮助用户到达标识的目的地的相同类型的导航辅助。
在本文中描述的情况中的任何情况下，基于信标的指导模块422还可以考虑关于用户的先前行进习惯的历史信息和/或关于其他人的行进习惯的历史信息(就指定的环境而言)。该信息在可用时可以提供用户在到达希望的目的地方面的意图的进一步证据。
图51示出过程5102，该过程描述基于信标的指导模块422例如在图47-50的环境类型的情境内的一种操作方式。在块5104中，基于信标的指导模块422从在环境内的当前位置操作的计算设备的一个或者多个传感器接收特定信标信号。计算设备可以对应于用户设备108或者耳机108等。如以上描述的那样，环境由在一个说明性实现方式中具有相应非重叠范围的多个信标填充。另外，作为预备步骤，路线计划模块可以已经定义由行程信息描述的希望的路线。或者可以基于关于用户的旨在的中间或者最终目的地做出的假设，在用户穿越环境时，以动态方式生成希望的路线。在任何情况下，该希望的路线穿越与从在环境中的全部信标集合之中的、路线特定的信标集合关联的范围。
在块5106中，基于信标的指导模块422基于特定信标信号确定用户是否在路线特定信标之一的范围内；这一操作在用户在范围内时产生当前位置信息。在块5108中，基于信标的指导模块422基于预定行程信息确定用户被预期到达的下一路点，以提供下一路点信息。在一些情况下，该下一路点可以对应于沿着用户的预定行程的下一信标。在块5110中，基于信标的指导模块422接着基于当前位置信息和下一路点信息确定方向信息。方向信息反映用户被建议行进的用于到达下一路点的方向。在块5112中，基于信标的指导模块422基于方向信息生成音频信息(和/或其它指导信息)。在块5114中，基于信标的指导模块422向用户递送音频信息例如作为三维节拍声音。音频信息辅助用户到达下一路点。基于信标的指导模块422可以在路径指导模块420和声音生成模块414的辅助下执行以上功能。
图52示出过程5202，该过程提供关于基于信标的指导模块422可以确定用户在环境内的当前位置的一种方式的进一步细节。在块5204中，基于信标的指导模块422标识与已经接收的特定信标信号关联的特定信标代码。在块5206中，基于信标的指导模块422基于特定信标代码标识与特定信标代码关联的特定信标。在块5208中，基于信标的指导模块422基于标识信标代码和信标在环境内的相应位置的存储的信息(在数据存储424中)标识特定信标的位置。
概括而言，以上特征有助于以上陈述的目标：特别是在其中用户不能依赖于确定他的或者她的位置的其它模式(例如基于使用基于卫星的导航系统)的那些情形中，允许用户安全地和高效地移动穿过他的或者她的环境。此外，使用非重叠信标范围(根据一个说明性实现方式)提供用于将用户的位置去歧义的高效机制，因为用户不能在相同时间同时存在于两个或者更多信标的范围内。
在对第一实现方式的以上描述中，做出如下假设：用户设备106(和/或耳机108)在任何给定的时间接收由零个信标或者单个信标、但不是多个信标传输的信号。在其它实现方式中，可以用不同方式放宽以上特性。
例如在第二实现方式中，如果用户设备106和/或耳机108从特定信标接收具有高于规定的门限的信号强度的信号，则基于信标的指导模块422将推断它在该信标的范围内。但是不同于第一实现方式，基于信标的指导模块422还可以从在环境中的一个或者多个其它信标同时接收更弱信号，其中那些信号中的每个信号的强度低于规定的门限。在这一场景中，环境由具有定位的信标填充，从而在任何给定的时间，基于信标的指导模块422将接收：(1)没有具有高于门限的信号强度的信号；或者(2)仅一个具有高于门限的信号强度的信号。在实践中，第二实现方式以与第一实现方式相同的方式工作，并且例如通过提供用于将用户在任何给定的时间的位置去歧义的二元机制(假设用户在信标之一的范围内)来提供相同益处。在第二实现方式中的信标因此可以视为由于以上行为而在功能上或者有效地未重叠。并且相应地，对如本文中所用的“未重叠”的任何引用将被理解为涵盖以下两种情况：其中信标具有确实地未重叠的范围的情况；以及其中因为用户设备106和/或耳机108可以至多从一个信标接收具有高于规定的门限的信号强度的信号，所以范围可以视为未重叠的情况。
在第三实现方式中，基于信标的指导模块422可以在任何给定的时间从任何数目的信标接收具有任何任意信号强度的信号。在特定位置的信号(和强度)的集合定义用于该位置的信号简档信息。在预备操作中，基于信标的指导模块422可以存储用于在环境中的每个可导航位置的信号简档信息，该信号简档信息例如构成关于在该位置的信号及其相应强度的信息。总言之，存储的信息构成环境的简档地图。在导航期间，基于信标的指导模块422可以确定它在给定的位置在给定的时间正在接收的信号，以提供当前信号简档信息。然后，基于信标的指导模块422可以使用当前信号简档信息作为用于找到具有最接近匹配信号简档信息的位置的钥匙。该位置定义用户在给定的时间的可能位置。在一些环境中，由信标发射的信号的强度和/或用于检测那些信号的能力可以出于各种环境特定原因而随时间变化。基于信标的指导模块422可以通过比较信号简档信息的正规化的版本来解决这一问题。注意在第三实现方式中的信标的定位无需满足与第一或者第二以上描述的实现方式关联的非重叠约束。
F.有代表性的计算功能
图53示出可以用来实施以上阐述的系统102的任何方面的计算功能5302。例如图53中所示计算功能5302的类型可以用来实施用户设备106、远程处理资源112中的任何远程处理资源、由耳机108使用的处理装备、分立用户计算设备110等中的任何一项。在所有情况下，计算功能5302代表一个或者多个物理和有形处理机制。
计算功能5302可以包括一个或者多个处理设备5304，比如一个或者多个中央处理单元(CPU)和/或一个或者多个图形处理单元(GPU)等。
计算功能5302还可以包括用于存储任何种类的信息(比如代码、设置、数据等)的任何存储资源6306。例如而非限制地，存储资源5306可以包括任何类型的RAM、任何类型的ROM、闪存设备、硬盘、光盘等中的任何一项。更一般地，任何存储资源可以使用任何用于存储信息的技术。另外，任何存储资源可以提供对信息的易失性或者非易失性留置。另外，任何存储资源可以代表计算功能5302的固定或者可去除部件。在处理设备5304执行在任何存储资源或者存储资源组合中存储的指令时，计算功能5302可以执行以上描述的功能中的任何功能。
关于术语，存储资源5306中的任何存储资源或者存储资源5306的任何组合可以视为计算机可读介质。在许多情况下，计算机可读介质代表某种形式的物理和有形实体。术语计算机可读介质还涵盖例如经由物理管道和/或空气或者其它无线介质等传输或者接收的传播的信号。然而，具体术语“计算机可读存储介质”和“计算机可读介质设备”明确地排除传播的信号本身，而包括所有其它形式的计算机可读介质。
计算功能5302还包括用于与任何存储资源交互的一个或者多个驱动机制5308，比如硬盘驱动机制、光盘驱动机制等。
计算功能5302还包括用于接收各种输入(经由输入设备5312)并且用于提供各种输出(经由输出设备5314)的输入/输出模块5310。说明性输入设备包括键盘设备、鼠标输入设备、触敏输入设备、数字化板、一个或者多个视频相机、一个或者多个深度相机、自由空间手势识别机制、一个或者多个麦克风、语音识别机制、任何移动检测机制(例如加速度计、陀螺仪等)等。一个具体输出机制可以包括呈现设备5316和关联图形用户界面(GUI)5318。其它输出设备包括打印机、模型生成机制、触觉输出机制、档案机制(用于存储输出信息)等。计算功能5302还可以包括用于经由一个或者多个通信管道5322与其它设备交换数据的一个或者多个网络接口5320。一个或者多个通信总线5324将以上描述的部件通信地耦合在一起。
通信管道5322可以用任何方式来实施，例如由局域网、广域网(例如因特网)、点到点连接等或者其任何组合实施。通信管道5322可以包括由任何协议或者协议组合支配的硬接线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
备选地或者附加地，在前述章节中描述的功能中的任何功能可以至少部分地由一个或者多个硬件逻辑部件执行。例如而非限制地，计算功能5302可以使用以下中的一个或者多个来实施：现场可编程门阵列(FPGA)；专用集成电路(ASIC)；专用标准产品(ASSP)；片上系统(SOC)；复杂可编程逻辑器件(CPLD等。
总结而言，以下记载概括以上描述的系统102的相应方面。
根据第一方面，描述一种用于辅助用户与空间交互的系统。该系统包括用于在用户与空间交互时向用户呈现音频信息的耳机。耳机转而至少具有用于从用户接收命令的输入机制集合，该命令调用要由空间交互模块执行的相应空间交互有关功能。
根据第二方面，耳机使用骨骼传导机制以向用户递送音频信息。
根据第三方面，至少一个命令指令空间交互模块开始收听模式。在收听模式中，空间交互模块接收由用户口头表述的指令。
根据第四方面，至少一个命令指令空间交互模块停止递送音频信息。
根据第五方面，至少一个命令指令空间交互模块重复一个或者多个在先递送的音频信息项。
根据第六方面，至少一个命令指令空间交互模块开始探索模式。在探索模式中，空间交互模块提供关于与用户的注意力当前被引向的子空间关联的兴趣项的集合的信息。
根据第七方面，至少一个命令指令空间交互模块开始定向模式。在定向模式中，空间交互模块提供关于在当前时间与围绕用户的整个空间关联的兴趣项的集合的信息。
根据第八方面，至少一个命令指令空间交互模块执行更多信息功能。空间交互模块通过提供关于与先前递送的兴趣项关联的话题的附加信息来执行更多信息功能。
根据第九方面，至少一个输入机制可以根据用户与输入机制交互的方式调用多个功能。
根据第十方面，空间交互模块由耳机实施。
根据第十一方面，耳机还包括以下中的一个或者多个：耳机定向确定机制，用于确定耳机的定向以提供耳机定向信息；耳机运动确定机制，用于确定耳机的移动以提供耳机移动信息；和/或耳机定位确定机制，用于确定耳机的定位以提供耳机定位信息。
根据第十二方面，该系统还包括至少一个用户计算设备。用户计算设备提供用于显示涉及用户与空间的交互的信息的显示输出机制。用户计算设备实施与空间交互模块关联的功能的至少部分。另外，耳机包括用于与用户计算设备通信的第一通信机制，并且用户计算设备包括用于与耳机通信的第二通信机制。
根据第十三方面，用户计算设备被配置为基于耳机定向信息和/或耳机移动信息和/或耳机定位信息来执行处理，以生成结果并且向耳机转发结果。
根据第十四方面，用户计算设备还包括：设备定向确定机制，用于确定用户计算设备的定向以提供设备定向信息；设备运动确定机制，用于确定用户计算设备的移动以提供设备移动信息；和/或设备定位确定机制，用于确定用户计算设备的定位以提供设备定位信息。
根据第十五方面，耳机被配置为在对等信息从耳机不可用时，基于如由用户计算设备供应的设备定向信息和/或设备移动信息和/或设备定位信息来执行功能。
根据第十六方面，至少耳机和/或用户计算设备被配置为接收信息和/或使用由外部计算设备提供的功能。
根据第十七方面，描述一种用于辅助用户与空间交互的由系统实施的方法。该方法包括：接收基于用户对耦合到耳机的至少一个输入机制的致动的指令；基于指令执行用于提供输出结果的功能；以及基于输出结果，经由耳机递送辅助用户与空间交互的音频信息。
根据第十八方面，执行功能的操作需要使用至少部分地由耳机实施的空间交互模块来执行功能。
根据第十九方面，执行功能的操作需要使用至少部分由通信地耦合到耳机的分立用户计算设备实施的空间交互模块来执行功能。
根据第二十方面，描述一种耳机，该耳机包括：音频输出机制，用于呈现在用户与空间交互时辅助用户的音频信息；以及输入机制的集合，用于从用户接收命令，命令调用要由空间交互模块执行的相应空间交互有关功能。至少一个命令指令空间交互模块以开始探索模式，并且至少一个命令指令空间交互模块开始定向模式。在探索模式中，空间交互模块提供关于与用户的注意力当前被引向的子空间关联的兴趣项的集合的信息。在定向模式中，空间交互模块提供关于在当前时间与围绕用户的整个空间关联的兴趣项的集合的信息。
第二十一方面对应于以上引用的第一至第二十方面的任何组合(例如任何排列或者子集)。
根据第二十二方面，提供用于实施第一至第二十一方面中的任何方面的一个或者多个计算设备(和/或一个或者多个耳机)。
根据第二十三方面，提供一种用于实施第一至第二十一方面中的任何方面的系统。
根据第二十四方面，提供一个或者多个包括逻辑的计算机可读存储介质，该逻辑被配置为实施第一至第二十一方面中的任何方面。
根据第二十五方面，提供用于实施第一至第二十一方面中的任何方面的一个或者多个装置。
另外，总结而言，本文中描述的功能可以运用各种机制以保证：以符合适用法律、社会准则以及个体用户的期望和偏好的方式处置任何用户数据。例如功能可以允许用户明确地选择参加(然后明确地选择退出)功能的提供。功能还可以提供适当安全机制以保证用户数据的隐私(比如数据清理机制、加密机制、口令保护机制等)。
另外，虽然已经用结构特征和/或方法动作特有的言语来描述主题内容，但是将理解在所附权利要求中定义的主题内容未必地限于以上描述的具体特征或者动作。相反，公开以上描述的具体特征和动作作为实施权利要求的示例形式。

Claims (15)

1.一种用于辅助用户与空间交互的系统，包括：
耳机，用于在所述用户与所述空间交互时向所述用户呈现音频信息，
所述耳机至少具有：
输入机制的集合，用于从所述用户接收命令，所述命令调用要由空间交互模块执行的相应空间交互有关功能。
2.根据权利要求1所述的系统，
其中至少一个命令指令所述空间交互模块开始收听模式，
其中在所述收听模式中，所述空间交互模块接收由所述用户口头表述的指令。
3.根据权利要求1所述的系统，其中至少一个命令指令所述空间交互模块停止递送所述音频信息。
4.根据权利要求1所述的系统，其中至少一个命令指令所述空间交互模块重复一个或者多个在先递送的音频信息项。
5.根据权利要求1所述的系统，
其中至少一个命令指令所述空间交互模块开始探索模式，
其中在所述探索模式中，所述空间交互模块提供关于与所述用户的注意力当前被引向的子空间关联的兴趣项的集合的信息。
6.根据权利要求1所述的系统，
其中至少一个命令指令所述空间交互模块开始定向模式，
其中在所述定向模式中，所述空间交互模块提供关于在当前时间与围绕所述用户的整个空间关联的兴趣项的集合的信息。
7.根据权利要求1所述的系统，
其中至少一个命令指令所述空间交互模块执行更多信息功能，
其中所述空间交互模块通过提供关于与先前递送的兴趣项关联的话题的附加信息，来执行所述更多信息功能。
8.根据权利要求1所述的系统，其中所述空间交互模块由所述耳机实施。
9.一种用于辅助用户与空间交互的由系统实施的方法，包括：
接收基于所述用户对被耦合到耳机的至少一个输入机制的致动的指令；
基于所述指令，执行用于提供输出结果的功能；以及
基于所述输出结果，经由所述耳机递送辅助所述用户与所述空间交互的音频信息。
10.一种耳机，包括：
音频输出机制，用于呈现在用户与空间交互时辅助所述用户的音频信息；
输入机制的集合，用于从所述用户接收命令，所述命令调用要由空间交互模块执行的相应空间交互有关功能，
其中至少一个命令指令所述空间交互模块开始探索模式，
其中在所述探索模式中，所述空间交互模块提供关于与所述用户的注意力当前被引向的子空间关联的兴趣项的集合的信息，
其中至少一个其它命令指令所述空间交互模块开始定向模式，以及
其中在所述定向模式中，所述空间交互模块提供关于在当前时间与围绕所述用户的整个空间关联的兴趣项的集合的信息。
11.根据权利要求1所述的系统，其中所述耳机还包括以下中的一个或者多个：
耳机定向确定机制，用于确定所述耳机的定向，以提供耳机定向信息；
耳机运动确定机制，用于确定所述耳机的移动，以提供耳机移动信息；和/或
耳机定位确定机制，用于确定所述耳机的定位，以提供耳机定位信息。
12.根据权利要求11所述的系统，
其中所述系统还包括至少一个用户计算设备，
所述用户计算设备提供显示输出机制，所述显示输出机制用于显示涉及所述用户与所述空间的交互的信息，
其中所述用户计算设备实施与所述空间交互模块关联的功能的至少部分，以及
其中所述耳机包括用于与所述用户计算设备通信的第一通信机制，并且所述用户计算设备包括用于与所述耳机通信的第二通信机制。
13.根据权利要求12所述的系统，其中所述用户计算设备被配置为基于所述耳机定向信息和/或所述耳机移动信息和/或所述耳机定位信息来执行处理，以生成结果并且向所述耳机转发所述结果。
14.根据权利要求12所述的系统，其中所述用户计算设备还包括：
设备定向确定机制，用于确定所述用户计算设备的定向，以提供设备定向信息；
设备运动确定机制，用于确定所述用户计算设备的移动，以提供设备移动信息；和/或
设备定位确定机制，用于确定所述用户计算设备的定位，以提供设备定位信息。
15.根据权利要求14所述的系统，其中所述耳机被配置为在对等信息从所述耳机不可用时基于如由所述用户计算设备供应的所述设备定向信息和/或所述设备移动信息和/或所述设备定位信息来执行功能。
CN201580058765.3A 2014-10-31 2015-10-28 使用具有输入机制的耳机来便于用户与环境之间的交互 Active CN107111472B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073762P 2014-10-31 2014-10-31
US62/073,762 2014-10-31
US14/690,422 US9977573B2 (en) 2014-10-31 2015-04-19 Facilitating interaction between users and their environments using a headset having input mechanisms
US14/690,422 2015-04-19
PCT/US2015/057684 WO2016069672A1 (en) 2014-10-31 2015-10-28 Facilitating interaction between users and their environments using a headset having input mechanisms

Publications (2)

Publication Number Publication Date
CN107111472A true CN107111472A (zh) 2017-08-29
CN107111472B CN107111472B (zh) 2020-04-28

Family

ID=55852329

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202010159269.XA Withdrawn CN111367413A (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能
CN201580058765.3A Active CN107111472B (zh) 2014-10-31 2015-10-28 使用具有输入机制的耳机来便于用户与环境之间的交互
CN201580059086.8A Active CN107111473B (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能
CN201580059091.9A Active CN107111358B (zh) 2014-10-31 2015-10-28 使用信标来辅助用户与其环境交互
CN201580059085.3A Active CN107111332B (zh) 2014-10-31 2015-10-29 使用声音来促进用户与其环境之间的交互

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010159269.XA Withdrawn CN111367413A (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201580059086.8A Active CN107111473B (zh) 2014-10-31 2015-10-28 用于促进用户与其环境之间的交互的用户界面功能
CN201580059091.9A Active CN107111358B (zh) 2014-10-31 2015-10-28 使用信标来辅助用户与其环境交互
CN201580059085.3A Active CN107111332B (zh) 2014-10-31 2015-10-29 使用声音来促进用户与其环境之间的交互

Country Status (11)

Country Link
US (4) US10048835B2 (zh)
EP (4) EP3213177B1 (zh)
JP (1) JP6689265B2 (zh)
KR (2) KR102470734B1 (zh)
CN (5) CN111367413A (zh)
AU (2) AU2015339427B2 (zh)
BR (1) BR112017005842A2 (zh)
CA (1) CA2965353C (zh)
MX (1) MX2017005657A (zh)
RU (1) RU2706462C2 (zh)
WO (4) WO2016069668A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753144A (zh) * 2018-05-08 2019-05-14 北京字节跳动网络技术有限公司 一种实现信息交互的方法、设备及系统
CN111148969A (zh) * 2017-09-27 2020-05-12 苹果公司 空间音频导航

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965028B2 (en) 2012-08-23 2015-02-24 Skullcandy, Inc. Speakers, headphones, and kits related to vibrations in an audio system, and methods for forming same
CN103677496A (zh) * 2012-09-07 2014-03-26 腾讯科技（深圳）有限公司 界面控制方法及控制装置
WO2015026863A1 (en) 2013-08-19 2015-02-26 Estimote, Inc. Wireless beacon and methods
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
KR102263695B1 (ko) * 2014-01-20 2021-06-10 삼성전자 주식회사 복수개의 카메라를 이용한 휴대 장치 및 제어방법
US10691324B2 (en) * 2014-06-03 2020-06-23 Flow Labs, Inc. Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
EP3328091B1 (en) * 2014-12-31 2020-04-08 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
EP3041261B1 (en) 2014-12-31 2020-05-06 Skullcandy, Inc. Speaker assemblies for passive generation of vibrations and related headphone devices and methods
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9826351B2 (en) 2015-09-02 2017-11-21 Estimote Polska Sp. Z O. O. System and method for beacon fleet management
US10136250B2 (en) 2015-09-02 2018-11-20 Estimote Polska Sp. Z O. O. System and method for lower power data routing
WO2017040690A1 (en) 2015-09-02 2017-03-09 Estimote, Inc. System and methods for object tracking with wireless beacons
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
CN105894533A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 基于智能设备实现体感控制的方法、系统以及智能设备
KR102561572B1 (ko) * 2016-01-20 2023-07-31 삼성전자주식회사 센서 활용 방법 및 이를 구현한 전자 장치
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
US9867009B2 (en) 2016-03-22 2018-01-09 Estimote Polska Sp. Z O. O. System and method for multi-beacon interaction and management
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
DK201670737A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
EP3471924A4 (en) * 2016-06-15 2020-07-29 iRobot Corporation SYSTEMS AND METHODS OF CONTROL OF AN AUTONOMOUS MOBILE ROBOT
US10582328B2 (en) * 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
WO2018009584A1 (en) * 2016-07-06 2018-01-11 Coney Lillie Bruce Travel assistance system
WO2018009878A1 (en) 2016-07-07 2018-01-11 Estimote Polska Sp. Z O. O. Method and system for content delivery with a beacon
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
KR20180029697A (ko) * 2016-09-13 2018-03-21 삼성전자주식회사 네비게이션 업데이트 방법 및 장치
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
JP6686829B2 (ja) * 2016-10-04 2020-04-22 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10058282B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10063957B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
WO2018093193A1 (en) 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
EP3324387A1 (de) * 2016-11-18 2018-05-23 Schaefer GmbH Leitsystem und -verfahren, insbesondere für sehbehinderte personen
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
JP6626992B2 (ja) 2016-12-15 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10126132B2 (en) 2017-01-17 2018-11-13 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
US11521253B2 (en) 2017-02-03 2022-12-06 Columbia Insurance Company Autonomous system to assist consumers to select colors
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
WO2018163637A1 (ja) * 2017-03-09 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11638869B2 (en) * 2017-04-04 2023-05-02 Sony Corporation Information processing device and information processing method
US11193783B2 (en) * 2017-04-04 2021-12-07 Microsoft Technology Licensing, Llc Guidance audio cues for navigation assistance
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
JP6887011B2 (ja) * 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11408749B2 (en) * 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US11082792B2 (en) * 2017-06-21 2021-08-03 Sony Corporation Apparatus, system, method and computer program for distributing announcement messages
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
WO2019045622A1 (en) * 2017-08-31 2019-03-07 Terranet Ab HEADSET AND METHOD OF OPERATING THE HEADSET
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
KR101984557B1 (ko) * 2017-09-22 2019-09-03 (주)파트론 헤드셋 및 이의 충돌 경고 방법
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US11651238B2 (en) * 2017-10-20 2023-05-16 Bragi GmbH Earpiece advisor
EP3477466A1 (en) * 2017-10-31 2019-05-01 Nokia Technologies Oy Provision of virtual reality content
US20190155568A1 (en) * 2017-11-20 2019-05-23 Serious Biz, LLC Live presentation delivery aid system and method
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
EP3495969A1 (en) * 2017-12-07 2019-06-12 Nokia Technologies Oy An apparatus and associated methods for presentation of augmented reality content
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
JP6408118B1 (ja) * 2017-12-12 2018-10-17 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7496311B2 (ja) 2017-12-20 2024-06-06 マジック リープ， インコーポレイテッド 拡張現実視認デバイスのための挿入体
CN108168546B (zh) * 2017-12-28 2021-08-06 重庆大学 定位系统及定位方法
CN108269460B (zh) * 2018-01-04 2020-05-08 高大山 一种电子屏幕的阅读方法、系统及终端设备
US11318050B2 (en) 2018-01-24 2022-05-03 American Printing House for the Blind, Inc. Navigation assistance for the visually impaired
CN108063997A (zh) * 2018-01-25 2018-05-22 芜湖应天光电科技有限责任公司 一种可实现跟随导航的骨传导耳机的控制方法及骨传导耳机
US10869154B2 (en) 2018-02-06 2020-12-15 Bose Corporation Location-based personal audio
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势（上海）汽车科技有限公司 用于辅助信息呈现的方法及装置
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
JPWO2019225192A1 (ja) 2018-05-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
JP2021525902A (ja) 2018-05-30 2021-09-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 小型の可変焦点構成
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11567632B2 (en) * 2018-07-03 2023-01-31 Apple Inc. Systems and methods for exploring a geographic region
US11856479B2 (en) * 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11067403B2 (en) * 2018-07-05 2021-07-20 GM Global Technology Operations LLC Vehicle energy usage tracking
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
JP7401519B2 (ja) 2018-08-02 2023-12-19 マジック リープ， インコーポレイテッド 頭部運動に基づく瞳孔間距離補償を伴う視認システム
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ， インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
US10583067B2 (en) 2018-08-08 2020-03-10 International Business Machines Corporation Source-of-sound based navigation for a visually-impaired user
CN109141453B (zh) * 2018-08-09 2021-06-18 恒大智慧科技有限公司 一种路线指引方法及系统
EP3840645A4 (en) 2018-08-22 2021-10-20 Magic Leap, Inc. PATIENT VISUALIZATION SYSTEM
US10523685B1 (en) 2018-08-22 2019-12-31 Estimote Polska Sp z o.o. System and method for verifying device security
WO2020039251A2 (en) 2018-08-24 2020-02-27 Estimote Polska Sp z o.o. A method and system for asset management
JP7234555B2 (ja) * 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11323815B2 (en) 2018-12-14 2022-05-03 Google Llc Graphical user interface indicator for broadcaster presence
US11844741B2 (en) * 2018-12-31 2023-12-19 Bruce Corporation Travel assistance system
CN117241182A (zh) * 2019-01-05 2023-12-15 深圳市韶音科技有限公司 骨传导扬声装置
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US20200280814A1 (en) * 2019-03-01 2020-09-03 Bose Corporation Augmented reality audio playback control
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
CN109991592A (zh) * 2019-04-11 2019-07-09 上海山流智能科技有限公司 一种盲人导航系统及导航方法
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
CN110134307A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 实现室内导航楼层锁定的方法、系统、介质和电子设备
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
CN111083590B (zh) * 2019-11-11 2020-09-18 深圳市音飙科技有限公司 一种带智能摄像头的骨传导耳机
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
CN114667538A (zh) 2019-11-15 2022-06-24 奇跃公司 用于在外科手术环境中使用的观看系统
JP2023503257A (ja) * 2019-11-18 2023-01-27 マジック リープ， インコーポレイテッド パス可能世界のマッピングおよび位置特定
CN111121749B (zh) * 2019-12-26 2023-05-23 韩可 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
EP4090046A4 (en) * 2020-01-07 2023-05-03 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD, AUDIO PLAYER AND PROGRAM
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
US11796334B2 (en) 2020-05-15 2023-10-24 Apple Inc. User interfaces for providing navigation directions
US11599194B2 (en) 2020-05-22 2023-03-07 International Business Machines Corporation Spatial guidance system for visually impaired individuals
US11846515B2 (en) 2020-06-11 2023-12-19 Apple Inc. User interfaces for customized navigation routes
JPWO2022018836A1 (zh) 2020-07-21 2022-01-27
CN111870947B (zh) * 2020-08-10 2024-06-04 网易（杭州）网络有限公司 游戏交互方法、装置、电子设备及存储介质
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
CN112365153B (zh) * 2020-11-10 2022-08-02 吉林建筑大学 视力障碍者旅游计划制定方法及相关装置
WO2022106513A1 (en) * 2020-11-18 2022-05-27 Kalbermatter Jana System and device for informing about spatially distributed objects
US11356501B1 (en) 2020-12-29 2022-06-07 Here Global B.V. Method, apparatus, and system for dynamic beacons address allocation
CN113160666B (zh) * 2021-05-12 2022-08-30 咪咕数字传媒有限公司 盲文阅读方法、电子设备及存储介质
US20220390248A1 (en) 2021-06-07 2022-12-08 Apple Inc. User interfaces for maps and navigation
US20220401607A1 (en) * 2021-06-22 2022-12-22 International Business Machines Corporation Activating emitting modules on a wearable device
BR102022015291A2 (pt) * 2021-08-03 2023-02-14 The Boeing Company Sistema de assistência de orientação de passageiros com deficiência visual
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
CN113532444B (zh) * 2021-09-16 2021-12-14 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
CN114267224A (zh) * 2022-01-04 2022-04-01 中国科学技术大学 助聋眼镜
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule
EP4276415A1 (en) * 2022-04-29 2023-11-15 Waymo Llc Spatial audio for wayfinding
CN114942032B (zh) * 2022-05-13 2024-06-04 上海大不自多信息科技有限公司 户外综合导航方法、系统及存储介质
US20240121569A1 (en) * 2022-10-09 2024-04-11 Sony Interactive Entertainment Inc. Altering audio and/or providing non-audio cues according to listener's audio depth perception
WO2024081353A1 (en) * 2022-10-13 2024-04-18 Bose Corporation Scene recentering
DE102022211314A1 (de) 2022-10-25 2024-04-25 Volkswagen Aktiengesellschaft Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System und Kraftfahrzeug mit einem datenverarbeitenden System
CN116592898B (zh) * 2023-07-17 2023-10-03 武汉工程大学 一种室内定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040590A1 (en) * 1998-12-18 2001-11-15 Abbott Kenneth H. Thematic response to a computer user's context, such as by a wearable personal computer
WO2006087709A1 (en) * 2005-02-17 2006-08-24 Lumus Ltd. Personal navigation system
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
US20130219308A1 (en) * 2012-02-21 2013-08-22 Nokia Corporation Method and apparatus for hover-based spatial searches on mobile maps
CN103999021A (zh) * 2011-12-19 2014-08-20 高通股份有限公司 受手势控制的音频用户接口

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7374294A (en) 1993-07-28 1995-02-28 Board Of Regents, The University Of Texas System Remotely controlled, infrared beacon system for guiding the visually impaired
FR2748807B1 (fr) 1996-05-14 1998-10-02 Rockwell Collins France Appareil individuel d'orientation
US5806017A (en) 1996-08-19 1998-09-08 Board Of Regents The University Of Texas System Electronic autorouting navigation system for visually impaired persons
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP2002131072A (ja) * 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
US6684176B2 (en) 2001-09-25 2004-01-27 Symbol Technologies, Inc. Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation
US6999066B2 (en) 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
GB2415071B (en) 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
US7290219B2 (en) * 2003-04-28 2007-10-30 International Business Machines Corporation System and method for selection based action bar
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7751829B2 (en) 2003-09-22 2010-07-06 Fujitsu Limited Method and apparatus for location determination using mini-beacons
US7039522B2 (en) 2003-11-12 2006-05-02 Steven Landau System for guiding visually impaired pedestrian using auditory cues
US8028239B1 (en) 2003-12-19 2011-09-27 Microsoft Corporation Context-based management user interface supporting extensible subtractive filtering
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7496445B2 (en) * 2005-04-27 2009-02-24 Proxemics, Llc Wayfinding
US20070018890A1 (en) * 2005-07-22 2007-01-25 Kulyukin Vladimir A Multi-sensor wayfinding device
KR100653091B1 (ko) 2005-07-26 2006-12-01 삼성전자주식회사 입체 음향을 이용한 위치 인지 시스템, 시스템에 구비되는송신부, 수신부 및 위치 인지 방법
US8340304B2 (en) 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8098856B2 (en) 2006-06-22 2012-01-17 Sony Ericsson Mobile Communications Ab Wireless communications devices with three dimensional audio systems
KR20080063041A (ko) 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US20080218307A1 (en) * 2007-03-07 2008-09-11 Optimal Licensing Corporation Anticipatory utility control device
US7952961B2 (en) 2007-10-15 2011-05-31 Honeywell International Inc. Audio compass for motion tracking
WO2009070712A2 (en) 2007-11-27 2009-06-04 Jadi, Inc. Method and system for locating and navigating a target
PT104120B (pt) * 2008-06-30 2010-11-23 Metro Do Porto S A Sistema de orientação, navegação e informação especialmente adaptado para pessoas cegas ou amblíopes
US8326630B2 (en) 2008-08-18 2012-12-04 Microsoft Corporation Context based online advertising
US8040219B2 (en) 2008-11-06 2011-10-18 Sony Ericsson Mobile Communications Ab System and method for in-building location determination
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
DE102008055180A1 (de) 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
EP2249239B1 (en) 2009-05-08 2015-07-15 BlackBerry Limited Target zones for menu items on a touch-sensitive display
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US9529437B2 (en) * 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US20100317371A1 (en) 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US9201143B2 (en) 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8140258B1 (en) 2010-03-02 2012-03-20 The General Hospital Corporation Wayfinding system
US8618984B2 (en) * 2010-03-19 2013-12-31 Microsoft Corporation Selecting beacons for location inference
WO2011124271A1 (en) * 2010-04-09 2011-10-13 Tomtom International B.V. Method of generating a route
JP2011234139A (ja) 2010-04-28 2011-11-17 Sharp Corp ３次元音声信号生成装置
US20120046768A1 (en) 2010-08-19 2012-02-23 Sony Ericsson Mobile Communications Ab Method for providing multimedia data to a user
US20120077437A1 (en) 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
CN201854394U (zh) 2010-10-27 2011-06-01 赵圆 耳机指南针
CN102457791A (zh) 2010-10-27 2012-05-16 赵圆 耳机指南针
US20120159401A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Workspace Manipulation Using Mobile Device Gestures
US8618932B2 (en) * 2011-03-18 2013-12-31 Microsoft Corporation Device location detection
US8965284B2 (en) 2011-04-07 2015-02-24 Nokia Corporation Facilitating positioning through Bluetooth low energy wireless messaging
GB2490479A (en) 2011-04-20 2012-11-07 Nokia Corp Use of a virtual sound source to enhance a user interface
US9285944B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US8874366B2 (en) 2011-05-23 2014-10-28 Microsoft Corporation First waypoint distance
US20140164080A1 (en) 2011-06-07 2014-06-12 Solomon Thompson, JR. Organizational tools and or a collaboration system utilizing the same therein
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
TWI428249B (zh) * 2011-08-23 2014-03-01 Ind Tech Res Inst 車載裝置及其行車輔助系統與行車輔助資訊提供方法
CA2847975A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US8538686B2 (en) 2011-09-09 2013-09-17 Microsoft Corporation Transport-dependent prediction of destinations
US9445305B2 (en) 2011-09-12 2016-09-13 Microsoft Corporation Low energy beacon encoding
US9514717B2 (en) 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US8855798B2 (en) 2012-01-06 2014-10-07 Gracenote, Inc. User interface to media files
US20140133658A1 (en) 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US20130225197A1 (en) 2012-02-24 2013-08-29 Broadcom Corporation Low Power Location Beacon
CN102789313B (zh) * 2012-03-19 2015-05-13 苏州触达信息技术有限公司 一种用户交互系统和方法
US8949974B2 (en) 2012-05-11 2015-02-03 Tyfone, Inc. Mobile device with password protected desktop screen
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
EP2690407A1 (en) * 2012-07-23 2014-01-29 GN Store Nord A/S A hearing device providing spoken information on selected points of interest
US9015099B2 (en) 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
TWI484405B (zh) * 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US8718930B2 (en) 2012-08-24 2014-05-06 Sony Corporation Acoustic navigation method
US20140075370A1 (en) * 2012-09-13 2014-03-13 The Johns Hopkins University Dockable Tool Framework for Interaction with Large Scale Wall Displays
US20140078086A1 (en) 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US8965398B2 (en) 2012-09-26 2015-02-24 Hewlett-Packard Development Company, L.P. Bluetooth beacon based location determination
US9338622B2 (en) 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
EP2720001A1 (en) 2012-10-15 2014-04-16 GN Store Nord A/S A navigation system with a hearing device
WO2014080066A1 (en) * 2012-11-20 2014-05-30 Jolla Oy A graphical user interface for a portable computing device
EP2735845A1 (en) 2012-11-23 2014-05-28 GN Store Nord A/S Personal guide system providing spoken information on an address based on a line of interest of a user
EP2746726A1 (en) 2012-12-21 2014-06-25 GN Store Nord A/S System and method for tagging an audio signal to an object or a location; system and method of playing back a tagged audio signal
US9301069B2 (en) 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
EP2749843A1 (en) 2012-12-28 2014-07-02 GN Store Nord A/S Method for filtering and selecting geographical points of interest and mobile unit corresponding thereto
KR20150098635A (ko) 2013-02-04 2015-08-28 샵킥, 인크. 블루투스 및 하이브리드―모드 송신기들을 이용한 존재 검출
US9063212B2 (en) 2013-02-11 2015-06-23 Trimble Navigation Limited Indoor navigation with low energy location beacons
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
DE102013203918A1 (de) 2013-03-07 2014-09-11 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US9207303B2 (en) 2013-03-15 2015-12-08 Christopher Thomas Beidel System and method for locating a mobile device
US9785240B2 (en) 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140287779A1 (en) 2013-03-22 2014-09-25 aDesignedPath for UsabilitySolutions, LLC System, method and device for providing personalized mobile experiences at multiple locations
WO2014157885A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for providing menu interface
CN105102273B (zh) 2013-04-16 2017-06-23 本田技研工业株式会社 车辆用电子设备
US20150046828A1 (en) * 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9317183B2 (en) 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
US10564843B2 (en) 2013-08-22 2020-02-18 Samsung Electronics Co., Ltd. Display device and method of displaying screen on said display device
EP2842529A1 (en) 2013-08-30 2015-03-04 GN Store Nord A/S Audio rendering system categorising geospatial objects
CN203523024U (zh) 2013-11-06 2014-04-02 彭庆国 一种智能型多功能耳机
JP6201770B2 (ja) 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150330787A1 (en) 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
US9372092B2 (en) 2014-08-08 2016-06-21 Here Global B.V. Method and apparatus for providing a contextual menu in a map display
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US20160077793A1 (en) 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040590A1 (en) * 1998-12-18 2001-11-15 Abbott Kenneth H. Thematic response to a computer user's context, such as by a wearable personal computer
WO2006087709A1 (en) * 2005-02-17 2006-08-24 Lumus Ltd. Personal navigation system
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
CN103999021A (zh) * 2011-12-19 2014-08-20 高通股份有限公司 受手势控制的音频用户接口
US20130219308A1 (en) * 2012-02-21 2013-08-22 Nokia Corporation Method and apparatus for hover-based spatial searches on mobile maps

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111148969A (zh) * 2017-09-27 2020-05-12 苹果公司 空间音频导航
US11709068B2 (en) 2017-09-27 2023-07-25 Apple Inc. Spatial audio navigation
CN111148969B (zh) * 2017-09-27 2023-09-29 苹果公司 空间音频导航
CN109753144A (zh) * 2018-05-08 2019-05-14 北京字节跳动网络技术有限公司 一种实现信息交互的方法、设备及系统

Also Published As

Publication number Publication date
WO2016069672A1 (en) 2016-05-06
US9612722B2 (en) 2017-04-04
CN107111358B (zh) 2020-02-14
BR112017005842A2 (pt) 2017-12-19
KR20170080651A (ko) 2017-07-10
AU2020256377B2 (en) 2021-12-16
MX2017005657A (es) 2017-06-29
JP6689265B2 (ja) 2020-04-28
CN107111472B (zh) 2020-04-28
WO2016069671A1 (en) 2016-05-06
CN111367413A (zh) 2020-07-03
EP3213181A1 (en) 2017-09-06
CN107111358A (zh) 2017-08-29
RU2017114986A3 (zh) 2019-04-18
EP3213177A1 (en) 2017-09-06
US20160123745A1 (en) 2016-05-05
RU2017114986A (ru) 2018-11-02
EP3213177B1 (en) 2021-02-24
CN107111332A (zh) 2017-08-29
AU2015339427B2 (en) 2020-07-30
RU2706462C2 (ru) 2019-11-19
US20160124707A1 (en) 2016-05-05
AU2020256377A1 (en) 2020-12-10
KR102486763B1 (ko) 2023-01-09
US9977573B2 (en) 2018-05-22
CN107111332B (zh) 2021-04-23
EP3213180A1 (en) 2017-09-06
WO2016069668A1 (en) 2016-05-06
CN107111473A (zh) 2017-08-29
EP3213179A1 (en) 2017-09-06
US20160124588A1 (en) 2016-05-05
KR102470734B1 (ko) 2022-11-24
CA2965353C (en) 2023-08-22
AU2015339427A1 (en) 2017-04-13
US20160123759A1 (en) 2016-05-05
WO2016069819A1 (en) 2016-05-06
CN107111473B (zh) 2020-03-20
US10048835B2 (en) 2018-08-14
KR20170078646A (ko) 2017-07-07
CA2965353A1 (en) 2016-05-06
US9652124B2 (en) 2017-05-16
JP2018502360A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107111472A (zh) 使用具有输入机制的耳机来便于在用户与他们的环境之间的交互
US11946761B2 (en) System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device
Meliones et al. Blind MuseumTourer: A system for self-guided tours in museums and blind indoor navigation
CN105190607B (zh) 通过智能数字助理的用户培训
CN107407572A (zh) 沿路线搜索
CN104321622B (zh) 情景感知语音引导
Kameswaran et al. Understanding in-situ use of commonly available navigation technologies by people with visual impairments
Díaz-Parra et al. Smart White Cane for Visually Impaired People for Hearing Recreation in Tourist Environment.
Zhang Wonder Vision-A Hybrid Way-finding System to assist people with Visual Impairment
Part Ubiquitous Web Accessibility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant