JP2018502360A - 入力機構を有するヘッドセットを用いたユーザーとユーザーの環境との間のインタラクションの容易化 - Google Patents

入力機構を有するヘッドセットを用いたユーザーとユーザーの環境との間のインタラクションの容易化 Download PDF

Info

Publication number
JP2018502360A
JP2018502360A JP2017523478A JP2017523478A JP2018502360A JP 2018502360 A JP2018502360 A JP 2018502360A JP 2017523478 A JP2017523478 A JP 2017523478A JP 2017523478 A JP2017523478 A JP 2017523478A JP 2018502360 A JP2018502360 A JP 2018502360A
Authority
JP
Japan
Prior art keywords
user
information
headset
module
menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017523478A
Other languages
English (en)
Other versions
JP6689265B2 (ja
JP2018502360A5 (ja
Inventor
ステファン エルミロフ，アンドレイ
ステファン エルミロフ，アンドレイ
ネヴィル コティエ，ブラッドリー
ネヴィル コティエ，ブラッドリー
ニコラエ ドロフテイ，カタリン
ニコラエ ドロフテイ，カタリン
ナビル チャーバン，ハニ
ナビル チャーバン，ハニ
シン チャッジ，ジャルナイル
シン チャッジ，ジャルナイル
ロビン ファーマー，マシュー
ロビン ファーマー，マシュー
ジェイムズ ベルフィールド パーカー，マイケル
ジェイムズ ベルフィールド パーカー，マイケル
ジェイムズ フランシス サランディン，オスカー
ジェイムズ フランシス サランディン，オスカー
ジョン ウィルコックス，ロバート
ジョン ウィルコックス，ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2018502360A publication Critical patent/JP2018502360A/ja
Publication of JP2018502360A5 publication Critical patent/JP2018502360A5/ja
Application granted granted Critical
Publication of JP6689265B2 publication Critical patent/JP6689265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0295—Proximity-based methods, e.g. position inferred from reception of particular signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

本明細書において、例えばユーザーが空間内のルート上をナビゲートするときなど、ユーザーが空間とインタラクトするときにユーザーにオーディオ情報を提示するヘッドセットが記載されている。ヘッドセットは、ユーザーからコマンドを受信する入力機構のセットを含み得る。これらのコマンドは、空間インタラクション（ＳＩ）モジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出す。ヘッドセットは、別個のユーザーコンピューティングデバイスを使用して動作することもあるし、別個のユーザーコンピューティングデバイスを使用せずに動作することもある。

Description

ユーザーは、移動計画を作成して実行する際及び／又はより自発的且つ制約を受けずに自分の環境を探索する際、様々な従来の機構に依拠する可能性がある。例えば、ユーザーは、２つの場所の間を移動する際に使用するルートを生成するルート選択アプリケーションを使用することができる。その同じアプリケーションが、その後、ユーザーがそのルートを移動するときに、一連のプロンプトを通じてユーザーをガイドすることもある。これらのプロンプトは、規定の距離以内で曲がるようにユーザーに言葉で指示するメッセージなどの発話メッセージ及び／又は表示メッセージに対応することがある。しかしながら、これらの従来の機構には、改善の余地がかなりある。
ユーザーが物理空間及び／又は仮想空間とインタラクトするのを支援する様々なツールが、本明細書で説明される。このような支援は、例えば、物理空間及び／又は仮想空間内におけるユーザーのナビゲーションを容易にすることができる。本明細書で使用されるとき、ナビゲーションという用語は、予め定められた計画に従った、ユーザーの意図的な、空間を通る移動、及び／又は、必ずしも何らかの予め定められた計画に従うとは限らない自発的な決定を反映することがある移動を指す。これらのツールは、例えばユーザーが自分自身を空間内で正しい方向に向かわせるプロセスに対応する、任意の所与の時点における空間内のユーザーの探索を支援することもできる。
一般原則として、これらのツールは、非常に有益でタイムリーな支援をユーザーフレンドリーにユーザーに提供することにより、空間とインタラクトする実際のタスクから過度にユーザーの気を散らすことなく、ユーザーが移動する物理空間及び仮想空間のユーザーのエクスペリエンスを豊かにするように設計される。これらの特性に鑑みて、これらのツールは、視力障害及び／又は他のハンディキャップを有するユーザーでも、上手く使用することができる。ただし、これらのツールは、汎用的な性質のものであり、したがって、任意のユーザーに、当該ユーザーが自分の環境内でインタラクトする任意のタスクを実行する際に、ユーザーフレンドリーで邪魔にならないガイダンスを提供することができる。
これらのツールは、上記で概説した性能に寄与する様々な態様を有する。１つの態様に従うと、ユーザーが空間とインタラクトするときにユーザーにオーディオ情報を提示するヘッドセットが、本明細書に記載される。ヘッドセットは、ユーザーからコマンドを受信する入力機構のセットを含み得る。これらのコマンドは、空間インタラクション（ＳＩ）モジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出す。
例えば、コマンドは、ＳＩモジュールに、オーディオ情報の配信を停止すること、オーディオ情報の最後に配信された項目を繰り返すこと、オーディオ情報の最後に配信された項目のセットを（例えば「巻き戻す」こと（rewinding）によって）繰り返すこと、探索モードを開始すること、オリエンテーションモードを開始すること、（追加の情報を要求する）詳細情報機能を実行すること、リスニングモードを開始又は停止すること（それぞれ音声認識が有効又は無効にされる）、などを行うように命令することができる。探索モードにおいて、空間インタラクションモジュールは、ユーザーの注意が現在向けられている部分空間に関連付けられている関心項目（ＩＯＩ：item of interest）のセットに関する情報を提供する。オリエンテーションモードにおいて、空間インタラクションモジュールは、現在時点におけるユーザーの周りの空間全体に関連付けられている関心項目のセットに関する情報を提供する。
１つの実施形態において、ヘッドセットは、ヘッドセット自身の１つ以上の向き判定機構、動き判定機構、及び／又は位置判定機構（例えばコンパス）を含み得る。別の実施形態において、ヘッドセットは、別個のユーザーデバイス（例えばスマートフォン）によって提供される別個の１つ以上の向き判定機構、動き判定機構、及び／又は位置判定機構に依拠する。
１つの実施形態において、システムは、ヘッドセットのみに関連付けられている処理リソースを使用して、ＳＩモジュールを実装する。別の実施形態において、システムは、別個のユーザーコンピューティングデバイスのみに関連付けられている処理リソースを使用して、ＳＩモジュールを実装する。他の実施形態において、ＳＩモジュールによって実行される機能は、ヘッドセット、及び／若しくはユーザーコンピューティングデバイス、並びに／又は１つ以上のリモート処理リソース（例えば「クラウド実装」サービス）のうちの任意のものによって共有され得る。
上記の特徴は、ユーザーが、自分の環境を安全且つ効率的に移動することを可能にするという上記の目的に寄与する。例えば、これらの特徴は、例えば別個のユーザーデバイスにアクセスしてこれとインタラクトすることをユーザーに要求することがないといった、ユーザーが環境を移動するときにユーザーの気を過度に散らすことなく、ユーザーが（例えばヘッドセットのユーザー入力機構とインタラクトすることによって）様々な動作モードをアクティブ化できる便利な方法を提供する。
上記の手法は、様々なタイプのシステム、デバイス、コンポーネント、方法、コンピューター読み取り可能な記憶媒体、データ構造、グラフィカルユーザーインターフェイス提示、製品などにおいて具現化され得る。
この概要は、コンセプトのうち選択されたコンセプトを単純化した形で紹介するために提供されており、それらのコンセプトは、以下の詳細な説明においてさらに説明される。この概要は、特許請求される主題の重要な特徴又は不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を限定するために使用されることを意図するものでもない。
ユーザーが物理空間及び／又は仮想空間とインタラクトするのを支援するシステムの概要を示す図である。 ユーザーが図１のシステムを使用して複数のウェイポイントによって規定される旅行を行う例を示す図であり、他の場合には、ユーザーは、このシステムを使用して、より自由且つ自発的に環境とインタラクトすることもできる。 図１のシステムを実装するために使用され得るコンピューティング機能の概要を示す図である。 図３のコンピューティング機構のコンポーネントである空間インタラクションモジュールの１つの実施形態を示す図である。 図４の空間インタラクションモジュールのコンポーネントであるアプリケーションインターフェイスモジュールの１つの実施形態を示す図である。 図１のシステムの１つ以上の態様を実装することができるヘッドセット、ハンドヘルドユーザーコンピューティングデバイス（簡潔に「ユーザーデバイス」）、及び他のユーザーコンピューティングデバイスの例を示す図である。 図６のヘッドセット及びユーザーデバイスを実装する１つの態様を示す図である。 図６のヘッドセット及び（任意的な）ユーザーデバイスを実装する別の態様を示す図である。 ユーザーが車両内で図６のユーザーデバイスとインタラクトするシナリオを示す図である。 図６に示される機器の１つの動作方法を示すフローチャートである。 例えばユーザーデバイスの表示出力機構によって提供されるユーザーインターフェイス提示において、図４及び図５のアプリケーションインターフェイスモジュールによって提示され得る異なるワークスペースを示す図である。 第１のワークスペースから第２のワークスペースに遷移するために使用され得るジェスチャーを示す図である。 １つの実施形態に従った、ホームワークスペース内に提示され得るデフォルトハブメニューを示す図である。 ホームワークスペース内に提示され得るコンテキストメニューを示す図である。 ホームワークスペース内に提示され得るコンテキストメニューを示す図である。 ホームワークスペース内に提示され得るコンテキストメニューを示す図である。 メインワークスペース内に提示され得るメニューであって、呼び出され得る複数の機能を特定するメニューを示す図である。 設定ワークスペース内に提示され得るメニューであって、ユーザーが様々なパラメーターを設定するために使用され得るメニューを示す図である。 情報ワークスペース内に提示され得るメニューであって、ユーザーが旅行を行うときに又は他の形で環境とインタラクトするときに、ユーザーが自分に関連する情報にアクセスするために使用され得るメニューを示す図である。 「付近」ワークスペース内に提示され得るメニューであって、ユーザーが付近の関心項目（ＩＯＩ）に関連する情報にアクセスするために使用され得るメニューを示す図である。 ホームワークスペース内に提示され得る一時メニューの例を示す図である。 この特定の場合において設定ワークスペース内に提示されるオーバーレイメニューの例を示す図である。 ユーザーが自分の現在のコンテキストに関するオーディオ情報を取得するために使用され得るジェスチャーを示す図である。 ユーザーが任意のワークスペース内の任意のメニューをアクティブ化するために使用され得るジェスチャーを示す図である。 ユーザーが任意のメニュー内のメニュー項目の集合をナビゲートするために使用され得るジェスチャーを示す図である。 ユーザーが現在のメニューから何らかの他の以前のメニューにナビゲートするために使用され得るバックジェスチャーを示す図である。 図１１の実施形態とは異なる、ワークスペースの代替の編成を示す図である。 ユーザーがまだいかなるタブも作成していない状態に対応する、図２７のホームワークスペース内のタブ情報を示す図である。 ユーザーがタブの集合を作成した状態に対応する、図２７のホームワークスペース内のタブメニューを示す図である。 図２５の実施形態とは異なる、メニュー内のメニュー項目を編成する代替の方法を示す図である。 図２５の実施形態とは異なる、メニュー内のメニュー項目をスクロールし、次いでメニュー項目を選択する代替の方法を示す図である。 図２５の実施形態とは異なる、メニュー内のメニュー項目をスクロールし、次いでメニュー項目を選択する代替の方法を示す図である。 メニューの外縁部で実行されるバックジェスチャーと、このジェスチャーに応答して実行されるアクションと、を示す図である。 メニュー上で円形を描くことによって実行されるジェスチャーと、このジェスチャーに応答して実行されるバックアクションと、を示す図である。 メニュー上で半円形を描くことによって実行されるジェスチャーと、このジェスチャーに応答して実行されるバックアクションと、を示す図である。 図１のシステムによって提供される冗長性のレベル及びこのシステムによって提供されるコンテキスト情報のレベルを増大及び低減させるために使用され得る異なるジェスチャーを示す図である。 図１のシステムによって提供される冗長性のレベル及びこのシステムによって提供されるコンテキスト情報のレベルを増大及び低減させるために使用され得る異なるジェスチャーを示す図である。 図４及び図５のアプリケーションインターフェイスモジュールの１つの動作方法を要約したフローチャートである。 ３次元オーディオ情報を使用して、空間内の特定の位置から発生する音の知覚を生じさせることを示す図である。 ３次元オーディオ情報を使用して、空間内の一連の位置にわたって移動する音声の知覚を生じることを示す図である。 経路ガイダンスモジュールが３次元音（例えば周期ビート音）を使用してユーザーを所望の方向にガイドできる方法を示す図である。 探索モジュールが３次元音を使用してユーザーの現在の関心焦点に関連付けられているＩＯＩの位置を特定できる方法を示す図である。 オリエンテーションモジュールが３次元音を使用してユーザーの周りの空間全体に関連付けられているＩＯＩを特定できる方法を示す図である。 ユーザーが空間とインタラクトするのを支援するための３次元音の使用を表すフローチャートである。 （図４及び図４１の）経路ガイダンスモジュールが３次元音を使用してユーザーを所望のルートに沿ってガイドできる１つの方法を表すフローチャートである。 空間インタラクションモジュールが、例えば、自動モードで（例えばユーザーがルートを移動する又は他の形で空間を移動する間など）、探索モードで、又はオリエンテーションモードで、３次元音を使用してＩＯＩを特定できる１つの方法を表すフローチャートである。 複数のビーコンを有する環境を示す図であり、１つの例示的な実施形態において、これらのビーコンは、その環境を移動する又は他の形でその環境とインタラクトするユーザーによってビーコンのそれぞれの信号が検出され得る重なり合わないレンジを生じさせる。 図４７の例と比較してより多くの数のビーコンを有する他の環境を示す図である。 図４７の例と比較してより多くの数のビーコンを有する他の環境を示す図である。 図４７の例と比較してより多くの数のビーコンを有する他の環境を示す図である。 図４７〜図５０のタイプの環境のコンテキスト内における、ビーコンベースのガイダンスモジュールの１つの動作方法を示すフローチャートである。 ビーコンベースのガイダンスモジュールが環境内のユーザーの現在位置を判定できる１つの方法に関するさらなる詳細を提供するフローチャートである。 上記図面に示される特徴の任意の態様を実装するために使用され得る例示的なコンピューティング機能を示す図である。
本開示及び図面を通じて、同様のコンポーネント及び特徴を参照するために、同じ符号が使用される。１００番台の符号は、最初に図１に現れた特徴を指し、２００番台の符号は、最初に図２に現れた特徴を指し、３００番台の符号は、最初に図３に現れた特徴を指し、以降の符号も同様である。
本開示は、次のように編成されている。セクションＡは、ユーザーが現実空間及び／又は仮想空間とインタラクトするのを支援するシステムの概要を提供する。セクションＢは、セクションＡのシステムにおいて使用され得る異なるタイプのヘッドセット及びハンドヘルドユーザーコンピューティングデバイスを説明する。セクションＣは、セクションＡのシステムによって提供され得る例示的なユーザーインターフェイスエクスペリエンスを説明する。セクションＤは、３次元音及び他の（非３次元の）タイプの音を生成して使用するための機能を説明する。セクションＥは、１つの例示的な実施形態においては重なり合わないレンジを有する複数のビーコンが投入されている環境をユーザーがナビゲートするのを支援するビーコンベースのガイダンス機能を説明する。セクションＦは、それ以前のセクションにおいて説明された特徴の任意の態様を実装するために使用され得る例示的なコンピューティング機能を説明する。
前付として、図面の一部は、機能、モジュール、特徴、要素などと様々に呼ばれる１つ以上の構造的コンポーネントのコンテキストにおけるコンセプトを示している。図面に示される様々なコンポーネントは、例えばコンピューター機器上で実行されるソフトウェア、ハードウェア（例えばチップ実装ロジック機能）など、及び／又はそれらの任意の組合せによってなど、任意の物理的で有形な機構によって任意の方式で実装され得る。１つの場合において、図面における様々なコンポーネントが別個のユニットに分離されて示されているのは、実際の実施形態において対応する別個の物理的で有形なコンポーネントの使用を反映したものであり得る。代替的又は追加的に、図面に示される任意の単一のコンポーネントが、複数の実際の物理的コンポーネントによって実装されることもある。代替的又は追加的に、図面における任意の２つ以上の分離したコンポーネントが、単一の実際の物理的コンポーネントによって実行される異なる機能を反映していることもある。以下で説明される図５３は、図面に示される機能の１つの例示的な物理的実装に関する追加の詳細を提供するものである。
他の図面は、コンセプトをフローチャートの形態で示している。この形態では、所定の動作は、所定の順序で実行される異なるブロックを構成するものとして示される。このような実施形態は、例示的且つ非限定的なものである。本明細書に記載の所定のブロックは、一緒にグループ化されて単一の動作で実行されることがあり、所定のブロックは、複数のコンポーネントブロックに分割されることがあり、所定のブロックは、本明細書で例示される順序とは異なる順序（それらのブロックを並列に実行する方式を含む）で実行されることがある。フローチャートに示されるブロックは、例えばコンピューター機器上で実行されるソフトウェア、ハードウェア（例えばチップ実装ロジック機能）など、及び／又はそれらの任意の組合せによってなど、任意の物理的で有形な機構によって任意の方式で実装され得る。
用語について、「〜するよう構成され」という語句は、任意の種類の物理的で有形な機能が、特定された動作を実行するように構築され得る任意の態様を包含する。機能は、例えばコンピューター機器上で実行されるソフトウェア、ハードウェア（例えばチップ実装ロジック機能）など、及び／又はそれらの任意の組合せを使用して、動作を実行するよう構成され得る。
「ロジック」という用語は、タスクを実行するための任意の物理的で有形な機能を包含する。例えば、フローチャートに示される各動作は、当該動作を実行するロジックコンポーネントに対応する。動作は、例えばコンピューター機器上で実行されるソフトウェア、ハードウェア（例えばチップ実装ロジック機能）など、及び／又はそれらの任意の組合せを使用して、実行され得る。ロジックコンポーネントは、コンピューティング機器によって実装されるときには、どのように実装されるかに関わらず、コンピューティングシステムの物理的一部分である電気的コンポーネントを表す。
以下の説明は、１つ以上の特徴を「任意的」であるとして特定することがある。この種の記述は、任意的であると考えられる可能性がある特徴の排他的な示唆として解釈されるべきではない。すなわち、本明細書では明示的には特定されていないが、他の特徴も任意的であると考えられる可能性がある。さらに、単一のエンティティーといういかなる記載も、複数のそのようなエンティティーの使用を排除することを意図しているわけではなく、同様に、複数のエンティティーという記載も、単一のエンティティーの使用を排除することを意図しているわけではない。さらに、本明細書は、所定の特徴を、特定された機能を実行する又は特定された機構を実装する代替の態様として説明することがあるが、これらの特徴は、任意の組合せで一緒に組み合わされることもある。最後に、「例示的な」又は「例証的な」という用語は、潜在的に数多く存在する実施形態のうちの１つの実施形態を指すものである。
Ａ．システムの概要
図１は、ユーザー１０４が物理空間及び／又は仮想空間とインタラクトするのを支援するシステム１０２の概要を示している。物理空間は、例えば、１つ以上のビルディングの内部によって規定される室内空間、若しくは、ビルディングの内部の外側に存在する室外空間、又は、室内空間と室外空間との何らかの組合せ、に対応し得る。仮想空間は、例えば、任意の１つ以上のタイプの仮想オブジェクトが投入されている領域に対応し得る。いくつかのシナリオにおいて、仮想空間は、ユーザーが物理的に移動する可能性がある物理空間上に重ねられ得る。それらの場合には、仮想空間内のいくつかの仮想オブジェクトには、物理空間内の対応する現実位置（以下で明らかにされる）が割り当てられ得る。
図１は、システム１０２において使用され得る例示的なコンポーネントを概括的に紹介する図である。これらのコンポーネントは、システム１０２の特定の実施形態によって、図示されるコンポーネントのうちの１つ以上が省略され得るという意味で、任意的である。追加的又は代替的に、システム１０２の特定の実施形態は、図１には示されていない追加のコンポーネントを含むこともある。
ユーザー１０４は、ユーザー１０４による１つ以上の空間の探索中に、任意のタイプのユーザーコンピューティングデバイス１０６（以下では簡潔に単に「ユーザーデバイス」と呼ばれる）及びヘッドセット１０８を介して、又はヘッドセット１０８のみを介して、システム１０２とインタラクトすることができる。ユーザーデバイス１０６は、任意のフォームファクターを有する任意のタイプのポータブルコンピューティングデバイスに対応し得る。例えば、ユーザーデバイス１０６は、スマートフォン、タブレット型コンピューティングデバイス、ラップトップコンピューティングデバイス、ネットブック型コンピューティングデバイス、メディア消費デバイス（ブックリーダー型コンピューティングデバイス又は音楽再生コンピューティングデバイスなど）、ポータブルゲームデバイス、及びウェアラブルコンピューティングデバイス（眼鏡、ゴーグルなど）などに対応し得る。他の場合（図示せず）において、ユーザー１０４は、スマートフォンとタブレット型コンピューティングデバイスとの組合せなど、２つ以上のユーザーコンピューティングデバイスを持ち運んで使用することもある。
ヘッドセット１０８も、同様に、オーディオ情報をユーザー１０４に配信する任意のタイプのデバイスに対応し得る。１つの場合において、例えば、ヘッドセット１０８は、ユーザー１０４の片耳又は両耳の上又は近傍に配置される従来のスピーカーを使用して、オーディオ情報を配信することができる。別の場合において、ヘッドセット１０８は、骨伝導技術を使用して、オーディオ情報を配信することができる。骨伝導技術において、ヘッドセット１０８は、ユーザーの頭部の骨に与えられる振動を介して、ユーザーの鼓膜に情報を伝える。骨伝導を使用するヘッドセットは、ユーザー１０４の耳道を閉塞しないので、ユーザー１０４がナビゲートしている空間で生成された他の（外部の）音をユーザー１０４が聞くことを可能にする。この結果は、いくつかの場合において、特に視力障害のユーザーの場合及び馴染みのない環境にいるユーザーの場合には、ユーザーが物理環境とインタラクトする安全性を高めるために、望ましいことがある。
１つの一般的な使用方式に従うと、ユーザー１０４は、ユーザーデバイス１０６とインタラクトして、空間とのユーザー１０４のインタラクションに関する情報を、主に視覚的な形態で受け取ることができる。追加的又は代替的に、ユーザーデバイス１０６は、触覚フィードバックキュー（例えば振動ベースのキューなど）を生成することによってなど、視覚的でない形態で情報を配信することもある。ユーザー１０４は、主として、ヘッドセット１０８とインタラクトして、空間とのユーザー１０４のインタラクションに関するオーディオ情報を受け取ることができる。このオーディオ情報は、発話情報、他の音などを含み得る。システム１０２はまた、ユーザーデバイス１０６若しくはヘッドセット１０８又はこれら両方から命令を受信することができる。
ユーザー１０４は、任意的に、デスクトップコンピューティングデバイス、ゲームコンソールデバイス、及びセットトップボックスデバイスなどの１つ以上の従来の固定型コンピューティングデバイス１１０を介して、システム１０２とインタラクトしてもよい。例えば、ユーザー１０４は、旅行の前に、他のユーザーコンピューティングデバイス１１０を使用してシステム１０２とインタラクトして、空間を通る特定のルートを規定する旅程情報を作成することができる。ユーザー１０４は、次いで、その旅程情報を、ユーザーデバイス１０６及び／又はヘッドセット１０８にロードすることができる。旅行の後、ユーザー１０４は、他のユーザーコンピューティングデバイス１１０を介してシステム１０２と再度インタラクトすることができる。例えば、システム１０２は、完了した旅行に関する情報を他のユーザーコンピューティングデバイス１１０にダウンロードすることができ、ユーザー１０４がいつでも任意の目的のためにその旅行に関する情報を見直すことを可能にする。
１つの場合において、システム１０２に関連付けられている全ての機能は、上記で特定されたコンポーネント、すなわち、ユーザーデバイス１０６、ヘッドセット１０８、及び他のユーザーコンピューティングデバイス１１０によって提供される処理機能によって実行される。別の場合において、１つ以上のリモート処理リソース１１２が、特に本質的に計算集約的である側面などの、システム１０２によって実行される処理の少なくともいくつかの側面を実施できる。例えば、リモート処理リソース１１２は、新たな旅程を作成する機能、既存の旅程を変更する機能、及びユーザーの発話命令を解釈する機能などを含み得る。１つの場合において、リモート処理リソース１１２は、１つ以上のサーバコンピューティングデバイス及び１つ以上のデータ記憶部などに対応し得る。
システム１０２は、通信路１１４の任意の組合せを使用して、上述のコンポーネントを接続することができる。例えば、ユーザーデバイス１０６は、任意の無線通信機構を介して（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信を使用して）、且つ／又は、任意のハードワイヤード通信機構を介して（例えばＵＳＢ接続などを介して）、ヘッドセット１０８とインタラクトすることができる。ユーザーデバイス１０６及びヘッドセット１０８は、セルラー接続、Ｗｉ−Ｆｉ（登録商標）接続、若しくはハードワイヤード接続など、又はそれらの任意の組合せを介して、システム１０２のリモートコンポーネントと通信することができる。
さらに、図示されていないが、ユーザーデバイス１０６は、ユーザーデバイス１０６の位置を判定するために、任意のリモートの位置判定システムとインタラクトすることができる。ヘッドセット１０８も、同じ機能を実行することができる。リモートの位置判定機構は、任意の衛星ベースの位置判定システム（例えばＧＰＳシステム）及び地上通信タワーなどに対応し得る。さらに、ユーザーデバイス１０６及び／又はヘッドセット１０８は、任意の通信機構を介して（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信、Ｗｉ−Ｆｉ（登録商標）通信などを介して）ローカルビーコンとインタラクトすることもできる。
本セクション（セクションＡ）の残りの部分は、システム１０２によって提供される機能の概要を提供するものである。後続のセクションは、このシステムの個々のコンポーネントに関するさらなる詳細を提供するものである。
一般に、ユーザーは、ユーザーが馴染みがあろうがなかろうが任意のタイプの空間を移動するときにユーザーのエクスペリエンスを豊かにする手段として、システム１０２を使用することができる。１つのシナリオにおいて、例えば、ユーザーは、システム１０２を、所望のタイムテーブルに従った元の場所から目的の場所までの計画された旅行を行う際のガイドとして使用することができる。他の場合において、ユーザーは、より自由且つ自発的に、例えば予め計画された旅程及び／又はタイムテーブルなく、空間を探索する際の支援を提供するシステム１０２を使用することができる。例えば、ユーザーは、自分が馴染みのない町を歩き回るときに、又は、展示会又は博物館の展示物を見ながらぶらぶら歩くときに、支援を提供するシステム１０２を使用することができる。ユーザーは、固定された旅程なくこの活動を行うことができ、自分の旅行のコース及び目的を、自由且つ自発的に変更することができる。さらに別の場合において、ユーザーは、システム１０２を、馴染みのある環境内の馴染みのあるルートを活性化する（enlivening）手段などとして使用することができる。さらに別の場合において、ユーザーは、このシステムを、例えばユーザーのインタラクションのいくつかの側面が準備された計画に従い、他の側面がより自由且つ自発的な性質のものにするなど、混成的に使用することもできる。
図２に進むと、この図は、ユーザーが図１のシステム１０２を使用して予め計画された旅行を行う一例を示している。システム１０２が実行できる機能のタイプを読者に紹介するために、この旅行を行う際のユーザーの例示的なエクスペリエンスが、以下で説明される。この例示的なエクスペリエンスは、限定ではなく例示を意図して提示されるものであることに留意されたい。上述のように、システム１０２は、ユーザーが任意の目的のために自分の環境とインタラクトする多様な他のコンテキストにおいて適用され得る。
図２の非限定的な場合において、ユーザー（ジョンという名前の男性）が、旅行に出る前に旅程を作成したと仮定する（ただし、再度、これは必ずしもそうであるとは限らない）。例えば、ユーザーが、ロンドンにある自宅から同じ市の別の場所にある予約した医者のところまで行くためのルートを作成したと仮定する。ユーザーがこのタスクのための旅程を作成したのは、自分が移動しようとしているこの市のこの場所に馴染みがないからであるのかもしれない。あるいは、ユーザーが、様々な移動に関する困難をもたらす１つ以上のハンディキャップを有しているのかもしれない。例えば、ユーザーは、任意の形態（及び程度）の視力障害を有しているのかもしれない。このコンテキストにおいて、ユーザーはそのルートに馴染みがある可能性があるとしても、ユーザーは、ルートをナビゲートする際に自分を支援するための旅程を作成した可能性がある。別の場合において、ユーザー以外の何らかのエンティティーが、ユーザーの代わりにその旅程を作成した可能性もある。このような場合において、計画された旅程は、その旅行の全ての側面を表す旅程情報によって規定される。
図２は、具体的には、旅行の計画されたルート２０２を実線で表している。いくつかの場合において、ユーザーは、システム１０２を使用して、計画されたルート２０２にほぼ従うことができる。他の場合において、ユーザーは、例えば計画されたルート２０２沿いの障害物に遭遇した、又は何らかの理由で自分の移動のコースを変更しようと自発的に決定したなど、何らかの理由で、計画されたルート２０２から逸脱する可能性がある。例えば、この単なる例示的な場合において、ユーザーは、道沿いの店舗２０４を訪ねて何らかの商品（例えばサンドイッチなど）を購入するために、計画されたルート２０２から逸脱している。図２は、ユーザーの実際のルート２０６を破線で表している。
図２に示される場合における計画されたルート２０２は、本明細書ではウェイポイント（waypoint）と呼ばれる一連の過渡地点（ｗ１、ｗ２、ｗ３、ｗ４、及びｗ５）又はステーション（station）によって規定される。例えば、ウェイポイントｗ１は、ユーザーの旅行の開始地点に対応し、ウェイポイントｗ５は、ユーザーの旅行の行き先に対応し得る。ウェイポイントｗ２及びｗ３は、２つの交差点に対応し得る。このような各交差点で、ユーザーは、第１の道路から第２の道路に移行する。ウェイポイントｗ４は、ユーザーが自分の輸送モード（mode of transportation）を変更できる任意のステーションに対応し得る。例えば、ユーザーは、ウェイポイントｗ４まで徒歩で移動することができる。ウェイポイントｗ４は、予め定められたスケジュールに従って到着するシャトル２０８の到着をユーザーが待つシャトルステーションに対応し得る。ユーザーは、その後、シャトル２０８に乗ってウェイポイントｗ５まで移動することができる。他の場合において、輸送モードは、列車、地下鉄、バス、路面電車、又は任意の私的輸送モード（例えば自家用車、自転車など）に対応し得る。
したがって、計画されたルートは、一連のセグメント（ｓ１、ｓ２、ｓ３、及びｓ４）を有するものとして概念化され得る。図２の例は、簡略化された場合である。他の場合において、旅程は、これより多くのウェイポイント及び関連セグメントを含むこともある。また、この旅程は、輸送モードの任意の組合せを包含し得る。さらに他の場合において、旅程は、例えば開始ウェイポイント及び終了ウェイポイントしか含まないなど、図２に示されるものほど複雑でないこともある。また、繰り返しになるが、他の場合において、旅程は、前もって規定されないこともある。
本明細書で使用される「コンテキスト」という用語は、一般に、ユーザーが旅行を行う間又は他の形で環境とインタラクトする間に任意の所与の時点において直面する状況を指す。「状況」は、少なくとも、ユーザーがインタラクトしたいと望み得る環境の特徴、現在時刻（及び曜日）など、及び現時点においてユーザーが直面している目的などによって影響される。例えば、時点ｔ１において、ユーザーは、ウェイポイントｗ１からウェイポイントｗ２まで移動しようと試みてセグメントｓ１を移動している。ユーザーの旅行のコンテキストｃ１は、したがって、少なくとも部分的には、計画された旅程に沿ったユーザーの現在位置と、計画されたセグメントｓ２につながるウェイポイントｗ２に到達しようとするユーザーの努力と、によって規定される。他の時点におけるユーザーのコンテキストは、それらの時点においてユーザーが直面する環境と、それらの時点それぞれにおけるユーザーの局所的な目的と、に応じて異なる。
計画されたルート２０２及び実際のルート２０６の上記の予備的な説明を踏まえて、次に、ユーザーがウェイポイントｗ１からウェイポイントｗ５まで移動するときの例示的なユーザーエクスペリエンスについて考える。一例において、ユーザーは、少なくともユーザーデバイス１０６を持ち運び、ヘッドセット１０８（図１に示される）を装着していると仮定する。ユーザーデバイス１０６は、以下では、同デバイスへの言及を単純化するためにスマートフォンとして言及されるが、ユーザーデバイス１０６は、図１を参照して上述した任意のタイプのデバイスを含み得る。さらに他の場合において、ユーザーは、ヘッドセット１０８のみを使用して（すなわち、スマートフォンを使用せずに）ナビゲートすることもできる。
一般的な原理として、システム１０２は、ユーザーが自分の旅行を行うときに又は他の形で空間とインタラクトするときに、ユーザーの経路に沿った適切な局面において関連する情報をユーザーに与える。可聴形態、視覚的形態、及び／又は触覚的形態でユーザーに自動的に提示され得る情報の例が、本明細書では、関心項目（ＩＯＩ）と呼ばれる。この機能を実行するために、システム１０２は、各時点におけるユーザーの現在のコンテキストを判定する。例えば、システム１０２は、各特定の時点におけるユーザーの位置及び向き（並びに任意的に動き）を検知する。システム１０２は、任意の技術又は技術の組合せを使用して、このタスクを実行することができる。このタスクの例が、図３の説明のコンテキストにおいて、以下で提供される。システム１０２は、次いで、ユーザーの現在のコンテキストに関連するＩＯＩを特定する。いくつかの場合において、例えば、システム１０２は、ユーザーがそのＩＯＩに関連付けられている物理的オブジェクト（又は領域）から規定の距離内にいるという理由で、ユーザーの現在のコンテキストに関連するＩＯＩを判定することができる。ここで、その距離は、予め規定されて記憶されている。システム１０２は、次いで、これらのＩＯＩに関する情報をユーザーに配信する。以下でより詳細に説明されるように、ユーザーはまた、旅行中の後の時点において自分が直面することになる（又は直面する可能性がある）将来のコンテキストを手動で探索して、それらの状況に備えることができるようになる。
システム１０２は、様々なソースから抽出された情報に基づいてＩＯＩを提供することができる。例えば、システム１０２は、パブリックに利用可能な地図情報（米国ワシントン州レッドモンドのＭＩＣＲＯＳＯＦＴ（登録商標）社によって提供されるＢＩＮＧ地図サービスによって提供される地図情報など）から、道路、自然物などの位置を判定することができる。システム１０２は、任意の公開されている住所録情報から、公的エンティティー及び私的エンティティー（例えば店舗、官庁など）の位置を判定することができる。システム１０２は、公共輸送スケジュール情報、公衆安全情報など、様々な公開されているソースから、関連するイベントの発生を判定することができる。システム１０２は、１つ以上のオンラインソーシャルネットワーキングアプリケーション、１つ以上のカレンダーアプリケーションなど、様々なサービスから、ユーザー関連情報を判定することができる。
各ＩＯＩは、特定のトピック又は経験的焦点に関連する。ＩＯＩは、異なる説明的特徴に沿って、異なる方法で分類され得る。例えば、第１のクラスのＩＯＩは、ユーザーが移動している又は他の形でインタラクトしている空間内の物理的オブジェクト又は物理的イベントに直接的にマッピングされる。例えば、このタイプのＩＯＩは、ユーザーの近傍にある店舗、若しくはユーザーの前方にある開いたマンホール、又はユーザーが到達まで規定の距離内にいる次のウェイポイントなどに対応し得る。ＩＯＩの第２のクラスのＩＯＩは、環境内の直接的な物理的対応物を必ずしも有さない。例えば、このタイプのＩＯＩは、ユーザーがバス停に接近するときに再生される広告に対応し得る。この広告は、バス停の周りの空間に関連付けられ得るが、その他の点ではバス停自体の説明ではない。
別の「仮想タイプ」のＩＯＩは、ユーザーがコーヒースタンドに接近するときにユーザーの気を引くニュースの見出しに対応し得る。システム１０２は、ユーザーがコーヒーを飲む間にそのＩＯＩを消費したいと望む可能性があるという前提に基づいて、そのＩＯＩに関する情報をユーザーに提示することができる。別の仮想タイプのＩＯＩは、ユーザーが地下鉄の駅を出るときにユーザーに配信される気象レポートに対応し得る。システム１０２は、ユーザーが駅を出るときに直面することになる天候にユーザーが備えたいと望む可能性があるという前提に基づいて、そのＩＯＩに関する情報をユーザーに提示することができる。別の仮想タイプのＩＯＩは、ユーザーが自宅に接近しているときにソーシャルネットワークアプリケーションから取り出されるメッセージに対応し得る。システム１０２は、ユーザーが自宅に入る前に家族の誰か又は友人から送信された任意のメッセージに追いついておきたいと望む可能性があるという前提に基づいて、そのＩＯＩに関する情報をユーザーに提示することができる。ユーザーの現在の状況に密接に関係するがユーザーのすぐ近くにある実際のオブジェクト又はイベントを説明する役割を果たすものではないこともある何らかのタイプの情報（及び／又は機能とインタラクトする機会）をユーザーが受け取る多くの他のシナリオが想定されている。
（上述の第１の「現実」クラス又は第２の「仮想」クラスのいずれかの）様々なＩＯＩはまた、それらが空間の探索において果たす役割に基づいて分類され得る。例えば、ＩＯＩは、この特徴に沿って、ワーニングＩＯＩ、旅程ＩＯＩ、コンテキストＩＯＩ、及び利用可能情報ＩＯＩなどとして分類され得る（ただし、これらのカテゴリーは、厳密には、相互に排他的なものではないこともある）。システム１０２は、ワーニングＩＯＩに関する情報を送信して、旅行中にユーザーの安全に影響を及ぼす可能性がある出来事をユーザーにアラートする（ユーザーの前方に開いたマンホールがあるというインジケーションなど）。ワーニングメッセージは、はっきりしていて要領を得たものである。システム１０２は、旅程ＩＯＩに関する情報を送信して、ユーザーの旅行の進行に影響を及ぼす可能性がある出来事をユーザーにアラートする（次のウェイポイントが接近している又はバスが遅れるというインジケーションなど）。システム１０２は、コンテキストＩＯＩをユーザーに送信して、ユーザーの関心を引く可能性がある、ユーザーの近傍のオブジェクト及びイベント（現実か仮想かは問わない）をユーザーにアラートする（ユーザーの旅程上でユーザーの前方にコーヒーショップがあるというインジケーションなど）。システム１０２は、利用可能情報ＩＯＩを自動的に配信するのではなく、利用可能情報ＩＯＩの存在をユーザーにアラートする。ユーザーは、次いで、この情報をオンデマンドで受け取る又は無視することを選択することができる。例えば、ユーザーは、ヘッドセット１０８上の適切な機能ボタンをタップすることによって、若しくは、ユーザーデバイス１０６によって提供される情報メニューを介して、又は、同等の音声コマンドを使用して、利用可能情報にアクセスすることができる。
システムは、各ＩＯＩに関する情報を任意の方法で配信することができる。例えば、少なくとも一部のＩＯＩについては、システムは、特徴的な音（telltale sound）を送信し、続いて発話メッセージを送信することによって、ＩＯＩを配信することができる。この予備的な音は、ユーザーが発話アナウンスを聞くように「耳を傾ける」、すなわち、発話アナウンスに注意を向けることができるようにする。この音は、その後に続く情報のタイプについてもユーザーにアラートして、ユーザーがそれに注意を向けるかどうかをユーザーがより良好に判断できるようにする。例えば、ユーザーは、旅程情報には高い注意を向けるが、コンテキスト情報（例えばユーザーの近傍の店舗又はユーザーの現在の状況に関する販売促進提案に関する情報など）にはそれほど注意を向けないことを選択することができる。
旅行中の任意の時点において、ユーザーは、最も直近に音読された１つ以上の旅程ＩＯＩ（及び／又は他のタイプのＩＯＩ）に関する情報を聞く要求を行うことができる。この要求は、後述されるように様々な方法で行われ得る。ワーニングが最近３０秒以内に音読されている場合には、システム１０２は、ユーザーのこのアクションに応答して、ワーニングを繰り返し、続いて旅程情報を繰り返すことになる。いくつかの場合において、ユーザーは、情報を繰り返すことをシステム１０２に要求することがあるが、この情報がもはや利用可能ではなくなっていることもある。システム１０２は、適切な音を再生し、続いて「情報は現在利用可能でありません」などの発話メッセージを再生することにより、この状況をユーザーにアラートすることができる。
別の一般的な特徴として、システム１０２は、ユーザーに環境からの他の多くの検知情報が与えられていないと予想されるときに、いくつかのＩＯＩに関する情報を自動的に提示することができる。例えば、システム１０２は、ユーザーが安全且つ楽しんで情報を消費することができる、計画されたルートに沿った規定の「静かなゾーン（quite zone）」にユーザーが到達するまで、計画されたルート２０２に関するメッセージをユーザーに送信することを控えることができる。システム１０２は、「静かなゾーン」と考えられる領域の位置を予め記憶することができる。
次に、図２に示される空間をナビゲートする間のユーザーの具体的なエクスペリエンスについて、より詳細に考える。時点ｔ１において、ユーザーが第２のウェイポイントｗ２に到達しようと試みていると仮定する。ユーザーの位置（及び向き）を検知した後、システム１０２は、ユーザーが第２のウェイポイントｗ２に到達するのを支援する（視覚的形態及び／又は可聴形態の）指示をユーザーに送信することができる。さらに、システム１０２は、ユーザーが第２のウェイポイントｗ２から規定の距離内にいるときに、第２のウェイポイントｗ２自体に関する情報をユーザーに送信することができる。これは、第２のウェイポイントｗ２が伴う可能性のある任意のコース変更に対してユーザーが適切な準備をすることを可能にする。上述の情報は、主に旅程ＩＯＩとして編成され得る。
所定の状況において、ユーザーの実際の旅行は、例えば実際に取られるルート及び／又はユーザーが空間を移動するタイミングなどについて、計画された旅程から逸脱する可能性がある。これらの状況に対処するために、システム１０２は、ユーザーの現在の状況がユーザーの旅程の何らかの残りの部分に影響を及ぼすことになるかどうかを、自動的に（又はオンデマンドで）判定することができる。例えば、システム１０２は、バス停へのユーザーの推定到着時間を更新し、次いで、ユーザーが引き続き時間通りに到着して、予め特定されているバス又はシャトルに乗ることができるかどうかを判定することができる。ユーザーの現在の状況がこのようにユーザーの旅程に影響を及ぼす場合には、システム１０２は、ユーザーが空間内をナビゲートするのを支援するために使用される情報を自動的に再生成することができる。この情報は、ＩＯＩの新たなセットと表現されることがある。例えば、システム１０２は、後のバス又はシャトルに乗るようにユーザーに勧めることができる（また、自動的に適切な予約を行い、適切な通知を送信し、且つ／又は他の手配を行うことができる）。さらに、上述のように、ユーザーは、例えば将来遭遇することになるウェイポイントに関する情報を明示的に要求することによってなど、任意の方法で、更新された情報を探索することができる。
図２はまた、時点ｔ１において、システム１０２が、コンテキスト的性質の様々な関心項目（ＩＯＩ）（すなわち、上記の記載では、「コンテキストＩＯＩ」）の存在を自動的にユーザーに通知することを大まかに示している。例えば、例示的なコンテキストＩＯＩは、店舗、レストラン、官庁、自然のランドマークなどに対応し得る。１つの場合において、システム１０２は、コンテキストＩＯＩが現在ユーザーから規定の距離内にあり、ユーザーがまだそのコンテキストＩＯＩを通り過ぎていない場合にのみ、ユーザーの検討のためにコンテキストＩＯＩを提示することができる。
ユーザーは、（コンテキストＩＯＩ及び／又は任意の他のタイプのＩＯＩに関して）任意の方法でシステム１０２の挙動をカスタマイズすることができる。例えば、ユーザーは、例えば自分は第１のタイプの店舗に関する情報は受け取りたいが、第２のタイプの店舗に関する情報は受け取りたくないということを示すことによって、自分が自分のルートに沿って受け取りたいと望むプロンプトのタイプを指定することができる。ユーザーは、自分が情報を受け取りたいタイミングを指定することもできる。例えば、ユーザーは、自分にコンテキストＩＯＩの存在が通知されるときに考慮されてほしい（自分の現在位置からの）最大距離を指定することができる。ユーザーは、旅行に出る前に、これらの設定を行うことができる。さらに、ユーザーは、例えばシステムから自動的に提供される情報の量を低減させることなどにより、旅行の途中でシステムによって配信される情報のタイプ及び量を動的に変更することができる。ユーザーは、旅程に沿った特定の局面において情報が不要である又は邪魔であると思ったことを理由として、情報の量を低減させることを選択することがある。
システム１０２は、任意の特定用途に合わせた方法でコンテキストＩＯＩに関する情報を提示することができる。例えば、１つの場合において、システム１０２は、コンテキストＩＯＩの集合を、それらがユーザーの前に現れる順序で、（例えば基本的にユーザーが掃引の起点に位置するものとして角度掃引を形成することによって）左から右に又は右から左に、又は（ユーザーからの距離の観点で）前方から後方に又は後方から前方に、アナウンスすることができる。上述のように、１つの実施形態において、システム１０２は、各アナウンスの前に、コンテキストＩＯＩに関する情報がその後に続くことをユーザーにアラートする特徴的な音を発することができる。システム１０２は、次いで、例えば「ジェーンのコーヒーショップ、１５０フィート」とアナウンスするオーディオ情報を提供することによって、コンテキストＩＯＩを説明することができる。システム１０２は、代替的に、レストランの場合には第１のタイプの予備的な音を提供し、バス停の場合には第２のタイプの予備的な音を提供することなどによって、異なるタイプの設立物に関連付けられている異なる予備的な音を提供してもよい。
いくつかの場合において、現在時点においてユーザーの近傍に大量のコンテキストＩＯＩが存在することがある。ユーザーに与えられる情報の量を低減させるために、システム１０２は、「複数のレストラン、およそ１００フィート」とアナウンスすることなどにより、この情報を１つ以上のサマリーメッセージに統合することができる。同じことが、あらゆるタイプのＩＯＩにも当てはまる。一般に、システム１０２は、所与の時点においてユーザーに配信される個々のＩＯＩのグループが少なくとも１つの共通の特性を有するかどうかを判定することができる。システム１０２は、次いで、個別にではなくブロック又はセットとしてＩＯＩのグループをアナウンスするサマリーメッセージを提供することができる。上述の具体例では、システム１０２は、コンテキストＩＯＩのグループがユーザーの近傍に位置し、これらのＩＯＩが同じタイプの設立物に関連すると判定する。別の例において、システム１０２は、「次の１００ヤードに多数の大きな穴」というサマリーワーニングＩＯＩを提供することができる。
システム１０２は、アナウンスをインテリジェントに提供するための他のルールを使用することもできる。例えば、いくつかのＩＯＩは、ユーザーがこれらのＩＯＩに近接している場合にのみ関連性がある。例えば、ユーザーが公園のベンチに関心があるのは、ユーザーがそのオブジェクトから数フィート以内にいる場合だけである可能性がある。したがって、システム１０２は、ユーザーがそれらの種類のオブジェクトに比較的近接している場合にのみ、それらのオブジェクトの存在をアナウンスし得る。ただし、この場合も、ユーザーは、この点に関してシステムの挙動をカスタマイズすることができる。
別の例示的な特徴に従うと、システム１０２は、３次元音を使用して、いくつかのタイプのコンテキストＩＯＩなどのいくつかのタイプのＩＯＩの存在をアナウンスすることができる。３次元音とは、物理空間内の特定の１つの位置（又は複数の位置）から発しているものとしてユーザーが知覚する音を指す。しかしながら、実際には、オーディオ情報は、ヘッドセット１０８を介してユーザーに提示され、環境内に物理的な起源を有していない。セクションＤにおいて以下で説明されるように、システム１０２は、異なるタイプの広帯域オーディオ音とともに頭部伝達関数（ＨＲＴＦ）を使用することによって、上記の結果を実現することができる。他の実施形態において、システム１０２は、（ＨＲＴＦの代わりに又はＨＲＴＦに加えて、）Ａｍｂｉｏｐｈｏｎｉｃｓ、Ａｍｂｉｓｏｎｉｃｓ、波動場合成などの他の技術及びテクノロジを使用して、３次元オーディオ効果を生成することができる。
例えば、コンテキストｃ１（時点ｔ１）において、システム１０２は、少なくとも３つのコンテキストＩＯＩ（ＩＯＩ１、ＩＯＩ２、及びＩＯＩ３）を特定する一連の指示アナウンスをユーザーに送信することができる。システム１０２は、例えば、コンテキストＩＯＩに関連付けられているエンティティーが物理的に位置する、空間内の特定の位置から発しているものとしてユーザーが知覚する予備的な音をユーザーに送信することによって、コンテキストＩＯＩ１の存在をアナウンスすることができる。すなわち、コンテキストＩＯＩがジェーンのコーヒーショップに対応する場合、メッセージは、ユーザーの注意をジェーンのコーヒーショップの実際の位置に向けさせることになる。システム１０２は、「ジェーンのコーヒーショップ、１５０フィート」と指示的にアナウンスするなど、３次元音を使用して、すなわち、３次元発話情報を使用して、この設立物の説明を提供することもできる。
追加的又は代替的に、システム１０２は、１つ以上の利用可能情報ＩＯＩに関する情報をユーザーに送信してもよい。上記で説明されたように、システム１０２は、ユーザーの現在のコンテキストに関連する可能性がある情報の具体的な内容を直ちにアナウンスするのではなく、ユーザーの現在のコンテキストに関連する可能性がある情報の存在をユーザーに大まかにアラートするメッセージを送信することによって、この動作を実行することができる。ユーザーは、次いで、例えば「詳細情報」命令を行うことによって、その情報を受け取るように手動でシステム１０２に要求することができる。あるいは、ユーザーは、この情報を無視してもよい。
上記の情報配信特徴の全ては、ユーザーに多すぎる情報を与えることなく、ユーザーが空間を移動するときに有用な情報をユーザーに対して明らかにするという目的に寄与する。
別の特徴として、ユーザーの経路に沿った任意の局面において、システム１０２は、ユーザーの実際の移動方向を所望の移動方向と比較することができる。システム１０２は、図３に関連して以下で説明される機構のうちの任意のものを使用して、ユーザーの実際の移動方向を判定することができる。システム１０２は、ユーザーが現在時点においてどこに向かうと予想されるかを判定することによって、所望の方向を判定することができる。システム１０２は、次いで、ユーザーの実際の方向が所望の方向からずれている程度を定めるずれ情報を決定することができる。システム１０２は、次いで、ユーザーを所望の経路に沿って進ませようと試みる情報をユーザーに送信することができる。
例えば、時点ｔ２におけるユーザーを考える。この局面において、ユーザーは、ウェイポイントｗ３に到達しようと試みている。ユーザーの実際の方向は、矢印２１０で表され、ユーザーの所望の方向は、矢印２１２で表されると仮定する。システム１０２は、ユーザーを現在の誤った方向から所望の方向に向かって進ませようと試みる指示を、ユーザーに送信することになる。
１つの実施形態において、システム１０２は、３次元ビート音又は他のタイプの周期音を使用して、上記の目的を達成する。３次元ビート音は、物理空間内の特定の１つの位置（又は複数の位置）から発しているものとしてユーザーにより知覚される任意のタイプの繰り返し音（クリック音など）である。図２の場合では、時点ｔ２において、システム１０２は、ユーザーの移動方向に沿ってユーザーの左側から発しているように聞こえる３次元ビート音を配信する。これは、ユーザーに、（ａ）ユーザーが最適ではない方向に向かっていること、及び（ｂ）ユーザーがより望ましい軌道を実現するには、わずかに左に向きを変えればよいことを勧めることになる。
システム１０２は、他の効果を実現するためにビート音を調整することができる。例えば、システム１０２は、ユーザーが現在最適ではない方向に向かっている程度に応じて、ビート音の音調及び／又は周期及び／又は音量（及び／又は他の何らかの側面）を変更することができる。ユーザーは、ビート音を、自分が誤った方向に向かっている程度のインジケーションとして解釈する。
ここまでの説明は、ユーザーの経路に沿った適切な局面においてユーザーに情報を自動的に配信するシステム１０２の能力を主として強調した。この動作モードでは、環境とのユーザーの遭遇は、例えば上述の異なるタイプのＩＯＩの形態での情報の配信をトリガーするイベントを構成し得る。さらに、任意の時点において、ユーザーは、スマートフォン又はヘッドセット１０８と手動でインタラクトして、自分の環境を手動で探索し、上述のＩＯＩのいずれかに関する情報を取得することができる。例えば、インタラクションの第１のやり方において、ユーザーは、旅程に沿った任意の所与の時点においてスマートフォンのタッチ検知表面をタップすることができる。シングルタップに応答して、システム１０２は、ユーザーの現在のコンテキストに関する最上位レベルの情報をアナウンスする。例えば、時点ｔ１において、システムは、シングルタップに応答して、旅程ＩＯＩであると考えられ得るウェイポイントｗ２にユーザーが向かっているとアナウンスすることができる。システム１０２は、ダブルタップに応答して、現在のコンテキストに関するより詳細な情報を提供する。システム１０２は、トリプルタップに応答して、ユーザーが、例えばコンテキストに関する追加の情報を取得するためにスマートフォンとインタラクトし、現在のコンテキストに関連する様々な機能を呼び出すことを可能にする指示を提供する。
別の特徴として、任意の局面において、ユーザーは、スマートフォンとインタラクトして、所与の時点においてユーザーに関連する１つ以上のメニューをアクティブ化することができる。例えば、時点ｔ１において、ユーザーは、スマートフォンの表面上でタップアンドホールドジェスチャーを実行することができる。これに応答して、システム１０２は、ユーザーの現在のコンテキストに関連付けられているメニューをアクティブ化することができる。ユーザーは、次いで、スマートフォンとインタラクトして、即座に提示されるメニューを探索する又は任意の他のメニューにナビゲートすることができる。
より詳細には、セクションＣにおいて以下で詳細に説明されるように、システム１０２は、ワークスペースのセットを介してアクセス可能であるメニューの集合を表現することができる。各ワークスペースは、各他のワークスペースに対する固定された位置的関係を有する。ユーザーは、適切なワークスペース及び関連付けられているメニューにナビゲートすることによって、所望の情報及び／又は機能にアクセスすることができる。
１つの特徴に従うと、ユーザーは、上記のスクリーンインタラクションタスクの全てを、片手で、例えばスマートフォンを保持している手の親指を用いて、実行することができる。システム１０２はまた、ユーザーがスマートフォンのタッチ検知表面とインタラクトするときに、可聴フィードバックキュー及び／又は触覚フィードバックキューを提供することができる。集合的に、これらの特徴の全ては、ユーザーがシステム１０２とインタラクトしている間に自分の注意を環境から逸らす必要がある程度を低減させる。例えば、ユーザーは、スマートフォンとインタラクトしながら、自分が歩いている道路上に自分の目を維持することができる。視力障害を有する人も、上記で概説した非視覚的な特性により、システム１０２と上手くインタラクトすることができる。
サブセクションＣ．３において説明されるように、ユーザーは、音声命令を介してシステム１０２と手動でインタラクトすることもできる。追加的又は代替的に、ユーザーは、ヘッドセット１０８によって提供される入力機構（セクションＢにおいて説明される）を介してシステム１０２と手動でインタラクトしてもよい。システム１０２は、ユーザーがシステム１０２と手動でインタラクトできるようにするさらに他の機構を提供することもできる。
ユーザーはまた、自分の周辺の環境を探索する際に使用する特別なモードを呼び出すことができる。例えば、探索モードをアクティブ化したことに応答して、システム１０２は、ユーザーの注意の現在の焦点を判定することができる。ユーザーの注意の現在の焦点は、ユーザーが現在時点において見ていると推定される方向に対応し得る（この方向は、１つ以上の向き判定機構に基づいて判定され得る）。システム１０２は、次いで、ユーザーの注意の方向の周りに形成される部分空間によって包含される（又は他の形でその部分空間に関連付けられている）コンテキストＩＯＩを判定することができる。システム１０２は、次いで、例えば、３次元音を使用してこれらのコンテキストＩＯＩをアナウンスすることによって、且つ／又は、ユーザーのスマートフォン上での提示のために視覚的メッセージを送信することによって、これらのコンテキストＩＯＩを把握させることができる。
これらのコンテキストＩＯＩの一部は、部分空間内にそれぞれの現実位置を有する、環境内の現実オブジェクトに関連することがある。これらのＩＯＩは、主に、物理空間内におけるこれらの物理的エンティティーの位置を特定又はマークする役割を果たす。他のコンテキストＩＯＩは、（ユーザーの現在のコンテキストを所与として）それらが部分空間に関連しているが、その部分空間内のオブジェクトを直接的に説明するわけではない可能性があるという点で、仮想的な性質であり得る。換言すれば、これらの他のコンテキストＩＯＩは、物理的エンティティーの位置を特定する情報及び／又はエクスペリエンスを超えて、ユーザーの現在のコンテキストに関連する情報及び／又はエクスペリエンスを伝達する。
一例を挙げると、「仮想」タイプのコンテキストＩＯＩは、ユーザーが兵舎に接近するときの、「我々の戦没者を追悼しましょう」というメッセージに対応することがある。このメッセージは、兵舎に関連するが、このメッセージを、正確に言っても、兵舎の位置を単純にマークすることはできない。このメッセージの意図は、ユーザーが兵舎に接近するときにユーザーのエクスペリエンスを豊かにするための精神的な連帯感を生み出すことである。代替的に、この状況におけるコンテキストＩＯＩは、（ユーザーによって以前に指定され、システム１０２にロードされた、）ユーザーにとって特定の意味を持つ、歌、又は、感銘を与えるスピーチ若しくは個人的メッセージからの抜粋に対応することがある。
同じことが、（コンテキストＩＯＩ以外の）他のタイプのＩＯＩにも当てはまる。すなわち、いくつかのＩＯＩは、主としてラベル付けタグとして機能するのに対し、他のＩＯＩは、認知的な連想、記憶、感情などを刺激するように意図されている。ＩＯＩの後者のグループは、それらが、環境内のイベント及びオブジェクトの表面レベルの転写（transcription）ではない、連想、体験、意味などの領域に関連するという意味で、本明細書では「仮想（的）」と呼ばれる。このようなＩＯＩは、代わりに、推論的ＩＯＩ、示唆的ＩＯＩ、関係性ＩＯＩなどと呼ばれることもある。
別の特徴に従うと、オリエンテーションモードをアクティブ化したことに応答して、システム１０２は、ユーザーの周りの完全３６０度走査を実行して、ユーザーからの規定の距離に関連付けられている全ての関心項目を特定することができる。システム１０２は、この３６０度走査を垂直次元における連続したレベルについて実行して、例えばモールコンプレックス（mall complex）などの異なるレベルで提供されている店舗を判定することができる。ユーザーは、例えば特定されるＩＯＩのタイプ及びＩＯＩの存在について探索される空間の寸法などを変更することによって、上述した任意の方法で、探索モード及びオリエンテーションモードの挙動をカスタマイズすることができる。さらに、ユーザーは、システム１０２とインタラクトして、システム１０２がＩＯＩを読み上げる方法を制御することができる。
次に、時点ｔ３において、ユーザーが、計画されたルート２０２から離れて、例えばサンドイッチを購入するために店舗２０４を訪れることを自発的に決定したと仮定する。店舗にいるときには、この時点におけるユーザーのコンテキスト（ｃ３）は、店舗環境に関連する。したがって、システム１０２は、上述したのと同じ機能を実行することができるが、この場合には、店舗の室内環境のコンテキストにおいて上記機能を実行する。例えば、システム１０２は、ユーザーが店舗２０４の通路を移動するときに自動的にコンテキストＩＯＩを判定し、これらのコンテキストＩＯＩをユーザーにアナウンスすることができる。例えば、店舗２０４の乳製品コーナーに接近すると、ユーザーは、「牛乳、チーズ、及びヨーグルト、２０フィート前方」と読み上げるメッセージを受け取ることができる。システム１０２は、ユーザーの関心を引く可能性がある商品にユーザーが近づくにつれて、次第に詳細になっていく情報を送信することができる。ここでも、例えば、多くのスープに高い塩分が存在することをユーザーにアラートする、スープコーナーにおいて配信されるメッセージの場合のように、コンテキストＩＯＩの一部は、店舗内の物理的オブジェクトとはそれほど直接的な対応を有していないことがある。
ユーザーはまた、任意の方法で、店舗環境内でシステム１０２と手動でインタラクトすることができる。例えば、ユーザーは、異なる製品に関連付けられている異なるメニューを手動で探索することができる。ユーザーはまた、スマートフォンを使用して、商品を購入する、商品を調査するなどの、店舗環境内で様々なトランザクションを実行することができる。
いくつかの実施形態において、システム１０２は、ユーザーが、店舗２０４内の異なる位置に（予め）配置されているビーコンのセットのうちの１つのビーコンのレンジ内にいるかどうかを判定することによって、店舗２０４内のユーザーの位置を判定することができる。セクションＥにおいて説明されるように、ビーコンは、重なり合わないレンジを有することができる。
店舗２０４を出ると、システム１０２は、ユーザーを計画されたルート２０２に再度導く、ユーザーの旅程を再計算することができる。例えば、システム１０２は、ユーザーがシャトル乗り場に関連付けられているウェイポイントｗ４に到達することを可能にする指示をユーザーに提供することができる。このウェイポイントに到達すると、システム１０２は、次いで、ユーザーのシャトル２０８の予想到着時間をアナウンスすることなどによって、この局面においてユーザーに関連する情報を配信することができる。この情報は、１つ以上の旅程ＩＯＩとして配信され得る。
システム１０２は、ユーザーがシャトル２０８に乗って移動している間、ユーザーにサービスを提供し続けることができる。例えば、システム１０２は、最終目的地、すなわちウェイポイントｗ５（ユーザーの医者の医院）への予想到着時間をユーザーに通知することができる。システム１０２は、ユーザーが乗って移動している公共輸送機関（又は私的輸送機関）の性質に応じて、ユーザーにとって有用であり得る他のメッセージを提供することもできる。例えば、バスに乗って最終目的地に接近しているときには、システム１０２は、ユーザーがバスを降りたときに遭遇すると予想される高い縁石の存在をユーザーにアラートすることができる。さらに、システム１０２は、ユーザーの許可があれば、支援を必要としている人が次のバス停で降りることをバスの運転手にアラートすることができる。
要約すると、ユーザーの旅行の全体を通じて、ユーザーは、多くの情報を、例えば発話メッセージ、他の音（３次元音及び非３次元音）などの形態といった可聴形態で受け取ることができる。システム１０２は、様々な技術を使用して、この情報の提示を管理することができ、その一部は、既に上記で言及されている（配信される情報の量を低減又は増大させる能力など）。この特徴は、ユーザーに多すぎる情報を与えることなく、ユーザーが最も関連する情報をタイムリーに受け取ることを可能にする。
例えば、システム１０２は、１つの音の配信が別の音の配信と干渉する可能性がある状況に対処するために、様々なルールに従って、旅行中に音を再生することができる。１つの例示的なルールに従うと、システム１０２は、連続ループでビート音を再生して、例えば歩行しているときにユーザーを所望の方向に誘導する。ただし、システム１０２は、任意の他の音が再生されているときには、一時的にこの音を無効にすることができる（又は、この音の音量を、この音の通常状態と比較して下げることができる）。このことは、ユーザーが、低優先順位の音と考えられるビート音との干渉なく、他の音を聞くことを可能にする。
別の例示的なルールに従うと、システム１０２は、どのメニュー又はコンテキストがユーザーに提示されるかを変更するフリックジェスチャーなどのインターフェイス関連イベントを表す音を無条件で再生することができる。ユーザーに多すぎるオーディオ情報を与えすぎないように、これらのタイプの音は、短く且つ独特であるように設計され得る。ユーザーは、システム１０２とのユーザーのインタラクションを一時的に中断することによって、少なくともある程度まで、これらのタイプのキューの再生を制御することができる（これは、ユーザーが能動的にシステム１０２とインタラクトしていない場合には、インタラクションキューが生成されないからである）。
さらなる例示的なルールに従うと、システム１０２は、ワーニング音（例えばワーニングＩＯＩ用のもの）に最高優先順位レベルを割り当て、その次に高い優先順位レベルを旅程情報（例えば旅程ＩＯＩ用のもの）に割り当て、その次に高い優先順位レベルをコンテキスト情報（例えば任意のタイプのコンテキストＩＯＩ用のもの）に割り当てることによって、ナビゲーション音に優先順位を付けることができる。いくつかの場合において、システム１０２は、例えばより重要な情報が再生されているなどの理由で、情報の配信を遅延させることになる。さらに、いくつかの場合において、遅延されたメッセージは、システム１０２がそのメッセージを提示できるようになるまでに、（例えばその情報がもはや関連していない新たなコンテキストにユーザーが移動したために）関連しないものになる。その場合には、システムは、その情報を提示することを控えることができる。
要するに、上述のシナリオは、システム１０２の有利な技術的効果のうちの一部を強調するのにも有用である。一般に、システム１０２は、任意のユーザーが、異なるが関連する目的に供するガイダンスを受け取ることを可能にする。第１に、システム１０２は、ユーザーの旅程に沿った任意の所与の時点において最も有用な情報をユーザーに与えようと試みることによって、ユーザーが自分の環境内をより効果的にナビゲートできるようにする又は他の目的を達成できるようにする。第２に、システム１０２は、ナビゲーション支援を提供することを超えて、環境のユーザーのエクスペリエンスを豊かにし、ユーザーが、システム１０２を使用しなければすぐにはユーザーに明らかにならない可能性がある環境に関する新たな情報を学習できるようにする。この点で、システム１０２は、ユーザーが、比喩的に環境を掘り下げて調べて、環境１０２に関連する以前には隠れていた側面及び関連性を理解できるようにする。第３に、システム１０２は、ユーザーの気の散らしを最小限にするやり方で、この有用な情報をユーザーに提供しようと試みる。この第３の目的は、例えば、ユーザーが、「現実世界」とインタラクトするためにユーザーが使用しているツールではなく、「現実世界」とのユーザーのインタラクションに主に集中し続けることができるようにすることによって、より楽しく有用なエクスペリエンスをユーザーに提供するのに有用である。逆に言えば、この第３の目的は、ユーザーがかなりの注意を向けると予想される煩雑で複雑なツールとインタラクトすることをユーザーに求めることによって生じる可能性がある不安を低減させようと試みるものである。第３の目的はまた、ユーザーが、任意の所与の時点においてユーザーに多すぎる情報が与えられることなく、安全な方法で効率的且つ迅速に所望の情報にアクセスできるようにする。
いくつかの技術的特徴が、上記で概説した目的、特に第３の目的に寄与する。これらの特徴は、ａ）片手によるインタラクションエクスペリエンスの使用、ｂ）位置に依存しない方法によりタッチ検知表面上で実行され得るジェスチャーに対応するユーザーフレンドリーなメニュー構造の使用（後述）、ｃ）「安全な」ホームワークスペースへのアクセスを提供するユーザーフレンドリーで学習しやすいワークスペース構造の使用（後述）、ｄ）（例えばヘッドセット１０８、ユーザーデバイス１０６、音声認識などを介して）コマンドを入力するための複数の機構の使用、ｅ）旅行へのユーザーの集中を過度に混乱させることなく情報を伝達するためのオーディオ情報及び／又は触覚キューの使用、及びｆ）複雑な指示をユーザーに殺到させることなくユーザーを所望の方向に誘導するのを助けるための又はＩＯＩの位置をユーザーにアラートするための３次元音及び非３次元音の使用などを含むが、これらに限定されるものではない。
上記の利点は、システム１０２のいかなるユーザーにも当てはまる。システム１０２は、旅行する能力を損なわせる任意の種類の条件を有する人によっても、上手く使用され得る。これらのユーザーは、視力を部分的又は完全に喪失しているユーザー、認知障害又は他の心理的障害を有するユーザー、移動に関するハンディキャップを有するユーザーなどを含み得る。これらのユーザーに対して、システム１０２は、仮想盲導犬として動作して、その時点におけるユーザーの目的が何であれ、ユーザーの旅行の各段階において安全にユーザーを支援する又は他の形でユーザーが自分の環境とインタラクトするのを支援する。これらのユーザーに対して、上記で概説した一般的な利点に加えて、システム１０２は、ユーザーがそうでなければ利用できないであろう情報及びガイダンスにユーザーがアクセスすることを可能にし、それにより、これらのユーザーの移動性、自信、及び一般的な生活の質を向上させる可能性がある。
次に図３に進むと、この図は、図１のシステム１０２を実装するために使用され得るコンピューティング機能のハイレベルな概要を示している。図３の機能は、デバイスに依存しない形で示されている。実際の実施形態において、この機能は、例えば、図１において紹介されたコンポーネントのいずれか又はこれらのコンポーネントの任意の組合せに割り当てられ得る。例えば、図３は、この機能が空間インタラクション（ＳＩ）モジュール３０２を含むことを示している。ＳＩモジュール３０２は、図２のシナリオに関連して説明された機能の全て（又はほとんど）を実行する。ＳＩモジュール３０２のいくつかの部分は、ユーザーデバイス１０６によって実装されることがあるのに対し、ＳＩモジュール３０２の他の部分は、ヘッドセット１０８上に配置される処理コンポーネントによって実装されることがある。追加的又は代替的に、ＳＩモジュール３０２のいくつかの部分は、リモート処理リソース１１２によって実行されてもよい。
ＳＩモジュール３０２は、入力機構３０４の任意の組合せから入力情報を受信することができ、任意の出力機構３０６上に提示するためにその出力情報を提供することができる。例えば、入力機構３０４は、１つ以上の向き判定機構３０８、１つ以上の動き判定機構３１０、及び／又は１つ以上の位置判定機構３１２などを含み得る。
１つ以上の向き判定機構３０８は、１つ以上の向き判定機構３０８を組み込んでいるデバイスの向きを判定する。例えば、ユーザーデバイス１０６に収容されている場合には、１つ以上の向き判定機構３０８は、このユーザーデバイス１０６の３次元向きを判定する。ヘッドセット１０８に収容されている場合には、１つ以上の向き判定機構は、ヘッドセット１０８の３次元向きを判定する。より一般的に言えば、１つ以上の向き判定機構３０８は、ユーザーが自分のスマートフォンを向けている方向又は（ヘッドセット１０８が配置されている）自分の頭部を回す方向を判定することができる。１つ以上の動き判定機構３１０は、１つ以上の動き判定機構３１０を組み込んでいるデバイスの動きの性質及び程度を判定する。１つ以上の位置判定機構３１２は、１つ以上の位置判定機構３１２を組み込んでいるデバイスの絶対位置及び／又は相対位置を判定する。
これらの機構（３０８、３１０、３１２）は、センサーの任意の組合せを使用して実装され得る。このようなセンサーは、磁力計、加速度計、ジャイロスコープセンサー、重力センサー、トルクセンサー、歪みゲージ、曲げセンサー、光学式エンコーダー機構などを含むが、これらに限定されるものではない。さらに、これらの機構（３０８、３１０、３１２）の一部は、外部システム又は外部ソースから信号を受信することができる。例えば、機構（３０８、３１０、３１２）は、衛星航法システム（例えば全地球測位システム（ＧＰＳ）システム）から受信された信号に基づいてデバイスの位置を判定するセンサーを含み得る。追加的又は代替的に、機構（３０８、３１０、３１２）は、複数の無線タワー及び／又は局在的な指向性アンテナなどから受信された信号などの、複数の外部ソースから受信された信号に基づいて三角測位及び／又は他の処理を実行することによってデバイスの位置を判定する機能を含んでもよい。追加的又は代替的に、機構（３０８、３１０、３１２）は、推測航法技術を使用してデバイスの位置を判定する機能を含んでもよい。追加的又は代替的に、機構（３０８、３１０、３１２）は、ローカルビーコン（例えばＷｉ−Ｆｉ（登録商標）ビーコン及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）ビーコンなど）などからの情報を処理することによってデバイスの位置を判定する機能を含んでもよい。
入力機構３０４はまた、手動入力機構３１４の任意の組合せを含み得る。これらの機構は、キー入力機構、タッチ検知入力機構（例えばタッチ検知スクリーン３１４’）、ジョイスティック、（例えば音声命令を受信する）マイクロフォン、ビデオカメラ、及び／又は（例えば自由空間ジェスチャーを受け取る）デプスカメラなどのうちの任意のものを含み得る。例えば、図１の場合において、ユーザーデバイス１０６は、ユーザーとインタラクトする主要な手段として、タッチ検知ディスプレイスクリーンを使用することができる。例えば、限定されるわけではないが、タッチ検知ディスプレイスクリーンは、ユーザーがスクリーンにいつタッチしたか及び／又はユーザーがスクリーンの上方でいつホバリングしたかを判定する静電容量式タッチスクリーン機構を組み込むことができる。ユーザーデバイス１０６はまた、カメラ、マイクロフォンなども含み得る。ヘッドセット１０８は、（次のセクションにおいてより詳細に説明されるように、）例えばヘッドセット１０８の側面にボタンとして実装される１つ以上の専用入力機構とともに、（音声命令を受信する）マイクロフォンを含み得る。
出力機構３０６は、１つ以上のオーディオ出力機構３１６、１つ以上の表示出力機構３１８、１つ以上の触覚出力機構３２０などを組み込むことができる。例えば、１つ以上のオーディオ出力機構３１６は、任意のタイプの従来のスピーカーに対応し得る。追加的又は代替的に、１つ以上のオーディオ出力機構３１６は、米国ニューヨーク州シラキュースのＡＦＴＥＲＳＨＯＫＺ社製の骨伝導トランスデューサーなどの骨伝導オーディオデバイス（例えばヘッドセット１０８によって提供される）を組み込んでもよい。１つ以上の表示出力機構３１８は、例えば、ＬＣＤ型ディスプレイ（例えばユーザーデバイス１０６によって提供される）に対応し得る。１つ以上の触覚出力機構３２０は、例えば、振動生成機構（例えばユーザーデバイス１０６及び／又はヘッドセット１０８などによって提供される）に対応し得る。振動生成機構は、回転するオフバランスウェイトを使用して、且つ／又は、１つ以上の何らかの他の機構によって、振動効果を実現することができる。
ＳＩモジュール３０２は、ＳＩモジュール３０２自体の外部にあると考えられ得るリモート機能３２２とインタラクトすることもできる。例えば、ＳＩモジュール３０２は、検索を行うために、検索エンジン３２４とインタラクトすることができる。例えば、検索エンジン３２４は、米国ワシントン州レッドモンドのＭＩＣＲＯＳＯＦＴ（登録商標）社によって提供されるＢＩＮＧ検索エンジンに対応し得る。追加的又は代替的に、ＳＩモジュール３０２は、新たな旅程を生成し且つ／又は既存の旅程を変更するために、旅程計算エンジン３２６とインタラクトしてもよい。追加的又は代替的に、ＳＩモジュール３０２は、ユーザーによってなされた発話命令を解釈するために音声処理エンジン３２８とインタラクトしてもよい。例えば、音声処理エンジン３２８は、米国ワシントン州レッドモンドのＭＩＣＲＯＳＯＦＴ（登録商標）社によって提供されるＣＯＲＴＡＮＡシステムに対応し得る。他の場合において、リモート機能３２２の１以上の態様は、ネイティブリソースとしてＳＩモジュール３０２に組み込まれることもある。
さらに、ＳＩモジュール３０２は、１つ以上のデータ記憶部３３０内に提供されている任意の外部情報とインタラクトすることができる。例えば、外部情報は、パブリックにアクセス可能な地図情報、輸送スケジュール情報、アラート情報、ビジネス用及び個人用の住所録情報、ソーシャルネットワーク情報、カレンダー情報などを提供することができる。いくつかの場合において、ＳＩモジュール３０２は、外部ソース（例えば外部ウェブサイト）によって提供されたアプリケーションプログラミングインターフェイス（ＡＰＩ）を使用して、それらの外部ソースとインタラクトすることもできる。
次に図４を参照すると、この図は、上記で紹介されたＳＩモジュール３０２の１つの実施形態を示している。ハイレベルな視点から見ると、ＳＩモジュール３０２は、異なるそれぞれの機能を実行する複数のサブコンポーネントを含み得る（又はそれらを含むものとして概念化され得る）。さらに、一部のサブコンポーネントは、他のサブコンポーネントによって生成された結果に依拠することがある。アプリケーションインターフェイスモジュール（ＡＩＭ）４０２は、ユーザーが、サブコンポーネントのいずれともインタラクトすることを可能にする。例えば、アプリケーションインターフェイスモジュール４０２は、サブコンポーネントによって提供される様々な機能を公開するメニュー機能を提供することができる。
サブコンポーネントを上から下に向かって大まかに参照すると、ＳＩモジュール３０２は、ＳＩモジュール３０２が自身の機能を実行する際にＳＩモジュール３０２によって使用され得る情報を記憶する様々なデータ記憶部を含み得る。例えば、データ記憶部４０４は、１つ以上の旅程を規定する情報を記憶することができる。例えば、旅程情報は、旅行中のウェイポイント及び／又は旅行に関する任意の他の情報を表すことができる。データ記憶部４０６は、検索エンジンによって提供された検索結果を記憶することができる。これらの結果は、ユーザーの命令があったとき、旅行の途中で又は空間とのユーザーのより一般的なインタラクション中に、生成され得る。データ記憶部４０８は、ＳＩモジュール３０２とのユーザーのインタラクションとの過程でユーザーによって生成されたタブの履歴を記憶することができる。タブは、一般に、メニュー若しくは他の情報項目、及び／又は機能、及び／又はオプションへのブックマークに対応する。ユーザーは、自分がそのメニュー若しくは他の情報項目、及び／又は機能、及び／又はオプションを訪れたときにタブを作成することができる。１つの実施形態において、データ記憶部４０８は、最初には、ユーザーが旅行に出たがまだシステム１０２とインタラクトするのを開始していないときには、タブを含まない。システム１０２は、例えばタブのリスト、タブのラジアルメニューなど、タブの集合を表現する任意の方式を使用することができる。
ＳＩモジュール３０２は、任意のタイプのサポートサービスを実行する様々なサポートモジュール４１０を提供することもできる。例えば、設定モジュールは、ユーザーが、システム１０２の動作に影響を及ぼす任意のパラメーターに値を割り当てることを可能にし得る。データ記憶部４１２は、このような全ての設定を記憶することができる。サポートモジュール４１０はまた、外部検索エンジンとインタラクトして検索結果を提供するポータルを含み得る。あるいは、サポートモジュール４１０は、ネイティブに提供される検索エンジンを含んでもよい。
音生成モジュール４１４は、音の生成に関する様々な動作を実行する。例えば、音生成モジュール４１４は、様々なトリガー状況に遭遇したときに、特定の音を再生することができる。いくつかのトリガー状況は、ユーザーがアプリケーションインターフェイスモジュール４０２とインタラクトしているときに行ったアクションに対応する。他のトリガー状況は、システム１０２とのユーザーのインタラクションによって直接引き起こされるわけではない、システム１０２の状態の変化に対応する。他のトリガー状況は、旅行の途中で発生するイベント（又は、より一般的には、空間とのユーザーのインタラクション）などに対応する。データ記憶部４１６は、再生されたときに所望の音を生成するファイルを記憶することができる。サブセクションＣ．２（以下）は、生成され得る異なるタイプの音及びそれらの音が再生される状況に関する追加の情報を提供する。
いくつかの音は、非３次元的又は非空間的な性質である。さらに、音生成モジュール４１４は、３次元オーディオ情報を生成することができる。上述のように、オーディオ情報は、３次元の物理環境又は仮想環境内の１つ以上の位置から発しているものとしてこの情報をユーザーが知覚することになるという意味で、３次元的である。音生成モジュール４１４は、１つ以上の頭部伝達関数（ＨＲＴＦ）を使用してオリジナルの音情報を変換することによって、これらの音を生成することができる。
同様に、触覚キュー生成モジュール４１８は、異なるトリガー状況において、異なるタイプの触覚フィードバックエクスペリエンスを生成することができる。１つの場合において、触覚キュー生成モジュール４１８は、例えば、ユーザーデバイス１０６、ヘッドセット１０８、及び／又は何らかの他のデバイスに配信されたときに振動キューをもたらす信号を生成する。
経路ガイダンスモジュール４２０は、音生成モジュール４１４を使用して、上述の３次元周期音（例えばビート音）を生成する。この周期音の目的は、ユーザーを特定の方向にガイドすることである。経路ガイダンスモジュール４２０は、ユーザーの現在の実際の向き、所望の向き、及び実際の向きと所望の向きとの間の差（ずれ情報に対応する）を判定することによって、この効果を生成する。次いで、経路ガイダンスモジュール４２０は、音生成モジュール４１４を使用して、特定の方向から発生しているものとしてユーザーにより知覚される適切なループ音を生成する。すなわち、音生成モジュール４１４は、経路ガイダンスモジュール４２０により音生成モジュール４１４に提供されたずれ情報に基づいて、ループ音を生成する。ユーザーは、この音に応答して、所望の方向に移動することができる。別の場合において、ビート音は、物理空間内の一連の位置にわたって移動しているものとして知覚され得る。ユーザーは、このエクスペリエンスを、その移動している音の方向に移動せよという指示として解釈することができる。
ビーコンベースのガイダンスモジュール４２２は、１つの例示的な実施形態ではそれぞれの重なり合わないレンジを有するビーコンの集合から発する信号を検出することによって室内空間及び／又は屋外空間内をナビゲートする際の支援をユーザーに提供する。セクションＥは、ビーコンベースのガイダンスモジュール４２２の動作に関する追加の情報を提供する。ビーコンベースのガイダンスモジュール４２２は、データ記憶部４２４内に提供されているビーコン情報を参照することができる。ビーコン情報は、環境内に配置されているビーコンに関連付けられている符号、及び環境内におけるそれらビーコンのそれぞれの位置を表すことができる。
関連情報判定（ＲＩＤ）モジュール４２６は、任意の所与の時点においてユーザーに提示される関連情報を判定する一般機能を実行する。図２の説明のコンテキストにおいて、ＲＩＤモジュール４２６は、ユーザーの現在のコンテキストに関連する異なるタイプの情報項目（ＩＯＩ）を判定する。このタスクを実行するために、ＲＩＤモジュール４２６は、現在時点におけるユーザーのコンテキストを規定する様々なコンテキスト入力を受信する。これらのコンテキスト入力は、ユーザーの現在位置、ユーザーの現在の向き、ユーザーの現在の目的などを表し得る。コンテキスト入力は、物理環境及び仮想環境の両方の環境に関連付けられているオブジェクト及びイベントなど、環境自体を表すこともある。任意のこのような入力は、地図情報、住所録情報、ソーシャルネットワーク情報、カレンダー情報などから取り出され得る。コンテキスト入力は、任意の１つ以上のソースから取得される、公共輸送情報、気象情報など、空間とのユーザーのインタラクションに影響を及ぼす環境的ファクターを表すこともある。
ＲＩＤモジュール４２６は、現在時点におけるコンテキスト入力と、（データ記憶部４２８内に提供されている）様々なルールと、に基づいて、所与の時点において何らかの情報をユーザーに通知することが適切であるかどうかを判定することによって動作する。ＲＩＤモジュール４２６の挙動は、ユーザーによって設定されデータ記憶部４１２に記憶されている１つ以上のパラメーターによって規定され得る。例えば、ＲＩＤモジュール４２６は、ユーザーによって規定されたデプス範囲に基づいて、現在時点においてユーザーの近傍に何らかのコンテキストＩＯＩが存在するかどうかを判定することができる。このようなコンテキストＩＯＩが存在する場合には、ＲＩＤモジュール４２６は、これらのコンテキストＩＯＩをユーザーに通知するために、音生成モジュール４１４、及び／又は、アプリケーションインターフェイスモジュール４０２によって提供されるメニュー機能、とインタラクトすることができる。
探索モジュール４３０及びオリエンテーションモジュール４３２は、ユーザーによってオンデマンドで呼び出され得るそれぞれのサービスを実行する。図２のシナリオを参照して説明されたように、探索モジュール４３０は、（ユーザーの頭部の位置と、調査のデプスを規定する設定パラメーター及び探索空間の範囲を表す設定パラメーターと、によって判定され得る）ユーザーの前方にある部分空間に関連付けられている任意のコンテキストＩＯＩを判定する。このタスクを実行するために、探索モジュール４３０は、ＲＩＤモジュール４２６のサービスを使用する。探索モジュール４３０は、次いで、３次元音、表示メッセージなどを使用して、コンテキストＩＯＩをユーザーに通知する。オリエンテーションモジュール４３２は、探索モジュール４３０に類似するタスクを実行する。ただし、ユーザーの前方に突き出る部分空間に関連付けられているＩＯＩを調査する代わりに、オリエンテーションモジュール４３２は、現在時点におけるユーザーの周りに存在する３次元空間全体を走査することができる。
図５は、アプリケーションインターフェイスモジュール（ＡＩＭ）４０２の１つの実施形態を示している。上述のように、アプリケーションインターフェイスモジュール４０２は、一般に、ユーザーが、図４を参照して上述した様々なサブコンポーネントとインタラクトすることを可能にするインターフェイスを提供する。
アプリケーションインターフェイスモジュール４０２は、ユーザーの入力を解釈して、例えばユーザーが行っている命令の性質を判定する様々なコンポーネントを含み得る。例えば、ジェスチャー解釈モジュール５０２は、ユーザーがユーザーデバイス１０６のタッチ検知スクリーンとインタラクトすることによって行ったジェスチャー又は自由空間ジェスチャーなどを判定することができる。ジェスチャー解釈モジュール５０２は、ユーザーによって行われたマーク、タッチ、若しくはホバリング（、又は他の挙動）を、既知のジェスチャーに関連付けられているパターンを特定するデータ記憶部と比較することによって、このタスクを実行することができる。ユーザーの挙動が、定められた照合信頼度をもって、特定のジェスチャーに関連付けられているパターンと一致した場合、ジェスチャー解釈モジュール５０２は、ユーザーがそのジェスチャーを行ったと結論づけることができる。
音声解釈モジュール５０４は、例えばユーザーデバイス１０６及び／又はヘッドセット１０８上のマイクロフォンを介して受信され得る、ユーザーによる発話命令を解釈することができる。１つの場合において、音声解釈モジュール５０４は、リモートの音声処理エンジン３２８（例えばＣＯＲＴＡＮＡシステム）へのポータルに対応し得る。別の場合において、音声解釈モジュール５０４は、発話を解釈する任意のタイプのネイティブ機能に対応し得る。いずれにしても、音声認識を実行するエージェントは、隠れマルコフモデルに基づく技術、ニューラルネットワークに基づく技術などの任意の技術を使用して、このタスクを実行することができる。
ヘッドセットボタン解釈モジュール５０６は、ユーザーがヘッドセット１０８の入力機構とインタラクトしたやり方（後述）を解釈する。例えば、いくつかの場合において、ボタンのセットは、例えばユーザーがボタンにタッチしただけでボタンを押圧してはいないかどうかに応じて、若しくは、ユーザーがボタンに１回以上タッチしてボタンから離したかどうかに基づいて、又は、ユーザーがボタンを押圧したままであるかどうかに基づいてなど、ユーザーがボタンのセットとインタラクトしたやり方に応じて、異なる機能を実行することができる。ヘッドセットボタン解釈モジュール５０６は、ユーザーの挙動を特定の命令にマッピングする。
アクション実行モジュール５０８は、上述の解釈モジュール（５０２、５０４、５０６）によって提供された解釈に基づいてアクションを呼び出すことができる。例えば、解釈に応答して、アクション実行モジュール５０８は、メニューを呼び出すこと、メニューを閉じること、ワークスペース間を遷移させること（後述）、機能を実行すること、設定を保存すること、情報項目を提示することなどを行うことができる。
Ｂ．ユーザーとユーザーの環境との間のインタラクションを容易化する、ヘッドセット及びユーザーデバイスのオプション
図６は、図１のコンテキストにおいて上記で紹介されたヘッドセット１０８、ユーザーデバイス１０６、及び他のユーザーコンピューティングデバイス１１０に関する追加の詳細を示している。これらのデバイスの特徴は、本明細書では、限定ではなく例示を意図して提示されている。
最初にヘッドセット１０８について説明すると、このデバイスは、プラスチック及び／又は金属及び／又は任意の他の材料で構成されたフレーム６０２を提供することができる。フレーム６０２は、可撓性にすることができ、横方向内向きにユーザーの頭部に押し付ける、フレームの張力によって、且つ／又は何らかの他の固定機構によって、ユーザーの頭部に固定され得る。ヘッドセット１０８は、ユーザーの頭部の骨に振動を伝達するトランスデューサー（６０４、６０６）を含み、ユーザーの頭部の骨が、次いで、これらの振動をユーザーの鼓膜に伝達し、鼓膜において、これらの振動が、オーディオ情報として知覚される。骨伝導型ヘッドセットの使用は、ヘッドセット１０８がユーザーの外耳道を閉塞することを防止し、それにより、ユーザーが環境内の他の音に対して安全に応答することを可能にする。しかしながら、代替的に、ヘッドセット１０８は、ユーザーの耳の上又は近傍に配置される従来のスピーカーを含んでもよい。
ヘッドセット１０８はまた、任意的に、そのフレーム上のいずれかの位置に入力機構６０８のセットを含んでもよい。ユーザーは、自分の片手６１０（又は両手）の１本以上の指で、入力機構６０８とインタラクトすることができる。代替的に、分離したデバイス（図示せず）が入力機構６０８を提供してもよく、この分離したデバイスが、無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）及び／又は有線通信を介してヘッドセット１０８と通信してもよい。図６は、入力機構６０８が３つのボタンを含むことを示しているが、より一般的には、入力機構６０８は、任意の数の機構を含んでよく、これらの入力機構は、フレーム上に任意の態様で配置されてよい。さらに、入力機構６０８は、ボタンに加えて、ホイール又はノブ機構、スライダー機構などの他のタイプの入力機構を含んでもよい。代替的又は追加的に、ヘッドセット１０８は、１つ以上のタッチ検知表面を組み込んでもよい。例えば、ヘッドセット１０８の異なる領域が、異なるタッチ検知機構を組み込むこともでき、これらの領域は、異なるそれぞれの機構に関連付けられ得る。
ヘッドセット１０８は、（以下で説明されるように）様々なタスクを実行する処理機構を含み得る。ヘッドセット１０８は、これらの処理機構を収容する区画６１２を含み得る。例えば、１つの場合において、区画６１２は、ヘッドセット１０８の背部に位置する。しかしながら、処理機構は、ヘッドセット１０８上の任意の１つの位置（又は複数の位置）に配置されてもよい。処理機構自体は、任意のタイプの１以上の処理デバイス、メモリなど、及び／又は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）などの専用ロジックコンポーネントを含み得る。
入力機構６０８は、アクティブ化されたときに、任意の動作を開始することができる。例えば、限定されるわけではないが、ユーザーは、入力機構６０８を使用して、（上述した）探索モード又はオリエンテーションモードを呼び出すようにＳＩモジュール３０２に命令することができる。追加的又は代替的に、所定のトピックのサマリー（例えばコンテキストＩＯＩの名称など）を聞いた後、ユーザーは、入力機構６０８を使用して、特定されたトピックに関する追加の情報を提供するようにＳＩモジュール３０２に命令することもできる。この命令は、「詳細情報」命令と呼ばれることもある。
追加的又は代替的に、ユーザーは、入力機構６０８を使用して、リスニングモードをアクティブ化するように又はリスニングモードを停止するようにＳＩモジュール３０２に命令することもできる。リスニングモードにおいて、音声解釈モジュール５０４は、ユーザーの音声を処理して、ユーザーが命令を話したかどうかを判定する。
追加的又は代替的に、ユーザーは、入力機構６０８を使用して、ＳＩモジュール３０２が提供した最も直近のオーディオメッセージを繰り返すようにＳＩモジュール３０２に命令することもできる。追加的又は代替的に、ユーザーは、入力機構６０８を使用して、以前に配信されたオーディオメッセージのセットを、例えば予め定められた数の以前のメッセージにわたって最も直近のメッセージから始めて時間的にメッセージを１つずつ遡ることによって繰り返すようにＳＩモジュール３０２に要求することもできる。このような命令は、「巻き戻し」命令と呼ばれることもある。
代替的又は追加的に、ユーザーは、入力機構６０８を使用して、３次元ビート音をオン又はオフにすることなどを行うこともできる。他の実施形態は、入力機構６０８を使用して、他の命令を発行すること及び／又は上記の命令のうちの１つ以上を省略することができる。
上記の機能又はその何らかのサブセットは、任意の方法で、任意の数のそれぞれのボタン及び／又は他の入力機構にマッピングされ得る。さらに、いくつかの実施形態において、システム１０２は、入力機構と該入力機構が呼び出す動作との間のマッピングをユーザーが規定することを可能にするカスタマイゼーションモジュールを含み得る。さらに、上述のように、同じボタンが、ユーザーがこのボタンとインタラクトしたやり方に応じて、２つ以上の機能を実行してもよい。１つの実施形態において、ＳＩモジュール３０２は、ユーザーがボタンにタッチしたがボタンを押圧してはいないときにそのボタンによって実行される機能をアナウンスすることができる。
別の特徴に従うと、ユーザーは、現在アクティブ状態である機能を、その機能をアクティブ化するために使用されたのと同じボタンを押圧することによって、非アクティブ化することができる。例えば、ユーザーは、ＳＩモジュール３０２に情報などを配信することを要求するために使用されたのと同じボタンを押圧することによって、ＳＩモジュール３０２がこの情報をアナウンスするのを停止させることができる。代替的又は追加的に、ヘッドセット１０８は、現在実行されている機能が何であれその機能を停止させる専用ボタンを組み込んでもよい。
ユーザーデバイス１０６は、スマートフォン又はタブレット型コンピューティングデバイスなどの上述したタイプのポータブルデバイスのうちのいずれに対応し得る。上述のように、ユーザーは、片手６１４を使用して（且つ／又は任意的に両手を使用して）ユーザーデバイス１０６とインタラクトすることができる。他のユーザーコンピューティングデバイス１１０は、ワークステーションコンピューティングデバイス、ゲームコンソール、セットトップボックスデバイスなどの任意のタイプの従来の固定型コンピューティングデバイスに対応し得る。
１つ以上の通信パス６１６は、ユーザーデバイス１０６をヘッドセット１０８に接続することができる。このような通信パスは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信パス、ハードワイヤード通信パス（例えばＵＳＢ通信パス）などに対応し得る。１つ以上の通信パス６１８は、他のユーザーコンピューティングデバイス１１０をユーザーデバイス１０６及び／又はヘッドセット１０８に接続することができる。上述のように、ユーザーが他のユーザーコンピューティングデバイス１１０とユーザーデバイス１０６及び／又はヘッドセット１０８との間に接続を確立したいと望み得る理由は、情報をそれらのデバイスにアップロードすることである。通信パス６１８は、例えば上述の任意のタイプの無線通信パス及び／又は有線通信パスを介して、任意の方法で実装され得る。
システム１０２の他の実施形態は、例えば図６に示される特定のタイプのヘッドセット１０８と比較して、異なるタイプのヘッドセットを使用することができる。例えば、別の実施形態において、ヘッドセットは、上記で特定された特徴（入力機構６０８を含む）のうちのいずれかを、例えば眼鏡（例えばゴーグル）、ヘルメットなどとして物理的に実装される任意のタイプのヘッドマウントディスプレイ（ＨＭＤ）デバイスとともに組み込むことができる。システム１０２は、ヘッドマウントディスプレイデバイスを使用して、任意のタイプの情報を表示することができる。例えば、システム１０２は、ヘッドマウントディスプレイデバイス又はその何らかのサブセットを介して、次のセクション（セクションＣ）において説明されるメニューのいずれか及び他の情報を表示することができる。別の場合において、システム１０２は、ユーザーがインタラクトする現実世界に関連付けられている情報と合成されたコンピューター生成情報を表示することによって、拡張現実エクスペリエンスを提供することができる。例えば、システム１０２は、ユーザーの視野内にある関連するオブジェクト及びイベントの位置的近傍に、説明タグを表示することができる。別の場合において、システム１０２は、ユーザーが推奨された方向に移動するのを支援する方向プロンプトなどを表示することができる。さらに、システム１０２は、例えば視力障害を有するユーザーに対して簡略化及び拡大された情報を表示することなどによって、特定のユーザーに影響を及ぼす可能性がある任意の視力障害に対応するように、表示される情報のタイプを変更することができる。
システム１０２は、例えば実際の環境のユーザーによる直接の視覚的知覚を「超える」コンピューター生成情報を表示する光学ミキサーを使用することによって（例えば部分反射ミラーなどを使用して）、任意の技術を使用して、拡張現実エクスペリエンスを実現することができる。別の実施形態において、システム１０２は、実際の環境をキャプチャーするためのビデオカメラを、ビデオカメラからのビデオ情報をコンピューター生成情報と合成する光学ミキサーとともに、使用することができる。いずれの場合も、システム１０２は、環境内のユーザーの位置を検出する１つ以上のデバイス、ユーザーの頭部の位置及び向きを検出する１つ以上のデバイス、及び／又はユーザーの注視の方向を検出する１つ以上のデバイスなどを使用して、ユーザーの推定される視野を判定することができる。
別の場合において、ヘッドセットの他に、又はヘッドセットに加えて、別のタイプのウェアダブルデバイスが、上記の機能のいずれかを実行してもよい。例えば、ウェアラブルデバイスは、手首装着型デバイス、衣料品などに対応し得る。
説明を簡単にするために、以下の記載では、ユーザーが図６に示される基本的なタイプのヘッドセット１０８とインタラクトすると仮定するが、繰り返しになるが、ヘッドセット１０８は、任意の数の上述した補足的な特徴（ヘッドマウントディスプレイなど）を組み込むことができる。さらに、ヘッドセットの代わりに、又はヘッドセットに加えて、別のタイプのウェアダブルデバイスが使用されてもよい。
図７は、図１のシステム１０２を実装する１つの態様を示している。この実装態様において、システム１０２は、ユーザーコンピューティングデバイス７０２（簡潔に「ユーザーデバイス」）及びヘッドセット７０４の両方を利用する。より詳細には、機能のうちの１つの割り当てに応じて、ユーザーデバイス７０２は、システム１０２の機能のほとんどを実施する。すなわち、ユーザーデバイス７０２は、ＳＩモジュール３０２と、任意の向き判定機構、動き判定機構、及び／又は位置判定機構７０８、任意のタッチ検知入力機構７１０、任意の触覚出力機構７１２、任意の表示出力機構７１４などを含む入力／出力機構７０６の集合と、を含む。これらの機構の例は、図３の説明に関連して上記で与えられている。ユーザーデバイス７０２は、電源７１６（例えばバッテリー）、及びヘッドセット７０４と通信するための１つ以上の通信機構７１８も含む。
一方、ヘッドセット７０４は、１つ以上のオーディオ出力機構７２０（骨伝導オーディオ機構など）、電源７２２（バッテリーなど）、及びユーザーデバイス７０２と通信するための１つ以上の通信機構７２４を含む。さらに、ヘッドセット７０４は、図６を参照して上述したタイプの入力機構７２６（例えば図６の入力機構６０８に対応する）のうちの任意のものを含み得る。通信機構７２４は、入力機構７２６によって呼び出された命令をユーザーデバイス７０２に送信することができる。ユーザーデバイス７０２は、オーディオ情報を、１つ以上のオーディオ出力機構７２０による提示のために、ヘッドセット７０４に送信することができる。
図８は、システム１０２を実装する別の態様を示している。ここでは、システム１０２は、図７のヘッドセット７０４と比較してより多くの処理能力を有するヘッドセット８０２を含む。実際に、１つの実施形態において、ヘッドセット８０２は、いかなる別個のユーザーデバイス１０６も使用することなく、システム１０２の全ての空間インタラクション関連機能を実行することができる。別の実施形態において、ヘッドセット８０２は、依然として、別個のユーザーデバイス１０６（図８には図示せず）とインタラクトすることもある。別個のユーザーデバイス１０６は、図７のユーザーデバイス７０２の全てのコンポーネント又はその任意のサブセットを含み得る。
より詳細には、図８の場合におけるヘッドセット８０２は、図４を参照して上述した機能の任意のサブセットを実行するヘッドセット側ＳＩモジュール８０４を含み得る。さらに、ヘッドセット８０２は、任意の向き判定機構、動き判定機構、及び／又は位置判定機構８０６を含み得る。これらの機構は、それらがユーザーの注意焦点の方向を反映し得る、ユーザーの頭部の物理的姿勢又は動きを判定するので、以下では一般に頭部検知機構と呼ばれる。さらに、ヘッドセット８０２は、図６を参照して上述したタイプの入力機構８０８のうちの任意のものを含み得る。さらに、ヘッドセット８０２は、電源８１０、及び、ユーザーデバイス１０６とインタラクトするための１つ以上の通信機構８１２（システム１０２が、この実施形態において、必須ではないこのユーザーデバイス１０６を利用する場合）を含み得る。さらに、ヘッドセット８０２は、上述の任意の１つ以上のタイプの１つ以上のオーディオ出力機構８１４を含む。
１つの動作モードにおいて、図８のシステム１０２は、ヘッドセット８０２上に設けられた頭部検知機構を、それらが設けられ、適切に動作しているときに、利用することができる。ヘッドセット８０２によって提供される頭部検知機構は、それらの頭部検知機構がユーザーの向き、動き、及び／又は位置をより正確に反映する可能性があるので、ユーザーデバイス１０６によって提供される対応する検知機構より好ましい可能性がある。さらに、頭部検知機構の使用は、ユーザーが自分の向き、動き、及び／又は位置を登録するためにユーザーデバイス１０６とインタラクトする必要性をなくす。
いくつかの場合において、ヘッドセット８０２は、任意的に、頭部検知機構によって生成された情報をユーザーデバイス１０６に転送してもよい。ユーザーデバイス１０６は、この情報を使用して処理を実行し、次いで、その処理の結果をヘッドセット８０２に返送することができる。ヘッドセット８０２は、次いで、その結果を伝達する音を、骨伝導技術を用いて、ユーザーの耳に伝えることができる。別の場合において、ヘッドセット側ＳＩモジュール８０４は、頭部検知機構によって提供される情報をユーザーデバイス１０６に転送する必要なく、この処理を実行することができる。さらに別の場合において、ヘッドセット側ＳＩモジュール８０４は、いくつかの動作を自身で実行するとともに、他の動作を実行するためにユーザーデバイス１０６に依拠することができる。例えば、ヘッドセット側ＳＩモジュール８０４は、計算集約的な動作（３次元音の計算など）を実行するためにユーザーデバイス１０６に依拠することができる。なぜならば、これらの動作は、ヘッドセット１０８と比較して、ユーザーデバイス１０６においてより効率的に実行することができるからである。
別の場合において、システム１０２は、対応するコンポーネントがヘッドセット８０２上で適切に動作していないときに、ユーザーデバイス１０６によって提供される１つ以上の向き判定機構、１つ以上の動き判定機構、及び／又は１つ以上の位置判定機構を利用することができる。
さらに別の場合において、システム１０２は、ヘッドセット８０２及びユーザーデバイス１０６の両方によって提供されるセンサー測定値を、例えば、一方のデバイスのセンサー測定値を利用して、他方のデバイスのセンサー測定値の明らかなエラーを特定し、且つ／又はそれら２つの異なるバージョンのセンサー測定値の平均を取ることなどによって、利用することができる。
図７及び図８の実施形態のいずれにおいても、代替的又は追加的に、ヘッドセット（例えば７０４、８０２）及び／又はユーザーデバイス（例えば７０２、１０６）によって実行される機能の少なくとも一部は、図１のリモート処理リソース１１２（例えばクラウドコンピューティングリソースに対応する）によって実行されてもよい。
図９は、ユーザー９０２が車両内でユーザーデバイス９０４とインタラクトするシナリオを示している。図９では詳細に示されていないが、ユーザー９０２は、ユーザーの耳を閉塞することなくユーザーにオーディオ情報を中継する骨伝導ヘッドセットを利用することもできる。より一般的には、図９は、上述の機能が上述の場合以外の追加の使用シナリオに適用され得るという、より一般的な見地の例である。
図９の場合において、ユーザー９０２は、取付け台９０６を使用して、ユーザーデバイス９０４を車両のダッシュボード領域に取り付けている。ユーザー９０２は、（図９に示されるように）車両の運転者であることもあれば同乗者であることもある。電源コード９０８は、車両によって提供される電源出力からユーザーデバイス９０４に電力を供給することができる。
図１０は、図６に示される機器の１つの動作方法を表すプロセス１００２を示している。ブロック１００４において、システム１０２は、少なくとも１つのヘッドセット入力機構のユーザーによる作動の結果としての（例えば、図６に示されるヘッドセット入力機構６０８のうちの１つのユーザーによる作動に基づく）命令を受信する。ブロック１００６において、システム１０２は、ブロック１００４において提供された命令に基づいて機能を実行し、出力結果を提供する。ブロック１００６は、ヘッドセット１０８及び／又はユーザーデバイス１０６によって実行され得る。ブロック１００８において、ヘッドセット１０８は、出力結果を適用して、ユーザーが空間内でルート上をナビゲートするのを支援する又はより一般的には空間とインタラクトするのを支援するオーディオ情報を配信する。
要約すると、上記の特徴は、ユーザーが安全且つ効率的に自分の環境を移動することを可能にするという上記の目的に寄与する。例えば、これらの特徴は、ユーザーが環境を移動するときに過度にユーザーの気を散らすことなく、例えばユーザーが別個のユーザーデバイスにアクセスしてそれとインタラクトすることを要することなく、ユーザーが（例えばヘッドセット１０８のユーザー入力機構６０８とインタラクトすることによって）様々な動作モードをアクティブ化できる便利な方法を提供する。
Ｃ．ユーザーとユーザーの環境との間のインタラクションを容易化する例示的なユーザーインターフェイス機能
このセクションは、図４及び図５のアプリケーションインターフェイスモジュール４０２の１つの動作方法に関する例示的な詳細を提供する。繰り返しになるが、アプリケーションインターフェイスモジュール４０２は、ユーザーがＳＩモジュール３０２の様々なコンポーネントとインタラクトすることを可能にする。アプリケーションインターフェイスモジュール４０２への繰り返しの言及を容易にするために、このセクションでは、このコンポーネントは、ＡＩＭ４０２と省略形で呼ばれる。ＡＩＭ４０２は、個別のコンポーネントを指すこともあるし、システム１０２の実際の実装における２つ以上のコンポーネントによって実行される複数の機能の集合を指すこともある。
ユーザーインターフェイスエクスペリエンスは、異なるコンポーネント又は特徴を有する。以下のサブセクションＣ．１は、ＡＩＭ４０２が、例えばユーザーデバイス１０６によって提供される視覚的ユーザーインターフェイス提示を介してユーザーがＳＩモジュール３０２とインタラクトすることを可能にする１つの例示的な方法に関する詳細を提供する。サブセクションＣ．２は、ＡＩＭ４０２が様々な音及び触覚フィードバックキューをユーザーに提供できる１つの例示的な方法に関する詳細を提供する。サブセクションＣ．３は、ＡＩＭ４０２が、発話命令を用いてユーザーがＳＩモジュール３０２とインタラクトすることを可能にする１つの例示的な方法に関する詳細を提供する。
一般に、以下の記載は、例えば図２の例のように、ユーザーによって行われる空間を通る旅行のコンテキストにおけるＡＩＭ４０２を説明していることに留意されたい。しかしながら、ＡＩＭ４０２は、ユーザーがその場ごとに空間を探索する目的でルートを準備することなく空間を歩き回る場合を含む、ユーザーが空間とインタラクトする他のシナリオにおいても同様のサービスを提供する。さらなる留意事項として、以下で説明されるユーザーインターフェイス特徴はまた、汎用的な性質であり、したがって、空間とのユーザーのインタラクションに必ずしも関連するとは限らない他のコンテキストにも適用されてよい。
別の予め留意しておく事項として、この記載は、ユーザーによって実行されるジェスチャー関連アクションと、それらのジェスチャー関連アクションに応答してＡＩＭ４０２によって実行される対応する動作と、を説明することによって、ＡＩＭ４０２によって解釈される多くのジェスチャーを説明している。上記で図５を参照してより完全に説明されたように、ＡＩＭ４０２は、各場合において、（ａ）例えばユーザーが明確なフリックジェスチャーなどを行ったときにユーザーによって実行されたジェスチャーを表す入力情報を検出し、（ｂ）この入力情報を、既知のジェスチャーに関連付けられている記憶されているパターンと比較して、ユーザーが行った特定のジェスチャーを判定し、（ｃ）検出されたジェスチャーに関連付けられている動作を実行する、ことによって、このタスクを実行する。簡潔にするために、以下の多くの場合において、これらの個々の動作の明示的な詳説は省略される。
Ｃ．１.視覚的エクスペリエンス：ワークスペース及びメニューとのインタラクション
１つの手法において、ＡＩＭ４０２は、マスターワークスペースを、より小さな複数のワークスペースの集合に編成する。これらのワークスペースは、互いに対する位置的関係を有する。この構造は、ユーザーが物理空間のゾーンとの繰り返しの遭遇を通じてそのゾーンに馴染むようになるのと同様にアプリケーションの編成を想像することを可能にするので、有利である。この特徴は、ユーザーが、求められている情報及び／又は機能に効率的にアクセスすることを可能にする。
例えば、図１１は、ＡＩＭ４０２が、マスターワークスペースをより小さな５つのワークスペースに編成する例を示している。ホームワークスペース１１０２は、旅行を行う間のユーザーのインタラクションの中心的焦点として機能する。例えば、以下で説明されるように、ホームワークスペース１１０２は、旅行又は空間との任意の他のインタラクションにおける各特定の点において、ユーザーの現在のコンテキストに関する情報を提示する。ユーザーがまだ旅行を開始していない場合には、ホームワークスペース１１０２は、デフォルトハブページを提示することができる。
メインワークスペース１１０４は、ホームワークスペース１１０２の左側にあり、「付近」ワークスペース１１０６は、ホームワークスペース１１０２の右側にある。情報ワークスペース１１０８は、ホームワークスペース１１０２の上側にあり、設定ワークスペース１１１０は、ホームワークスペース１１０２の下側にある。これらのワークスペースのそれぞれの役割が、以下でより詳細に説明される。
上述の各ワークスペースの位置は、限定ではなく例示を意図して記載されている。他の実施形態は、ワークスペースの他の配置を提供することができる。さらに、他の実施形態は、ＡＩＭ４０２によって提供されるワークスペースの数を変更することができる。例えば、別の実施形態は、ホームワークスペース１１０２に対して斜めに配置されるワークスペースを提供することによって、別の４つのワークスペースを提供することができる。
図１２は、ユーザーがホームワークスペース１１０２からメインワークスペース１１０４にナビゲートできる１つの方法を示している。この非限定的な場合において、ユーザーは、ホームワークスペース１１０２上で右フリックジェスチャーを実行して、メインワークスペース１１０４にナビゲートする。図示されていないが、ユーザーは、左フリックジェスチャー（又はもう一度の右フリックジェスチャー）を実行して、メインワークスペース１１０４からホームワークスペース１１０２に戻ることができる。
同様に、ユーザーは、ホームワークスペース１１０２上で左フリックジェスチャーを実行して、「付近」ワークスペース１１０６にナビゲートすることができる。ユーザーは、ホームワークスペース１１０２上で下フリックジェスチャーを実行して、情報ワークスペース１１０８にナビゲートすることができ、ホームワークスペース１１０２上で上フリックジェスチャーを実行して、設定ワークスペース１１１０にナビゲートすることができる。ユーザーは、例えば、親指をユーザーデバイス１０６のタッチ検知表面上に置いて、所望の方向に親指をフリックすることにより、ユーザーデバイスを保持している手の親指を使用して、これらのジェスチャーのいずれも実行することができる。フリックの動きでは、ユーザーは、１本以上の指でタッチ検知表面と接触し、１本以上の指を表面上である距離だけ移動させ、次いで１本以上の指を表面から離すということを、全て比較的素早く連続して（物理的オブジェクトを平坦な表面上ではじくように）行う。
１つの実施形態において、任意の周辺ゾーンにナビゲートするために、ユーザーは、最初にホームワークスペース１１０２にナビゲートするものと予想される。しかしながら、別の実施形態において、ＡＩＭ４０２は、ユーザーが最初にホームワークスペース１１０２に戻らなくても１つの周辺領域から別の周辺領域にナビゲートすることを可能にする。
より一般的には、このセクションにおける全ての例において、ディスプレイの表面上の破線円は、ユーザーが指でその表面に接触するポイントを表している。いくつかの場合において、ディスプレイの表面は、異なるサイズの２つの破線円を示す。２つの円のうち大きい方の円は、ユーザーが自分の指を当てた位置を表しているのに対し、２つの円のうち小さい方の円は、ユーザーが自分の指を離した位置を表している。他の場合（図示せず）において、ユーザーは、（例えばピンチタイプのジェスチャーを実行するために）タッチ検知表面に２つ以上の位置で同時に接触することを含む少なくとも１つのジェスチャーを実行することもある。他の場合（図示せず）において、ユーザーは、実際にデバイスの表面に接触せずに、その表面の上方でホバリングすることによって、少なくとも１つのジェスチャーを実行することもある。他の場合（図示せず）において、ユーザーは、ビデオカメラ及び／又はデプスカメラなどによって検出され得る自由空間ジェスチャーを実行することもある。
最後の導入上の留意事項として、このセクションは、特定のジェスチャー、メニュー構造、及びメニュー項目を、全て限定ではなく例示を意図して説明している。他の実施形態は、これらのユーザーインターフェイス特徴の任意の態様を変化させることができる。例えば、別の実施形態（図示せず）において、ＡＩＭ４０２は、ユーザーがタップタイプのジェスチャーを使用して、又は、ディスプレイの表面上で特定の形状を描くことによって、ワークスペース間を遷移することを可能にする。
図１３〜図１６は、ホームワークスペース１１０２内に提示され得る情報のタイプを示している。上述のように、ホームワークスペース１１０２は、ユーザーがルート上をナビゲートするときに又は他の形で空間とインタラクトするときに、ユーザーの注意の主要焦点として機能する。デフォルト状態において、図１３に示されるように、ホームワークスペース１１０２は、ハブページを提示することができる。メニュー構造の特定の性質、及びその構造内のメニュー項目が以下で説明される。
ユーザーの旅行中、ホームワークスペース１１０２は、ユーザーの現在のコンテキストに関する情報を提示することができる（しかしながら、ユーザーによる要求に応じて、旅行中に他の情報がホームワークスペース１１０２内に提示されることもある）。例えば、図１４の場合において、ユーザーが現在列車に乗っていると仮定している。ホームワークスペース１１０２は、列車内のユーザーのエクスペリエンスに焦点を当てたメニューを提示することができる。図１５の場合において、ユーザーが現在特定の道路を歩いていると仮定している。デフォルトとして、ホームワークスペース１１０２は、その道路におけるユーザーのエクスペリエンスに関する情報を提示することになる。例えば、ホームワークスペース１１０２は、その道路におけるユーザーの現在位置１５０２を示す地図を提示することができる。あるいは、ユーザーは、ＡＩＭ４０２とインタラクトして、図１４に示されるタイプのメニューを生成することもできるが、その場合には、そのメニューは、その道路を歩いている間のユーザーのエクスペリエンスに関連するメニュー項目を含むことになる。上記の挙動により、ＡＩＭ４０２は、環境内でのユーザーの現在のコンテキストに最も関連する情報を明らかにし、その情報をホームワークスペース１１０２内に提示する。したがって、ユーザーは、例えば煩雑なメニュー構造をナビゲートする必要がないなど、最も関連する情報を「探し求める」必要なく、最も関連する情報を容易に発見して消費することができる。このような特徴はまた、ユーザーの気の散らしを低減させ、したがって、システム１０２の安全性に寄与する。
それでも、ユーザーは、ＡＩＭ４０２とインタラクトして、ホームワークスペース１１０２内での提示のために、ユーザーの周囲の環境とは関連しない情報をアクティブ化することもできる。例えば、ユーザーは、以下で説明されるように、例えばタブメニューオプションをアクティブ化することによって、タブメニューをアクティブ化することができる。これに応答して、ＡＩＭ４０２は、図１６に示されるタブメニューを提示する。タブメニューは、以前に開かれたメニューに対応する開いたタブの集合を示す。これらのタブメニューの一部は、ユーザーが既に完了している以前の旅程セグメントに関する情報に対応し得る。ユーザーは、任意のこのようなタブ関連メニュー項目をアクティブ化することができる。これに応答して、ＡＩＭ４０２は、以前の旅程ステップに関する情報を、例えばメニューの形態で又は他の何らかのフォーマットで、ホームワークスペース１１０２内に表現することができる。メニュー構造はまた、ユーザーによる要求に応じて、ユーザーが、その旅行でまだ遭遇していない将来の旅程ステップを調べることを可能にし得る。
さらに、旅行に出た後でも、ユーザーは、例えばユーザーがそのデフォルトハブメニューで指定されている情報及び／又は機能にアクセスできるように、図１３に示されるハブメニューに戻るようにＡＩＭ４０２に命令することができる。
さらなる明確化として、上記の例において、現在のコンテキストは、ユーザーの旅行全体における物理的な位置又はセグメントに関連する。他の場合において、ホームワークスペース１１０２は、ユーザーによる仮想空間の探索に関するコンテキスト情報を提示することができる。例えば、ユーザーは、店舗で提供される商品の階層内をナビゲートすることができる。このシナリオにおいて、ホームワークスペース１１０２は、商品のグループ、個々の商品などに関連するメニューを提示することができる。
一般に、図１３〜図１６に示される上述のタイプのメニューは、一次メニューに対応する。ＡＩＭ４０２は、これらのタイプのメニューを、ホームワークスペース１１０２内に表示する。対照的に、ＡＩＭ４０２は、二次メニューを、ホームワークスペース１１０２の周辺にある他のワークスペース内に提示する。図１７〜図２０は、これらの周辺ワークスペース内に提示され得る例示的な二次メニューを示している。
例えば、図１７は、メインワークスペース１１０４内に提示されるメインメニューを示している。メインメニューは、ＳＩモジュール３０２の異なる態様とインタラクトするときに一般に使用されるアクションを特定する。図１８は、設定ワークスペース１１１０内に提示される設定メニューを示している。設定メニューは、ユーザーがＳＩモジュール３０２の動作に影響を及ぼす様々なパラメーターを変更することを可能にする。図１９は、情報ワークスペース１１０８内に提示される情報メニューを示している。情報メニューは、バッテリー残量、信号強度などのシステム情報への便利なアクセスを提示する。情報メニューは、公共輸送サービスからのリアルタイム更新など、通知及び他の有用なワーニング情報並びに旅行情報への便利なポータルも提供する。
図２０は、「付近」ワークスペース１１０６内に提示される「付近」メニューを提供する。「付近」メニューは、図４のＲＩＤモジュール４２６によって特定された、現在時点においてユーザーから近距離内にある（又は他の形でユーザーの現在のコンテキストに関連付けられている）コンテキスト関心項目（ＩＯＩ）に関する情報を提示する。ユーザーは、設定メニューを使用して、何が「付近」コンテキストＩＯＩを構成するかを決定する最大距離を指定することができる。各コンテキストＩＯＩは、「付近」メニューにおいて、名称、カテゴリー（「飲食物」カテゴリーなど）、及びユーザーからの距離によって識別される。ユーザーは、このメニュー内の項目をアクティブ化して、ＳＩモジュール３０２にこのコンテキストＩＯＩに関するオーディオ情報を提供させることができる。このオーディオ情報は、配信時に、物理空間内でそのコンテキストＩＯＩに関連付けられているエンティティーを見つけることができるのと同じ方向において発生しているように感じられるように、３次元音情報として構成され得る。
図２１は、ホームワークスペース１１０２内に提示され得る一時メニューの例を示している。例えば、ユーザーは、情報ワークスペース１１０８内に提示される図１９に示される情報メニューに最初にナビゲートすることによって、この一時メニューをアクティブ化することができる。ユーザーは、次いで、このメニュー内の「通知」メニュー項目をアクティブ化することができる。これに応答して、ＡＩＭ４０２は、図２１に示される一時メニューを提示することができる。
図２２は、対照的に、オーバーレイメニューの例を示している。この特定の例において、ユーザーは、設定ワークスペース１１１０内に提示される図１８に示される設定メニューに最初に進むことによって、このオーバーレイメニューをアクティブ化することができる。次いで、ユーザーは、このメニュー内の「コンテキストアウェアネス」メニュー項目をアクティブ化することができる。ＡＩＭ４０２は、ユーザーのこのアクションに応答して、図２２に示されるオーバーレイメニューを提示する。図２１に示される一時メニューとは異なり、図２２に示されるオーバーレイメニューは、ホームワークスペース１１０２内ではなく、設定ワークスペース１１１０内の図１８に示される設定メニューに「重なるように」提示される。オーバーレイメニュー及び一時メニューは、以下で説明されるように、「バック」コマンドの実行に応答して、異なる挙動を示し得る。
図２２の特定の場合において、オーバーレイメニューは、ユーザーがＳＩモジュール３０２によって提供されるコンテキストアウェアネスのレベルを変更することを可能にする。例えば、このメニューを通じて、ユーザーは、ユーザーに転送される情報の量を定めるパラメーター値を設定することができる。１つの場合において、ユーザーは、自分の現在のコンテキストに関連する可能性がある全ての情報を受け取ることを選択することができる。別の場合において、ユーザーは、高重要度であると考えられるワーニング及び他の情報項目のみを受け取ることを選択することができる。
図２３は、ユーザーが、ユーザーの旅行の任意の局面において自分の現在のコンテキストに関する情報を提示するようにＳＩモジュール３０２に命令することができる１つの方法を示している。１つの非限定的な場合に従うと、ユーザーは、指（例えば親指）を使用して、ユーザーデバイス１０６のタッチ検知表面上の任意の位置でシングルタップジェスチャーを行うことができる。このジェスチャーを検出したことに応答して、ＳＩモジュール３０２は、発話メッセージとして、ユーザーの現在のコンテキストに関するハイレベル情報を提示することができる。例えば、ＳＩモジュール３０２は、このコンテキストに適切であろうコンテキストメニューのタイトルをアナウンスすることができる。例えば、図１４の例において、ＳＩモジュール３０２は、「Ｅ号車：ロンドン、パディントン」とアナウンスすることができる。
あるいは、ユーザーは、ダブルタップジェスチャーを行うこともできる。このジェスチャーを検出したことに応答して、ＳＩモジュール３０２は、ユーザーの現在のコンテキストに関するより詳細な情報を、この場合も発話メッセージとして提示することができる。例えば、ダブルタップ時に、ＳＩモジュール３０２は、図１４に示されるメニュー内のメニュー項目をアナウンスすることができる。
次に、ユーザーがトリプルタップジェスチャーを実行したと仮定する。このジェスチャーを検出したことに応答して、ＳＩモジュール３０２は、図１４に示されるタイプのメニューが実際にユーザーの現在のコンテキストに関連する場合には、そのメニューとどのようにインタラクトするかをユーザーに通知する指示をアナウンスすることができる。例えば、これらの指示は、メニューをどのようにアクティブ化するか、メニュー内をどのようにナビゲートするか、メニュー内でメニュー項目をどのように選択するかなどをユーザーに通知することができる。
図２４に進むと、この図は、ユーザーがメニューをどのようにアクティブ化できるか、及びその後にユーザーがメニューとどのようにインタラクトできるかを示している。１つの非限定的な場合において、ユーザーは、ユーザーデバイス１０６のタッチ検知ディスプレイ表面の表面上の任意の位置でタップアンドホールドジェスチャーを行うことによって、図２４に示されるメニューをアクティブ化することができる。例えば、図２４に示されるように、破線円２４０２は、ユーザーがタッチ検知表面の表面を自分の親指でタップして親指をそのままにした位置を示している。
このジェスチャーを検出したことに応答して、ＡＩＭ４０２は、メニュー２４０４を提示する。メニューは、ユーザーが表面にタッチした（タッチ位置に対応する）表面上のポイント（表示位置に対応する）にセンタリングされる。この特徴は、メニュー２４０４をアクティブするためにユーザーインターフェイス提示において特定の要素を探し求める必要性をなくすので、ユーザーは、この特徴を有用であると感じるであろう。そうではなく、ユーザーは、表面上の任意の位置でタップアンドホールドジェスチャーを実行することができる。この特徴は、システム１０２を使用する際のユーザーの気の散らしを低減させる。しかしながら、全ての位置が、メニュー２４０４のアクティブ化の成功をもたらす結果になるとは限らない。例えば、ユーザーが表面の最上部又は最下部に近すぎる位置でタップした場合には、ＡＩＭ４０２は、任意的に、エラーメッセージを（例えば発話メッセージとして）ユーザーに提示して、表面の中央により近い位置でタップアンドホールドジェスチャーを繰り返すようにユーザーに要求してもよい。
ここまでに示されたメニューは、特定の一様なメニュー構造を有する。図２４に示されるメニュー２４０４は、次に以下で説明される同じ構造を有するが、この構造は、限定ではなく例示を意図して記載されていることに留意されたい。他の実施形態は、他のメニュー構造及び挙動を採用することができる。例えば、このサブセクションは、図２４のメニュー２４０４と比較して異なるメニュー構造を採用し、異なるメニュー挙動を示す１つの実施形態の例を最後に挙げる。さらに、本明細書に記載のメニューは、そのメニュー項目を直線状のリストの形態で提示するが、他の形でそのメニュー項目を提示する他のメニュー（例えばラジアルメニュー、パイメニューなど）が使用されてもよい。
図２４に示されるメニュー構造は、マーカー項目２４０６によって分離されている、メニュー項目の２つのグループを有する。より詳細には、メニュー項目の第１のグループ２４０８は、ユーザーの現在のコンテキスト又は間近のタスクに特に関連するメニュー項目を提示する。メニュー項目の第２のグループ２４１０は、異なるワークスペース内に提示され得る、したがってグローバルメニュー項目又は一般メニュー項目と呼ばれることがある、複数のタイプのメニューに関連するメニュー項目を提示する。例えば、第２のグループ２４１０内のメニュー項目である「リスニング開始」コマンドは、異なるメニュー及びワークスペースにわたって関連するのに対し、第１のグループ２４０８内のメニュー項目であるメニュー項目「項目Ａ」は、ユーザーがメニュー２４０４とインタラクトすることによって実施しようとしているタスクが何であれ、それがそのタスクに特に関連するという理由で選択され得る。
しかしながら、第２のグループ２４１０は、特定のメニューに関連しない所定のグローバルな選択肢を省略することもある。例えば、ユーザーが「タブ」メニューを既に見ている場合には、そのメニューに関連付けられている第２のグループは、ユーザーがタブメニューにアクセスすることを可能にするメニューオプションを省略することができる（これは、ユーザーがそのメニューを既に見ているからである）。
（第１のグループ２４０８内又は第２のグループ２４１０内のいずれでも）異なるメニュー項目は、選択されたときに異なる動作を呼び出す。例えば、第１のタイプのメニュー項目は、選択されたときにあるアクションを呼び出すことができる。例えば、メニュー項目「リスニング開始」は、呼び出されたときに、ユーザーの音声コマンドのリスニングを開始するようにＳＩモジュール３０２に命令する。第２のタイプのメニュー項目は、呼び出されたときに、バッテリー状態情報などの情報を提示することができる。第３のタイプのメニュー項目は、そのメニュー項目が呼び出されたときに、ユーザーが特性値を変更する機会を提示することができる。例えば、いくつかの場合において、このタイプのメニュー項目のユーザーによるアクティブ化は、オーバーレイメニューをアクティブ化することができる。ユーザーは、次いで、このオーバーレイメニューとインタラクトして、検討中の特性値を変更することができる。別の場合において、このタイプのメニュー項目のユーザーによるアクティブ化は、例えば設定を「オン」状態から「オフ」状態に切り替える又は「オフ」状態から「オン」状態に切り替えることによって、特性値を直接変更することができる。さらに他のタイプのメニュー項目及び関連付けられる呼出し挙動も可能である。
マーカー項目２４０６は、メッセージ「解除するには離してください」を表示する。このメッセージは、ユーザーが自分の指が他の何らかのメニュー項目ではなくマーカー項目２４０６上に配置されている間に指を離すと仮定して、ユーザーがいかなるメニュー項目も選択することなく自分の指をタッチ検知表面の表面から離すことができることをユーザーに通知する。このようなジェスチャーに応答して、ＡＩＭ４０２は、メニュー２４１２を、その元の非アクティブ状態で表示することができる。メニュー２４１２内のマーカー項目２４１４は、タップアンドホールドジェスチャーを実行してメニュー２４０４をそのアクティブ状態に再びアクティブ化するようにユーザーを導くメッセージ「タップアンドホールド」を有する。
図２５に進むと、メニュー２４０４を非アクティブ化する代わりに、ユーザーが、第１のグループ２４０８内の項目を上にスクロールすることを決定したと仮定している。ユーザーは、自分の指をタッチ検知表面上に維持しながら上方向に移動させることによって、このアクションを実行することができる。これに応答して、ＡＩＭ４０２は、図２５に示されるメニュー状態２５０２を生成することができる。詳細には、ＡＩＭ４０２は、ユーザーのこのジェスチャーに応答して、メニュー項目を下方向に移動させており、これによりマーカー項目２４０６ではなく第１のメニュー項目２５０４をハイライトさせている。このメニュー項目２５０４を選択するためには、ユーザーは、指をメニュー項目２５０４から離せばよい。あるいは、ユーザーは、マーカー項目２４０６を元の位置に戻した後、指がその項目に配置されている間に指を離すことによって、このメニューを非アクティブ化することもできる。あるいは、ユーザーは、メニュー項目の第２のグループ２４１０へと反対方向にスクロールすることもできる。ユーザーは、指が第２のグループ２４１０内のメニュー項目のうちの１つのメニュー項目上に配置されている間に指を離して、このメニュー項目を選択することができる。ユーザーは、自分が環境を移動するときに、自分の気の散らしを最小限にしながら、シームレス且つ流動的に片手でユーザーデバイス１０６とインタラクトすることができるので、上記のユーザーインターフェイス挙動を有利と感じるであろう。例えば、この実施形態において、ユーザーは、一連のコマンドボタン又はメニュー項目を探し求めて選択する必要がない。このようにすることは、ユーザーに、ユーザーデバイス１０６に特別な注意を向けることを要求することになる。
図２５の具体例において、ユーザーが項目の第１のグループ２４０８の最上部までスクロールして、「さらなる項目」メニュー項目２５０６を選択し、次いで、このメニュー項目２５０６上で指を離したと仮定している。これに応答して、ＡＩＭ４０２は、図２６に示されるメニュー２６０２を提示する。このメニューは、直前のメニューに示される第１のグループ２４０８の続きを表す、メニュー項目の別の第１のグループ２６０４を提供する。すなわち、図２５における第１のグループ２４０８は、メニュー項目１、メニュー項目２、及びメニュー項目３を提示するのに対し、図２６における第１のグループ２６０４は、メニュー項目４、メニュー項目５、及びメニュー項目６を提示する。より一般的には、このメニュー構造は、メニュー項目の完全なリストを、リンクされたより小さなリストの系列として表現することができる。図２５及び図２６の例において、２つのリンクされたリストが示されているが、完全なリストは、任意の数のリンクされたリストによって形成され得る。
ユーザーは、「前のページ」メニュー項目２６０６へと上にスクロールし、次いでこの項目から指を離すことによって、図２５に示されるメニュー状態２５０２に戻ることができる。あるいは、このバック命令を実行するために、図２６に示されるように、ユーザーは、自分の指を（例えば、破線円２６０８で示されるように）タッチ検知表面の外縁部に移動させ、次いで表面の中央に向かって内側にフリックすればよい。ユーザーは、表面の反対側の外縁部から内側にフリックすることによっても、同じ動作を実行することができる。
図２６には示されていないが、メニュー２６０６は、例えば連続したバック命令を発行することによってリンクされたリストを連続的に戻るのではなく、一連のカスケード型メニューリストにおける最初のページに（適切なメニュー項目を介して）戻るためのオプションをユーザーに与えることができる。さらに、図面には示されていないが、各グループは、グループの終端を示すリスト終端マーカー項目を含み得る。ユーザーは、この項目へと指を移動させて、指がその項目上に配置されている間に指を離すことによって、メニューを非アクティブ化することができる。
より一般的には、ユーザーは、異なるタイプのアクションを生じさせ得る異なるタイプのメニュー上で、図２６に示されるタイプのバックジェスチャーを実行することができる。例えば、ホームワークスペース１１０２内に提示されるルート（一次）メニュー上でのバックアクションは、それが、ユーザーが行うのを意図していることであることをユーザーが確認すると、ユーザーに、ＳＩモジュール３０２に関連付けられているアプリケーションからイグジットさせることができる。ホームワークスペース１１０２内に提示される一次メニュー上でのバックアクションは、ＡＩＭ４０２に、ホームワークスペース１１０２内に最後に提示されたコンテキストメニューが何であれ、そのコンテキストメニューを提示させることができる。オーバーレイメニュー上でのバックアクションは、「元となる」二次メニューを二次ワークスペース内に提示させることができる。例えば、（例えば図２２に示される）特定の設定関連オーバーレイメニュー上でのバックアクションは、（例えば図１８に示される）元となる設定メニューを設定ワークスペース１１１０内に表示させることができる。
図２７は、ＡＩＭ４０２によって提供されるメニュー機能の第２の実施形態に対応する、図１１の実施形態とは異なる、ワークスペースの代替の編成を示している。概要として、図２７のワークスペース構造は、図１１に示されるワークスペースと同じ基本的な機能を果たす５つのワークスペース（２７０２、２７０４、２７０６、２７０８、２７１０）を含む。例えば、ホームワークスペース２７０２は、旅行を通じてのユーザーの注意の中心的焦点として引き続き機能する。ホームワークスペース２７０２はまた、ユーザーの旅行（又は空間との他のタイプのインタラクション）において遭遇する現在のコンテキストに関連付けられているメニュー及び他の情報を引き続き表示する。しかしながら、ホームワークスペース２７０２は、ハブメニューをデフォルトとしては提示しない。そうではなく、ホームワークスペースは、デフォルトとしてタブ関連情報を表示することに専念する。
より詳細には、ホームワークスペース２７０２は、アクティブなタブが存在しないときには、図２８に示されるデフォルトタブ情報を表示する。デフォルトタブ情報は、ユーザーがタブの作成をどのように開始できるかについてのガイダンスを提供することができる。一方、ホームワークスペース２７０２は、アクティブなタブが存在するときには、図２９に示されるタブメニューを表示することができる。デフォルトでは、リスト内で最初の位置を有するタブメニュー項目（すなわちタブＮｏ．１）が、現在のコンテキストに対応する。
図２９は、第２の実施形態が、ここまでに説明されたメニュー構造と比較して異なるメニュー構造を提供することも示している。例えば、第２の実施形態は、メニューを、メニューマーカーによって分離される、メニュー項目の２つのグループに編成しない。そうではなく、第２の実施形態は、ユーザーの現在の関心焦点に関連すると判定されたメニュー項目の単一のリストを提示する。ユーザーが以前に第２のグループ内に提示されたタイプのグローバルメニュー項目にアクセスしたいと望む場合には、ユーザーは、メインワークスペース２７０４にナビゲートして、これらの項目にアクセスすることができる。
図３０は、メニュー項目のリスト内のメニュー項目の１つの可能な編成に関する追加の情報を示している。ここでは、メニュー項目は、ユーザーの付近にある店舗を探す検索を行ったことに応答して生成された検索結果項目を表す。ユーザーは、第１の実施形態に関して上述した（また図２３及び図２４に示される）タップアンドホールドジェスチャーを実行することによって、図３０に示されるメニューなどの任意のメニューをアクティブ化することができる。
メニューがアクティブ化されると、第２の実施形態では、ＡＩＭ４０２は、リスト内の最初のエントリーを、ユーザーデバイスのディスプレイ表面の中央付近に提示する。ユーザーは、次いで、１回以上のパン（panning）ジェスチャーを上方向に行うことによってリストを上に移動させることができ、又は、１回以上のパンジェスチャーを下方向に行うことによってリストを下に移動させることができる。ユーザーがいずれかの方向でリストの終端に到達すると、このリストは繰り返す。すなわち、ユーザーがリスト内の最後の項目を過ぎて先に進ませると、ユーザーは、次のエントリーとして、最初の項目に遭遇することになる。ユーザーがリスト内の最初の項目を過ぎて先に進ませると、ユーザーは、最後の項目に遭遇することになる。このメニュー提示方策により、第２の実施形態は、第１の実施形態において使用されるような複数ページリストを使用せずに済ませることができる。すなわち、ユーザーは、１回以上のパンジェスチャーを使用して、単一のマスターリストをナビゲートする。ユーザーは、１本以上の指をタッチ検知表面に接触させ、１本以上の指を所望のパン方向にドラッグすることによって、パンジェスチャーを行う。ここでは、この動きは、フリックジェスチャーと比較して遅い。
図３１は、上述の挙動に関する追加の情報を提供している。ここでは、ユーザーは、表示されたメニューを下方向にドラッグすることによって、パンジェスチャーを行う。しかしながら、第１の実施形態の場合とは異なり、ユーザーは、リストをナビゲートしているときに表面上に指を維持する必要がない。例えば、ユーザーは、複数回のパンジェスチャーを行うことができ、各パンジェスチャー間で、ユーザーは、表面から指を離してもよい。第２の実施形態は、ユーザーの指が表面から離れたことを、その時点においてハイライトされているメニュー項目が何であれ、そのメニュー項目を選択する命令として解釈しない。第２の実施形態は、規定された時間期間ユーザーによるアクションがなかった後に、又はユーザーがバックジェスチャーを行ったときに、メニューを非アクティブ化することができる。
図３２に示されるように、ユーザーは、表面の外縁部に向かって短いタッチアンドドラッグジェスチャーを行うことによって、リスト内のハイライトされた項目を選択することができる。ＡＩＭ４０２は、ＡＩＭ４０２が、ハイライトされた項目を選択する要求として、ユーザーのそのジェスチャーを解釈したときに、可聴フィードバック及び／又は触覚フィードバックを提供することになる。次いで、ＡＩＭ４０２は、ユーザーがユーザーデバイス１０６の表面から指を離したときに、その項目を選択することになる。あるいは、指を離す代わりに、ユーザーは、反対方向に指をドラッグして、選択動作をキャンセルすることができ、ＡＩＭ４０２は、これを、（例えば適切な１つ以上のキューを提供することによって）確認することになる。
図３３は、メニューの外縁部で実行されるバックジェスチャーと、このジェスチャーに対する応答と、を示している。より詳細には、ユーザーは、ＡＩＭ４０２がユーザーのジェスチャーを理解したことを（例えば適切な１つ以上のキューを提供することによって）ＡＩＭ４０２が示すまで、それぞれの外縁部から左又は右に短い距離だけ移動させることによって、バックジェスチャーを実行することができる。このとき、ユーザーは、指を離すと、バックアクションを実行することができる。あるいは、ユーザーは、ＡＩＭ４０２がバックアクションを取り消す要求としてユーザーのアクションを解釈するまで、反対方向に指を移動させることができる。図３３の例において、バックアクションは、ＡＩＭ４０２に、検索結果メニューからタブメニューへと遷移させる。
図３４は、ユーザーが、例えばホームワークスペース２７０２内に提示されている（例えば）検索結果メニュー上で円形を描くなど、メニュー上で円形３４０２を描くことによって実行できるジェスチャーを示している。このジェスチャーに応答して、ＡＩＭ４０２は、タブメニューに戻す。図示されていないが、ユーザーは、その後、タブメニュー上で同じ円形ジェスチャーを実行することができる。これに応答して、ＡＩＭ４０２は、検索結果メニュー（又はユーザーが出発した任意のページ、すなわちユーザーが最初の円を描いた任意のページ）に戻す。
図３５は、ユーザーが、例えばホームワークスペース２７０２内に提示されている（例えば）検索結果メニュー上で半円形を描くなど、メニュー上で半円形３５０２を描くことによって実行できるジェスチャーを示している。これに応答して、ＡＩＭ４０２は、現在のコンテキストにおいて提示されていたものが何であれ、そこに焦点を戻す。図３５の例において、ＡＩＭ４０２は、（図３５の右側に示されるように）旅行中の現在のステップに関連付けられている情報に戻す。ユーザーが現在旅行を行っていない場合には、現在のコンテキストは、最後に開かれた任意のメニューに対応し得る。ユーザーは、図３５の右側に示されるページ上で半円形を描くことによって、この遷移を逆にすることができる。
図３６及び図３７は、図１のシステムによって提供される冗長性（verbosity）のレベル及びこのシステムによって提供されるコンテキスト情報のレベルをそれぞれ増大及び低減させるために使用され得る異なるジェスチャーを示している。例えば、図３６に示されるように、ユーザーは、任意のメニュー（ここではタブメニュー）上で右矢印形状３６０２を描いて、ＳＩモジュール３０２の冗長性のレベルを増大させることができる。図３７に示されるように、ユーザーは、任意のメニュー上で左矢印形状３７０２を描いて、ＳＩモジュール３０２の冗長性のレベルを低減させることができる。冗長性のレベルは、ＳＩモジュール３０２がそのオーディオ情報を配信する簡潔さを指し、例えば「簡潔」から「詳細」までの範囲である。
図３７に示されるように、ユーザーは、任意のメニュー上で上矢印形状３７０４又は下矢印形状３７０６を描いて、ユーザーに提供される情報のレベルをそれぞれ増大又は低減させることができる。例えば、ユーザーは、最も重要性が低いカテゴリーの情報項目のうちの１つ以上に関する情報をユーザーに送信することを控えることによって（例えば、ワーニング情報及び旅程情報は送信するが、コンテキスト情報は省略することによって）、コンテキスト情報の量を低減させることができる。
第２の実施形態では、図面には詳細に示されていないが、（第１の実施形態と比較して）他の新たなジェスチャーを実行することもできる。例えば、ユーザーは、第１のメニュー上でタップアンドホールドジェスチャーを実行して、そのメニューからアクションメニューに遷移させることができる（ここで、これらのアクションは、第１のメニューに関連付けられているコンテキストに関連するアクションに関連する）。ユーザーは、アクションメニュー上で同じジェスチャーを実行して、元の（第１の）メニューに戻ることができる。この場合におけるタップアンドホールジェスチャーは、一般に任意のメニューをアクティブ化するために使用されるタップアンドホールドジェスチャーより長いホールドアクションを必要とする。
別の新たなジェスチャーとして、ユーザーは、メニューのメニュー項目上にある間に、垂直方向フリックジェスチャーを実行することができる。ＡＩＭ４０２は、このアクションを、フリックの方向に応じて上方向又は下方向のいずれかに、メニュー項目を迅速に進める要求として解釈する。別の新たなジェスチャーとして、ユーザーは、メニュー内のメニュー項目上で水平方向フリックジェスチャーを実行して、リスト内の次のメニュー項目に進めることができる。ユーザーは、このような水平方向フリックジェスチャーを複数回行って、１回でメニュー項目１つの割合で、リスト内を連続的に進めることができる。
第１の実施形態又は第２の実施形態（図１１及び図２７に対応する）のいずれにおいても、ユーザーは、ユーザーデバイス１０６をポケットモードにするジェスチャーを実行することができる。ユーザーデバイス１０６がこのジェスチャーを検出すると、ユーザーデバイス１０６は、ポケットモードをキャンセルする効果を有するジェスチャーを除いて、ユーザーが行う可能性があるいかなる後続のジェスチャーも無視することになる。名称の提案として、ポケットモードは、ユーザーがユーザーデバイス１０６をポケット又は他の何らかの区画（財布、鞄など）の中に収容したいと望む場合に有用である。アクティブであるときには、ポケットモードは、ユーザーによる不意の接触及び／又は動きが、意味のあるジェスチャーとして（誤って）解釈されることを防止する。このモードの呼出し及び取消を行うために使用されるジェスチャーは、例えば、明確なスワイプジェスチャーなどに対応し得る。
Ｃ．２．音及び触覚キュー
ＡＩＭ４０２は、音生成モジュール４１４を利用することによって、様々な音を提示することができる。ＡＩＭ４０２は、触覚キュー生成モジュール４１８を使用して、様々な触覚フィードバックエクスペリエンス（例えば振動キュー）を提示することもできる。ＡＩＭ４０２は、異なるタイプのトリガーイベントに応答して、これらの音及び振動キューを生成することができる。例えば、ＡＩＭ４０２は、状態の所定の変化、ユーザーによって行われる所定のインターフェイスアクション（メニュー項目間のナビゲーションなど）、及び旅行中の所定のイベントなどに応答して、これらの音及び触覚キューを提示することができる。
以下のリストは、代表的な音（及び関連付けられる触覚キュー）と、それらが呼び出される例示的な状況と、を表している。
負荷がかかっている／ビジー（Loading/busy）。ＡＩＭ４０２は、ユーザーがＳＩモジュール３０２とインタラクトできない状態にＳＩモジュール３０２がある間、「負荷がかかっている／ビジー」音を繰り返し再生することができる。この音は、ＳＩモジュール３０２が動作しているが、ＳＩモジュール３０２がアクションを実行していて現在ビジー状態であることを、ユーザーに再確認させるものである。例えば、この音は、上下にバウンドする卓球の球に似ていてよい。処理が完了に近づくにつれてバウンドの頻度が増大し、ファンファーレのような音声で終わることができる。
ゾーンメニューへの遷移（Transition-To-Zone-Menu）。この音は、専用二次ワークスペースゾーンのうちの１つのワークスペースゾーン内に提示される二次メニューが、焦点に移り、ホームワークスペース内の現在のコンテキストメニューの代わりに現在提示されていることを示す。この音は、ユーザーが、対応するジェスチャーを実行した方向を伝達することもできる。例えば、この音は、それぞれの方向への突風のような、シューという音に似ていてよい。さらに、１つの場合において、ＡＩＭ４０２は、この音を３次元音として表現してもよい。
ゾーンメニューからの遷移（Transition-From-Zone-Menu）。この音は、現在のコンテキストメニューが、再び焦点に移り、専用ワークスペースゾーンのうちの１つのワークスペースゾーン内の二次メニューの代わりに現在提示されていることを示す。この音は、ユーザーが、対応するジェスチャーを実行した方向を伝達することもできる。例えば、この音は、ゾーンメニューへの遷移のシューという音に対応しているが、ゾーンメニューへの遷移の音とは反対方向に移動しているシューという音に似ていてよい。この場合も、ＡＩＭ４０２は、任意的に、この音を３次元音として表現してもよい。
メニューアクティブ化（Menu-Activation）。この音は、メニューが現在アクティブであり、メニューを操作することができることを示す。この音は、パチッという音で終わるフェードイン音として表され得る。さらに、ＡＩＭ４０２は、状態の変化を生じさせるユーザーの意図を確認する短い振動キューを提示することができる。さらに、ＡＩＭ４０２は、例えば「解除するにはメニューから離してください」とアナウンスする言語キューを呼び出すことができる。このキューは、ユーザーに、そのメニューがアクティブであること、及び、ユーザーがマーカー項目から指を離すことによってそのメニューを非アクティブ化できること、を通知する。
メニュー非アクティブ化（Menu-Deactivation）。この音は、メニューが非アクティブ化されており、したがってそのメニューを再アクティブ化しなければそのメニューを操作することができないことを示す。この音は、フェードアウェイ型の音として表され得る。
サポートされていないジェスチャー（Unsupported-Gesture）。ＡＩＭ４０２は、ジェスチャーが認識されたが、ジェスチャーが他の点で（例えば、ジェスチャーが現在サポートされていないなどを理由として）無効であることを示すこの短い音を再生することができる。この音は、ドンという音であって、その後に柔らかい２音のアクセス拒否スタイルの通知が続く、ドンという音に似ていてよい。ＡＩＭ４０２は、より詳細なバック不可音を再生して、バックジェスチャーが実行されたが、例えばそれ以上戻ることができないなどの理由でバックアクションを実行することができないこと、を示すことができる。
メニュー項目選択変更（Change-In-Menu-Item-Selection）。この音は、ユーザーが、あるメニュー内で、あるメニュー項目に移動させたことを示す。この音の音調は、メニュー内のメニュー項目の位置に依存し、例えば、音調は、ユーザーがリストを上に移動させるにつれて高くなり、ユーザーがリストを下に移動させるにつれて低くなるようにすることができる。さらに、１つの実施形態において、ＡＩＭ４０２は、メニュー項目の第１のグループ（コンテキスト固有項目に関連付けられている）を移動させたときには、メニュー項目の第２のグループ（グローバル項目に関連付けられている）と比較して異なるスケールを提示することができる。どちらの場合も、ユーザーは、ピアノの鍵盤上で手を動かした音のように生成された音を知覚することができる。しかしながら、この場合における各音は、ピアノの音調より短く、泡がはじける音に似ていてよい。
さらに、ＡＩＭ４０２は、各メニュー項目を横切るときに振動キューを提示することができる。ユーザーは、各凹凸が異なるメニュー項目を表現しているものとして、凹凸のある表面上で手を動かしたのと類似する振動キューを体験し得る。ユーザーは、意識的に又は無意識に、凹凸を計数して、リスト内における自分の位置を迅速に大まかに知ることができる。さらに、ＡＩＭ４０２は、あるメニュー項目に進めたときに、そのメニュー項目が焦点となり、ユーザーが指を離したときに選択されることになることをユーザーに通知するオーディオメッセージを提示することができる。例えば、ＡＩＭ４０２は、リスト内のそのメニュー項目の番号を与え、次いでそのメニュー項目の説明をアナウンスすることによって、そのメニュー項目をアナウンスすることができる。
メニュー選択確認（Confirm-Menu-Selection）。この短い音は、アクションがいつ状態に変化をもたらしたかを示す。この音は、最後にファンファーレを有する短く明瞭な音として実装され得る。例えば、この音は、ピーという音であって、その後に、終わりに向かうにつれてフェードアウトする進行するきしみ音が続く、ピーという音に似ていてよい。ＡＩＭ４０２は、選択アクションを確認する短い振動キューを実行することもできる。さらに、ＡＩＭ４０２は、項目が選択されたことを確認する言語キューを再生することができる。
ダイアログメニュー表示（Show-Dialog-Menu）。この短い音は、オーバーレイメニューが他のコンテンツの上に現在提示されていることを示す。この音は、フェードイン上昇型音に似ていてよい。ＡＩＭ４０２は、付随する短い振動キューも提供することができ、この振動キューは、状態の変化が生じたことをさらに確認するものである。さらに、ＡＩＭ４０２は、オーバーレイメニューが現在提示されていることを述べる言語キューを再生することができる。
ダイアログメニュークローズ（Close-Dialog-Menu）。この短い音は、ダイアログ（例えばオーバーレイメニュー）が閉じられたこと、及び、焦点が以前のコンテキストに戻ったこと、を示す。この音は、フェードアウト下降型音に似ていてよい。
コンテキスト切り替わり（Context-Switch）。この短く明瞭な音は、例えばユーザーが新たな旅行ステップに進んだことを理由として、現在のコンテキストメニューの状態が新たなコンテンツの提示に遷移したことを示す。この音は、ピーという音であって、その後に微かなターンスタイルノイズが続く、ピーという音に似ていてよい。
上述の音は、代表的なものであり、ＡＩＭ４０２が提供できる全ての音を網羅したものではない。以下の追加の音は、例えば、ＡＩＭ４０２とインタラクトしている間にユーザーによって所定のアクションが実行されると、トリガーされ得る。すなわち、ａ）前のメニューにおいて行われたメニュー項目の選択に基づいてアクションのメニューが提示されることを示す、「トゥアクション（To-Actions）」音、ｂ）アクションのメニューから戻ったことに応答してアクティブなメニューが提示されることを示す、「フロムアクション（From-Actions）」音、ｃ）特定のメニューについてのアクションを提示する命令が認識されたが、その特定のメニューに関連付けられているアクションが存在しないことを示す、「アクション利用不可能（Actions-Unavailable）」音、ｄ）メニュー項目が、ユーザーの指が離れたときに選択されるように成功裡にマークされていることを示す、「項目選択可能（Item-Selectable）」音、ｅ）指が離れたときに選択されるように前にマークされた項目が、現在は成功裡に選択解除されており、したがってユーザーの指が離れたときにもはや選択されないことを示す、「項目非選択（Item-Non-Selectable）」音、ｆ）選択されるように項目をマークするためのジェスチャーが認識されたが、そのジェスチャーが検討中の項目に適用可能でないことを示す、「項目選択不可能（Item-Not-Selectable）」音、ｇ）選択が行われたが、焦点の変更が適切でないことを示す、「選択／無変更（Select-But-No-Change）」音、ｈ）バックジェスチャーが認識され、バックアクションが呼び出されたことを示す、「バック成功（Back-Success）」音、ｉ）「タブへの切り替え」ジェスチャーが成功裡に認識されたこと、及び、タブメニューが現在提示されていること、を示す、「タブへの切り替え（Switch-To-Tabs）」音、ｊ）「タブからの切り替え」ジェスチャーが認識され、タブメニューへの切り替え前に提示されていた前のメニューが復元されていることを示す、「タブからの切り替え（Switch-From-Tabs）」音、ｋ）ＳＩモジュール３０２がユーザーの音声コマンドを現在リスニングすることを示す、「リスニング開始（Start-Listening）」音、ｌ）音声認識モードが現在キャンセルされたことを示す、「リスニングキャンセル（Cancel-Listening）」音、ｍ）アプリケーションが音声入力の受信及び処理を完了したことを示す、「処理完了（Finished-Processing）」音、ｎ）音声に基づく入力の結果としてアクションが実行されたことを示す、「アクション実行（Action-Taken）」音などである。さらに、ＡＩＭ４０２は、上述の音のいずれかに付随する任意のタイプの触覚キューを提示することもできる。
以下の例示的な音は、ヘッドセット１０８とのユーザーのインタラクションの過程で発生し得る所定のイベントの際にトリガーされ得る。すなわち、ａ）タップジェスチャーがヘッドセットボタン上で認識されたことを示す、（アクションを実行する前に再生される）「ボタンタップ（Button-Tap）」音、ｂ）押圧ジェスチャーがヘッドセットボタン上で認識されたことを示す、（任意のアクションを実行する前に再生される）「ボタン押圧（Button-Press）」音、ｃ）ホールドジェスチャーがヘッドセットボタン上で認識されたことを示す、（アクションを実行する前に再生される）「ボタンホールド（Buttons-Held）」音、ｄ）例えばオリエンテーションアクションの一部としてコンテキストＩＯＩのアナウンスを停止する要求について、ヘッドセットボタンから呼び出された任意の以前のアクションがキャンセルされたことを示す、「アクションキャンセル（Cancel-Action）」音などである。さらに、ＡＩＭ４０２は、上述の音のいずれかに付随する任意のタイプの触覚キューを提示することもできる。
以下の例示的な音は、旅行の途中で発生し得る所定のイベントの際にトリガーされ得る。すなわち、ａ）旅行が開始されたこと、及び、ナビゲーションが現在進行中であること、を示す、「旅行開始（Started-Journey）」音、ｂ）ユーザーが自分の輸送モードを（例えば歩行から列車へ、など）切り替えたことを示す、「モード切り替え（Mode-Switch）」音、ｃ）ユーザーがナビゲーションの一部として到達しようと試みている、旅程に沿った次の地点を方向に関して示す、「ビート（Beat）」音、ｄ）ユーザーのアウェアネスを高め、ワーニング情報に耳を傾ける時間をユーザーに与えるために再生される、ワーニング情報が音読されようとしていることを示す、「ワーニング（Warning）」音、ｅ）ユーザーのアウェアネスを高め、ナビゲーション情報に耳を傾ける時間をユーザーに与えるために再生される、ユーザーが旅行ウェイポイントに到達したこと及びナビゲーション情報が音読されようとしていることを示す、「ウェイポイント到達（Waypoint-Reached）」音、ｆ）ユーザーのアウェアネスを高め、ナビゲーション情報に耳を傾ける時間をユーザーに与えるために再生される、ユーザーがウェイポイントに接近していること及びナビゲーション情報が音読されようとしていることを示す、「ウェイポイント接近（Approaching Waypoint）」音、ｇ）ユーザーのアウェアネスを高め、現在の旅程の変更に関する情報に耳を傾ける時間をユーザーに与えるために再生され、現在の旅程の変更に関する情報が音読されようとしていることを示すために再生される、「旅程更新（Journey-Update）」音、ｈ）コンテキスト情報が音読されようとしていることを示す、「コンテキスト情報（Contextual-Information）」音、ｉ）追加の情報が音読されようとしていることを示す、「さらなる情報（Further-Information）」音などである。さらに、ＡＩＭ４０２は、上述の音のいずれかに付随する任意のタイプの触覚キューを提示することもできる。
一般に、上記の音及び触覚キューは、ユーザーが自分の環境とインタラクトするときに、過度にユーザーの気を散らすことなく、有用な情報をユーザーに提供するという目的をさらに促進する。例えば、ユーザーがメニューをナビゲートしている間に聞く音及び触覚キューは、ユーザーが注意を環境から散らすことなくメニューとインタラクトすることを可能にする。
Ｃ．３．音声認識モード
システム１０２は、ユーザーが、例えばヘッドセット１０８及び／又はユーザーデバイス１０６と手動でインタラクトすることに加えて、発話命令を介してシステム１０２にコマンドを発行できる音声認識モードをサポートする。あるいは、システム１０２は、音声認識モードを、ユーザーがシステム１０２とインタラクトする唯一のモードとして使用することもできる。ユーザーの音声コマンドの認識を実行するために、システム１０２は、既存の音声認識技術（例えばＭＩＣＲＯＳＯＦＴ（登録商標）社によって提供されるＣＯＲＴＡＮＡシステム）及び／又はネイティブ音声認識技術に依拠することができる。図３は、音声処理エンジン３２８としての音声認識技術を示している。
上述のように、ユーザーは、ヘッドセット１０８を通じて且つ／又はユーザーデバイス１０６のメニューを通じて発行される適切なコマンドを介して、音声認識モードを呼び出すことができる。他の場合において、ユーザーデバイス１０６は、そのデフォルトの動作方法の一部として音声認識システム（例えばＣＯＲＴＡＮＡ）と既にインタラクトしているが、ナビゲーションを実行するコンテキストではない可能性がある。ここでは、ユーザーは、例えば「サウンドスケープ（Soundscape）、探索モード開始」というコマンドを話すなど、ナビゲーションアプリケーションの名称から始まる発話コマンドを発行することによって、音声認識モードにおけるＳＩモジュール３０２とインタラクトすることができる。ユーザーがナビゲーションアプリケーションのコンテキストにおいて音声認識モードを既にアクティブ化している場合には、ユーザーは、単に「探索モード開始」などと言うだけでよい。
以下のリストは、音声モードにおいて開始され得る例示的な動作を特定するものである。すなわち、ａ）ユーザーは、既存の（保存されている）旅程を開くことができる、ｂ）ユーザーは、オリエンテーションモードをアクティブ化又は再アクティブ化することができる、ｃ）ユーザーは、探索モードをアクティブ化又は非アクティブ化することができる、ｄ）ユーザーは、特定のトピックについてのさらなる情報を要求することができる、ｅ）ユーザーは、全ての（又は一部の）発話メッセージの中断を要求することができる、ｆ）ユーザーは、様々なパラメーター設定を行うことができる、ｇ）ユーザーは、旅程情報を保存することができる、などである。
例示的なコマンドは、ａ）「時点［ｙ］に出発し、公共輸送機関［ｚ］のみを使用する、行き先［ｘ］までのルートを作成してほしい」、ｂ）「最も近いコーヒーショップを見つけてほしい」、ｃ）「私を列車の駅に連れて行ってほしい」、ｄ）「今は何時か？」、ｅ）「音量を上げてほしい」、ｆ）「関心項目からレストランを除去してほしい」などに対応し得る。
音声処理エンジン３２８は、音声処理エンジン３２８がユーザーのコマンドを理解するが、そのコマンドが必要な情報の１以上の項目を欠いていると音声処理エンジン３２８が判定する状況に遭遇することがある。これに応答して、音声処理エンジン３２８は、情報の欠けている項目を提供するようにユーザーに要求することができる。
他の場合において、音声処理エンジン３２８は、音声処理エンジン３２８がユーザーのコマンドを理解しない状況に遭遇することもある。そのような場合において、音声処理エンジン３２８は、そのコマンドを言い換えるようにユーザーに要求することができる。これが上手くいかない場合には、音声処理エンジン３２８は、（例えばユーザーのコマンド内のキーワードの検出に基づいて）ユーザーの発話の提案される解釈をユーザーに提示し、次いで、それらの解釈のうちのいずれかが正しいかどうかをユーザーに尋ねることができる。これが上手くいかない場合には、音声処理エンジン３２８は、ヘッドセット１０８及び／又はユーザーデバイス１０６を介して同等のコマンドを入力するようにユーザーに勧めることができる。
図３８は、図４及び図５のＡＩＭ４０２の１つの動作方法を要約するプロセス３８０２を示している。ブロック３８０４において、ＡＩＭ４０２は、関連付けられているワークスペース内のメニューをアクティブ化する命令に対応する、ユーザーによって実行された第１のジェスチャーを検出する。関連付けられているワークスペースは、複数のワークスペースのうちの１つのワークスペースに対応し、関連付けられているワークスペースは、それらの複数のワークスペースのうちの他のワークスペースに対する定められた空間的関係を有する。第１のジェスチャーは、例えば、図２４を参照して上述したタップアンドホールドジェスチャーに対応し得る。ブロック３２０６において、ＡＩＭ４０２は、第１のジェスチャーに応答して、メニューをアクティブ化する。
ブロック３８０８において、ＡＩＭ４０２は、メニュー内のメニュー項目の集合のうち特定のメニュー項目に進める命令に対応する、ユーザーによって実行された第２のジェスチャーを検出する。第２のジェスチャーは、例えば、（例えば図２５及び図３１を参照して）上述したタイプのスクロールジェスチャー又はパンジェスチャーのうちのいずれかに対応し得る。ブロック３８１０において、ＡＩＭ４０２は、第２のジェスチャーに応答して、特定のメニュー項目に進める。
ブロック３８１２において、ＡＩＭ４０２は、特定のメニュー項目を選択する命令に対応する、ユーザーによって実行された第３のジェスチャーを検出する。第３のジェスチャーは、例えば、図２５に示されるタイプの離すジェスチャー、又は、図３２に示されるタイプのサイドに移動させるジェスチャーに対応し得る。ブロック３８１４において、ＡＩＭ４０２は、第３のジェスチャーに応答して、動作を実行する。この動作は、アクションの呼出し、パラメーターの設定、情報の提示などに対応し得る。
要約すると、上記の特徴は、ユーザーが自分の環境を安全且つ効率的に移動することを可能にする。例えば、ワークスペースは、ユーザーが環境を移動するときに最も関連する情報をユーザーに明らかにするユーザーフレンドリーな方法を提供する。さらに、これらの特徴の一部は、ユーザーが、視覚的注意をユーザーインターフェイス提示に向けることなく、且つ／又は、ユーザーの注意を、環境とインタラクトする物理的タスクから逸らす煩雑で複雑なジェスチャーを実行する必要なく、ユーザーインターフェイス提示とインタラクトすることを可能にする。例えば、ユーザーは、これらのジェスチャーの一部を、ユーザーインターフェイス提示を見ることなく片手で実行することができる。
Ｄ．音を使用したユーザーとユーザーの環境との間のインタラクションの容易化
導入セクションＡにおいて説明されたように、音生成モジュール４１４（図４）は、非３次元（非空間的）音及び３次元（空間的）音を生成することができる。３次元音は、その音が物理空間内に実際の起源を有していない場合でも、物理空間内の少なくとも１つの位置から発生しているものとしてユーザーが知覚する音である。具体的に、図３９は、空間内の特定の位置から発生する音の知覚を生じさせるための３次元オーディオ情報の使用を例示している。図４０は、空間内の一連の位置にわたって移動する音の知覚を生じさせるための３次元オーディオ情報の使用を例示している。
１つの実施形態において、音生成モジュール４１４は、例えばデータ記憶部４１６内に提供されている頭部伝達関数（ＨＲＴＦ）のライブラリを使用して、３次元音を生成することができる。ＨＲＴＦは、人が自分の環境内の音の起源を知覚する方法と人固有の関係を有する人の顔の解剖学的特徴をモデル化する。３次元音を生成するために、音生成モジュール４１４は、特定の人、及び空間内の特定の音位置（この人に対する相対的な位置）に適したＨＲＴＦを選択することができる。音生成モジュール４１４は、次いで、そのＨＲＴＦを適用して、例えば選択されたＨＲＴＦによって非空間的音を畳み込むことによって、非３次元音（例えば平坦音又は非空間的音）を変更して３次元音を生成する。
より詳細には、１つの場合において、音生成モジュール４１４は、（ａ）再生される非３次元音、（ｂ）音が発生しているものと知覚される空間内の位置、及び（ｃ）（任意的に）ユーザーのアイデンティティを表す入力情報を受信することができる。入力情報は、データ記憶部４１６内のオーディオ情報を特定し、且つ／又はそのオーディオ情報自体を提供し得る参照情報を提供することによって、非３次元音を表すことができる。例えば、非３次元音は、特徴的な音調及び／又は発話メッセージに対応し得る。次いで、ユーザーの各耳について、音生成モジュール４１４は、（ａ）検討中の特定のユーザーについて、位置に関連付けられているＨＲＴＦを特定し、（ｂ）このＨＲＴＦを非３次元音に適用して３次元音を生成することができる。音生成モジュール４１４に提供される入力情報は、例えば経路ガイダンスモジュール４２０、関連情報判定（ＲＩＤ）モジュール４２６、探索モジュール４３０、オリエンテーションモジュール４３２などに対応する、以下で説明されるＳＩモジュール３０２の他のモジュールのうちの１つ以上のモジュールからもたらされ得る。
音生成モジュール４１４は、データ記憶部４１６内に提供されているＨＲＴＦのライブラリに関して上記の機能を実行する。１つの実施形態において、ＳＩモジュール３０２は、特定の個人について準備された（したがってそれらの人たちの特定の解剖学的特徴を考慮に入れている）ＨＲＴＦをデータ記憶部４１６に記憶することができる。例えば、各個人についてのＨＲＴＦは、各個人の顔の物理的特徴を測定することによって得られ得る。このタスクは、例えば、手動で（例えば物理的距離測定ツールを使用することによって）、デプスカメラを使用することによって（例えば米国ワシントン州レッドモンドのＭＩＣＲＯＳＯＦＴ（登録商標）社によって提供されるＫＩＮＥＣＴシステムを使用することによって）、実行され得る。より詳細には、特定の個人について生成されるＨＲＴＦのセットは、空間内の音の各位置（ユーザーの頭部の位置に対する位置）及びそのユーザーの両耳の各耳についてのＨＲＴＦを含む。異なる実施形態は、これらのＨＲＴＦの作成を異なる個人（例えば音響エンジニア、システム管理者、エンドユーザーなど）に委ね得る。
第２の実施形態において、音生成モジュール４１４は、異なる人々のグループについて良好に機能するＨＲＴＦの別個のグループを記憶することができる。システム１０２は、この場合、最も本物らしい３次元音を生成するものとして知覚されるＨＲＴＦのセットを選択するようにエンドユーザーに勧めることができる。例えば、ユーザーは、セットアップ段階において、異なるＨＲＴＦを使用して同じ１つ以上の３次元音を生成するようにシステム１０２に要求することによって、この選択を行うことができ、ユーザーは、最も望ましい結果を生じさせる１つ以上の音（及び対応するＨＲＴＦ）を選択することができる。第３の実施形態において、音生成モジュール４１４は、多数のユーザーに適していることが分かっているＨＲＴＦの単一のセットを記憶することができる。ただし、これらのＨＲＴＦは、いかなる特定の個人又は個人のグループについてもカスタマイズされない。さらに他の技術も、適切なＨＲＴＦを生成及び／又は選択するために使用され得る。
１つの実施形態において、音生成モジュール４１４は、広帯域オーディオ情報を伝達する３次元音を生成する。広帯域オーディオ情報とは、例えば１つの実施形態では３００Ｈｚ〜３．４ｋＨｚの範囲など、広い分布のオーディオ周波数を含むオーディオ情報である。さらに、個々の３次元音は、それらの指向性をさらに強調するような表現性を有する。例えば、１つのこのような３次元音は、左から右又は右から左に吹く突風に似ていることがある。オーディオ情報の（ＨＲＴＦに基づく指向性以外の）他の性質も、例えば音量、音調、残響、（音を繰り返すための）ループ周波数などを変化させることによって、その表現性に寄与し得る。これらのファクターの全てが、音が物理空間内の特定の１つ以上の位置から発生しているという本物らしい知覚に寄与する。
セクションＡにおいて説明されたように、異なるモジュールが、異なる目的のために、異なる動作モードで、３次元音を利用できる。これらのモジュールは、経路ガイダンスモジュール４２０、ＲＩＤモジュール４２６、探索モジュール４３０、オリエンテーションモジュール４３２などを含む。説明を簡潔にするために、これらの各モジュールが３次元音を生成するものとして説明されることがある。実際には、各モジュールが、上述の入力情報を生成し、この入力情報が音生成モジュール４１４に提供され、次いで音生成モジュール４１４がその入力情報を使用して実際の３次元音を生成することによって、音を生成する。
図４１を参照して、最初に、経路ガイダンスモジュール４２０の動作について考える。既に説明されているように、経路ガイダンスモジュール４２０は、ユーザーが向かっている現在の方向を判定する。経路ガイダンスモジュール４２０は、システムの１つ以上の向き判定機構、１つ以上の動き判定機構、１つ以上の位置判定機構などによって提供される情報のうちの何らかの情報に基づいて、この評価を行うことができる。１つの場合において、例えば、経路ガイダンスモジュール４２０は、ユーザーの頭部が向けられている方向を（例えばヘッドセット１０８における向き判定機構に基づいて）判定し、次いで、この情報を、ユーザーが向かっていると推定される方向の代わりとして使用することができる。代替的又は追加的に、経路ガイダンスモジュール４２０は、ユーザーが最近移動した一連の位置を判定してもよい。経路ガイダンスモジュール４２０は、この情報を使用して、ユーザーが向かっているように考えられる方向を推定することができる。代替的又は追加的に、経路ガイダンスモジュール４２０は、ユーザーが意図的に自分のユーザーデバイス１０６を向けている方向を判定してもよい。
経路ガイダンスモジュール４２０はまた、ユーザーの所望の方向を判定することができる。経路ガイダンスモジュール４２０は、少なくともユーザーの現在位置及び次のウェイポイントの位置に基づいて、所望の方向を判定することができる。経路ガイダンスモジュール４２０は、所望の方向を判定するときに、地図情報を考慮することもできる。例えば、地図情報は、ユーザーの経路が、例えば道路の道筋や任意のタイプの障害物などによって制限されるなど、様々な点で制限されることを明らかにすることができる。経路ガイダンスモジュール４２０は、この情報の全てを使用して、可能な限り最も効率的に、次のウェイポイントに到達するための針路に最終的にユーザーを進ませるためにユーザーが向かうべき方向を判定することができる。
次いで、実際の方向及び所望の方向に基づいて、経路ガイダンスモジュール４２０は、ユーザーが所望の方向からずれている可能性がある程度を判定して、例えばずれ情報を提供することができる。経路ガイダンスモジュール４２０は、次いで、このずれ情報を使用して、例えばずれ情報を入力情報の一部として音生成モジュール４１４に提供することによって、ユーザーを所望の方向に導く効果を有する３次元音を生成することができる。
上記の説明を明瞭にするために、図４１の例を考える。ここでは、ユーザーは、現在位置４１０２に位置している。次のウェイポイント（ｗ）は、目標位置４１０４に位置している。ユーザーの現在の（実際の）方向は、方向４１０６として表されている。ユーザーの所望の方向４１０８は、ユーザーの現在位置４１０２を目標位置４１０４と結ぶベクトルに対応するが、上述のように、これは全ての状況でそのようになっているとは限らない（例えば、現在位置４１０２から目標の行き先４１０４までの真っ直ぐなルートを遮る障害物などに起因して）。ずれ情報は、現在の方向４１０６と所望の方向４１０８との間の角度差に対応し得る。
上記の判定に応答して、経路ガイダンスモジュール４２０は、（音生成モジュール４１４を使用して、）位置４１１０から発生しているように聞こえる３次元音を生成することができる。換言すれば、ユーザーは、所望の方向４１０８から左にずれた方向に現在向かっている。ユーザーは、右側にずれて発生する方向キューを聞くことになる。ユーザーは、このキューを、方向を右に変えて、自分の経路の方向を訂正するようにユーザーに促しているものとして知覚する。ユーザーが所望の方向４１０８よりも過度に右向きの方向に移動し始めた場合には、経路ガイダンスモジュール４２０は、（音生成モジュール４１４を使用して、）ユーザーの左側にずれた３次元音を生成することができる。ユーザーは、基本的には、知覚した３次元音の方向に従い続けばよい又はその方向を追跡し続ければよい。ユーザーが正しい方向に向かっているときには、３次元音は、ユーザーの正面から発生しているものとして知覚され、この場合は、ユーザーは、その音に向かって真っ直ぐに向かう。
上述のように、経路ガイダンスモジュール４２０は、音生成モジュール４１４を使用して、例えばビート音に対応する、周期的な性質の３次元音を生成することができる。例えば、ビート音は、繰り返す単音、又は、２音若しくはｎ音のパカパカという音などに対応し得る。追加的又は代替的に、３次元音は、例えば左から右又は右から左など、ユーザーが移動するように促される方向に移動するように聞こえるものであってもよい。
さらに、経路ガイダンスモジュール４２０は、ユーザーの実際の現在の方向４１０６が所望の方向４１０８からずれている程度に応じてビート音の１つ以上のオーディオ特性を変化させる効果を有する入力情報を、音生成モジュール４１４に提供することができる。例えば、（音生成モジュール４１４と協働する）経路ガイダンスモジュール４２０は、理想経路からのユーザーの現在のずれが第１の閾値内であるときには、第１の音調及び／又は第１のループ周波数を有するビート音を生成することができる。（音生成モジュール４１４と協働する）経路ガイダンスモジュール４２０は、ユーザーの現在のずれが第１の閾値外であるが第２の閾値内であるときには、第２の音調及び／又は第２のループ周波数を有するビート音を生成することができるなどである。経路ガイダンスモジュール４２０は、ユーザーのずれを、このような各ずれカテゴリーが特定のビート音に関連付けられている任意の数のこのようなずれカテゴリーに分類することができる。
図４１の特定の例において、経路ガイダンスモジュール４２０は、所望の方向４１０８からのずれの第１の範囲４１１２、及び、所望の方向４１０８からのずれの第２の範囲４１１４を規定し、ここで、第２の範囲４１１４は、第１の範囲４１１２より大きい。現在の方向４１０６は、第２の範囲４１１４内に属し、したがって、（音生成モジュール４１４と協働する）経路ガイダンスモジュール４２０は、この範囲４１１４に適したビート音を生成する。
実際には、経路ガイダンスモジュール４２０は、多くの状況において有用であるが、２つの状況において最も有用であると感じられる可能性がある。第１の場合において、ユーザーは、利用可能なオプションの固定セットの中で、ユーザーが特定の方向に曲がると予想される交差点に到達することがある。あるいは、ユーザーは、ユーザーが可能な経路のうちの１つの経路を選択すると予想される道路の分岐点に到達することがある。（音生成モジュール４１４と協働する）経路ガイダンスモジュール４２０は、ユーザーのナビゲーション選択を解決するものとしてユーザーが知覚する３次元ビート音を再生することによって、明快なガイダンスを提供することができる。例えば、交差点に立っているときに、ユーザーは、自分を（例えば）左又は右に導くビート音を聞くことになる。道路の分岐点に立っているときに、ユーザーは、自分を道路の正しい分岐に導くビート音を知覚することになる。
第２のシナリオにおいて、ユーザーは、（ユーザーが、明確に規定された道路又は経路を歩いている場合と比較して）徐々にコースからそれる自由度がユーザーに与えられるより開けた空間を移動している。この場合には、経路ガイダンスモジュール４２０は、ユーザーを適切な向きに保つために、図４１に示されるやり方で漸進的な合図をユーザーに与えることができる。
別の使用シナリオにおいて、関連情報判定（ＲＩＤ）モジュール４２６は、ユーザーの経路に沿った各点において、各対応する現在のコンテキストについて、コンテキストＩＯＩなどの関連する関心項目（ＩＯＩ）の位置を判定することができる。ＲＩＤモジュール４２６は、次いで、音生成モジュール４１４を使用して、各ＩＯＩについて３次元音を生成することができる。ユーザーは、この音を、物理空間内の対応する物理的エンティティーの実際の位置から発生しているものとして、すなわちＩＯＩが空間内の離散的な物理的位置を有する物理的エンティティーに対応するとみなして、知覚する。例えば、（音生成モジュール４１４と協働する）ＲＩＤモジュール４２６は、ユーザーの近傍における対応する物理的エンティティーを有する特定のＩＯＩについて、次のオーディオ情報、すなわち（３Ｄ音で）「ジェーンのコーヒーショップ、レストラン、３０フィート前方」というオーディオ情報を生成することができる。換言すれば、この場合において、オーディオ情報は、３次元音であって、その直後に発話メッセージが続く、３次元音を含む。ユーザーは、この３次元の予備的な音を、ジェーンのコーヒーショップの物理的位置から発生しているものとして知覚する。発話メッセージも、３次元音として提示され得る（ただし、必ずしもそうであるとは限らない）。代替的に、発話メッセージは、追加の（又はより少ない）情報フィールドを含むこともあるし、あるいは完全に省略されることもある。
他の場合において、ＩＯＩは、空間内に、ピンポイントの位置ではなく、大まかな起源を有することができる。例えば、ＩＯＩは、バス停に対応する大まかな領域に関連付けられている広告に対応することがある。（音生成モジュール４１４と協働する）ＲＩＤモジュール４２６は、バス停の大まかな領域から又はその領域の中心などから発生しているものとしてユーザーにより知覚される、そのＩＯＩについての音を生成することができる。このタイプのＩＯＩは、そのＩＯＩがバス停を説明するものとして意図されていない限り、仮想的であると考えられ得るが、バス停のオーディオ属性として作用する。
別の実施形態において、オーディオ情報はまた、ユーザーに対する相対的なＩＯＩの方向的位置を指定する言語キューを含み得る。この方向キューは、（例えばジェーンのコーヒーショップがユーザーの右前方にあると指定することによって）より広く表現されることもあるし、（例えばジェーンのコーヒーショップがユーザーの現在の方向に対して１０時の方向に位置すると指定することによって）より狭く表現されることもある。追加的又は代替的に、（音生成モジュール４１４と協働する）ＲＩＤモジュール４２６は、例えばレストランについては第１のタイプの音を再生し、トイレ施設については第２のタイプの音を再生することなどによって、ＩＯＩの異なるそれぞれのカテゴリーについて異なる３次元音を提供してもよい。
探索モジュール４３０及びオリエンテーションモジュール４３２は両方とも、ＲＩＤモジュール４２６の上述の挙動を、例えば探索モード及びオリエンテーションモードそれぞれにおいて利用する。セクションＡにおいて説明されたように、ユーザーは、ヘッドセット１０８及び／又はユーザーデバイス１０６との手動インタラクションを介して且つ／又は音声命令を介して、これらのモードを明確にアクティブ化及び非アクティブ化するコマンドを入力することができる。
より詳細には、図４２は、探索モードにおいて動作する探索モジュール４３０の例示的な挙動を示している。このモードでは、探索モードがユーザーによってアクティブ化されると、探索モジュール４３０は、ユーザーの現在位置及びユーザーの現在の関心焦点を判定する。例えば、探索モジュール４３０は、ヘッドセット１０８及び／又はユーザーデバイス１０６上の任意の１つ以上の位置判定機構を使用して（例えばＧＰＳセンサーなどを使用して）、現在時点におけるユーザーの位置を判定することができる。探索モジュール４３０は、ヘッドセット１０８及び／又はユーザーデバイス１０６上の任意の１つ以上の向き判定機構を使用して、ユーザーが自分の身体を向けているように考えられる方向を判定することができる。例えば、ヘッドセット１０８上の１つ以上の向き判定機構は、ユーザーの頭部が向けられている方向を判定することができ、この方向が、ユーザーの関心焦点の代わりのインジケーションとして使用され得る。代替的又は追加的に、システム１０２は、ユーザーの関心焦点と一致する方向にユーザーデバイス１０６を向けるようにユーザーに指示してもよい。この場合、ユーザーデバイス１０６上の１つ以上の向き判定機構が、ユーザーの意図される関心焦点を正確に反映することになる。さらに他の技術が、ユーザーの推定される関心焦点を評価するために使用されることもある。
次に、探索モジュール４３０は、関心検索空間を規定する。１つの場合において、探索モジュール４３０は、検索空間を、ユーザーの推定される関心焦点を中心とする任意の形状のボリューム（volume）として規定することができる。例えば、このボリュームは、ユーザーの現在位置から生じ、ユーザーの推定される関心焦点によって二等分されるくさび形状ボリュームに対応し得る。システム定義パラメーター設定及び／又はユーザー定義パラメーター設定は、このボリュームのデプス、このボリュームの角度範囲、このボリュームの幅などを指定することができる。
次に、探索モジュール４３０は、ＲＩＤモジュール４２６を使用して、限定されるわけではないがコンテキストＩＯＩなどの対象とするＩＯＩが存在するかどうかについて、このボリュームを検索することができる。ＲＩＤモジュール４２６は、ＩＯＩについての情報とともに、ユーザーの特定の関心を規定する任意のパラメーター設定（例えば、ユーザーは、自分が、コーヒーショップ情報を除くレストラン情報に関心があることをデフォルトで示していることがある）を提供する１つ以上のデータ記憶部を参照することによって、このタスクを実行することができる。いくつかの場合において、ＩＯＩは、そのＩＯＩが検索空間内に物理的に位置する対応する物理的エンティティーを有するという理由で、検索空間に関連付けられ得る。他の場合において、ＩＯＩは、他の任意の形で確立された何らかの他のつながりを理由として、検索空間に関連付けられ得る。例えば、管理者（又はエンドユーザー自身）は、地下鉄の駅の出口付近の領域が気象レポートＩＯＩなどに関連付けられると、予め手動で指定することができる。
最後に、探索モジュール４３０は、特定されたＩＯＩの存在をアナウンスする３次元オーディオメッセージを生成することができる。探索モジュール４３０は、音生成モジュール４１４を使用することによって、上述した任意の方法でこれらのメッセージを生成することができる。例えば、上述のように、オーディオ情報は、導入音であって、その後にＩＯＩをアナウンスする発話メッセージが続く、導入音に対応し得る。（音生成モジュール４１４と協働する）探索モジュール４３０は、例えば、ボリュームにわたって時計回りの順序又は反時計回りの順序で、且つ／又は、ユーザーの位置に対する距離の短い順又は長い順に、などの順序で、これらのＩＯＩを読み上げることができる。
図４２は、上述の動作方法を明確にする図である。ここでは、ユーザーは、現在、現在位置４２０２に位置している。ユーザーの現在の注意方向は、破線４２０４で示されている。検索ボリュームは、輪郭４２０６によって規定され、この輪郭４２０６は、ユーザーの注意方向によって二等分されている。この検索ボリュームは、角度幅を規定し、３０フィートなどの規定の高さ（図示せず）を有することもできる。全体として、検索ボリュームはくさびに似ている。探索モジュール４３０は、ＲＩＤモジュール４２６を使用して、検索ボリューム内で３つのコンテキストＩＯＩを見つけている。（音生成モジュール４１４と協働する）探索モジュール４３０は、これらのコンテキストＩＯＩに関連付けられている物理的エンティティーの位置から発生しているように聞こえる３次元音を用いて、これらのコンテキストＩＯＩをアナウンスする。
全体としては、ユーザーは、段階的に自分の現在位置の周りでピボットすることにより自分の注意方向を回転させることによって、探索モジュール４３０とインタラクトすることができる。各段階において、ユーザーは、自分の現在の推定される注意焦点によって規定される検索ボリューム内にある（又はその検索ボリュームに他の形で関連付けられている）ＩＯＩを聞くために待機した後、新たな注意焦点に移ることができる。例えば、１つの場合において、ユーザーの関心方向によって包含される幅は、４５度である。ユーザーは、北東、南東、南西、及び北西に連続的に向くことによって、自分の周りにあるＩＯＩの完全調査を行うことができる。各向きにおいて、ユーザーは、その関心四分区画に包含されるＩＯＩを聞くことになる。
別の例示的な特徴に従うと、ユーザーは、ＩＯＩがアナウンスされるのを聞いた後、任意の方法でＩＯＩを選択することができる。例えば、ユーザーは、ジェーンのコーヒーショップについて聞いた後、「そこに行きたい」又は「詳細情報」という音声命令を発行することができる。あるいは、ユーザーは、（例えばこのＩＯＩをアナウンスする３次元音の知覚された位置に基づいて）自分の注意焦点をそのＩＯＩの知覚された位置に向けることによって、ＩＯＩを選択することもできる。ユーザーは、例えば、自分の頭部若しくは体又はユーザーデバイス１０６をそのＩＯＩの知覚された位置に真っ直ぐに向けることによって、このタスクを実行することができる。あるいは、ユーザーは、ユーザーデバイス１０６によって提供される適切なメニューを介してＩＯＩを選択することもできる。あるいは、ユーザーは、ＩＯＩがアナウンスされるのを聞いた後などに、ヘッドセットボタンを介して適切な選択を行うこともできる。その選択がどのような方法で行われたものであれ、そのＩＯＩの選択に応答して、ＳＩモジュール３０２は、ＩＯＩに関する追加の情報を提示する又はＩＯＩにどのように到達するかなどについての指示を提供することができる。ＳＩモジュール３０２はまた、選択されたＩＯＩの存在をアナウンスする３次元音の音量を大きくすることによって又は他の方法でその音をユーザーのエクスペリエンスの中でより顕著にすることによって、ユーザーの選択を確認することができる。
最後に、オリエンテーションモジュール４３２は、上述の方法でユーザーの現在位置を判定することによって動作する。次いで、オリエンテーションモジュール４３２は、ユーザーの周りに３次元ボリュームを規定する。例えば、この３次元ボリュームは、ユーザーがそのボリュームの中心に位置する、（例えば）円筒形、球形、箱形、又は矩形に対応し得る。オリエンテーションモジュール４３２は、次いで、ＲＩＤモジュール４２６を使用して、そのボリューム内に存在するＩＯＩがあればそのＩＯＩのセットを特定する。オリエンテーションモジュール４３２は、次いで、音生成モジュール４１４を使用して、これらのＩＯＩを任意の順序で読み上げる。
例えば、図４３において、オリエンテーションモジュール４３２は、ユーザーが現在位置４３０２においてその中心に位置する円筒形を有する３次元ボリュームを規定する。オリエンテーションモジュール４３２は、ＲＩＤモジュール４２６を使用して、円筒形内にあるＩＯＩ又は円筒形によって規定される空間に他の形で関連付けられているＩＯＩを特定する。次いで、オリエンテーションモジュール４３２は、これらのＩＯＩを任意の順序で読み上げる。例えば、３つのフロアを有するモールを訪れるユーザーを考える。そのユーザーは、モールの１階の屋外アトリウムに立っていると仮定する。オリエンテーションモジュール４３２は、オリエンテーションモジュール４３２が見つけたＩＯＩを、例えばフロアｚ１、フロアｚ２、その後にフロアｚ３など、フロアごとに読み上げることができる。オリエンテーションモジュール４３２は、各フロアにあるこれらのＩＯＩを、時計回りの順序、反時計回りの順序などの任意の順序でアナウンスすることができる。ユーザーは、次いで、任意的に、上述の方法のいずれかで任意のＩＯＩを選択することができる。
最後に、上記の説明は、レストランなどのコンテキストＩＯＩの存在をアナウンスするための３次元音の使用を記載している。しかしながら、ＳＩモジュール３０２は、３次元音を使用して、ワーニングＩＯＩ及び旅程ＩＯＩなどの任意のタイプのＩＯＩの存在をアナウンスすることができる。例えば、ＳＩモジュール３０２は、穴の位置から発生しているように聞こえる、道路の穴に関するワーニングを生成することができる。別の説明として、ＳＩモジュール３０２は、多くのタイプのＩＯＩを、平坦に又は非空間的に配信することもできる。例えば、ＳＩモジュール３０２は、指向性を有していない別のワーニングＩＯＩを生成して、ユーザーが現在移動している道路が雨のために滑りやすくなっていることを、ユーザーに大まかに通知することができる。
さらに、上記の説明は、物理空間内の位置から発生しているものとしてユーザーが知覚する音の使用に基づいていた。代替的又は追加的に、触覚キュー生成モジュール４１８が、方向情報を伝達する振動キューを生成してもよい。例えば、ヘッドセット１０８は、２つ以上の振動機構、例えばヘッドセット１０８のフレーム６０２の左側の第１の振動機構及びヘッドセット１０８のフレーム６０２の右側の第２の振動機構、を含み得る。触覚キュー生成モジュール４１８は、第１の振動機構又は第２の振動機構をアクティブ化して、ユーザーをそれぞれ左又は右に向かせる指示を提供することができる。このタイプの指示は、追加の振動機構を含むことにより、追加の段階を含み得る。同じ効果が、例えば左に向かせるキューを提供するための左側の振動機構をアクティブ化し、右に向かせるためのキューとして右側の振動機構をアクティブ化するなど、例えばユーザーデバイス１０６上の異なる振動機構をアクティブ化することによっても達成され得る。振動機構は、さらに他のデバイス又はユーザーの身体の部分に結合され得る。
図４４は、ユーザーが所望のルートに沿ってナビゲートするのをガイドするための３次元音の使用を表すプロセス４４０２を示している。ブロック４４０４において、ＳＩモジュール３０２は、空間内のルートに沿ったユーザーの現在位置を判定する。ブロック４４０６において、ＳＩモジュール３０２は、３次元音を生成する。この３次元音は、この３次元音が空間内の少なくとも１つの特定の位置から発生しているというユーザーによる知覚を生じさせる。ブロック４４０８において、ＳＩモジュール３０２は、この３次元音をユーザーに配信する。この３次元音は、ユーザーがルートに沿ってナビゲートするのを支援する。
図４５は、経路ガイダンスモジュール４２０が３次元音を使用してユーザーを所望のルートに沿ってガイドできる１つの方法を表すプロセス４５０２を示している。ブロック４５０４において、経路ガイドモジュール４２０は、ユーザーが向かっている現在の方向を判定する。ブロック４５０６において、経路ガイドモジュール４２０は、ユーザーが向かうと予想される所望の方向を特定する。ブロック４５０８において、経路ガイダンスモジュール４２０は、現在の方向と所望の方向との間の差を決定して、ずれ情報を提供する。ブロック４５１０において、経路ガイダンスモジュール４２０は、音生成モジュール４１４を使用して、ずれ情報に基づいて周期３次元音（例えばビート音）を生成する。この３次元音が、ユーザーを所望の方向に向かわせる。３次元音は、ユーザーが所望の方向からずれている程度に依存する１つ以上の特性（音調など）を有することができる。
図４６は、ＳＩモジュール３０２が３次元音を使用してＩＯＩを特定及びアナウンスできる１つの方法を表すプロセス４６０２を示している。ブロック４６０４において、ＳＩモジュール３０２は、関心項目（ＩＯＩ）のセットであって、各ＩＯＩが、現在のコンテキストにおいてユーザーに関連するエンティティー若しくはイベント又は情報に対応する、ＩＯＩのセットを判定する。ブロック４６０６において、ＳＩモジュール３０２は、各関心項目について３次元音を生成する。ユーザーは、この音を、例えば店舗に関連付けられている音をその店舗の位置から発生しているものとして知覚することによって、その関心項目に関連付けられている同じ１つ以上の物理的位置から発生しているものとして知覚することになる。
１つの場合において、ＳＩモジュール３０２は、ユーザーがルートを移動するときに、バックグラウンドサービスとしてプロセス４６０２を適用することができる。例えば、ＲＩＤモジュール４２６は、距離に基づく任意のパラメーター設定によって制御されるように、これらのＩＯＩに関連付けられている位置にユーザーが十分に接近したときに、ＩＯＩの存在をユーザーにアラートすることができる。
別のシナリオにおいて、ブロック４６０８に示されるように、探索モジュール４３０は、ＲＩＤモジュール４２６を使用して、ユーザーの注意が現在向けられている又は現在向けられていると推定される部分空間に関連付けられているＩＯＩのセットを特定することによって、上記の一般的プロセス４６０２を適用することができる。別のシナリオにおいて、ブロック４６１０に示されるように、オリエンテーションモジュール４３２は、ＲＩＤモジュール４１６を使用して、ユーザーの現在の関心焦点を参照することなく（ユーザーがその時点において自分の周りの空間ボリューム全体に関心があるため）、現在時点におけるユーザーの周りの空間全体に関連付けられているＩＯＩのセットを特定することによって、上記の一般的プロセス４６０２を適用することができる。ユーザーは、例えばヘッドセット１０８又はユーザーデバイス１０６を介して適切な命令を発行することによって、探索モジュール４３０又はオリエンテーションモジュール４３２の読み出しを呼び出し、中断することができる。
最後のトピックとして、上記の例は、空間内の仮想の音生成エンティティー（例えば仮想音源）の位置が、少なくとも３次元音を配信する間は、それを聞く人の位置に対して安定しているという簡略化のための仮定に基づいていた。これは、多くの場合に妥当な仮定であり得るが、この仮定は、全ての状況に当てはまるとは限らない。
例えば、以下のシナリオを考える。第１の場合において、ユーザーは、ユーザーが任意のタイプの車両内で（例えば列車に乗っていて）固定位置のエンティティーを通過するときに、そのエンティティーを説明する（又は他の形でそのエンティティーに関連する）３次元音を聞くことがある。例えば、ユーザーは、ユーザーが自動車の同乗者として、シアトルのスペースニードルタワーに対していずれかの方向に移動しているときに、スペースニードルタワーを説明するメッセージを聞くことがある。第２の場合において、ユーザーは、ユーザーが立ち止まっているが自分の頭部を回すように動かして、ユーザーの左右の耳の位置が固定位置のエンティティーの位置に対して変化しているときに、そのエンティティーを説明する（又は他の形でそのエンティティーに関連する）３次元音を聞くことがある。第３の場合において、ユーザーは、聞く人の固定位置に対して相対的に動いているエンティティーを説明する（又は他の形でそのエンティティーに関連する）３次元音を聞くことがある。例えば、ユーザーは、ユーザーが空港のターミナル内の固定位置に留まっているときに、滑走路を動いている飛行機の到着をアナウンスするメッセージを聞くことがある。第４の場合において、ＩＯＩの位置及びユーザーの両方が、オーディオ情報の配信中に動いていることがある。
さらに、ＩＯＩは、スペースニードルタワー又は動いている飛行機などの物理的エンティティーに必ずしも対応している必要はないことに留意されたい。例えば、動いている「仮想」ＩＯＩが、ユーザーがナイトクラブの入口に向かって道路を移動しているときに、その施設に入るようにユーザーを誘っているものとしてユーザーが知覚する空間的メッセージを配信する仮想広告板に対応することがある。さらに、ＩＯＩに関連付けられる音に関して本明細書に記載される全ては、周期ビート音などの他の音にも等しく当てはまる。
上記の状況のいずれかに対応するために、ＳＩモジュール３０２は、ＳＩモジュール３０２がその配信の間にわたって生成している３次元オーディオ情報を動的に更新して、各時点におけるユーザーの頭部とＩＯＩ（例えば、上記の例では、スペースニードルタワー又は動いている飛行機の位置）との間の相対位置を反映することができる。ＳＩモジュール３０２は、様々な方法でこのタスクを実行することができる。１つの非限定的な手法において、ＳＩモジュール３０２は、オーディオ情報を配信している間にわたって、反復プロセスで、次の動作を実行することができる。すなわち、（ａ）ＩＯＩに対するユーザーの頭部の位置を判定して、相対位置情報を提供する動作、（ｂ）相対位置情報に基づいて（耳ごとの）ＨＲＴＦを選択する動作、（ｃ）選択されたＨＲＴＦによって、現在時点において配信されるべき任意のオーディオ情報の畳み込みを行って、相対位置情報に基づいて、適している３次元音を生成する動作である。
１つの具体例を挙げると、ユーザーに配信されるのに５秒要するメッセージを考える。ＳＩモジュール３０２は、この配信の１秒ごとに、ユーザーの頭部とＩＯＩとの間の相対位置を判定することができる。ＳＩモジュール３０２は、この情報を使用して、このメッセージの配信の１秒ごとに、その時点におけるユーザーの頭部とＩＯＩとの間の相対位置に基づく３次元音を生成することができる。
より一般的には、上記の反復処理は、様々な更新速度で実行され得る。更新速度は、聞く人とＩＯＩとの間の相対位置が変化する速度に依存し得る。すなわち、ＳＩモジュール３０２は、相対位置情報の相対変化が大きい場合には比較的速い速度でＨＲＴＦを更新し、変化がより遅い場合にはより遅い速度でＨＲＴＦを更新することができる。更新速度は、３次元音情報を更新するためにシステム１０２において利用可能な処理リソースの量を考慮することもできる。
ＳＩモジュール３０２はまた、上記の動的な処理（そのリソースにかかる大きな処理負荷を表し得る）を促進させるように設計された様々な技術を適用することができる。例えば、いくつかの場合において、システム１０２は、少なくとも１つの予測軌道について動的な音を予め計算することができる。このような各軌道は、（ａ）空間内における聞く人の動き、若しくは（ｂ）空間内におけるＩＯＩの動き、又は（ｃ）聞く人及びＩＯＩの両方の動き、に起因する、聞く人とＩＯＩとの間の何らかのタイプの予想される相対的な動きを規定する。例えば、列車が、毎日ほぼ同じ速度でＩＯＩを通過すると仮定する。この場合、動的に変化するＨＲＴＦに基づく（耳ごとの）３次元音を予め計算することが可能である。この３次元音は、列車が線路を移動するときのユーザーの頭部の推定される進行を考慮し、ユーザーが線路を移動するときにユーザーの頭部が予め定められた固定の向きを有するという簡略化のための仮定に基づき得る。ＳＩモジュール３０２は、聞く人の位置が、ＩＯＩから予め定められた距離にある、線路に沿った位置などの、ＩＯＩに対する予め定められたトリガー位置に到達したことをＳＩモジュール３０２が検出したときに、この３次元音を発することができる。
上記の動作方法は、様々なシナリオを考慮するように拡張され得る。例えば、システム１０２は、異なる列車速度、異なる固定の頭部向き（例えば、メッセージの配信中にユーザーが真っ直ぐに前を見ているか、窓の外を見ているかなどを示す）などを考慮するために、異なる動的な３次元音を予め計算することができる。
上記の状況は、ユーザーとＩＯＩとの間の動きがいくつかの可能性に分解される、より一般的な設定に拡張され得、それらの可能性についてのそれぞれの動的な３次元音を予め計算することを可能にする。ＳＩモジュール３０２は、次いで、ユーザーの現在のコンテキストがそれらの予め定められた可能性のうちの１つの可能性と一致するとＳＩモジュール３０２が判定したときに、何らかの予め計算された音を発することができる。
別の場合において、ＳＩモジュール３０２は、例えばユーザーの現在の向きに基づいて、ＩＯＩの位置に対するユーザーの動きを予測する処理を動的に実行することができる。ＳＩモジュール３０２は、次いで、ＩＯＩに対するユーザーの推定される軌道に基づいて、３次元音を動的に予め計算することができる。
さらに他の技術も、動的に変化する３次元音の計算を促進するために使用され得る。いくつかの実施形態において、例えば、ＳＩモジュール３０２は、例えばリモート処理リソース１１２によって実行される並列処理を利用することによって、リモート処理リソース１１２の強化された処理能力を利用することができる。
要約すると、上記の特徴は、ユーザーが、効率的に、安全に、且つ楽しく、自分の環境を移動することを可能にするという上述の目的に寄与する。例えば、これらの特徴は、ユーザーが環境を移動するときに、異なる提示モードを使用して、異なるカテゴリーの情報をユーザーに提供する。この機能は、この情報を、任意の所与の時点においてユーザーに多すぎる情報を与えることを回避するユーザーフレンドリーな方法で、ユーザーに提示する。３次元音の使用は、提供される情報と、環境内のオブジェクト、領域、及びイベントと、の間のつながりを理解するユーザーの能力をさらに高めさせる。
Ｅ．ユーザーがユーザーの環境とインタラクトするのを支援するためのビーコンの使用
以下のセクションは、ビーコンベースのガイダンスモジュール４２２の動作に関する追加の情報を提供する。繰り返しになるが、ビーコンベースのガイダンスモジュール４２２は、規定されたそれぞれのレンジを有するビーコンを利用することによって、空間内でユーザーをガイドするための方策を提供する。空間は、例えば任意のタイプの１つ以上のビルディング又は構造物の内部によって規定される室内空間に対応し得る。代替的又は追加的に、空間は、屋外空間に対応してもよい。
ビーコンは、電波、赤外線波などの任意のタイプの電磁放射を発することができる。他の場合において、ビーコンは、（例えば超音波レンジの）音波を発することができる。さらに、いくつかの場合において、ビーコンは、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル、Ｗｉ−Ｆｉ（登録商標）プロトコルなどの任意のプロトコル又はプロトコルの組合せに従って信号を生成することができる。例えば、限定されるわけではないが、ビーコンは、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー（ＢＬＥ）ビーコンに対応し得る。さらに、ビーコンは、ビーコンが配置される目標環境に最もよく適するように、任意の所望のデプスのレンジを有することができる。いくつかの室内状況において、例えば、１メートル又は数メートルのレンジなどの比較的短いレンジを有するビーコンが選択される。いくつかの場合において、ビーコンの規定のレンジは、その信号が、既知の安定した信号受信特性を有する特定のタイプのユーザーデバイス（特定のスマートフォンなど）又は特定のクラスのユーザーデバイス（特定のクラスのスマートフォンなど）によって検出されるという暗示的な又は明示的な前提に基づき得る。
さらに別の場合において、各ビーコンは、ユーザーデバイス１０６（又は他の何らかの問合せデバイス）がビーコンから規定の距離内にあるときにそのデバイスからの問合せを受ける可能性がある受動デバイス（受動ＲＦＩＤなど）である。この規定の距離は、そのデバイスのレンジに対応する。ただし、説明を容易にするために、残りの説明では、各ビーコンが信号を能動的に発すると仮定する。
１つの実施形態において、各ビーコンは、そのアイデンティティを規定する符号を有する。ビーコンは、その符号（及び／又は任意の他の特定用途向け情報）を通知する信号を、絶えず又は定期的に（又はオンデマンドで）発することができ、この信号が、ビーコンのレンジ内にある受信側デバイスによって検出され得る。例えば、約１メートルのレンジを有するＢＬＥビーコンを考える。このレンジ内にある受信側デバイスは、ビーコンの信号を検出し、その特定の符号を読み取ることができる。
図４７の例において、室内環境（及び／又は屋外環境）は、廊下及び障害物（例えば、障害物１、障害物２、及び障害物３）の集合によって特徴付けられる。このシナリオは、例えば２つ以上の廊下の全ての交差点にビーコンを配置するなど、ビーコンの集合（例えばビーコンｂ１、ｂ２、．．．、ｂ７）を環境に予め投入することを含む。各ビーコンを取り囲む最も外側の破線円は、ビーコンのレンジを表している。上述のように、ビーコンのレンジ内にある受信側デバイスは、このビーコンを成功裡に検出することができるが、その他の点において、受信側デバイスは、ビーコンに関する知識を有していない。１つの例示的な実施形態において、ビーコンのレンジは重なり合わないことに留意されたい。この特徴は、任意の所与の時点におけるユーザーの位置に関する曖昧さを解消するので、有利である。換言すれば、これらのビーコンのレンジが重なり合わず、ユーザーは一度に同時に２つの場所に存在する可能性がないので、ユーザーのデバイスが、２つ以上のビーコンを同時に検出する可能性はない。いくつかの環境において、ビーコンのレンジが重なり合わない性質は、ビーコンから発された信号を受信することになるユーザーデバイス（又はデバイスのクラス）の性質も考慮することによって確実にされ得る。
第１の予備ステップとして、図４７の環境内の全てのビーコンの位置が、データ記憶部４２４にロードされ得る。データ記憶部４２４は、それらのビーコンに関連付けられている符号も記憶することができる。
第２の予備ステップとして、システム１０２は、任意のルート計画ツールを使用して、図４７の環境を通るルートを生成することができる。ルート計画ツールは、任意のアルゴリズムを適用して、このタスクを実行することができる。例えば、ルート計画ツールは、廊下及び障害物によって規定される検索空間を、複数のノード及びリンクを有するグラフとして表現することができる。すなわち、リンクは廊下を表し、ノードは廊下の交差点を表す。ルート計画ツールは、次いで、任意のアルゴリズム（周知のダイクストラ法など）を適用して、グラフを通る最も効率的な経路を見つけることができる。ルートが規定されると、ビーコンベースのガイダンスモジュール４２２は、ユーザーがルートを移動する際にユーザーが横切ることになるビーコンのサブセット（本明細書においてルート固有ビーコンと呼ばれる）を特定し、それらのビーコンのアイデンティティを記憶することができる。図４７の場合、ユーザーは、全てのビーコンに遭遇すると予想されるが、これは、一般に全ての場合に当てはまるわけではない（以下で詳述される）。
次に、ユーザーが、上述のシステム１０２をガイダンスとして使用して、このルートを進み出すと仮定する。システム１０２は、ヘッドセット１０８及び／又はユーザーデバイス１０６を介して、上述した方法でユーザーにリアルタイムガイダンスを提供することができる。しかしながら、この場合には、システム１０２は、上述した技術とは異なる技術を使用して、各時点におけるユーザーの現在位置を判定する。
より詳細には、ビーコンベースのガイダンスモジュール４２２は、絶えず環境を走査して、ユーザーがいずれかのビーコンのレンジ内にいるかどうかを判定する。ユーザーがいずれかのビーコンのレンジ内にいる場合、ビーコンベースのガイダンスモジュール４２２は、ユーザーの現在位置を、検出されたビーコンの現在位置として特定する。換言すれば、ビーコンベースのガイダンスモジュール４２２は、検出されたビーコンに関連付けられている符号と、環境内におけるそのビーコンの位置と、を、アプリオリに知っている。ユーザーのヘッドセット１０８又はユーザーデバイス１０６が、（検出された信号によって伝達される符号に基づいて）そのビーコンの存在を検出した場合、ビーコンベースのガイダンスモジュール４２２は、ユーザーが検出されたビーコンと同じ位置を有するとみなすことができる。
この局面において、ビーコンベースのガイダンスモジュール４２２は、経路ガイダンスモジュール４２０のサービスを利用して、３次元音を使用して且つ／又は他のガイダンス情報（非３次元音、表示指示など）に基づいて、ユーザーを所望の方向に向かわせることができる。例えば、ユーザーのユーザーデバイス１０６が、ユーザーデバイス１０６がビーコンｂ４のレンジ内にあることを検出したと仮定する。経路ガイダンスモジュール４２０は、予め定められた旅程情報に基づいて、ユーザーの旅程に沿った次のウェイポイントがビーコンｂ５に対応すると判定する。経路ガイダンスモジュール４２０は、次いで、ユーザーの右側から発生しているものとしてユーザーが知覚することになる３次元音を生成することができ、これが、ユーザーを次のウェイポイント（例えばビーコンｂ５）に向かわせる役割を果たす。ユーザーは、このキューを、ユーザーが右に向くべきであるという指示として解釈する。ユーザーは、ユーザーが別のビーコン（例えばビーコンｂ５）に遭遇するまで、この方向に進み続け、別のビーコンに遭遇したときに、ユーザーの方向が更新され得る。
いくつかの場合において、ユーザーは、ユーザーが次に遭遇すると予想されたビーコンのレンジ外に外れるように、計画された経路から予期されない形で逸脱することがある。図４８は、この状況に対処する１つの方法を表している。この場合の方策は、ユーザーの計画された経路に沿ったビーコンの数を増加させることであり、これは、ユーザーの現在位置が評価される頻度を増加させ、したがって、ユーザーが、（例えばユーザーが遭遇すると予想されるビーコンのレンジ外に外れる程度まで）ルートを外れて迷う可能性を低下させる効果を有する。図４８は、ユーザーが計画されたルート上で横切ると予想されるビーコンのみを示していることに留意されたい。しかしながら、環境は、ユーザーが横切ると予想されない追加のビーコン（図示せず）を含んでもよい。
ユーザーが著しく迷う可能性は、例えばユーザーの選択肢が障害物によって著しく制限されているので、図４７及び図４８においては高くない。それでも、ユーザーは、混乱して誤って曲がってしまう可能性があり、これは、ユーザーを計画されたルートから離れさせてしまう。あるいは、ユーザーは、計画された経路から意図的に逸脱すると決定することもある。例えば、図４８におけるビーコンｂ９に関連付けられている交差点において、ユーザーは、右に曲がるのではなく左に曲がることもある。したがって、ユーザーは、最終的に、ユーザーが遭遇すると予想されない経路外のビーコン（図示せず）に遭遇する可能性がある。
ビーコンベースのガイダンスモジュール４２２は、異なる方法でこの状況に対処することができる。１つの場合において、ビーコンベースのガイダンスモジュール４２２は、ユーザーが軌道を外れて迷っているとみられ、ユーザーの向き及び意図を判定することができないので、ユーザーにもはやガイダンスを提供することができなくなることをユーザーに通知することができる。ビーコンベースのガイダンスモジュール４２２は、ユーザーが環境を通る元の規定された経路に追従する意図があるかどうかを、ユーザーに問い合わせることができる。
別の場合において、ユーザーの現在の位置、向き、及び意図に関する十分な情報が取得され得る場合、ビーコンベースのガイダンスモジュール４２２は、ユーザーを計画されたルートに戻すように指示することができる。例えば、ビーコンベースのガイダンスモジュール４２２は、ユーザーの最も直近の既知の位置のセットに基づいて軌道を形成することによって、ユーザーが現在向かっているものとみられる方向（しかしながら、この方向は誤りであるとみられる）を判定することができる。ビーコンベースのガイダンスモジュール４２２は、次いで、この向き情報とともに、ユーザーの現在位置に関する情報（既知である場合）を使用して、計画されたルート上に戻すようにユーザーを誘導することができる。あるいは、ビーコンベースのガイダンスモジュール４２２は、ユーザーに問い合わせて、ユーザーが依然として計画されたルートに追従する意図があるか又は別のルートを選択するかを判定することもできる。
いずれのシナリオにおいても、ビーコンベースのガイダンスモジュール４２２は、下記の情報が取得可能であるときには、（ＢＬＥビーコンによって提供される情報に加えて）ユーザーの現在の位置及び向きの他のエビデンスに依拠することもできる。例えば、ビーコンベースのガイダンスモジュール４２２は、ＧＰＳセンサーソース、推測航法技術などからの情報を収集することができる。他の場合において、これらの追加のソースのうちの少なくとも一部は、利用可能でない又は信頼性がないと想定される。
図４９は、図４７及び図４８の例と比較して、ユーザーが移動する空間がより自由である別の状況を示している。この空間には、短レンジビーコンの集合が予め投入されている。例えば、空間の物理的特性が許す場合には、この空間には、規則的なマトリックス状のそのようなビーコンが投入されることもある。これらのビーコンは、互いと重なり合わないレンジを有する。
この場合も、ルート計画ツールは、その目的のために、任意のルート計画アルゴリズムを使用して、任意の入力オブジェクトに基づいて、この空間を通るルート４９０２を生成することができる。ビーコンベースのガイダンスモジュール４２２は、次いで、ユーザーが計画されたルート４９０２を移動するときに横切ると予想されるビーコンを判定する。これらのビーコンは、黒実線ビーコン記号で表されている。
ルート４９０２の実際の移動中に、ビーコンベースのガイダンスモジュール４２２は、上述したのと同じ機能を実行する。すなわち、ユーザーが予想される経路に沿ったビーコン（ビーコンｂ２２など）のレンジに入ったとビーコンベースのガイダンスモジュール４２２が判定したときに、ビーコンベースのガイダンスモジュール４２２は、そのビーコンの位置を、ユーザーの現在位置として認識する。ビーコンベースのガイダンスモジュール４２２は、次いで、ユーザーの向きを再計算し、ユーザーを次のビーコン（例えばビーコンｂ３３など）に向けてガイドするように３次元ビート音（及び／又は他のガイダンス情報）を更新する。
図４９の場合においてユーザーが軌道から外れるリスクは、ユーザーが誤りを犯すより高い自由度がユーザーに与えられるので、図４８の場合より高い。図５０は、この状況に対処する１つの方法を示している。ここでは、ビーコンベースのガイダンスモジュール４２２は、例えば最適なルート５００２のいずれかのサイドにある隣接ビーコンも包含することによって、より一般的な方法で、ユーザーが計画されたルート５００２に沿って遭遇する可能性があるビーコン（黒実線ビーコン記号として表される）を規定する。ビーコンベースのガイダンスモジュール４２２は、ユーザーがこれらの隣接ビーコンのレンジに迷い込んだ場合でも、ユーザーが依然として計画されたルート５００２に従おうと試みており、わずかにコースから逸れてしまっただけであるという仮定の下、ユーザーにガイダンスを提供し続けることができる。ビーコンベースのガイダンスモジュール４２２は、最も外側の隣接ビーコンに関連付けられている境界を越えてユーザーが迷うときにのみ、エラー状態を生成することができる。
別の実施形態において、ビーコンベースのガイダンスモジュール４２２は、ユーザーが自分の経路に沿ってそれまでに既に遭遇しているビーコンに基づいて、ユーザーの所望の行き先についての仮定を形成することができる。例えば、ビーコンベースのガイダンスモジュール４２２は、それまでに遭遇したビーコンの位置に基づいて軌道を形成することができる。ビーコンベースのガイダンスモジュール４２２は、次いで、例えばその軌道をその現在の方向に沿って延長することによって、その軌道が指している可能性が高い中間地点又は最終行き先を判定することができる。ビーコンベースのガイダンスモジュール４２２は、次いで、ユーザーがその仮定の行き先に向かう経路に追従したいかどうかを、ユーザーに尋ねることができる。ユーザーがその経路に追従したい場合には、ビーコンベースのガイダンスモジュール４２２は、その後も、ユーザーがその特定された行き先に到達するのを助ける、上述したのと同じタイプのナビゲーション支援を提供することができる。
本明細書に記載されているいずれの場合においても、ビーコンベースのガイダンスモジュール４２２は、ユーザーの以前の移動習慣に関する過去の情報及び／又は他人の移動習慣（指定された環境に関するもの）に関する過去の情報を考慮することができる。この情報は、取得可能な場合には、所望の行き先に到達しようとするユーザーの意図のさらなるエビデンスを提供することができる。
図５１は、例えば図４７〜図５０のタイプの環境のコンテキスト内におけるビーコンベースのガイダンスモジュール４２２の１つの動作方法を表すプロセス５１０２を示している。ブロック５１０４において、ビーコンベースのガイダンスモジュール４２２は、環境内の現在位置において動作しているコンピューティングデバイスの１つ以上のセンサーから特定のビーコン信号を受信する。コンピューティングデバイスは、ユーザーデバイス１０６又はヘッドセット１０８などに対応し得る。上述のように、環境には、１つの例示的な実施形態ではそれぞれの重なり合わないレンジを有する複数のビーコンが投入される。さらに、予備ステップとして、ルート計画モジュールは、旅程情報によって表される所望のルートを規定している場合がある。あるいは、所望のルートは、ユーザーの意図される中間地点又は最終行き先に関してなされた仮定に基づいて、ユーザーが環境を移動するときに動的に生成される場合もある。いずれの場合においても、所望のルートは、環境内の全てのビーコンのセットのうち、ルート固有ビーコンのセットに関連付けられているレンジを横切る。
ブロック５１０６において、ビーコンベースのガイダンスモジュール４２２は、上記の特定のビーコン信号に基づいて、ユーザーがルート固有ビーコンのうちの１つのビーコンのレンジ内にいるかどうかを判定する。この動作は、ユーザーがレンジ内にいるときには、現在位置情報をもたらす。ブロック５１０８において、ビーコンベースのガイダンスモジュール４２２は、予め定められた旅程情報に基づいて、ユーザーが到達すると予想される次のウェイポイントを判定して、次ウェイポイント情報（next waypoint information）を提供する。いくつかの場合において、次のウェイポイントは、ユーザーの予め定められた旅程に沿った次のビーコンに対応し得る。次いで、ブロック５１１０において、ビーコンベースのガイダンスモジュール４２２は、現在位置情報及び次ウェイポイント情報に基づいて、方向情報を決定する。この方向情報は、ユーザーが次のウェイポイントに到達するために移動するように勧められる方向を反映する。ブロック５１１２において、ビーコンベースのガイダンスモジュール４２２は、この方向情報に基づいて、オーディオ情報（及び／又は他のガイダンス情報）を生成する。ブロック５１１４において、ビーコンベースのガイダンスモジュール４２２は、オーディオ情報を、例えば３次元ビート音として、ユーザーに配信する。オーディオ情報は、ユーザーが次のウェイポイントに到達するのを支援する。ビーコンベースのガイダンスモジュール４２２は、経路ガイダンスモジュール４２０及び音生成モジュール４１４の支援により、上記の機能を実行することができる。
図５２は、ビーコンベースのガイダンスモジュール４２２が環境内のユーザーの現在位置を判定できる１つの方法に関するさらなる詳細を提供するプロセス５２０２を示している。ブロック５２０４において、ビーコンベースのガイダンスモジュール４２２は、受信された特定のビーコン信号に関連付けられている特定のビーコン符号を特定する。ブロック５２０６において、ビーコンベースのガイダンスモジュール４２２は、この特定のビーコン符号に基づいて、この特定のビーコン符号に関連付けられている特定のビーコンを特定する。ブロック５２０８において、ビーコンベースのガイダンスモジュール４２２は、ビーコン符号と環境内におけるビーコンのそれぞれの位置とを特定する（データ記憶部４２４に）記憶されている情報に基づいて、この特定のビーコンの位置を特定する。
要約すると、上記の特徴は、特にユーザーが自分の位置を判定するために（例えば衛星ベースの航法システムの使用に基づく）他のモードに依拠できない状況において、ユーザーが自分の環境を安全且つ効率的に移動することを可能にするという上述の目的に寄与する。さらに、（１つの例示的な実施形態に従った）重なり合わないビーコンレンジの使用は、ユーザーが一度に同時に２つ以上のビーコンのレンジ内に存在する可能性がないので、ユーザーの位置を明確にする効率的な機構を提供する。
第１の実施形態の上記の説明では、ユーザーデバイス１０６（及び／又はヘッドセット１０８）が、任意の所与の時点において、複数のビーコンではなく０又は１つのビーコンにより送信された信号を受信すると仮定している。他の実施形態において、上記の特徴は、異なる形で緩和されることがある。
例えば、第２の実施形態において、ビーコンベースのガイダンスモジュール４２２は、ユーザーデバイス１０６及び／又はヘッドセット１０８が、特定のビーコンから、既定の閾値を超える信号強度を有する信号を受信した場合に、ユーザーデバイス１０６及び／又はヘッドセット１０８が、その特定のビーコンのレンジ内にあると結論づける。しかしながら、第１の実施形態とは異なり、ビーコンベースのガイダンスモジュール４２２は、環境内の１つ以上の他のビーコンからも、それぞれの信号強度が規定の閾値未満である、より弱い信号を同時に受信することがある。このシナリオにおいて、ビーコンベースのガイダンスモジュール４２２が、任意の所与の時点において、（１）閾値を超える信号強度を有する信号を受信しないような又は（２）閾値を超える信号強度を有する信号を１つだけ受信するような位置を有するビーコンが、環境に投入される。実際には、第２の実施形態は、第１の実施形態と同様に機能し、ユーザーがそれらのビーコンのうちの１つのビーコンのレンジ内にいると仮定して、例えば任意の所与の時点におけるユーザーの位置を明確にするバイナリ機構を提供することによって、同じ利点を提供する。第２の実施形態におけるビーコンは、したがって、上記の挙動により、機能又は効果の面で重なり合わないものと考えられ得る。したがって、本明細書で使用される「重なり合わない」との言及は、ビーコンが文字通り重なり合わないレンジを有する場合と、ユーザーデバイス１０６及び／又はヘッドセット１０８が既定の閾値を超える信号強度を有する多くても１つのビーコンからの信号を受信できるだけであることからそれらのレンジが重なり合わないと考えられ得る場合と、の両方を包含するものとして理解されるべきである。
第３の実施形態において、ビーコンベースのガイダンスモジュール４２２は、任意の所与の時点において、任意の信号強度を有する任意の数のビーコンから信号を受信することがある。特定の位置における信号（及び強度）のセットが、その位置についての信号プロファイル情報を規定する。予備動作として、ビーコンベースのガイダンスモジュール４２２は、環境内の各ナビゲート可能位置についての信号プロファイル情報を記憶して、例えばその位置における信号及びそのそれぞれの強度に関する情報を構成することができる。集合的に、この記憶された情報が、環境のプロファイルマップを構成する。ナビゲーション中、ビーコンベースのガイダンスモジュール４２２は、ビーコンベースのガイダンスモジュール４２２が所与の位置で所与の時点において受信している信号を判定して、現在の信号プロファイル情報を提供することができる。次いで、ビーコンベースのガイダンスモジュール４２２は、この現在の信号プロファイル情報をキーとして使用して、最も近い一致する信号プロファイル情報を有する位置を見つけることができる。この位置は、所与の時点におけるユーザーの可能性の高い位置を規定する。いくつかの環境において、ビーコンによって発される信号の強度及び／又はそれらの信号を検出する能力は、様々な環境固有の理由から、時間とともに変化する可能性がある。ビーコンベースのガイダンスモジュール４２２は、信号プロファイル情報の正規化されたバージョンを比較することによって、この問題に対処することができる。第３の実施形態におけるビーコンの位置は、上述の第１の実施形態又は第２の実施形態に関連する、重なり合わないという制約を満たす必要がないことに留意されたい。
Ｆ．代表的なコンピューティング機能
図５３は、上記のシステム１０２の任意の態様を実装するために使用され得るコンピューティング機能５３０２を示している。例えば、図５３に示されるタイプのコンピューティング機能５３０２は、ユーザーデバイス１０６、リモート処理リソース１１２のうちのいずれか、ヘッドセット１０８によって使用される処理機器、別個のユーザーコンピューティングデバイス１１０などを実装するために使用され得る。全ての場合において、コンピューティング機能５３０２は、１つ以上の物理的な有形の処理機構を表す。
コンピューティング機能５３０２は、１つ以上の中央処理装置（ＣＰＵ）及び／又は１つ以上のグラフィック処理装置（ＧＰＵ）などの１つ以上の処理デバイス５３０４を含み得る。
コンピューティング機能５３０２はまた、コード、設定、データなどの任意の種類の情報を記憶する任意の記憶リソース５３０６を含み得る。限定されるわけではないが、例えば、記憶リソース５３０６は、任意の１つ以上のタイプのＲＡＭ、任意の１つ以上のタイプのＲＯＭ、フラッシュデバイス、ハードディスク、光ディスクなどのうちの任意のものを含み得る。より一般的には、任意の記憶リソースは、情報を記憶するための任意の技術を使用することができる。さらに、任意の記憶リソースは、情報の揮発性又は不揮発性の保持を提供することができる。さらに、任意の記憶リソースは、コンピューティング機能５３０２の固定された又は取外し可能なコンポーネントを表し得る。コンピューティング機能５３０２は、処理デバイス５３０４が任意の記憶リソース又は記憶リソースの組合せに記憶されている命令を実行したときに、上述の機能のいずれかを実行することができる。
用語に関して、記憶リソース５３０６のうちの任意のもの又は記憶リソース５３０６の任意の組合せは、コンピューター読み取り可能な媒体とみなされ得る。多くの場合において、コンピューター読み取り可能な媒体は、何らかの形態の物理的な有形のエンティティーを表す。コンピューター読み取り可能な媒体という用語は、例えば物理的経路及び／又は空中若しくは他の無線媒体などを介して送信又は受信される伝搬信号を包含する。しかしながら、「コンピューター読み取り可能な記憶媒体」及び「コンピューター読み取り可能な媒体デバイス」という具体的な用語は、伝搬信号以外の全ての形態のコンピューター読み取り可能な媒体を含むが、伝搬信号自体は明確に排除している。
コンピューティング機能５３０２はまた、ハードディスクドライブ機構、光ディスクドライブ機構など、任意の記憶リソースとインタラクトする１つ以上のドライブ機構５３０８を含む。
コンピューティング機能５３０２はまた、（入力デバイス５３１２を介して）様々な入力を受信し、（出力デバイス５３１４を介して）様々な出力を提供する入力／出力モジュール５３１０を含む。例示的な入力デバイスは、キーボードデバイス、マウス入力デバイス、タッチ検知入力デバイス、デジタル化パッド、１つ以上のビデオカメラ、１つ以上のデプスカメラ、自由空間ジェスチャー認識機構、１つ以上のマイクロフォン、音声認識機構、任意の動き検出機構（例えば加速度計、ジャイロスコープなど）などを含む。１つの特定の出力機構は、提示デバイス５３１６と、関連付けられたグラフィカルユーザーインターフェイス（ＧＵＩ）５３１８と、を含み得る。他の出力デバイスは、プリンター、モデル生成機構、触覚出力機構、（出力情報を記憶する）アーカイブ機構などを含む。コンピューティング機能５３０２はまた、１つ以上の通信路５３２２を介して他のデバイスとデータを交換するための１つ以上のネットワークインターフェイス５３２０を含み得る。１つ以上の通信バス５３２４は、上述のコンポーネントを通信可能に接続する。
１つ以上の通信路５３２２は、例えばローカルエリアネットワーク、ワイドエリアネットワーク（例えばインターネット）、ポイントツーポイント接続など、又はそれらの任意の組合せによって、任意の方法で実装され得る。１つ以上の通信路５３２２は、任意のプロトコル又はプロトコルの組合せによって制御される、ハードワイヤードリンク、無線リンク、ルーター、ゲートウェイ機能、ネームサーバーなどの任意の組合せを含み得る。
代替的又は追加的に、上記のセクションに記載された機能のうちの任意の機能は、少なくとも部分的には、１つ以上のハードウェアロジックコンポーネントによって実行され得る。例えば、限定されるわけではないが、コンピューティング機能５３０２は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップシステム（ＳｏＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などのうちの１つ以上を使用して実装され得る。
最後に、以下の記載は、上述のシステム１０２のそれぞれの態様を要約したものである。
第１の態様に従うと、ユーザーが空間とインタラクトするのを支援するシステムが記載される。このシステムは、ユーザーが空間とインタラクトするときにユーザーにオーディオ情報を提示するヘッドセットを含む。このヘッドセットは、少なくとも、ユーザーから、空間インタラクションモジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出すコマンドを受信する入力機構のセットを有する。
第２の態様に従うと、ヘッドセットは、骨伝導機構を使用して、ユーザーにオーディオ情報を配信する。
第３の態様に従うと、少なくとも１つのコマンドは、リスニングモードを開始するように空間インタラクションモジュールに命令する。リスニングモードにおいて、空間インタラクションモジュールは、ユーザーによって話された命令を受信する。
第４の態様に従うと、少なくとも１つのコマンドは、オーディオ情報の配信を停止するように空間インタラクションモジュールに命令する。
第５の態様に従うと、少なくとも１つのコマンドは、オーディオ情報の１つ以上の以前に配信された項目を繰り返すように空間インタラクションモジュールに命令する。
第６の態様に従うと、少なくとも１つのコマンドは、探索モードを開始するように空間インタラクションモジュールに命令する。探索モードにおいて、空間インタラクションモジュールは、ユーザーの注意が現在向けられている部分空間に関連付けられている関心項目のセットに関する情報を提供する。
第７の態様に従うと、少なくとも１つのコマンドは、オリエンテーションモードを開始するように空間インタラクションモジュールに命令する。オリエンテーションモードにおいて、空間インタラクションモジュールは、現在時点におけるユーザーの周りの空間全体に関連付けられている関心項目のセットに関する情報を提供する。
第８の態様に従うと、少なくとも１つのコマンドは、詳細情報機能を実行するように空間インタラクションモジュールに命令する。空間インタラクションモジュールは、以前に配信された関心項目に関連付けられていたトピックに関する追加の情報を提供することによって、詳細情報機能を実行する。
第９の態様に従うと、少なくとも１つの入力機構は、ユーザーが入力機構とインタラクトしたやり方に応じて、複数の機能を呼び出すことができる。
第１０の態様に従うと、空間インタラクションモジュールは、ヘッドセットによって実装されている。
第１１の態様に従うと、ヘッドセットは、ヘッドセットの向きを判定して、ヘッドセット向き情報を提供するヘッドセット向き判定機構、ヘッドセットの動きを判定して、ヘッドセット動き情報を提供するヘッドセット動き判定機構、及び／又はヘッドセットの位置を判定して、ヘッドセット位置情報を提供するヘッドセット位置判定機構をさらに有する。
第１２の態様に従うと、このシステムは、少なくとも１つのユーザーコンピューティングデバイスをさらに有する。ユーザーコンピューティングデバイスは、ユーザーによる空間とのインタラクションに関連する情報を表示する表示出力機構を提供する。ユーザーコンピューティングデバイスが、空間インタラクションモジュールに関連付けられている機能の少なくとも一部を実装している。さらに、ヘッドセットは、ユーザーコンピューティングデバイスと通信するための第１の通信機構を有し、ユーザーコンピューティングデバイスは、ヘッドセットと通信するための第２の通信機構を有する。
第１３の態様に従うと、ユーザーコンピューティングデバイスは、ヘッドセット向き情報、ヘッドセット動き情報、及び／又はヘッドセット位置情報に基づいて処理を実行して、結果を生成し、その結果をヘッドセットに転送するよう構成されている。
第１４の態様に従うと、ユーザーコンピューティングデバイスは、ユーザーコンピューティングデバイスの向きを判定して、デバイス向き情報を提供するデバイス向き判定機構、ユーザーコンピューティングデバイスの動きを判定して、デバイス動き情報を提供するデバイス動き判定機構、及び／又はユーザーコンピューティングデバイスの位置を判定して、デバイス位置情報を提供するデバイス位置判定機構をさらに有する。
第１５の態様に従うと、ヘッドセットは、対応する情報がヘッドセットから取得可能でないときに、ユーザーコンピューティングデバイスによって提供されたデバイス向き情報、デバイス動き情報、及び／又はデバイス位置情報に基づいて機能を実行するよう構成されている。
第１６の態様に従うと、少なくともヘッドセット及び／又はユーザーコンピューティングデバイスは、外部コンピューティングデバイスによって提供される情報を受信し、且つ／又は外部コンピューティングデバイスによって提供される機能を使用するよう構成されている。
第１７の態様に従うと、ユーザーが空間とインタラクトするのを支援する、システムによって実施される方法が記載される。この方法は、ヘッドセットに接続されている少なくとも１つの入力機構のユーザーによる作動に基づく命令を受信するステップと、この命令に基づいて機能を実行して、出力結果を提供するステップと、この出力結果に基づいて、ヘッドセットを介して、ユーザーが空間とインタラクトするのを支援するオーディオ情報を配信するステップと、を含む。
第１８の態様に従うと、機能を実行する動作は、ヘッドセットによって少なくとも部分的に実装されている空間インタラクションモジュールを使用して機能を実行することを伴う。
第１９の態様に従うと、機能を実行する動作は、ヘッドセットに通信可能に接続されている別個のユーザーコンピューティングデバイスによって少なくとも部分的に実装されている空間インタラクションモジュールを使用して機能を実行することを伴う。
第２０の態様に従うと、ユーザーが空間とインタラクションするときにユーザーを支援するオーディオ情報を提示するオーディオ出力機構と、ユーザーから、空間インタラクションモジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出すコマンドを受信する入力機構のセットと、を含むヘッドセットが記載される。少なくとも１つのコマンドは、探索モードを開始するように空間インタラクションモジュールに命令し、少なくとも１つのコマンドは、オリエンテーションモードを開始するように空間インタラクションモジュールに命令する。探索モードにおいて、空間インタラクションモジュールは、ユーザーの注意が現在向けられている部分空間に関連付けられている関心項目のセットに関する情報を提供する。オリエンテーションモードにおいて、空間インタラクションモジュールは、現在時点におけるユーザーの周りの空間全体に関連付けられている関心項目のセットに関する情報を提供する。
第２１の態様は、上記で言及された第１の態様乃至第２０の態様の任意の組合せ（例えば任意の置換又はサブセット）に対応する。
第２２の態様に従うと、第１の態様乃至第２１の態様のうちのいずれかを実装している１つ以上のコンピューティングデバイス（及び／又は１つ以上のヘッドセット）が提供される。
第２３の態様に従うと、第１の態様乃至第２１の態様のうちのいずれかを実装しているシステムが提供される。
第２４の態様に従うと、第１の態様乃至第２１の態様のうちのいずれかを実装するよう構成されているロジックを含む１つ以上のコンピューター読み取り可能な記憶媒体が提供される。
第２５の態様に従うと、第１の態様乃至第２１の態様のうちのいずれかを実装している１つ以上の手段が提供される。
さらに、最後に、本明細書に記載の機能は、様々な機構を利用して、任意のユーザーデータが、適用される法律、社会的規範、並びに個々のユーザーの期待及び好みに従う方法で取り扱われることを確実にすることができる。例えば、この機能は、ユーザーが、この機能の規定に明示的にオプトインする（その後に明示的にオプトアウトする）ことを可能にし得る。この機能はまた、ユーザーデータのプライバシーを保証する適切なセキュリティー機構（データ無害化機構、暗号化機構、パスワード保護機構など）を提供することができる。
さらに、主題が、構造的特徴及び／又は方法論的動作に特有の言葉で説明されたが、請求項において定められる主題は、上述の特定の特徴又は動作に必ずしも限定されるわけではないことを理解されたい。そうではなく、上述の特定の特徴及び動作は、請求項を実施する例示的な形態として開示されたものである。

Claims (15)

  1. ユーザーが空間とインタラクトするのを支援するシステムであって、
    前記ユーザーが前記空間とインタラクトするときに前記ユーザーにオーディオ情報を提示するヘッドセット
    を備え、
    前記ヘッドセットは、少なくとも、
    前記ユーザーから、空間インタラクションモジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出すコマンドを受信する入力機構のセット
    を有する、システム。
  2. 少なくとも１つのコマンドは、リスニングモードを開始するように前記空間インタラクションモジュールに命令し、
    前記リスニングモードにおいて、前記空間インタラクションモジュールは、前記ユーザーによって話された命令を受信する、請求項１に記載のシステム。
  3. 少なくとも１つのコマンドは、前記オーディオ情報の配信を停止するように前記空間インタラクションモジュールに命令する、請求項１に記載のシステム。
  4. 少なくとも１つのコマンドは、オーディオ情報の１つ以上の以前に配信された項目を繰り返すように前記空間インタラクションモジュールに命令する、請求項１に記載のシステム。
  5. 少なくとも１つのコマンドは、探索モードを開始するように前記空間インタラクションモジュールに命令し、
    前記探索モードにおいて、前記空間インタラクションモジュールは、前記ユーザーの注意が現在向けられている部分空間に関連付けられている関心項目のセットに関する情報を提供する、請求項１に記載のシステム。
  6. 少なくとも１つのコマンドは、オリエンテーションモードを開始するように前記空間インタラクションモジュールに命令し、
    前記オリエンテーションモードにおいて、前記空間インタラクションモジュールは、現在時点における前記ユーザーの周りの空間全体に関連付けられている関心項目のセットに関する情報を提供する、請求項１に記載のシステム。
  7. 少なくとも１つのコマンドは、詳細情報機能を実行するように前記空間インタラクションモジュールに命令し、
    前記空間インタラクションモジュールは、以前に配信された関心項目に関連付けられていたトピックに関する追加の情報を提供することによって、前記詳細情報機能を実行する、請求項１に記載のシステム。
  8. 前記空間インタラクションモジュールは、前記ヘッドセットによって実装されている、請求項１に記載のシステム。
  9. ユーザーが空間とインタラクトするのを支援する、システムによって実施される方法であって、
    ヘッドセットに接続されている少なくとも１つの入力機構の前記ユーザーによる作動に基づく命令を受信するステップと、
    前記命令に基づいて機能を実行して、出力結果を提供するステップと、
    前記出力結果に基づいて、前記ヘッドセットを介して、前記ユーザーが前記空間とインタラクトするのを支援するオーディオ情報を配信するステップと、
    を含む方法。
  10. ヘッドセットであって、
    ユーザーが空間とインタラクトするときに前記ユーザーを支援するオーディオ情報を提示するオーディオ出力機構と、
    前記ユーザーから、空間インタラクションモジュールによって実行されるそれぞれの空間インタラクション関連機能を呼び出すコマンドを受信する入力機構のセットと、
    を備え、
    少なくとも１つのコマンドは、探索モードを開始するように前記空間インタラクションモジュールに命令し、
    前記探索モードにおいて、前記空間インタラクションモジュールは、前記ユーザーの注意が現在向けられている部分空間に関連付けられている関心項目のセットに関する情報を提供し、
    少なくとも１つの他のコマンドは、オリエンテーションモードを開始するように前記空間インタラクションモジュールに命令し、
    前記オリエンテーションモードにおいて、前記空間インタラクションモジュールは、現在時点における前記ユーザーの周りの空間全体に関連付けられている関心項目のセットに関する情報を提供する、ヘッドセット。
  11. 前記ヘッドセットは、
    前記ヘッドセットの向きを判定して、ヘッドセット向き情報を提供するヘッドセット向き判定機構、
    前記ヘッドセットの動きを判定して、ヘッドセット動き情報を提供するヘッドセット動き判定機構、及び／又は
    前記ヘッドセットの位置を判定して、ヘッドセット位置情報を提供するヘッドセット位置判定機構
    をさらに有する、請求項１に記載のシステム。
  12. 前記システムは、少なくとも１つのユーザーコンピューティングデバイスをさらに備え、
    前記ユーザーコンピューティングデバイスは、前記ユーザーによる前記空間とのインタラクションに関連する情報を表示する表示出力機構を提供し、
    前記ユーザーコンピューティングデバイスは、前記空間インタラクションモジュールに関連付けられている機能の少なくとも一部を実装しており、
    前記ヘッドセットは、前記ユーザーコンピューティングデバイスと通信するための第１の通信機構を有し、前記ユーザーコンピューティングデバイスは、前記ヘッドセットと通信するための第２の通信機構を有する、請求項１１に記載のシステム。
  13. 前記ユーザーコンピューティングデバイスは、前記ヘッドセット向き情報、前記ヘッドセット動き情報、及び／又は前記ヘッドセット位置情報に基づいて処理を実行して、結果を生成し、前記結果を前記ヘッドセットに転送するよう構成されている、請求項１２に記載のシステム。
  14. 前記ユーザーコンピューティングデバイスは、
    前記ユーザーコンピューティングデバイスの向きを判定して、デバイス向き情報を提供するデバイス向き判定機構、
    前記ユーザーコンピューティングデバイスの動きを判定して、デバイス動き情報を提供するデバイス動き判定機構、及び／又は
    前記ユーザーコンピューティングデバイスの位置を判定して、デバイス位置情報を提供するデバイス位置判定機構
    をさらに有する、請求項１２に記載のシステム。
  15. 前記ヘッドセットは、対応する情報が前記ヘッドセットから取得可能でないときに、前記ユーザーコンピューティングデバイスによって提供された前記デバイス向き情報、前記デバイス動き情報、及び／又は前記デバイス位置情報に基づいて機能を実行するよう構成されている、請求項１４に記載のシステム。
JP2017523478A 2014-10-31 2015-10-28 入力機構を有するヘッドセットを用いたユーザーとユーザーの環境との間のインタラクションの容易化 Active JP6689265B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073762P 2014-10-31 2014-10-31
US62/073,762 2014-10-31
US14/690,422 US9977573B2 (en) 2014-10-31 2015-04-19 Facilitating interaction between users and their environments using a headset having input mechanisms
US14/690,422 2015-04-19
PCT/US2015/057684 WO2016069672A1 (en) 2014-10-31 2015-10-28 Facilitating interaction between users and their environments using a headset having input mechanisms

Publications (3)

Publication Number Publication Date
JP2018502360A true JP2018502360A (ja) 2018-01-25
JP2018502360A5 JP2018502360A5 (ja) 2018-11-01
JP6689265B2 JP6689265B2 (ja) 2020-04-28

Family

ID=55852329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017523478A Active JP6689265B2 (ja) 2014-10-31 2015-10-28 入力機構を有するヘッドセットを用いたユーザーとユーザーの環境との間のインタラクションの容易化

Country Status (11)

Country Link
US (4) US9612722B2 (ja)
EP (4) EP3213177B1 (ja)
JP (1) JP6689265B2 (ja)
KR (2) KR102470734B1 (ja)
CN (5) CN107111473B (ja)
AU (2) AU2015339427B2 (ja)
BR (1) BR112017005842A2 (ja)
CA (1) CA2965353C (ja)
MX (1) MX2017005657A (ja)
RU (1) RU2706462C2 (ja)
WO (4) WO2016069671A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022018836A1 (ja) 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11259108B2 (en) 2018-05-24 2022-02-22 Sony Corporation Information processing device and information processing method

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862491B (zh) * 2019-01-05 2023-11-24 深圳市韶音科技有限公司 骨传导扬声装置
US8965028B2 (en) 2012-08-23 2015-02-24 Skullcandy, Inc. Speakers, headphones, and kits related to vibrations in an audio system, and methods for forming same
CN103677496A (zh) * 2012-09-07 2014-03-26 腾讯科技（深圳）有限公司 界面控制方法及控制装置
EP3036930B1 (en) 2013-08-19 2019-12-18 Estimote Polska Sp. Zo. o. Method for distributing notifications
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
KR102263695B1 (ko) * 2014-01-20 2021-06-10 삼성전자 주식회사 복수개의 카메라를 이용한 휴대 장치 및 제어방법
US10691324B2 (en) * 2014-06-03 2020-06-23 Flow Labs, Inc. Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
EP3691292A1 (en) 2014-12-31 2020-08-05 Skullcandy, Inc. Speaker assemblies for passive generation of vibrations and related headphone devices and methods
EP3041258B1 (en) * 2014-12-31 2018-02-28 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9622208B2 (en) * 2015-09-02 2017-04-11 Estimote, Inc. Systems and methods for object tracking with wireless beacons
US10136250B2 (en) 2015-09-02 2018-11-20 Estimote Polska Sp. Z O. O. System and method for lower power data routing
US9826351B2 (en) * 2015-09-02 2017-11-21 Estimote Polska Sp. Z O. O. System and method for beacon fleet management
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
CN105894533A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 基于智能设备实现体感控制的方法、系统以及智能设备
KR102561572B1 (ko) * 2016-01-20 2023-07-31 삼성전자주식회사 센서 활용 방법 및 이를 구현한 전자 장치
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
WO2017165564A1 (en) 2016-03-22 2017-09-28 Estimote, Inc. System and method for multi-beacon interaction and management
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10582328B2 (en) * 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
WO2018009584A1 (en) * 2016-07-06 2018-01-11 Coney Lillie Bruce Travel assistance system
WO2018009878A1 (en) 2016-07-07 2018-01-11 Estimote Polska Sp. Z O. O. Method and system for content delivery with a beacon
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
KR20180029697A (ko) * 2016-09-13 2018-03-21 삼성전자주식회사 네비게이션 업데이트 방법 및 장치
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
JP6686829B2 (ja) * 2016-10-04 2020-04-22 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10063957B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10058282B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
WO2018093193A1 (en) 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
DE102017127136A1 (de) * 2016-11-18 2018-05-24 Schaefer Gmbh Leitsystem und -verfahren, insbesondere für sehbehinderte Personen
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
JP6634528B2 (ja) 2016-12-15 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10126132B2 (en) 2017-01-17 2018-11-13 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
WO2018144273A1 (en) 2017-02-03 2018-08-09 Benjamin Moore & Co. Autonomous system of assist consumers to select colors
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
WO2018163637A1 (ja) * 2017-03-09 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US11638869B2 (en) * 2017-04-04 2023-05-02 Sony Corporation Information processing device and information processing method
US11193783B2 (en) * 2017-04-04 2021-12-07 Microsoft Technology Licensing, Llc Guidance audio cues for navigation assistance
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193513A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193557A1 (ja) * 2017-04-19 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11408749B2 (en) * 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
EP3643082A1 (en) * 2017-06-21 2020-04-29 Sony Corporation Apparatus, system, method and computer program for distributing announcement messages
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
WO2019045622A1 (en) * 2017-08-31 2019-03-07 Terranet Ab HEADSET AND METHOD OF OPERATING THE HEADSET
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
KR101984557B1 (ko) * 2017-09-22 2019-09-03 (주)파트론 헤드셋 및 이의 충돌 경고 방법
KR102545721B1 (ko) * 2017-09-27 2023-06-21 애플 인크. 공간적 오디오 내비게이션
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US11651238B2 (en) * 2017-10-20 2023-05-16 Bragi GmbH Earpiece advisor
EP3477466A1 (en) * 2017-10-31 2019-05-01 Nokia Technologies Oy Provision of virtual reality content
US20190155568A1 (en) * 2017-11-20 2019-05-23 Serious Biz, LLC Live presentation delivery aid system and method
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
EP3495969A1 (en) * 2017-12-07 2019-06-12 Nokia Technologies Oy An apparatus and associated methods for presentation of augmented reality content
WO2019113570A1 (en) 2017-12-10 2019-06-13 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
JP6408118B1 (ja) * 2017-12-12 2018-10-17 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
CN108168546B (zh) * 2017-12-28 2021-08-06 重庆大学 定位系统及定位方法
CN108269460B (zh) * 2018-01-04 2020-05-08 高大山 一种电子屏幕的阅读方法、系统及终端设备
US11318050B2 (en) 2018-01-24 2022-05-03 American Printing House for the Blind, Inc. Navigation assistance for the visually impaired
CN108063997A (zh) * 2018-01-25 2018-05-22 芜湖应天光电科技有限责任公司 一种可实现跟随导航的骨传导耳机的控制方法及骨传导耳机
WO2019156961A1 (en) * 2018-02-06 2019-08-15 Bose Corporation Location-based personal audio
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势（上海）汽车科技有限公司 用于辅助信息呈现的方法及装置
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
CN109753144A (zh) * 2018-05-08 2019-05-14 北京字节跳动网络技术有限公司 一种实现信息交互的方法、设备及系统
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
US11092812B2 (en) 2018-06-08 2021-08-17 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11567632B2 (en) * 2018-07-03 2023-01-31 Apple Inc. Systems and methods for exploring a geographic region
WO2020010226A1 (en) * 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) * 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11067403B2 (en) * 2018-07-05 2021-07-20 GM Global Technology Operations LLC Vehicle energy usage tracking
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US10583067B2 (en) 2018-08-08 2020-03-10 International Business Machines Corporation Source-of-sound based navigation for a visually-impaired user
CN109141453B (zh) * 2018-08-09 2021-06-18 恒大智慧科技有限公司 一种路线指引方法及系统
WO2020039252A1 (en) 2018-08-22 2020-02-27 Estimote Polska Sp Z.O.O. System and method for verifying device security
WO2020039251A2 (en) 2018-08-24 2020-02-27 Estimote Polska Sp z o.o. A method and system for asset management
JP7234555B2 (ja) * 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
WO2020122949A1 (en) * 2018-12-14 2020-06-18 Google Llc Graphical user interface indicator for broadcaster presence
US11844741B2 (en) * 2018-12-31 2023-12-19 Bruce Corporation Travel assistance system
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
JP2022519292A (ja) 2019-02-06 2022-03-22 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US20200280814A1 (en) * 2019-03-01 2020-09-03 Bose Corporation Augmented reality audio playback control
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
CN109991592A (zh) * 2019-04-11 2019-07-09 上海山流智能科技有限公司 一种盲人导航系统及导航方法
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
CN110134307A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 实现室内导航楼层锁定的方法、系统、介质和电子设备
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
CN114270870A (zh) * 2019-08-14 2022-04-01 三星电子株式会社 沉浸式显示系统及其方法
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
CN111083590B (zh) * 2019-11-11 2020-09-18 深圳市音飙科技有限公司 一种带智能摄像头的骨传导耳机
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
US11423624B2 (en) * 2019-11-18 2022-08-23 Magic Leap, Inc. Mapping and localization of a passable world
CN111121749B (zh) * 2019-12-26 2023-05-23 韩可 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
WO2021140929A1 (ja) * 2020-01-07 2021-07-15 ソニーグループ株式会社 信号処理装置および方法、音響再生装置、並びにプログラム
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
US11768083B2 (en) 2020-05-15 2023-09-26 Apple Inc. User interfaces for providing navigation directions
US11599194B2 (en) 2020-05-22 2023-03-07 International Business Machines Corporation Spatial guidance system for visually impaired individuals
US11788851B2 (en) 2020-06-11 2023-10-17 Apple Inc. User interfaces for customized navigation routes
CN111870947A (zh) * 2020-08-10 2020-11-03 网易（杭州）网络有限公司 游戏交互方法、装置、电子设备及存储介质
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
CN112365153B (zh) * 2020-11-10 2022-08-02 吉林建筑大学 视力障碍者旅游计划制定方法及相关装置
US20230412993A1 (en) * 2020-11-18 2023-12-21 Jana KALBERMATTER System and device for informing about spatially distributed objects
US11356501B1 (en) 2020-12-29 2022-06-07 Here Global B.V. Method, apparatus, and system for dynamic beacons address allocation
CN113160666B (zh) * 2021-05-12 2022-08-30 咪咕数字传媒有限公司 盲文阅读方法、电子设备及存储介质
US20220390248A1 (en) 2021-06-07 2022-12-08 Apple Inc. User interfaces for maps and navigation
US20230039479A1 (en) * 2021-08-03 2023-02-09 The Boeing Company Wayfinding assistance system for visually-impaired passengers
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
CN113532444B (zh) * 2021-09-16 2021-12-14 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
CN114267224A (zh) * 2022-01-04 2022-04-01 中国科学技术大学 助聋眼镜
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule
EP4276415A1 (en) * 2022-04-29 2023-11-15 Waymo Llc Spatial audio for wayfinding
CN114942032A (zh) * 2022-05-13 2022-08-26 上海大不自多信息科技有限公司 户外综合导航方法、系统及存储介质
WO2024081353A1 (en) * 2022-10-13 2024-04-18 Bose Corporation Scene recentering
DE102022211314A1 (de) 2022-10-25 2024-04-25 Volkswagen Aktiengesellschaft Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System und Kraftfahrzeug mit einem datenverarbeitenden System
CN116592898B (zh) * 2023-07-17 2023-10-03 武汉工程大学 一种室内定位方法

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7374294A (en) 1993-07-28 1995-02-28 Board Of Regents, The University Of Texas System Remotely controlled, infrared beacon system for guiding the visually impaired
FR2748807B1 (fr) 1996-05-14 1998-10-02 Rockwell Collins France Appareil individuel d'orientation
US5806017A (en) 1996-08-19 1998-09-08 Board Of Regents The University Of Texas System Electronic autorouting navigation system for visually impaired persons
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP2002131072A (ja) 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
US6684176B2 (en) 2001-09-25 2004-01-27 Symbol Technologies, Inc. Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation
US6999066B2 (en) 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
GB2415071B (en) 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
US7290219B2 (en) * 2003-04-28 2007-10-30 International Business Machines Corporation System and method for selection based action bar
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7751829B2 (en) 2003-09-22 2010-07-06 Fujitsu Limited Method and apparatus for location determination using mini-beacons
US7039522B2 (en) 2003-11-12 2006-05-02 Steven Landau System for guiding visually impaired pedestrian using auditory cues
US8028239B1 (en) 2003-12-19 2011-09-27 Microsoft Corporation Context-based management user interface supporting extensible subtractive filtering
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
US7496445B2 (en) 2005-04-27 2009-02-24 Proxemics, Llc Wayfinding
US20070018890A1 (en) 2005-07-22 2007-01-25 Kulyukin Vladimir A Multi-sensor wayfinding device
KR100653091B1 (ko) 2005-07-26 2006-12-01 삼성전자주식회사 입체 음향을 이용한 위치 인지 시스템, 시스템에 구비되는송신부, 수신부 및 위치 인지 방법
US8340304B2 (en) 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8098856B2 (en) 2006-06-22 2012-01-17 Sony Ericsson Mobile Communications Ab Wireless communications devices with three dimensional audio systems
KR20080063041A (ko) 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US20080218307A1 (en) * 2007-03-07 2008-09-11 Optimal Licensing Corporation Anticipatory utility control device
US7952961B2 (en) 2007-10-15 2011-05-31 Honeywell International Inc. Audio compass for motion tracking
WO2009070712A2 (en) 2007-11-27 2009-06-04 Jadi, Inc. Method and system for locating and navigating a target
PT104120B (pt) * 2008-06-30 2010-11-23 Metro Do Porto S A Sistema de orientação, navegação e informação especialmente adaptado para pessoas cegas ou amblíopes
US8326630B2 (en) 2008-08-18 2012-12-04 Microsoft Corporation Context based online advertising
US8040219B2 (en) 2008-11-06 2011-10-18 Sony Ericsson Mobile Communications Ab System and method for in-building location determination
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
DE102008055180A1 (de) 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
EP2249239B1 (en) 2009-05-08 2015-07-15 BlackBerry Limited Target zones for menu items on a touch-sensitive display
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US20100317371A1 (en) 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US9201143B2 (en) 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8140258B1 (en) 2010-03-02 2012-03-20 The General Hospital Corporation Wayfinding system
US8618984B2 (en) * 2010-03-19 2013-12-31 Microsoft Corporation Selecting beacons for location inference
EP2556339B8 (en) * 2010-04-09 2018-12-26 TomTom Navigation B.V. Method and device for generating a cost function
JP2011234139A (ja) 2010-04-28 2011-11-17 Sharp Corp ３次元音声信号生成装置
US20120046768A1 (en) 2010-08-19 2012-02-23 Sony Ericsson Mobile Communications Ab Method for providing multimedia data to a user
US20120077437A1 (en) 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
CN201854394U (zh) 2010-10-27 2011-06-01 赵圆 耳机指南针
CN102457791A (zh) 2010-10-27 2012-05-16 赵圆 耳机指南针
US20120159401A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Workspace Manipulation Using Mobile Device Gestures
US8618932B2 (en) * 2011-03-18 2013-12-31 Microsoft Corporation Device location detection
US8965284B2 (en) 2011-04-07 2015-02-24 Nokia Corporation Facilitating positioning through Bluetooth low energy wireless messaging
GB2490479A (en) 2011-04-20 2012-11-07 Nokia Corp Use of a virtual sound source to enhance a user interface
US9285944B1 (en) * 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US8874366B2 (en) 2011-05-23 2014-10-28 Microsoft Corporation First waypoint distance
US20140164080A1 (en) 2011-06-07 2014-06-12 Solomon Thompson, JR. Organizational tools and or a collaboration system utilizing the same therein
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
TWI428249B (zh) * 2011-08-23 2014-03-01 Ind Tech Res Inst 車載裝置及其行車輔助系統與行車輔助資訊提供方法
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US8538686B2 (en) 2011-09-09 2013-09-17 Microsoft Corporation Transport-dependent prediction of destinations
US9445305B2 (en) 2011-09-12 2016-09-13 Microsoft Corporation Low energy beacon encoding
US9514717B2 (en) * 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US20140133658A1 (en) 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
US8855798B2 (en) 2012-01-06 2014-10-07 Gracenote, Inc. User interface to media files
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US20130225197A1 (en) 2012-02-24 2013-08-29 Broadcom Corporation Low Power Location Beacon
CN102789313B (zh) * 2012-03-19 2015-05-13 苏州触达信息技术有限公司 一种用户交互系统和方法
US8949974B2 (en) 2012-05-11 2015-02-03 Tyfone, Inc. Mobile device with password protected desktop screen
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
EP2690407A1 (en) * 2012-07-23 2014-01-29 GN Store Nord A/S A hearing device providing spoken information on selected points of interest
US9015099B2 (en) 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
TWI484405B (zh) 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US8718930B2 (en) 2012-08-24 2014-05-06 Sony Corporation Acoustic navigation method
US20140075370A1 (en) * 2012-09-13 2014-03-13 The Johns Hopkins University Dockable Tool Framework for Interaction with Large Scale Wall Displays
US20140078086A1 (en) 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US8965398B2 (en) 2012-09-26 2015-02-24 Hewlett-Packard Development Company, L.P. Bluetooth beacon based location determination
US9338622B2 (en) 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
EP2720001A1 (en) 2012-10-15 2014-04-16 GN Store Nord A/S A navigation system with a hearing device
WO2014080066A1 (en) * 2012-11-20 2014-05-30 Jolla Oy A graphical user interface for a portable computing device
EP2735845A1 (en) 2012-11-23 2014-05-28 GN Store Nord A/S Personal guide system providing spoken information on an address based on a line of interest of a user
EP2746726A1 (en) 2012-12-21 2014-06-25 GN Store Nord A/S System and method for tagging an audio signal to an object or a location; system and method of playing back a tagged audio signal
US9301069B2 (en) 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
EP2749843A1 (en) 2012-12-28 2014-07-02 GN Store Nord A/S Method for filtering and selecting geographical points of interest and mobile unit corresponding thereto
CN105027148A (zh) 2013-02-04 2015-11-04 肖普基克公司 使用蓝牙和混合模式发射机的存在检测
US9063212B2 (en) 2013-02-11 2015-06-23 Trimble Navigation Limited Indoor navigation with low energy location beacons
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
DE102013203918A1 (de) 2013-03-07 2014-09-11 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US9207303B2 (en) 2013-03-15 2015-12-08 Christopher Thomas Beidel System and method for locating a mobile device
US9785240B2 (en) 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140287779A1 (en) 2013-03-22 2014-09-25 aDesignedPath for UsabilitySolutions, LLC System, method and device for providing personalized mobile experiences at multiple locations
WO2014157885A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for providing menu interface
US9760270B2 (en) 2013-04-16 2017-09-12 Honda Motor Co., Ltd. Vehicular electronic device
US20150046828A1 (en) * 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9317183B2 (en) 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
US10564843B2 (en) 2013-08-22 2020-02-18 Samsung Electronics Co., Ltd. Display device and method of displaying screen on said display device
EP2842529A1 (en) 2013-08-30 2015-03-04 GN Store Nord A/S Audio rendering system categorising geospatial objects
CN203523024U (zh) 2013-11-06 2014-04-02 彭庆国 一种智能型多功能耳机
JP6201770B2 (ja) 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150330787A1 (en) 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
US9372092B2 (en) 2014-08-08 2016-06-21 Here Global B.V. Method and apparatus for providing a contextual menu in a map display
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259108B2 (en) 2018-05-24 2022-02-22 Sony Corporation Information processing device and information processing method
US11665460B2 (en) 2018-05-24 2023-05-30 Sony Group Corporation Information processing device and information processing method
WO2022018836A1 (ja) 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
KR20170080651A (ko) 2017-07-10
CN107111473A (zh) 2017-08-29
AU2020256377A1 (en) 2020-12-10
EP3213177B1 (en) 2021-02-24
EP3213179A1 (en) 2017-09-06
US9612722B2 (en) 2017-04-04
JP6689265B2 (ja) 2020-04-28
AU2020256377B2 (en) 2021-12-16
US20160124588A1 (en) 2016-05-05
WO2016069671A1 (en) 2016-05-06
WO2016069668A1 (en) 2016-05-06
CN107111472B (zh) 2020-04-28
US9977573B2 (en) 2018-05-22
CN107111358B (zh) 2020-02-14
US20160123759A1 (en) 2016-05-05
CA2965353C (en) 2023-08-22
CN107111332A (zh) 2017-08-29
KR102486763B1 (ko) 2023-01-09
EP3213181A1 (en) 2017-09-06
EP3213180A1 (en) 2017-09-06
US20160123745A1 (en) 2016-05-05
CA2965353A1 (en) 2016-05-06
KR102470734B1 (ko) 2022-11-24
RU2017114986A (ru) 2018-11-02
RU2017114986A3 (ja) 2019-04-18
AU2015339427A1 (en) 2017-04-13
CN107111332B (zh) 2021-04-23
CN107111358A (zh) 2017-08-29
CN111367413A (zh) 2020-07-03
KR20170078646A (ko) 2017-07-07
WO2016069819A1 (en) 2016-05-06
CN107111472A (zh) 2017-08-29
CN107111473B (zh) 2020-03-20
US9652124B2 (en) 2017-05-16
AU2015339427B2 (en) 2020-07-30
MX2017005657A (es) 2017-06-29
US10048835B2 (en) 2018-08-14
US20160124707A1 (en) 2016-05-05
WO2016069672A1 (en) 2016-05-06
EP3213177A1 (en) 2017-09-06
RU2706462C2 (ru) 2019-11-19
BR112017005842A2 (pt) 2017-12-19

Similar Documents

Publication Publication Date Title
JP6689265B2 (ja) 入力機構を有するヘッドセットを用いたユーザーとユーザーの環境との間のインタラクションの容易化
US10915291B2 (en) User-interfaces for audio-augmented-reality
US10132910B2 (en) Audio navigation system for the visually impaired
US10972855B2 (en) Location information through directional sound provided by mobile computing device
Jylhä et al. A wearable multimodal interface for exploring urban points of interest
Jain Assessment of audio interfaces for use in smartphone based spatial learning systems for the blind

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180918

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200407

R150 Certificate of patent or registration of utility model

Ref document number: 6689265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250