JP2017032568A - ナビゲーションサウンドスケーピング - Google Patents

ナビゲーションサウンドスケーピング Download PDF

Info

Publication number
JP2017032568A
JP2017032568A JP2016169551A JP2016169551A JP2017032568A JP 2017032568 A JP2017032568 A JP 2017032568A JP 2016169551 A JP2016169551 A JP 2016169551A JP 2016169551 A JP2016169551 A JP 2016169551A JP 2017032568 A JP2017032568 A JP 2017032568A
Authority
JP
Japan
Prior art keywords
user
landmark
audio
hierarchically
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016169551A
Other languages
English (en)
Other versions
JP6328711B2 (ja
Inventor
ペイ・シャン
Pei Xiang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017032568A publication Critical patent/JP2017032568A/ja
Application granted granted Critical
Publication of JP6328711B2 publication Critical patent/JP6328711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • H04R5/023Spatial or constructional arrangements of loudspeakers in a chair, pillow
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】ユーザが、陸標などのマッピングされた物体の位置を聴覚的に知覚することを可能にするナビゲーションシステムを提供する。
【解決手段】ユーザの位置を決定する位置決定システム12と、ユーザの位置周辺の施設等の陸標情報34と、1つ以上の陸標に関する階層的に構成された情報を記憶する音声コンテンツ38とを有する。プロセッサ16は、ユーザの位置周辺の陸標を抽出し、ユーザに対する方向及び距離に基づき3次元音声空間に空間化し、空間化された音声信号を混合し、混合された音声信号をスピーカなどの変換器24より出力する。
【選択図】図1

Description

関連出願の相互参照
本発明は、2011年12月15日に出願された、非仮出願としての米国特許出願第13/327544の利益を請求する。その開示の全体はここに参照によって組み込まれている。
本開示は概してナビゲーションシステムに関するものであり、特に、オーディオキュー(audio cue)を組み込んだナビゲーションシステムに関する。
人間−コンピュータインタフェースにおいて、しばしば問題となるのは、情報のオーバフローあるいは過負荷である。人間は提示された情報を感知する能力が制限されており、コンピュータ及び他の情報機器によって、同時に提示されるデータの量は一般的なユーザを圧倒するであろう。重要なことは、過剰の情報を提示されることはしばしば、ある種の状況において安全性を危うくしてしまうことである。
我々の周囲の知覚に関しては、見ること(視覚)と聞くこと(聴覚)は2つの最も重要な感覚である。各人はしばしば、正確かつ特別な情報に関して視覚に頼るが、さほど正確でない情報に関しては聴覚に頼る。しばしば聞くことは状況をよりよく理解するのに視覚に加えて補足することができる。
人間が聴覚的かつ視覚的に感知する現代的状況の一例は、グローバルポジショニングシステム(GPS)ナビゲーションを使用した車の運転である。この状況における一般的なドライバにとって、彼らの目は概して道路を見るのに忙しい。搭載されたGPSナビゲーションシステムがONされているとき、ナビゲーションシステムからの情報(地図、方向指示、経路指示、近接物の指示など)が視覚情報であるならば、ドライバは注意をそらされてしまう。このような注意力散漫を低減するために、一部の自動車ナビゲーションシステムは、音声コマンドによってドライバに配送される、可聴ターンバイターン(turn-by-turn)指令を提供する。
一部のナビゲーションシステムでは、地図や方向指示以外にも、銀行、学校、ガソリンスタンド、病院、客船のタラップ、空港、レストラン、学校、興味のある場所などの特定の陸標(landmark)の位置などの付加的な補助データが利用可能である。しかしながら、これらの付加データはユーザに対して情報過負荷をもたらしてしまう。
ナビゲーションシステムにおける地理的情報を示すために、空間音声キュー(spatial audio cue)及び直観的な階層的音声コンテンツを提示することによって情報過負荷を低減することができる技術がここに記述される。そのような技術は、ナビゲーションシステムを使用する視覚的負荷の少なくとも一部をなくしながら、ユーザに対してより多くの情報を提供することができる。1つの考えられる応用は、自動車ナビゲーションシステムである。
空間音すなわち異なる特定の場所から発せられていると知覚される音、を使用することによって、開示された技術は、地図上に物体(例えば陸標)を図表化し、それを音声で提示して、それらがユーザの周囲例えば自動車の内部で知覚されるように、直観的音声コンテンツを使用する。多くの音声キューは、過負荷であると知覚されることなしに、3次元(3D)聴覚空間(auditory space)において共存する。人間の耳は、多くの音声事象を同時に知覚する自然の能力をもっている。加えて、各物体を示す音声コンテンツは階層的に組織化され直観的である。階層的聴覚コンテンツは物体の各タイプに対して他のレベルの区別(distinction)を提供する。
一側面によれば、装置は、位置決定システムと、メモリと、プロセッサとを含む。前記位置決定システムは、ユーザの位置を決定し、前記メモリは、例えば陸標などの1つ以上の地理的オブジェクトについての階層的に構成された情報を記憶する。プロセッサは、前記階層的に構成された情報に基づいて音声信号を生成するように構成される。音声信号は、前記ユーザの位置に対する前記地理的オブジェクトの少なくとも1つの位置のユーザ知覚を可能にするために、前記ユーザについての音声空間における音として出力されることができる。
他の側面によれば、音声情報をユーザに対して提示する方法は、位置決定システムを用いてユーザ位置を決定することと、前記ユーザ位置に基づいて、陸標についての階層的に構成された情報をメモリから取り出すことと、1つ以上の変換器を介して、前記階層的に構成された情報に基づいて聴覚音を生成することを含む。前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される。
他の側面によれば、装置は、位置決定システムを用いてユーザ位置を決定するための手段と、前記ユーザ位置に基づいて、陸標についての階層的に構成された情報を取り出すための手段と、前記階層的に構成された情報に基づいて聴覚音を生成するための手段とを含む。前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される。
さらなる側面によれば、1つ以上のプロセッサによって実行可能な一組の命令を格納したコンピュータ読み取り可能な媒体が提供される。前記命令は、位置決定システムを用いてユーザ位置を決定するためのプログラムコードと、前記ユーザ位置に基づいて、陸標についての階層的に構成された情報を取り出すためのプログラムコードと、前記階層的に構成された情報に基づいて聴覚音を生成するためのプログラムコードとを含む。前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される。
他の側面、特徴および利点は、以下の図および詳細な説明を吟味することによって当業者に明らかになるあるいは明らかになるであろう。すべてのそのような特徴、側面および利点はこの記述の中に含まれ、添付の請求の範囲によって保護されることを意図する。
図面は例示の目的のみで用いられることを理解されるべきである。図面内の各要素は必ずしも縮尺したものではなく、ここに記述された技術と装置の原理を説明することに強調が置かれる。図面において、同じ参照数字は異なる図の間で対応する部位を示している。
3D聴覚ナビゲーションキューを生成するための例示的システムを示すブロック図である。 陸標(landmark)音声アイコンの階層的構成を概念的に示すブロック図である。 図1のナビゲーションシステムとともに用いられる、例示的な自動車音声サラウンドサウンド(surround sound)システムを示す図である。 図1のナビゲーションシステムとともに用いられる、例示的なニアフォーンサウンド(near-phone sound)システムを示す図である。 図1のナビゲーションシステムとともに用いられる、例示的なヘッドフォーンを示す図である。 3D聴覚ナビゲーションキューを生成する例示的方法を示すフローチャートである。 3D聴覚ナビゲーションキューを生成するための例示的システムアーキテクチャを示すブロック図である。
図面を参照し、組み入れる以下の詳細な説明は、1つ以上の詳細な説明を記述及び例示するものである。これらの実施形態は、限定する意味ではなく具体例を述べる目的のみで提供されるものである。そしてこれらの実施形態は、当業者が請求されたことを実施することを可能にするために十分詳細に示されかつ記述されている。すなわち、説明を簡略化するために、当業者にとって既知の情報については省略する。
“例示的”という語句は,“一例、一面、一実例として提供される”という意味合いでこの開示全体にわたって使用される。ここにおいて“模範的”として記述されることは何であっても、必ずしも他の方法や特徴と比較して望ましいあるいは有利なものとして解釈されるべきではない。その文脈によって明示的に限定されない限りにおいて、ここで用いられる“信号”は通常の意味を示すために用いられ、例えば、導線、バス、あるいは他の伝送媒体に関して伝送されるメモリ位置の状態(あるいはメモリ位置の組)を含むものである。
図1は、3D聴覚ナビゲーションキューを生成するための例示的システム10を示すブロック図である。システム10は、グローバル位置決めシステム(GPS)などの位置決めシステム12、プロセッサ16、ユーザインタフェース(UI)14、メモリ18、音声ミキサ20、音声後処理回路22、音声スピーカなどの1つ以上の変換器24を含む。
プロセッサ16は、陸標抽出ブロック26、音声コンテンツ合成/関連付けブロック28、音声コンテンツ修正ブロック30、空間化(spatialization)ブロック32を含む。
プロセッサ16は、ARM7などのマイクロプロセッサ、ソフトウエアを実行するデジタルシグナルプロセッサ(DSP)、1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブルロジックデバイス(CPLD)、ディスクリートロジック、あるいは前記した素子の任意の適切な組み合わせ、であることができる。
メモリ18は、陸標情報34および音源ライブラリ36を記憶する。音源ライブラリ36は、階層的に構成された音声コンテンツ38を含む。メモリ18は、プロセッサ16から分離したデバイスであるか、あるいは同一チップ上にプロセッサ16とともに集積されている。
ユーザ位置および速度は、陸標抽出ブロック26によってGPS12から取得される。
陸標ブロック26はユーザ座標を用いて、メモリ18の関連する陸標情報にアクセスする。関連する陸標は、通常はユーザの周辺に存在する、すなわち、それらはユーザの現在の位置から予め定められた距離内に位置するものとして決定される。陸標抽出ブロック26は、ユーザ位置GPS座標に基づいて、ユーザの座標の周りの座標の範囲を決定して、陸標情報34を探索し、ユーザの周辺を示す、範囲内の陸標のための情報を取り出す。ユーザ周辺における各特定された陸標に関して、システム10は、音声アイコンを以下のようにして処理および生成することができる。
コンテンツ合成/関連付けブロック28は、直観的な規則(intuitive rule)および地方の文化的背景(local cultural background)に基づいて、音声(あるいは音声アイコンとも呼ぶ)の短い抜粋を各陸標と合成あるいは関連付ける。音声アイコンは非発話音声であってもよい。すなわち、ユーザは音声アイコン音を聞くたびに、彼/彼女は心の中に陸標の種別を描くことができる。例えば、銀行は硬貨が落下するときの音に、ガソリンスタンドはエンジンのうなる音に、海港は船舶の点鐘に、レストランはフォークとナイフの音に、関連付けることができる。
各音声アイコンのための音声コンテンツは、階層的に構成された音声コンテンツライブラリ38から選択されるかあるいはプロセッサ16の音声コンテンツ関連付け/合成ブロックによって合成される。この合成機能は、プロセッサ16を用いてリアルタイムの音声を生成するように構成された適切なデバイスによって実現できる。これは、回路および/又はMIDI合成を実行するためにプロセッサ16によって実行可能なソフトウエア、あるいは、発振器、雑音発生器、波形テーブル、フィルタ、エンベロープフォロワーなどを備える、音声を付与するための任意の適切な電子設計を含むことができる。合成機能は、ブロック28によって生成される合成音声コンテンツが、音源ライブラリ36に記憶された階層的に構成された音声コンテンツ38のそれと類似の方法によって階層的に構成されている。
システム10の一部の構成において、音声コンテンツは、ブロック28によって完全に合成され、それゆえ、音源ライブラリ36及び音声コンテンツ関連付け機能はシステム10から省略することができる。システム10の他の構成において、音声コンテンツ合成機能はブロック28から省略され、音声アイコンの音声コンテンツを生成するために、音声コンテンツ関連付け機能および音源ライブラリ36がもっぱら用いられる。
ブロック28によって用いられるコンテンツ関連付け方法はシステム10のアプリケーションによって異なる。当該方法はルックアップテーブルに記憶された所定の陸標対音マッピングを使用することができる。このマッピングは階層的に構成された音声コンテンツ38として音源ライブラリに記憶された音声アイコンを指し示す。すなわち、陸標が陸標抽出ブロック26によって検出されたときに、再生のために、音源ライブラリ36から対応する記憶された音声アイコンを取り出すために、陸標座標あるいは識別子を用いることができる。このマッピングは工場において指定されるかあるいはUI14を介してユーザによって構成されうる;およぶ/またはそれらは学習アルゴリズムに関連付けることができ、ユーザの習慣に基づいて使用中により良いパフォーマンスに適応することができる。
用いられる特定の関連付け方法とは無関係に、当該方法は最終結果を提供するものであり、いったん陸標が識別されるとそれはユーザに提示される必要がある。対応する音(音声アイコン)は聴取者に対する陸標を直観的に示す。直観的な聴覚アイコンは押し付けがましくない情報を提供する。例えば、一人以上の聴取者を取り囲む聴覚空間は、聴取者にとって心地よくかつ楽しい感じを与えるように構成可能な、自然音からなる3Dサウンドスケープ(音風景)(soundscape)となることができる。
特定の音に関連する陸標の高レベルの特徴(例えば種別)のみならず、陸標の縮尺(scale)および他の詳細は、音の異なるサブカテゴリ内で階層的に表される。例えば、スタンドアロンの銀行における現金自動預け払い機(ATM)はひとつあるいは少数の落下する硬貨の音によって示されるが、主要銀行の支店は、多数の硬貨が落下するときの音によって表されることができる。中国のレストランは、フォークとナイフの音およびそれに続く五音音階のメロディによって表され、イランのレストランは、フォークとナイフの音およびそれに続く適量のベリーダンス音楽によって表される。聴覚アイコンのこれらの後者の例は、連結された音声設計ということができ、単一の音声アイコンを生成するために、複数の音声音がともに連結される。音声アイコンの設計は種々考えられ、UI14を介してユーザによってカスタマイズすることができる。
音声コンテンツ修正ブロック30は、コンテンツが空間的な音声信号に変換される前に、音声アイコンコンテンツを修正する。ユーザはUI14を介して、時刻や気象状態などにしたがって、重要レベルを割り当て、あるいはカスタムの行動を定義かつ関連付けることができる。ユーザはまた、UI14を用いてユーザによって選択された陸標のために特殊な効果音(sound effect)を設定することができる。
UI14は、液晶表示(LCD)などの視覚的表示部と、1つ以上のボタン、ダイヤル、および/またはタッチスクリーン入力などのユーザ入力手段とを含むことができる。前記表示部およびユーザ入力手段を制御かつ実装するために、プロセッサ16によって実行可能なソフトウエアを用いることができる。前記表示部はセットアップメニューを提示することができる。ここでは、陸標の各カテゴリがリスト化され、音声コンテンツファイルを選択するための1つ以上の付随するドロップダウンメニューおよび、陸標に関連付けるための合成方法及びパッチが提供される。UI14はさらに、個々の陸標の選択および構成を許可するように構成される。各陸標のための選択はデフォルト設定を含む。
フィルタリング、変調、レベル制御、残響などのユーザ選択による処理は、UI14を介して選択されることができ、UI14を介してユーザによって選択された特定の陸標のためにシステム10によって生成される3D音を修正したり効果を付加するのに用いられる。例えば、コーラス/フェィザ(phaser)のような効果音あるいは振幅変調のような変調技術は、混合音(mixture of sounds)から区別する(stand out)ための特殊音を引き起こす。これらの方法は必要に応じて重要な陸標に適用されることができる。例えば、ダイナミックレンジ制御(DRC)モジュールなどのレベル制御アルゴリズムは、現存の音にさらなる音の上昇を付加するのに有用である。このことは重要な陸標が全体の音混合(sound mix)において平板なより大きな所定の限定されたヘッドルームを与える(sound even louder given limited headroom)のを助ける。
空間化ブロック32は、ユーザに対する方向及び距離にしたがって、各音源(音声空間の仮想化された陸標に対応する音声コンテンツ)を、3D音声空間に変換(render)する。より遠く離れている陸標は、より遠くに感じられ、音声空間における知覚の方向はユーザに対するそれらの位置に合致する。
3D音声レンダリング技術は、先端のソフトウエアアーキテクチャ及びAPI(アプリケーションプログラミングインタフェース)において公知である。音を空間化するための方法は、ベクトルに基づく振幅パニング(VBAP)、アンビソニックス(Ambisonics)、頭部伝達関数(RTF)フィルタリング、バーチャル3Dオーディオなどのバイノーラル(binaural)レンダリング技術を含む。OpenSL、OpenAL、DirectXのような標準はすべて3DオーディオAPIを研究している専用の部門を有し、一部はレンダリング方法に関わっている。プレゼンテーションデバイスに応じて、ヘッドフォーンに関するバイノーラルフィルタ、スピーカに関するパニング方法など、3D効果を提示するのに種々のコアアルゴリズムが用いられる。低域通過、広域通過フィルタおよび環境残響効果(reverberation effect)はしばしば3Dオーディオソフトウエアの一体化された部分である。
空間化ブロック32によって各音源を処理した後、ミキサ20は空間化ブロック32からの音声信号を共に混合し、混合した音声信号を音声後処理回路22に入力する。音声後処理回路は増幅、インピーダンス整合、などの機能を実行する。音声信号は音声後処理回路22から出力されて音声変換器24に入力されて音エネルギに変換される。変換器24はスピーカなどの電子的音声信号に応答して音を生成するための任意の装置であってよい。
図2は、陸標アイコンの例示的な階層構造100を概念的に示す図である。この例示的構造100あるいはそれに類似の構造は、図1の階層的に構成された音声コンテンツ38のために使用される。
データ構造100を参照すると、最上位レベル(レベル1)102で、陸標のカテゴリあるいは種別が定義される。図の例では、例えば、銀行カテゴリ104、ガソリンスタンドカテゴリ106、レストランカテゴリ108など、いくつかの異なる種別の陸標が示されている。他のカテゴリも可能である。次の下のレベルにおいて、サブカテゴリあるいはサブ種別(レベル2)110a−cがレベル1カテゴリの少なくとも一部に対して定義される。これらのサブカテゴリはさらに陸標の種別を細分化(refine)する。例に示すように、銀行カテゴリ104は、異なる種別の銀行業務場所である現金自動預け払い機(ATM)112、オフィス114、主要なフルサービス支店116の3つのレベル2サブカテゴリに細分化される。レストランカテゴリ108はさらに、フランスレストラン118、イタリアレストラン120および中国レストラン122に細分化される。
図1に関して上記したように、音声コンテンツ関連付けは複数レベルとなっており、異なる手順を使用する。一例として、図2には、2つのレベルの索引付け(indexing)に対して2つの異なるカテゴリが示されている。銀行の音に関しては、お金の音の量を、銀行オフィスのサイズに直観的に関連付けることによってさらに細分化される。レストランに関しては、一般的なレストランを、料理法の国籍に関連したより詳細な文化的音に連結することによって、料理の様式が示される。
図2に示されるように、レベル2サブカテゴリはさらにレベル3サブカテゴリ124に細分化される。
3つのレベルをもつ場合のみを想定した、例示的階層の陸標アイコンが示されているが、ここに記載されたシステムおよび方法の範囲内で、任意の数のレベル、カテゴリ、サブカテゴリが定義されて使用されることができる。
図3は、図1のナビゲーションシステム10とともに用いることができる、例示的な自動車音声サラウンドサウンドシステム200を示す図である。サラウンドサウンドシステム200は、乗用車などの乗り物202内に配置された複数の音声スピーカ203、206、208を含む。スピーカ203−208は、1つ以上のバス(ウーファ)スピーカ208、1つ以上のミッドレンジスピーカ203、1つ以上のツィータ206を含む。スピーカ203−208は実質的には図1に示される音声変換器24として動作する。ハイエンド自動車においては、環状配置のスピーカを有するサラウンドスピーカシステムは、空間聴覚表示のために用いられる。音を空間化するための方法は、ベクトルに基づく振幅パニング(VBAP)、アンビソニックス、その他を含む。例えば、VBAPはそれらの相対距離と位置とに応じて、異なるスピーカゲインを割り当て、それによって音は実質的にスピーカの物理空間間において表される。アンビソニックスにおいては、音はそれらの空間的球面調和関数(spherical harmonics)にしたがって符号化され、ラウドスピーカ配置の以前の知識によって提供(rendered back)される。これらの方法は既知の空間音アルゴリズムである。
図4は、図1のナビゲーションシステム10とともに使用可能な例示的ニアフォーンサウンドシステムを示す図である。ニアフォーンサウンドシステム248は、使用時にユーザの耳が存在する場所に密接させて取り付けられた1つ以上のスピーカ252をもつ、いす250などの構造を含む。ニアフォーンスピーカ252はナビゲーションシステム10とともに使用されるときに実質的に図1に示される音声変換器24として動作する。図4に示される例において、いす250に座ったユーザに空間音声を配送するために、いすのヘッドレスト上に2つの隣接したスピーカ252が取り付けられている。音声品質を改善するために、クロストーク消去および種々のフィルタリング方法などの3つのディメンショナルオーディオ(dimensional audio)技術が使用可能である。システム248において音を空間化するための方法は、VBAP、アンビソニックス、その他を含む。
図5は、図1のナビゲーションシステム10とともに使用可能な例示的ヘッドセット300を示す図である。ヘッドセット300は任意のタイプのヘッドフォーンである。例えば、ヘッドセット300は開放カバータイプのヘッドフォーンであることができる。通常のヘッドフォーンを身に着けることは重要な音を遮断する可能性がある。開放カバータイプのヘッドフォーンは、ユーザ300が周囲領域の音を聞きながら、音声を聞くことを可能にする。ヘッドフォーン300上に空間音を提供するために、バイノーラルレンダリング技術(HRTFフィルタリング、バーチャル3D音声、その他)を使用することができる。一方、ヘッドセット300は図5に示されるような、骨伝導(bone conduction)ヘッドフォーンであることができる。骨伝導ヘッドフォーンは、耳を遮ることがない。この場合、音は顎骨伝導によってユーザ300に配送される。その形状は何であっても、ヘッドセット300は実質的に図1に示される音声変換器23として動作する。
図6は、3D聴覚ナビゲーションキューを生成する例示的方法を示すフローチャート400である。ステップ402において、例えばGPSなどの位置決定システムによってユーザの位置が決定される。ステップ404において、周囲の陸標に関する情報が陸標データベースから抽出される。データベースにおいて、各陸標はGPS座標に関連付けられる。ユーザの位置GPS座標を用いて、ユーザ座標のまわりの座標範囲がデータベース内を探索されて、ユーザの周辺を示す、当該範囲内の陸標の情報が取り出される。
ステップ406において、音声コンテンツは、抽出された陸標情報に基づいて、1つ以上の陸標に関して関連付けあるいは合成される。位置決めシステムが各陸標を抽出した後、階層的索引付け方法は、各陸標を、ソースライブラリからのあるカテゴリの音(すなわち音声アイコン)に関連付けることができる。あるいは代替的に、音声アイコンは図1に関連して上記したように、プロセッサによって合成されうる。図1に関して上記したように、関連付けあるいは索引付けは陸標対音マッピングからなるルックアップテーブルによって達成される。
関連付けプロセスの一部として、階層的に索引付けされた音源ライブラリから1つ以上の音声アイコンに対する音声コンテンツが取り出される(ステップ408)。音声アイコンがその代わりにプロセッサによって完全に合成されるならば、ステップ408は無視される。
ステップ410において、陸標がユーザによって構成された音声アイコンとの関連付けのためにユーザによって指定されたかどうかを決定するためのチェックがなされる。陸標が特殊な処置のためにユーザにより指定されないならば、ナビゲーションシステムは、ソースライブラリから取り出された及び/またはプロセッサによって合成された音声コンテンツを用いて音声信号を生成する(ステップ414)。しかしながら、陸標が指定されたならば、ユーザによって規定された音声コンテンツは取り替えられるかあるいは合成されたアイコンあるいはコンテンツライブラリの階層的に索引付けされた部分から取り出された音声アイコンを取り替える(ステップ412)。ユーザによって規定された音声コンテンツは次に処理されて音声信号が生成される(ステップ414)。
ステップ416において、付加された効果音、フィルタリング、残響などの、いくつかの選択的なユーザによる変更が音声信号に関して実行される。関連付けブロックによって陸標にマッピングされた音声アイコンとは別個に、ユーザは、ソースライブラリからの階層的に索引付けされた音の代わりに、特殊な警告トーンを引き起こすためにある種の陸標を特定することができる。例えば、燃料切れに近い自動車をドライブしている場合、ユーザあるいは自動車それ自身は、ガソリンスタンドを特殊な陸標として指定するように当該システムを設定する。ガソリンスタンド音声アイコンを出力する代わりに、当該システムは、当該自動車がガソリンスタンドの周辺に入ったときに高レベルの警告音(buzz)を発することができる。
次に音声信号は3D空間に空間化される(ステップ418)。上記したように、音を空間化するためのソフトウエアが市場で入手可能であり、音を空間化するための方法は、ベクトルに基づく振幅パニング(VBAP)、アンビソニックス、頭部伝達関数(HRTF)フィルタリング、バーチャル3D音声などのバイノーラルレンダリング技術を含む。
ステップ420において、空間化された3D音声信号は、3D音に変換され、それによってユーザによって聞かれる。ここで述べられたいくつかの音声変換器が用いられる。
図7は、3D聴覚ナビゲーションキューを生成するための例示的システムアーキテクチャ500を示すブロック図である。システムアーキテクチャ500は図1に示されるシステム10及び/または図6に示される方法を実装するために用いられる。当該システム500は、マイクロプロセッサ(uP)などのプロセッサ502、GPSモジュール504、ユーザインタフェース506、メモリ508、デジタルアナログ(D/A)変換モジュール510、アナログ音声後処理回路512、1つ以上の音声変換器514、バーチャルナビゲーションディスプレイ530を含む。システム500の要素502−512、530は、バス503を介して互いに通信することができる。
メモリ508はプロセッサ502によって使用されるプログラムコードとデータを記憶する。メモリ508は、データ及びプログラムコード(プログラム命令)を記憶するのに適した任意のメモリ装置であることができ、RAM、ROM、EEPROM(登録商標)、光学記憶装置、磁気記憶装置、あるいはプログラムコード及び/またはデータを記憶するのに用いることができ、プロセッサ502によってアクセスすることができる任意の媒体を含む。プログラムコードは、プロセッサ502によって実行可能な、少なくとも以下のソフトウエアを含む。陸標抽出ソフトウエア516、音声コンテンツ関連付け/合成ソフトウエア518、音声混合ソフトウエア520、音声
コンテンツ修正ソフトウエア524、空間化ソフトウエア522、および視覚ナビゲーションディスプレイソフトウエア532。メモリ508はまた、陸標情報34および階層的に構成された音声コンテンツを含む、音源ライブラリ36を記憶することができる。
陸標抽出ソフトウエア516は、図1に関連して記述された陸標抽出ブロック26の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。音声コンテンツ関連付け/合成ソフトウエア518は、図1に関連して記述された音声コンテンツ関連付け/合成ブロック28の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。音声混合ソフトウエア520は、図1に関連して記述されたミキサ20の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。音声コンテンツ修正ソフトウエア524は、図1に関連して記述された音声コンテンツ修正ブロック30の機能をシステム500に実行させるべく、プロセッサ502によって実行可能な命令を含む。空間化ソフトウエア522は、図1に関連して記述された空間化ブロック30の機能をシステム500に実行されるべく、プロセッサ502によって実行可能な命令を含む。
視覚ナビゲーションディスプレイソフトウエア532は、システム500に含まれた視覚ナビゲーションディスプレイ530を制御するためにプロセッサ502によって実行可能な命令を含む。視覚ナビゲーションディスプレイソフトウエア532は、商業的に入手可能なナビゲーションシステムにおいて通常なされているように、マップやナビゲーション情報をユーザに対して視覚的に表示するための、LCDなどのスクリーンを含む。ソフトウエア532は、GPSモジュール504から出力されたユーザ位置座標情報に基づいて、マップや視覚的アイコンをディスプレイ上に提示するためのコードを含む。
プロセッサ502は、図1−6に関連して記述されたシステムのいずれかの機能及び方法をシステム500に実行させるために、ソフトウエアを実行するとともにメモリ508に記憶されたデータを使用する。プロセッサ502は、ARM7などのマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、1つ以上の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブルロジックデバイス(CPLD)、ディスクリートロジック、あるいは前記した素子の任意の適切な組み合わせ、であることができる。
D/A変換モジュール510は、デジタル音声出力信号をアナログ音声出力信号に変換するために好適するD/Aコンバータであることができる。システム500において、デジタル音声出力信号は概して音声混合ソフトウエア520を実行するときにプロセッサ502から出力される。D/A変換器610はマルチチャネルD/A変換器であり、それによって、システム500によって再生されたステレオ出力などの複数の音声出力チャネルを同時に変換することができる。
アナログ後処理回路512は、D/A変換モジュール510からの出力音声信号をアナログ処理するために、1つ以上の増幅器、フィルタ、レベルシフタ、エコーキャンセラなどの好適する回路を含み、処理された出力音声信号は拡声器514によって適宜出力される。
ユーザインタフェース506は図1に関連して記述されたUI14の特徴を含む。
システム、モジュール、デバイスおよびそれらの構成要素の機能およびここに記述された方法ステップおよびモジュールはハードウエア、ハードウエアによって実行されるソフトウエア/ファームウエア、あるいはそれらの好適する組み合わせによって実装される。
ソフトウエア/ファームウエアは、マイクロプロセッサ、DSP、埋め込みコントローラ、あるいはインテクチュアルプロパティ(IP)コアなどの、1つ以上のデジタル回路によって実行可能な命令(例えばプログラムコード要素)の組をもつプログラムである。ソフトウエア/ファームウエアにおいてにおいて実装されるならば、機能は1つ以上のコンピュータ読み取り可能な媒体に命令あるいはコードとして記憶されるかあるいは送信される。コンピュータ読み取り可能な媒体は、1つの場所から他の場所にコンピュータプログラムの転送を行う媒体を含む、コンピュータ記憶メディアおよびコミュニケーションメディアを含む。記憶媒体はコンピュータによってアクセス可能な利用可能な媒体である。一例として、そのようなコンピュータ読み取り可能な媒体はRAM、ROM、EEPROM、CD−ROMあるいは他の光学ディスクストレージ、磁気ディスクストレージ、あるいは磁気ディスクストレージ、命令あるいはデータ構造の形態の所望のプログラムコードを運搬あるいは記憶するのに用いられ、コンピュータによってアクセス可能な他の媒体を備える。
ディスク及びここで用いられるディスクは、コンパクトディスク(CD)、レーザーディスク(登録商標)、光学ディスク、デジタルバーサタイルディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイディスクを含む。ここで、ディスクは通常データを磁気的に再生するものもあるが、レーザによって光学的にデータを再生するものもある。上記の組み合わせもコンピュータ読み取り可能な媒体の範囲に含められるべきである。
ナビゲーションサウンドスケープ(soundscape)技術の一例が開示された。これらの技術は一例であり、ここに記述されたものに限定されない可能な統合が可能である。これらの例に対する種々の変形が可能であり、ここに提示された原理は パーソナルコンピュータ、ステレオシステム、エンターテインメントカウンセル、ビデオゲームなどの他のデバイスにも適用できる。さらに、ここに特別に開示された構成以外の構成において、特許請求の範囲から逸脱することなしに、種々の構成要素および/または方法ステップ/ブロックが実装され得る。
すなわち、これらの教義を見た当業者ならば、他の実施形態及び変形例を容易に考えることができる。したがって、以下の特許請求の範囲は、上記した明細書及び添付の図面を参照して見たときに、そのようなすべての実施形態および変形例をカバーすることを意図している。
すなわち、これらの教義を見た当業者ならば、他の実施形態及び変形例を容易に考えることができる。したがって、以下の特許請求の範囲は、上記した明細書及び添付の図面を参照して見たときに、そのようなすべての実施形態および変形例をカバーすることを意図している。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
装置であって、
ユーザの位置を決定するように構成された位置決定システムと、
1つ以上の陸標に関する階層的に構成された情報を記憶するように構成されたメモリと、
前記階層的に構成された情報に基づく音声信号を前記ユーザに対応する所定の音声空間に変換して、前記ユーザの位置に対する前記陸標の少なくとも1つの位置のユーザ知覚を可能にするプロセッサと、
を具備する装置。
[C2]
前記階層的に構成された情報は、各陸標に対する音声アイコンを含むC1に記載の装置。
[C3]
前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付けるC1に記載の装置。
[C4]
前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付けるC3に記載の装置。
[C5]
前記メモリは音声アイコンの音源ライブラリを記憶するC1に記載の装置。
[C6]
前記陸標を前記音声アイコンにマッピングするように構成されたルックアップテーブルをさらに備えるC5に記載の装置。
[C7]
前記音声信号に応答して聴覚音を生成するように構成された1つ以上の変換器をさらに備え、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にすべく前記音声空間において知覚可能であるC1に記載の装置。
[C8]
前記プロセッサは、前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記音声信号を提供するC1に記載の装置。
[C9]
前記プロセッサは、より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記聴覚音を提供するC1に記載の装置。
[C10]
前記ユーザが前記音声信号を修正できるように構成されたユーザインタフェースをさらに備えるC1に記載の装置。
[C11]
前記ユーザインタフェースは、環境条件に基づいて前記音声信号を修正するために、前記ユーザが前記プロセッサを構成できるように構成されているC10に記載の装置。
[C12]
前記ユーザインタフェースは、効果音を追加することによって前記ユーザが前記聴覚音を修正可能にするC10に記載の装置。
[C13]
前記ユーザインタフェースは、前記ユーザがユーザにより選択された陸標に対する前記階層的に構成された情報を構成可能にするC10に記載の装置。
[C14]
前記プロセッサは前記音声信号の音声コンテンツを合成するように構成されているC1に記載の装置。
[C15]
ユーザに対して音声情報を提示する方法であって、
位置決定システムを用いてユーザ位置を決定することと、
前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報をメモリから取り出すことと、
1つ以上の変換器を介して、前記階層的に構成された情報に基づいて聴覚音を生成することであって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成されることと、
を具備する方法。
[C16]
前記階層的に構成された情報は、各陸標に対する音声アイコンを含むC15に記載の方法。
[C17]
前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付けるC15に記載の方法。
[C18]
前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付けるC17に記載の方法。
[C19]
音声アイコンの音源ライブラリを提供することをさらに備えるC15に記載の方法。
[C20]
複数の陸標をルックアップテーブルによって前記音声アイコンにマッピングすることをさらに備えるC19に記載の方法。
[C21]
前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記聴覚音を提供するC20に記載の方法。
[C22]
より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記聴覚音を提供するC21に記載の方法。
[C23]
前記聴覚音を修正するためのユーザ入力を受信することをさらに備えるC15に記載の方法。
[C24]
前記ユーザ入力は環境条件に基づいて前記聴覚音を修正するC23に記載の方法。
[C25]
効果音を加えることによって前記ユーザ入力は前記聴覚音を修正するC23に記載の方法。
[C26]
ユーザによって選択された陸標に対して前記階層的に構成された情報を構成するためのユーザ入力を受信することをさらに備えるC23に記載の方法。
[C27]
前記メモリから前記情報を取り出すのではなく、前記ユーザ位置に基づいて前記階層的に構成された情報を合成することをさらに備えるC15に記載の方法。
[C28]
装置であって、
位置決定システムを用いてユーザ位置を決定するための手段と、
前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報をメモリから取り出すための手段と、
前記階層的に構成された情報に基づいて聴覚音を生成するための手段であって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される手段と、
を具備する装置。
[C29]
前記階層的に構成された情報は、複数の陸標の各々に対する音声アイコンを含むC28に記載の装置。
[C30]
前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付けるC28に記載の装置。
[C31]
前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付けるC30に記載の装置。
[C32]
前記メモリは、音声アイコンの音源ライブラリを記憶するC29に記載の装置。
[C33]
前記陸標を前記音声アイコンにマッピングするように構成されたルックアップテーブルをさらに備えるC32に記載の装置。
[C34]
前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記音声信号を提供するための手段をさらに備えるC29に記載の装置。
[C35]
より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記音声信号を提供するための手段をさらに備えるC28に記載の装置。
[C36]
前記ユーザが前記聴覚音を修正可能にするための手段をさらに備えるC28に記載の装置。
[C37]
前記ユーザが環境条件に基づいて前記聴覚音を修正可能にするための手段をさらに備えるC36に記載の装置。
[C38]
効果音を加えることによって前記ユーザが前記聴覚音を修正するための手段をさらに備えるC36に記載の装置。
[C39]
前記ユーザが、ユーザによって選択された陸標に対して前記階層的に構成された情報を構成可能にするための手段をさらに備えるC36に記載の装置。
[C40]
前記ユーザ位置に基づいて、前記階層的に構成された情報を合成するための手段をさらに備えるC28に記載の装置。
[C41]
1つ以上のプロセッサによって実行可能な一組の命令を格納したコンピュータ読み取り可能な媒体であって、
位置決定システムを用いてユーザ位置を決定するためのプログラムコードと、
前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報を取り出すためのプログラムコードと、
前記階層的に構成された情報に基づいて聴覚音を生成するためのプログラムコードであって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成されるプログラムコードと、
を具備するコンピュータ読み取り可能な媒体。
[C42]
前記階層的に構成された情報は、複数の陸標の各々に対する音声アイコンを含むC41に記載のコンピュータ読み取り可能な媒体。
[C43]
前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付けるC41に記載のコンピュータ読み取り可能な媒体。
[C44]
前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付けるC43に記載のコンピュータ読み取り可能な媒体。
[C45]
前記ユーザ位置に基づいて、前記階層的に構成された情報を合成するためのプログラムコードをさらに備えるC41に記載のコンピュータ読み取り可能な媒体。

Claims (45)

  1. 装置であって、
    ユーザの位置を決定するように構成された位置決定システムと、
    1つ以上の陸標に関する階層的に構成された情報を記憶するように構成されたメモリと、
    前記階層的に構成された情報に基づく音声信号を前記ユーザに対応する所定の音声空間に変換して、前記ユーザの位置に対する前記陸標の少なくとも1つの位置のユーザ知覚を可能にするプロセッサと、
    を具備する装置。
  2. 前記階層的に構成された情報は、各陸標に対する音声アイコンを含む請求項1に記載の装置。
  3. 前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項1に記載の装置。
  4. 前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項3に記載の装置。
  5. 前記メモリは音声アイコンの音源ライブラリを記憶する請求項1に記載の装置。
  6. 前記陸標を前記音声アイコンにマッピングするように構成されたルックアップテーブルをさらに備える請求項5に記載の装置。
  7. 前記音声信号に応答して聴覚音を生成するように構成された1つ以上の変換器をさらに備え、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にすべく前記音声空間において知覚可能である請求項1に記載の装置。
  8. 前記プロセッサは、前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記音声信号を提供する請求項1に記載の装置。
  9. 前記プロセッサは、より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記聴覚音を提供する請求項1に記載の装置。
  10. 前記ユーザが前記音声信号を修正できるように構成されたユーザインタフェースをさらに備える請求項1に記載の装置。
  11. 前記ユーザインタフェースは、環境条件に基づいて前記音声信号を修正するために、前記ユーザが前記プロセッサを構成できるように構成されている請求項10に記載の装置。
  12. 前記ユーザインタフェースは、効果音を追加することによって前記ユーザが前記聴覚音を修正可能にする請求項10に記載の装置。
  13. 前記ユーザインタフェースは、前記ユーザがユーザにより選択された陸標に対する前記階層的に構成された情報を構成可能にする請求項10に記載の装置。
  14. 前記プロセッサは前記音声信号の音声コンテンツを合成するように構成されている請求項1に記載の装置。
  15. ユーザに対して音声情報を提示する方法であって、
    位置決定システムを用いてユーザ位置を決定することと、
    前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報をメモリから取り出すことと、
    1つ以上の変換器を介して、前記階層的に構成された情報に基づいて聴覚音を生成することであって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成されることと、
    を具備する方法。
  16. 前記階層的に構成された情報は、各陸標に対する音声アイコンを含む請求項15に記載の方法。
  17. 前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項15に記載の方法。
  18. 前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項17に記載の方法。
  19. 音声アイコンの音源ライブラリを提供することをさらに備える請求項15に記載の方法。
  20. 複数の陸標をルックアップテーブルによって前記音声アイコンにマッピングすることをさらに備える請求項19に記載の方法。
  21. 前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記聴覚音を提供する請求項20に記載の方法。
  22. より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記聴覚音を提供する請求項21に記載の方法。
  23. 前記聴覚音を修正するためのユーザ入力を受信することをさらに備える請求項15に記載の方法。
  24. 前記ユーザ入力は環境条件に基づいて前記聴覚音を修正する請求項23に記載の方法。
  25. 効果音を加えることによって前記ユーザ入力は前記聴覚音を修正する請求項23に記載の方法。
  26. ユーザによって選択された陸標に対して前記階層的に構成された情報を構成するためのユーザ入力を受信することをさらに備える請求項23に記載の方法。
  27. 前記メモリから前記情報を取り出すのではなく、前記ユーザ位置に基づいて前記階層的に構成された情報を合成することをさらに備える請求項15に記載の方法。
  28. 装置であって、
    位置決定システムを用いてユーザ位置を決定するための手段と、
    前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報をメモリから取り出すための手段と、
    前記階層的に構成された情報に基づいて聴覚音を生成するための手段であって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成される手段と、
    を具備する装置。
  29. 前記階層的に構成された情報は、複数の陸標の各々に対する音声アイコンを含む請求項28に記載の装置。
  30. 前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項28に記載の装置。
  31. 前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項30に記載の装置。
  32. 前記メモリは、音声アイコンの音源ライブラリを記憶する請求項29に記載の装置。
  33. 前記陸標を前記音声アイコンにマッピングするように構成されたルックアップテーブルをさらに備える請求項32に記載の装置。
  34. 前記ユーザの位置に対する前記陸標の少なくとも1つの距離と方向のユーザ知覚を可能にすべく前記音声信号を提供するための手段をさらに備える請求項29に記載の装置。
  35. より遠い陸標に対応する前記聴覚音は、前記ユーザにより近い陸標に対応する聴覚音よりもより遠くに聞こえるものとして前記ユーザによって知覚されるように、前記音声信号を提供するための手段をさらに備える請求項28に記載の装置。
  36. 前記ユーザが前記聴覚音を修正可能にするための手段をさらに備える請求項28に記載の装置。
  37. 前記ユーザが環境条件に基づいて前記聴覚音を修正可能にするための手段をさらに備える請求項36に記載の装置。
  38. 効果音を加えることによって前記ユーザが前記聴覚音を修正するための手段をさらに備える請求項36に記載の装置。
  39. 前記ユーザが、ユーザによって選択された陸標に対して前記階層的に構成された情報を構成可能にするための手段をさらに備える請求項36に記載の装置。
  40. 前記ユーザ位置に基づいて、前記階層的に構成された情報を合成するための手段をさらに備える請求項28に記載の装置。
  41. 1つ以上のプロセッサによって実行可能な一組の命令を格納したコンピュータ読み取り可能な媒体であって、
    位置決定システムを用いてユーザ位置を決定するためのプログラムコードと、
    前記ユーザ位置に基づいて、陸標に関する階層的に構成された情報を取り出すためのプログラムコードと、
    前記階層的に構成された情報に基づいて聴覚音を生成するためのプログラムコードであって、前記聴覚音は、前記ユーザ位置に対する前記陸標の位置のユーザ知覚を可能にするべく生成されるプログラムコードと、
    を具備するコンピュータ読み取り可能な媒体。
  42. 前記階層的に構成された情報は、複数の陸標の各々に対する音声アイコンを含む請求項41に記載のコンピュータ読み取り可能な媒体。
  43. 前記階層的に構成された情報は、複数のカテゴリを含み、各カテゴリは異なる種別の陸標を定義し、音声アイコンを、前記カテゴリを他のカテゴリから区別する各カテゴリに関連付ける請求項41に記載のコンピュータ読み取り可能な媒体。
  44. 前記階層的に構成された情報はさらに、前記カテゴリの少なくとも1つに対して定義された複数のサブカテゴリを含み、各サブカテゴリは、異なるサブ種別の陸標を定義し、前記階層的に構成された情報は、音声アイコンを前記サブカテゴリを前記他のサブカテゴリから区別する各サブカテゴリと関連付ける請求項43に記載のコンピュータ読み取り可能な媒体。
  45. 前記ユーザ位置に基づいて、前記階層的に構成された情報を合成するためのプログラムコードをさらに備える請求項41に記載のコンピュータ読み取り可能な媒体。
JP2016169551A 2011-12-15 2016-08-31 ナビゲーションサウンドスケーピング Active JP6328711B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/327,544 US8996296B2 (en) 2011-12-15 2011-12-15 Navigational soundscaping
US13/327,544 2011-12-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014547284A Division JP2015508487A (ja) 2011-12-15 2012-12-05 ナビゲーションサウンドスケーピング

Publications (2)

Publication Number Publication Date
JP2017032568A true JP2017032568A (ja) 2017-02-09
JP6328711B2 JP6328711B2 (ja) 2018-05-23

Family

ID=47352062

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014547284A Withdrawn JP2015508487A (ja) 2011-12-15 2012-12-05 ナビゲーションサウンドスケーピング
JP2016169551A Active JP6328711B2 (ja) 2011-12-15 2016-08-31 ナビゲーションサウンドスケーピング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014547284A Withdrawn JP2015508487A (ja) 2011-12-15 2012-12-05 ナビゲーションサウンドスケーピング

Country Status (7)

Country Link
US (2) US8996296B2 (ja)
EP (2) EP2791622B1 (ja)
JP (2) JP2015508487A (ja)
KR (2) KR20140104416A (ja)
CN (1) CN103959015B (ja)
IN (1) IN2014CN03824A (ja)
WO (1) WO2013090085A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160066118A1 (en) * 2013-04-15 2016-03-03 Intellectual Discovery Co., Ltd. Audio signal processing method using generating virtual object
US11022456B2 (en) * 2013-07-25 2021-06-01 Nokia Technologies Oy Method of audio processing and audio processing apparatus
CN109087653B (zh) 2014-03-24 2023-09-15 杜比国际公司 对高阶高保真立体声信号应用动态范围压缩的方法和设备
IL232802A0 (en) * 2014-05-26 2014-08-31 Deutsche Telekom Ag System and method for providing a voice geographic cue to a user of a mobile device
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
WO2017130704A1 (ja) * 2016-01-29 2017-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ナビゲーション端末、ナビゲーションシステム、ウェアラブル端末、ナビゲーション方法及びプログラム
US9774979B1 (en) * 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
US10325610B2 (en) * 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20180045530A1 (en) * 2016-08-12 2018-02-15 Blackberry Limited System and method for generating an acoustic signal for localization of a point of interest
KR20190039960A (ko) * 2016-08-18 2019-04-16 사운드6디 에스.알.엘. 다차원 음향 효과를 재생하기 위한 라우드 스피커를 포함하는 머리 받침대 및 시스템
JP6795611B2 (ja) * 2016-11-08 2020-12-02 ヤマハ株式会社 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
US10292001B2 (en) * 2017-02-08 2019-05-14 Ford Global Technologies, Llc In-vehicle, multi-dimensional, audio-rendering system and method
US10133544B2 (en) * 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
US10440493B2 (en) * 2017-04-17 2019-10-08 Harman International Industries, Incorporated Audible prompts in a vehicle navigation system
EP3410747B1 (en) * 2017-06-02 2023-12-27 Nokia Technologies Oy Switching rendering mode based on location data
EP3673240A1 (en) * 2017-09-27 2020-07-01 Apple Inc. Spatial audio navigation
US20190170533A1 (en) * 2017-12-01 2019-06-06 EmbodyVR, Inc. Navigation by spatial placement of sound
JP2021509470A (ja) * 2017-12-29 2021-03-25 ハーマン インターナショナル インダストリーズ, インコーポレイテッド 車両向けの空間インフォテインメントレンダリングシステム
JP7059498B2 (ja) * 2018-02-06 2022-04-26 株式会社豊田中央研究所 音風景構成装置、音風景構成方法、および音風景構成用データ構造
US11212637B2 (en) 2018-04-12 2021-12-28 Qualcomm Incorproated Complementary virtual audio generation
US10477338B1 (en) 2018-06-11 2019-11-12 Here Global B.V. Method, apparatus and computer program product for spatial auditory cues
FR3097711B1 (fr) * 2019-06-19 2022-06-24 Parrot Faurecia Automotive Sas Système audio autonome pour appui-tête de siège, appui-tête de siège et véhicule associés
DE102019123914A1 (de) * 2019-09-05 2021-03-11 Volkswagen Aktiengesellschaft Navigationsverfahren und Navigationssystem für ein Fahrzeug
US11485231B2 (en) * 2019-12-27 2022-11-01 Harman International Industries, Incorporated Systems and methods for providing nature sounds

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783674A (ja) * 1993-09-17 1995-03-28 Aqueous Res:Kk 案内装置
JP2001289660A (ja) * 2000-04-05 2001-10-19 Denso Corp ナビゲーション装置
JP2003156352A (ja) * 2001-11-19 2003-05-30 Alpine Electronics Inc ナビゲーション装置
JP2003531555A (ja) * 2000-04-19 2003-10-21 ソニック ソリューションズ 3次元空間高調波を保存するマルチチャンネルサラウンドサウンドマスタリングおよび再生方法
JP2006506918A (ja) * 2002-11-19 2006-02-23 フランス テレコム ソシエテ アノニム オーディオデータ処理方法及びこの方法を実現する集音装置
JP2006177814A (ja) * 2004-12-22 2006-07-06 Pioneer Electronic Corp 情報提供装置
JP2008219406A (ja) * 2007-03-02 2008-09-18 Oki Electric Ind Co Ltd 誘導支援システム、情報処理端末、および誘導支援方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559707A (en) 1994-06-24 1996-09-24 Delorme Publishing Company Computer aided routing system
JPH08252279A (ja) 1995-03-17 1996-10-01 Hitachi Ltd 対象物を音で提示する経路誘導方法
JP2000258170A (ja) 1999-03-04 2000-09-22 Sony Corp ナビゲーション装置
JP2002131072A (ja) * 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
JPWO2002097372A1 (ja) 2001-05-28 2004-09-16 三菱電機株式会社 運転支援装置
US6937165B2 (en) 2002-09-23 2005-08-30 Honeywell International, Inc. Virtual rumble strip
US7109890B2 (en) * 2003-05-23 2006-09-19 Creative Technology Ltd. Keyboard with digital audio
EP1652297A2 (en) 2003-07-28 2006-05-03 Koninklijke Philips Electronics N.V. Audio conditioning apparatus, method and computer program product
US8422693B1 (en) 2003-09-29 2013-04-16 Hrl Laboratories, Llc Geo-coded spatialized audio in vehicles
KR101087483B1 (ko) * 2004-11-04 2011-11-28 엘지전자 주식회사 네비게이션 시스템의 안내 음성신호 출력 제어방법 및 장치
WO2006112210A1 (ja) 2005-03-31 2006-10-26 Pioneer Corporation 音声出力装置、音声出力方法、音声出力プログラム、および記録媒体
US7649444B1 (en) 2005-12-13 2010-01-19 Nvidia Corporation Positional audio cues for an vehicle indicator system
JP2007255927A (ja) * 2006-03-20 2007-10-04 Clarion Co Ltd ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
JP2007278721A (ja) * 2006-04-03 2007-10-25 Pioneer Electronic Corp 情報処理装置、情報処理方法、情報処理プログラムおよびコンピュータに読み取り可能な記録媒体
US7741962B2 (en) 2006-10-09 2010-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Auditory display of vehicular environment
WO2008109326A1 (en) 2007-03-02 2008-09-12 Bose Corporation Browsing stored information
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
DE102007037386A1 (de) * 2007-08-08 2009-02-19 Navigon Ag Verfahren zum Betrieb eines Navigationssystems
JP2009265019A (ja) * 2008-04-28 2009-11-12 Denso Corp カーナビゲーション装置
US8219315B2 (en) 2009-03-08 2012-07-10 Mitac International Corp. Customizable audio alerts in a personal navigation device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783674A (ja) * 1993-09-17 1995-03-28 Aqueous Res:Kk 案内装置
JP2001289660A (ja) * 2000-04-05 2001-10-19 Denso Corp ナビゲーション装置
JP2003531555A (ja) * 2000-04-19 2003-10-21 ソニック ソリューションズ 3次元空間高調波を保存するマルチチャンネルサラウンドサウンドマスタリングおよび再生方法
JP2003156352A (ja) * 2001-11-19 2003-05-30 Alpine Electronics Inc ナビゲーション装置
JP2006506918A (ja) * 2002-11-19 2006-02-23 フランス テレコム ソシエテ アノニム オーディオデータ処理方法及びこの方法を実現する集音装置
JP2006177814A (ja) * 2004-12-22 2006-07-06 Pioneer Electronic Corp 情報提供装置
JP2008219406A (ja) * 2007-03-02 2008-09-18 Oki Electric Ind Co Ltd 誘導支援システム、情報処理端末、および誘導支援方法

Also Published As

Publication number Publication date
CN103959015A (zh) 2014-07-30
JP2015508487A (ja) 2015-03-19
KR20140104416A (ko) 2014-08-28
KR20160102078A (ko) 2016-08-26
JP6328711B2 (ja) 2018-05-23
WO2013090085A1 (en) 2013-06-20
EP2791622A1 (en) 2014-10-22
IN2014CN03824A (ja) 2015-10-16
US8996296B2 (en) 2015-03-31
US20150160022A1 (en) 2015-06-11
CN103959015B (zh) 2018-05-29
EP2937669A1 (en) 2015-10-28
US20130158856A1 (en) 2013-06-20
EP2791622B1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6328711B2 (ja) ナビゲーションサウンドスケーピング
CN112567767B (zh) 用于交互式音频环境的空间音频
US9251805B2 (en) Method for processing speech of particular speaker, electronic system for the same, and program for electronic system
JP6195843B2 (ja) ジェスチャ制御音声ユーザインタフェース
CN104581513B (zh) 用于将用户引导向所关注的事件的系统和方法
WO2015024881A1 (en) A system for and a method of generating sound
Heller et al. Navigatone: Seamlessly embedding navigation cues in mobile music listening
US11036464B2 (en) Spatialized augmented reality (AR) audio menu
JP2012523634A (ja) 音声システムのための空間ユーザインターフェース
US9002035B2 (en) Graphical audio signal control
Sodnik et al. Spatial auditory human-computer interfaces
US20190170533A1 (en) Navigation by spatial placement of sound
Mariette Human factors research in audio augmented reality
Cohen et al. Spatial soundscape superposition and multimodal interaction
CN107727107A (zh) 用于生成声学信号以定位兴趣点的系统和方法
JP2013172231A (ja) オーディオミキシング装置
Heller et al. Attracktion: Field evaluation of multi-track audio as unobtrusive cues for pedestrian navigation
Wu et al. Ripples: An Auditory Augmented Reality iOS Application for the Atlanta Botanical Garden
WO2022124154A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
May et al. Preserving auditory situation awareness in headphone-distracted persons
Golubkova A Review of Spatial Auditory Scene Assessment Approaches
Chang et al. SoundShift: Exploring Sound Manipulations for Accessible Mixed-Reality Awareness
JP2022128177A (ja) 音声生成装置、音声再生装置、音声再生方法、及び音声信号処理プログラム
Bhat et al. Design methodology of 3D sounds for in-vehicle auditory information systems

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180418

R150 Certificate of patent or registration of utility model

Ref document number: 6328711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250