JP2009543479A - バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム - Google Patents

バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム Download PDF

Info

Publication number
JP2009543479A
JP2009543479A JP2009518620A JP2009518620A JP2009543479A JP 2009543479 A JP2009543479 A JP 2009543479A JP 2009518620 A JP2009518620 A JP 2009518620A JP 2009518620 A JP2009518620 A JP 2009518620A JP 2009543479 A JP2009543479 A JP 2009543479A
Authority
JP
Japan
Prior art keywords
information
metadata
statement data
binaural
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009518620A
Other languages
English (en)
Other versions
JP4916547B2 (ja
Inventor
エル ソーク，ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harris Corp
Original Assignee
Harris Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harris Corp filed Critical Harris Corp
Publication of JP2009543479A publication Critical patent/JP2009543479A/ja
Application granted granted Critical
Publication of JP4916547B2 publication Critical patent/JP4916547B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

本発明は仮想的な音響環境を生成、合成及びカスタマイズする方法及び装置に関連する。バイノーラル音響システム(400)は、少なくとも第１タイプの情報及び第２タイプの情報を含む信号(600)を受信するトランシーバ(492)を含む。第１タイプの情報は、言明データ(602)を含む。言明データは、ユーザが明確に聞き取れるように意図された或る情報を特定する。第２タイプの情報は、第１タイプのメタデータ(604-1)及び第２タイプのメタデータ(604-2)を含む。第１タイプのメタデータは、空間的位置情報以外の言明データの特徴を指定する情報を含む。第２タイプのメタデータは、言明データに関連する空間的位置情報を指定する。

Description

本発明は、音響の処理及び表現を行う技術分野に関連し、特に複数の音響環境の合成及びカスタマイズを行い、リスナを囲む３次元空間内の単独音又は複数音の優れた臨場感をユーザに与えることに関連する。
バイノーラル音(binaural audio)は、３次元の仮想的な音響環境をリスナにもたらすように処理される音である。この種の音響(オーディオ)は、仮想的にリスナが何らかの環境の中に居るかのように優れた臨場感をもたらす。リスナの頭部以外の空間的に異なる場所からのバイノーラル音を発生させることは、ステレオ音とは異なり、モノラル音とも異なる。
バイノーラル音は、部屋の中に固定されたスピーカにより、又はリスナの耳各々に固定されたスピーカにより提供できる。部屋のスピーカ一式を使って特定のバイノーラル音を両耳にもたらすことは、音響クロストークの観点から困難であるし、リスナがスピーカに対して動いてはならない点でも困難である。更に、バイノーラル音は、リスナの頭部の位置や角度に依存しない。ヘッドフォンを利用することは、リスナの耳及び対応するヘッドフォン中のスピーカの間の距離を固定すること及び音響クロストークを最小化する観点から有利である。
通常の環境において、人の耳各々に到達する音は、いくつもの変化を受け、その変化がリスナの頭脳に音源の位置情報をもたらす。或る変化は、人体の胴体、頭部、耳介(ear pinna)及び外耳道(ear canal)により引き起こされる。これらの変化はまとめて頭部関連伝達関数(HRTF: Head Related Transfer Function)と呼ばれる。HRTFは一般的には周波数及び相対的な向き(頭部と音源との位置関係)の関数である。通常、距離の影響は、音源及びリスナ間の距離に比例する振幅減衰になる。左耳及び右耳における音波の振幅の差分及び到達時間差は、それぞれ両耳間強度差(IID: Interaural Intensity Difference)及び両耳間時間差(ITD: Interaural Time Difference)と言及され、音で音源を突き止める際に重要な手がかりを与える。音波のスペクトル整形及び音波の減衰も、音源がリスナの前方にあるか後方にあるかを判別する際、リスナが使用する重要な手がかりをもたらす。
バイノーラルスシステムでしばしば使用される別のフィルタは、バイノーラルルームインパルス応答(BRIR: Binaural Room Impulse Response)フィルタである。BRIRは部屋中の全ての音響特性に関する情報を含み、音源やリスナの位置や向き、部屋の大きさ、壁の反射率等を含む。従って、サイズ、形状及び壁の材料等の部屋の属性に依存して、部屋の一方端に位置する音源は、部屋の他方端のリスナが聴いた場合、異なる音響特性を有する。この例の技術は今日購入されているほとんどの音響システムに用意されている。これらのシステムは、いくつもの異なる音の効果をもたらし、或る観客席、スタジアム、劇場内、劇場外等に居る感じをリスナに与える。様々な形状の部屋の壁から反射する音の影響の感じをリスナにもたらすため、BRIRから導出される機能を導入する研究がなされている。
従来、隔たった音源から音が人間の耳に到来しているかのように、音に生じる上記の変化のいくつかを模擬するバイノーラルシステムが提案されている。これらのシステムの内のいくつかは、HRTFのフィルタリング特性を改善することを目指している。本願で使用される「フィルタ(filter)」なる用語は、時間領域信号をインパル応答と共に畳み込むことと等価な処理を実行する装置に関連する。同様に、本願で使用される「フィルタリング(filtering)」等の用語は、そのようなフィルタを時間領域信号に適用する処理に関連する。正確なHRTFを実現するにはかなりの演算リソースが必要になる。なぜならHRTFは位置関係や周波数の非常に複雑な関数だからである。実現コストを低減する際、音響フィードバック速度を改善する際、及び多数の音源を含む実際のバイノーラル音響環境を実現する際、バイノーラル音響システムを総合的に設計することが非常に重要になる。
非常に上位概念的には、バイノーラルシステムは一般に３つの部分で構成される。第１の部分は受信機である。概して、オーディオ情報を含むモノラル無線周波数(RF)信号を、そのオーディオ情報のメタデータと共に受信するように、受信機は設計されている。例えば、一般的にはメタデータは、特定のオーディオ情報の音源に関する空間的位置情報を含む。この空間的位置情報は、その後にバイノーラル音響信号を生成するのに使用され、バイノーラル音響信号は、所望の空間的位置の音源を模擬する。リスナの頭部追跡(ヘッドトラッキング)装置からのデータと共に、プロセッサは受信機からそのメタデータを受信する。プロセッサはこの情報を使って、両耳で聴く音を生成する。最終的に、左及び右の音が音生成部に送られ、音生成部は、リスナ周辺に位置する床置きスピーカで実現されてもよいし、或いはリスなの両耳にスピーカを置くヘッドフォンで実現されてもよい。３次元(3-D)バイノーラル音を聞くための場所にリスナを固定しなければならない点で、床置きスピーカは不利である。これに対して、ヘッドフォンはリスナが自由に動くことを許容するが、プロセッサはリスナの動きや頭部の位置を監視しなければならない。
バイノーラルシステムを改善しようとする多くの努力は、バイノーラル音の忠実度を改善すること、バイノーラル音プロセッサの処理速度を向上させること、或いは対象となり得るリスナの数を増やすこと等に注力している。しかしながら、これらの努力は、どちらかといえば、仮想音響環境を模擬するプロセスに注力している傾向がある。一方、そのようなバイノーラル音響情報を実用的用途に実際に使用しようとする革新的なアプリケーションを目指す努力はほとんどなされていないようである。
本発明は、仮想的な音響環境を生成、合成及びカスタマイズし、ユーザの周囲環境に関する理解可能な情報をユーザにもたらす方法及び装置に関連する。バイノーラル音響システムは受信機を含み、その受信機は、第１タイプの情報及び第２タイプの情報を少なくとも含む信号を受信する。第１タイプの情報は、言明データ(enunciated data)を含む。言明データは、ユーザが明確に聞き取れるように意図された或る情報を特定する。第２タイプの情報は、第１タイプのメタデータ及び第２タイプのメタデータを含む。第１タイプのメタデータは、言明データの特徴を決める情報(但し、空間的位置情報以外)を含む。第２タイプのメタデータは、言明データの空間的位置情報を含む。バイノーラル音響システムは、信号に応じて動作するオーディオ処理システムを含む。オーディオ処理システムは、第１メタデータ、第２メタデータ又はそれら双方に基づいて、所定の音響強調法に従って、言明データをユーザのために音響的に再生するように構築される。
バイノーラルシステムで聴覚的な応答に影響を及ぼし得る頭部の様々な向きを説明するための概略図である。 異なるタイプのバイノーラルシステムを説明するための概略図である。 異なるタイプのバイノーラルシステムを説明するための概略図である。 本願で使用されるバイノーラルシステムにおける配置及び向きを説明するためのシステム概略図である。 多次元通信を行うのに使用可能なバイノーラル音響システムのブロック図を示す。 バイノーラル音響システムの言明データ及びメタデータを含む信号構成を説明するための図である。
本発明による方法はいくつものステップを有する。本方法は、少なくとも第１タイプの情報及び第２タイプの情報を含む１つ以上の信号を生成することから始まる。第１タイプの情報は、ユーザが明確に聞き取れるように発音される情報を指定する言明データを含む。第２タイプの情報は、少なくとも第１タイプのメタデータを含む。第１タイプのメタデータは、言明データの(実際の又は仮想的な)ソースの位置を指定するのに使用される空間的位置情報を除く前記言明データの特徴を指定する情報を含む。本方法は、第１タイプのメタデータに基づく所定の音響強調法に従って、前記言明データをユーザが聞き取れるように通知することを含む。第２タイプの情報は第２タイプのメタデータを含み、第２タイプのメタデータは言明データに関する空間的位置情報を指定する。この空間的位置情報は、3-Dバイノーラル音を生成するのに使用される。
本発明の一形態によれば、本方法は、複数のバイノーラル音環境を決めるステップを含む。一形態によれば、前記所定の音響強調法は、前記複数のバイノーラル音環境の内の或る特定のものに前記言明データが関連することを、前記第１メタデータが示す場合にのみ、前記言明データを前記バイノーラル音環境の内の選択されたものに含めるステップを有する。本発明の他の形態によれば、前記所定の音響強調法は、複数のユーザグループを作るステップを含む。この場合、該ユーザグループの内の所定のものに属するメンバから前記言明データが発せられた場合にのみ、前記複数のバイノーラル音環境の内の特定のものに前記言明データが選択的に含められる。
前記所定の音響強調法は、前記第１メタデータで指定される前記言明データのソースに基づいて、音響再生成フォーマットを選択するステップを含むことができる。例えば、本発明の一形態では、音響再生成フォーマットは、モノフォニック音、ステレオフォニック音及び複数のバイノーラル音響環境の内の所定のものを含む群から選択される。更に本方法は、複数の情報関連度(情報関連性レベル)を決めることを含んでよい。前記の所与のシステムにおいて、所定の音響強調法は、メタデータで指定される特定の関連性レベルに従って、音響再生成フォーマットを選択的に適用することを含む。例えば、言明データの関連性レベルは、言明データのソースの身元(識別子)に基づいて決定可能である。本発明の他の形態によれば、本方法は、ユーザが明確に聞き取れるように意図された情報を選択的に消音するように、所定の音響強調法を選択することを有する。
本発明の他の形態によれば、本方法は、第２メタデータに応じてBRIRフィルタ及び反響(reverb)フィルタの少なくとも１つと共に言明データを修正するステップを更に含む。この場合において、本方法は、前記言明データのソースに関連する遠隔地点と前記ユーザとの相対的な空間距離に応じて、BRIR及び反響フィルタの少なくとも一方を選択することを含む。
本願で使用される「言明データ(enunciated data)」は、ユーザに提供可能な多種多様なオーディオ情報を含むことに留意を要する。例えば、様々なタイプの言明データは、人により発音された生音声データや、ユーザのために合成された又は機械再生された１つ以上の言葉を指定するデータ等を含む。そのような合成又は機械再生は、保存されたオーディオデータを用いて、言明データで指定されるように１つ以上の言葉を生成することを含む。本願で使用される「言明データ」という用語は、ユーザ用に再生成される１つ以上の異なる種類のオーディオトーンを指定するデータを含んでよいことに留意を要する。
更に、本発明方法は人間の会話のような「言明データ」を生成することに限定されない。有利なことに、本方法は、制御信号に応答して「言明データ」を生成する１つ以上の信号を自動的に生成することも含む。例えば、有利なことに、制御信号は、所定の条件の出現を特定することができる。一実施例では、本方法は、触覚環境に設けられたセンサに応答して制御信号を自動的に生成することを含む。
多軸ジャイロスコープが小型になり、高精度になりそして頑丈になってきた結果、頭部追跡手段をリスナのヘッドフォンの中に置き、リスナの頭部の向きに応じるバイノーラル音響システムを提供することができる。この頭部追跡情報が処理され、リスナの耳に届く音を変化させ、リスナが仮想的な3-D環境で音を聴くこと及び音の場所を推測できるようにする。異なるバイノーラル音響システムは、異なる特性を有する。例えば、あるバイノーラル音響システムの場合、仮想的な音は、リスナの頭部に対する位置を固定したままであるように生成されるかもしれないし、或いはリスナの頭部の回転や向きによらず、リスナの実環境世界に対して固定されたまま生成されるかもしれない。これらの概念は、図１−３に関連して詳述される。
図１は、リスナの頭部110の様々な頭部回転及び頭部位置を示す。軸Ｘ，Ｙ及びＺはリスナの頭部110の位置を規定する。Ｘ軸周りの頭部の回転は環状矢印(ロール(roll))114で表現され、Ｙ軸周りの頭部の回転は環状矢印(ヨー(yaw))112で表現され、Ｚ軸周りの頭部の回転は環状矢印116(ピッチ(pitch))で表現される。ヨーは、他の文献では方位角やピッチとして定義され、別の文献では仰角として規定されているかもしれない。ヘッドフォン108内に収容される頭部追跡装置102は如何なる手段(ヨー、ピッチ及びロール(向き)に関する情報と、リスナの頭部110の位置とに関する情報をサウンドプロセッサに提供できる如何なる手段)でもよい。例えば、３軸ジャイロスコープが向きを決定するのに使用可能であり、GPSユニットが位置を決定するのに使用可能である。向き(位置関係)の情報は、バイノーラル音響処理システムに与えられる。
頭部追跡装置(ヘッドトラッキング装置)102は、ヘッドフォンフレーム105上に搭載可能である。スピーカ104，106もヘッドフォンフレーム105に取り付け可能である。このように、ヘッドフォンは、リスナの頭部110の両耳の近くに用意される。ヘッドフォンフレーム105は、リスナの頭部110に載せられ、頭部の動きに応じて動く。もちろん、他の配置も可能である。例えば、スピーカを頭部110に取り付ける如何なる従来手段が使用されてもよい。耳栓(イヤフォン)、ヘッドフォン又はスピーカ(耳から隔たった位置にあるスピーカ)と共に、システムが実現可能なことが理解されるべきである。
図２及び図３は、頭部固定(head-fixed)バイノーラル音響システム200及び外界(world-fixed)固定バイノーラル音響システム300の相違を示す。頭部固定環境200の場合、バイノーラル音は、リスナの頭部110に対して固定された位置関係のまま生じる。(2A)及び(2B)を比較すると、リスナの頭部110がＹ軸周りに頭部方向202から頭部方向210に回った場合、音源204はリスナの頭部の向きと共に移動することが分かる。右スピーカ104及び左スピーカ106と共にリスナの耳に与えられるバイノーラル音は、音源204の位置が実際の外界での場所を変えたとしても、或いはリスナの頭部110が音源204の位置に対して動いたとしても、デシベルレベルや品質を変えない。
逆に、図3A及び3Bは、外界固定バイノーラル音響システム250の例を示す。外界固定バイノーラル音響システム250において、頭部110が、Ｙ軸の周りに頭部方向252から頭部方向260に回ったとする。しかしながらこの場合、音源254は、リスナに対して音源の仮想的な位置を変えるようには現れないことが、図3A及び3Bから分かる。右スピーカ104及び左スピーカ106と共にリスナの耳に与えられるバイノーラル音は、リスナ頭部110の現実世界での位置が、音源204の位置に対して移動又は変化した場合、デシベルレベルや品質が変わる。本願で開示される様々な形態は、外界固定バイノーラル音環境に有利に使用可能である。しかしながら、本発明はその場合に限定されず、頭部固定バイノーラル音響環境が使用可能な場合もあることが理解されるであろう。特定の環境を利用する何れの場合にも望ましいことは、以下の詳細な説明から更に明らかになるであろう。
図４は、本願で使用されるバイノーラルシステムにおけるシステム動作を説明するのに有益なシステム概略図である。複数のユーザ109-1，109-2，．．．．，109-nの各々には、バイノーラル音響システム(BSS: Binaural Sound System)400が備わっている。BSS400の各々は一群のヘッドフォン108又は他の音響生成装置に接続されている。ヘッドフォン108は好ましくはユーザの頭部110にある。BSSはヘッドフォン108に一体化されてもよい。しかしながら、サイズ及び重量の観点からは、携帯可能な又は持ち運び可能な無線システムにBSSを統合することが更に好ましい。有利なことに、各BSS400は無線トランシーバ回路を含み、無線トランシーバ回路は、所定の無線伝送プロトコルに従って、RF信号を他のBSS400との間で送受信することを可能にする。本願で説明されるような様々なタイプのデータを伝送することを可能にする無線伝送プロトコル自体の厳密な特質は本願では重要でない。
本発明の一実施例によれば、BSS400の装置は、１つ以上の遠隔的な検出装置401と共に動作するよう設計可能である。遠隔的な検出装置401は、様々な検出法を行うように設計可能であり、これらについては後述される。検出装置401は、所定の無線伝送プロトコルを用いてBSS400と直接的に又は間接的に通信する。この場合において、無線伝送プロトコルは、地上の又は空間の中継装置及び通信サービスを利用することを含んでよいことが、理解されるべきである。
図５は、バイノーラル音響システム400を理解するのに有用なブロック図である。図５に示されるアーキテクチャは、本発明の限定を意図するものではなく、本発明による恩恵をもたらす１つの可能なシステム例を提示するに過ぎないことを、当業者は理解するであろう。本願で開示されるものと同様な機能を備えた他の如何なるシステムアーキテクチャが使用されてもよい。
図５から分かるように、BSS400はシングルチャネル又はマルチチャネルRFトランシーバ492を含む。RFトランシーバは、上記の所定の無線伝送プロトコルを実現するハードウエア及びソフトウエアを含んでよい。所定の無線伝送プロトコルは、図６に示されるような少なくとも２種類の情報を含む少なくとも1つの信号600を通信するのに有利なように選択される。第１タイプの情報は、「言明データ」(enunciated data)602を含む。言明データ602は、ユーザ109-1，109-2，．．．，109-nに対して明確に音が発せられた或る情報を指定する。第２タイプの情報はメタデータ604である。(6A)は、第１タイプの情報602及び第２タイプの情報604が、信号600の中で１つのデータストリームの一部をなすように順番に送信可能なことを示す。代替例として、(6B)は、第１タイプの情報602及び第２タイプの情報604が、信号600，601の２つの別個のデータストリームの部分として並列的に送信可能なことを示す。例えば、(6B)の２つの別個の信号600，601は、別々の周波数で伝送されてもよい。選択される特定の伝送プロトコルは本発明にとって重要でないことを、当業者は理解するであろう。
使用される伝送プロトコルによらず、メタデータ604は、１つ以上の異なるタイプのデータを含む。例えば図６の場合、第１タイプのメタデータ604-1及び第２タイプのメタデータ604-2を含むように、データが示されている。しかしながら、本発明はそのような場合に限定されず、より多くの又はより少ない異なるタイプのメタデータが通信可能である。メタデータの異なるタイプの厳密な数によらず、本願の様々なメタデータタイプに関するものは、一般に、何らかの方法に関連する又は言明データ602に重要な様々な種類の個々の有用情報を指定する個々のデータ要素に関することを、理解されるべきである。本発明の一実施例の場合、少なくとも第１タイプのメタデータ604-1は、言明データ602の特徴を指定する情報を含むが、3-Dバイノーラル効果をもたらすのに使用される空間的位置情報は含まれない。例えば、第１タイプのメタデータは、通信が所属しているユーザグループ又は個人、通信される特定の言明データの特定のタイプを指定するデータ、言明データに関連する警報のタイプ又は警告のタイプを指定するデータ、人から及び機械音源から言明データを区別するデータ、認証データ等を指定することができる。特に、第１タイプのメタデータは、3-Dバイノーラル音響効果をもたらすのに使用されないある種の空間位置情報を含むこともできる。例えば、第１タイプのメタデータ604-1は、選択されたユーザの位置を特定するのに使用される限定された地理的領域を決める情報を含み、そのユーザは、ある言明データ602を受信するように意図されている者である。そのような情報は、どのユーザが明確に発音された音を受信するかを決めるのに使用されるが、3-Dバイノーラル音響効果を生み出さず、或いはバイノーラル音響環境中の場所も決定しない。
第２タイプのメタデータ604-2は、言明データに関する空間的位置情報を特定し、そのデータは3-Dバイノーラル音響効果を生み出すのに使用される。例えば、空間的位置情報は、以下のものの内の１つ以上を含んでよい：言明データの音源の実世界での位置、言明データの音源の仮想的な位置又は見かけ上の位置、実世界での基準(目標)位置、及び／又は実世界での宛先の位置。また、実世界での位置及び／又は仮想世界での位置は、選択的に、言明データの音源又は見かけ上の音源の高度(altitude)を含んでよいことが、理解されるべきである。異なるタイプのメタデータを用意する意義は以下の説明から明らかになるであろう。
図５を参照するに、言明データ(602)及びメタデータ(604)を含む無線周波数信号600，601は、ユーザ各々のBSS400により受信されることが分かる。RF信号はアンテナ490から受信され、アンテナ490は、RFトランシーバ492に結合される。RFトランシーバは、通常のシングル又はマルチチャネルRFトランシーバ機能をもたらし、例えばRFフィルタリング、増幅、IFフィルタリング、ダウンコンバージョン及び復調等を行う。このような機能自体は当業者に良く知られており、従って本願では詳細には説明されない。RFトランシーバ492は、有利なことに、暗号化及び解読する機能を有し、情報を安全に通信することを促す。そして、RFトランシーバ492は、言明データ602及びメタデータ604を分離することで、RF信号をデコードする。この情報は、音響環境マネジャ494に伝達される。例えば、言明データ602及びメタデータ604は、並列的な又は直列的なフォーマットで音響環境マネジャ494に伝達可能である。
音響環境マネジャ494は、汎用コンピュータ又はマイクロプロセッサ、及び／又は1つ以上のディジタル信号プロセッサにより実現可能であり、汎用コンピュータ等は、本願で説明される様々な処理を実行するのに相応しい命令群と共にプログラムされる。音響環境マネジャ494は、１つ以上の特定用途向け集積回路(ASIC)で構築可能であり、ASICは、上記の様様な処理及び機能を実現するように設計される。音響環境マネジャは１つ以上のデータ格納部を含み、データ格納部は、上記の処理を行うハードウエアからアクセス可能である。これらのデータストアは、時期ハードドライバ、RAM及び／又はROM等のような大容量データストレージ装置を含んでもよい。音響環境マネジャ494は、様々なハードウエア及びソフトウエアエンティティの間でデータを伝送するのに相応しい１つ以上のコンピュータバスを含み、それらのエンティティは、音響環境マネジャ494を構築するものである。コンピュータバスは、様々なハードウエアエンティティをデータポートに接続することができ、そのデータポートは、上述したようなBSS400の他の部分と通信するのに相応しいデータポートである。これらのデータポートは、バッファ回路、A/D変換器、D/A変換器及び何らかの他のインターフェース装置を含むことができ、インターフェース装置は、BSS400を形成する様々なハードウエアエンティティ間の通信を促す。
音響環境マネジャ494は、ヘッドセットを装着しているユーザの頭の向きに関する情報を受信する。例えば、頭部追跡装置102からのセンサデータが、頭部方向推定部414に伝達可能である。頭部方向推定部は、図示されているようにBSS400内に組み込まれてもよいし、或いは頭部追跡装置102と一体化されてもよい。いずれにせよ、リスナの頭部の向きに関するデータは、音響環境マネジャに伝達される。そのようなデータは、ピッチ、尾ロール及びヨーデータを含むことができる。音響環境マネジャ494は、サウンドフィールド制御インターフェース416からの信号を受信する。サウンドフィールドコントローラ416は、有利なことに、１つ以上のシステムインターフェース制御部を含み、その制御部は、所望のオーディオ環境又は環境の組み合わせをユーザが指定することを可能にする。これらの制御部は、何らかの必要なインターフェース制御部を実現する必要性に応じて、ハードウエアエンティティ、ソフトウエアエンティティ、又はハードウエア及びソフトウエアエンティティの組み合わせを含んでよい。
音響環境マネジャ494の機能は、ある特化されたオーディオ環境を作り出すようにユーザが選択的に選ぶ複数の環境を管理することである。サウンドフィールド制御インターフェース416を使用することで、ユーザは、音響環境マネジャ494が、音響環境をいくつでも選択及び合成することを引き起こすようにできる。これらの環境は以下のものを含むがそれらに限定されない：選択的なフィルタリング、選択的な関連付け、警告及び警報、インテリジェンスインフュージョン(intelligence infusion)、ナビゲーション支援、位置特定及びテレプレゼンス(telepresence)。
図５を再び参照するに、頭部追跡装置102は、リスナの頭部の回転及び位置に関する情報を提供することが分かる。頭部追跡情報は音響環境マネジャ494で使用され、RF受信機492で受信される言明データ602に適用される、オーディオ推定部496内の様々なフィルタを変更する。1つ以上のバイノーラル環境を互いに有利に提供するため、BSS400はオーディオ推定部496を含む。オーディオ推定部496は、必要に応じて言明データを処理し、ユーザにより選択された様々なオーディオ環境を実現する。この場合において、オーディオ推定部496は、言明データ音を生成するディジタル信号処理回路を含む。例えば、言明データで指定される言葉又は音の各々は、一群のHRTFフィルタ408、一文のバイノーラルルームインパルス応答(BRIR)フィルタ410及び一群の反射フィルタ412の特定の組み合わせを必要とするかもしれない。これらの全ての群は必要に応じてオーディオミキサ484で組み合わせられる。オーディオミキサ484から生じるオーディオ信号は、ハンドセット108に伝達される。この結果は左スピーカ106用のオーディオ信号であり、言明データ602及びメタデータ604により指定されるような１つ以上の音源を表すモノフォニックな、ステレオフォニックな及びバイノーラルな音の組み合わせでもよい。右側のスピーカ104のオーディオ信号も、同様に、言明データ602により指定されるような１つ以上の音源を表すモノフォニックな、ステレオフォニックな及びバイノーラルな音の組み合わせでもよい。
有利なことに、BSS400は内部GPS推定部402を含む。内部GPS推定部402は、好ましくは、各ユーザのBSS400内に物理的に位置している。しかしながら、それはユーザの何処に設けられてもよく、頭部追跡装置102内に設けられてもよい。内部GPS推定部402の機能は、リスナの物理的な場所を音響環境マネジャ494に与えることである。音響環境マネジャは、出力されるRF信号のフォーマットをGPSメタデータと共に整え、各BSS400から伝送されるソース位置信号を決める。そのようなGPSメタデータがRF信号の一部として伝送される場合、そのデータは、タイプ１のメタデータ604-1と言及される。
上述したように、RFトランシーバ492は、言明データ602及びメタデータ604を音響環境マネジャ494に伝達する。音響環境マネジャは、２種類のデータをデコードし、ユーザに提示されるバイノーラル音の詳細を決める。例えば、音響環境マネジャは、言明データをデコードし、あるユーザ用に再生成される特定のオーディオ情報を決定する。この場合において、言明データは、多種多様な言明データを含み得ることが、理解されるべきである。例えば、言明データは、生音声のエンコードされたアナログ又はディジタル表現でもよい。そのような生音声の具体例は、人間の会話である。そのような言明データは、例えば、何らかの他のユーザに関連するBSS400から発せられるかもしれない。更に、言明データは、人間の会話に限定されないことが、理解されるべきである。言明データは、BSS400で再生成された機械合成音又は或るトーンを指定するデータを含む。例えば、そのような会話は、イヤコン(earcon)生成部406を用いて再生成可能である。
一般に、「イヤコン(聴覚的アイコン、音アイコン)」なる用語は、機械(マシン又はコンピュータ)により生成される音の警告又は指示を指す。イヤコン生成部406は、上記の言明データに応答して、イヤコン音を生成する。言明データ又は言明データのデコードバージョンは、音響環境マネジャ494によりイヤコン生成部406に与えられる。これに応じて、イヤコン生成部406は、ユーザに提供されるイヤコン音を生成する。従って、言明データ602は、警告、道案内、関心のある情報等を指示できることが、理解されるであろう。イヤコン生成部は、適切な音声を用いることでユーザに応答する。そのような機械合成音は、BSS400で或る記録フォーマットで保存されていてもよい。イヤコン生成部406は、そのような警告音のような音ではない信号を生成するように設計されてもよい。
イヤコン生成部406の説明から、言明データ602は、音声データを直接的に含むことは必須でないことが理解されるであろう。むしろ、言明データ602は単にポインタを含むだけでもよい。イヤコン生成部406は、そのポインタを使って、BSS400により生成される実際の音を決める。そのような音は、マシン合成会話音及び／又はトーンとすることができる。言明データ602が、ユーザに提示されるアナログ又はディジタル音を実際に含んでいることは必ずしも必要ない。しかしながら、代替実施例の場合、言明データ602は実際のオーディオデータを含んでもよく、そのオーディオデータは、イヤコン生成部406により再生成される警告音又は言葉のディジタル又はアナログ表現である。
一般に、言明データ602に、ある関連するメタデータが同伴してもよい。ある特定の言明データ602が受信された場合に、イヤコン生成部406がイヤコンを生成すべきか否かを判定するために、メタデータ604が使用可能である。本発明の一実施例によれば、音響環境マネジャ494は、空間位置メタデータを使用して、ユーザがバイノーラルなイヤコンメッセージを受信すべきか否かを判定する。例えば、言明データ602の音源と、言明データを受信したユーザとの間の距離を、音響環境マネジャは計算できる。音響環境マネジャ494は、イヤコンが生成されるべきか否かを、警告又はアラームのタイプに基づいて判定できる。この判定結果はイヤコン生成部406に伝達され、或いは言明データがイヤコン生成部に単に伝達されないよいにしてもよい。或いは、特定のユーザが、特定のイヤコンを受けるように意図された又は受ける必要のある者でないことを、音響環境マネジャ494はメタデータから判断できる。例えば、ユーザ達がそのようなイヤコンを要する特定のグループのメンバでないことを、彼らのサウンドフィールドコントローラ416のインターフェースを介してユーザが指示した場合に、上記の状況が起こり得る。タイプ１メタデータ(空間的位置情報を含まないメタデータ)は、イヤコンがタイプ１ユーザにのみ意図されていることを、言明データの音源が示していることを示すことができる。特定のユーザがタイプ２のユーザであった場合、彼らは明確に発音されたイヤコンメッセージを受信しない。
言明データ602が、再生成されるべき実際のオーディオ情報を含んでいる場合であっても或いはそれが単にポインタを含むに過ぎない場合であっても、オーディオ信号は、最終的にはオーディオ推定部496に伝達される。オーディオ信号は、言明データのディジタルデータストリームでもよいし、言明データのアナログオーディオ信号でもよいし、言明データ602の他の何らかの表現でもよい。オーディオ信号の特定の形式によらず、オーディオ推定部496は、オーディオ信号を処理し、所望のバイノーラル音を生成する。バイノーラル音を生成する技術自体は当該技術分野で既知である。従ってそのような技術は本願では詳細には説明されない。しかしながら、有利なことに、オーディオ推定部496は、HRTFフィルタ408、BRIRフィルタ410及びリバーブ(reverb)フィルタ412を含む。これらのフィルタの１つ以上を使用して、言明データで規定されているように、ユーザに提示される音声信号を修正する。特に、ユーザの耳各々への音は、受信した言明データ６０２に対応するメタデータ604に基づいて処理又は修正される。
同様に、特定のBSS400により生成された音声は、マイクロフォン107により検出される。この音声は、音響環境マネジャに伝達される。音響環境マネジャはその音声をアナログ信号又はディジタルデータストリームにフォーマットを整える。その信号はメタデータ604を含む。例えば、メタデータ604は、内部GPS推定部402で決定されるような特定のBSS400の空間位置情報を含んでよい。こうして生成された信号は、内部メタデータ生成部404により生成されたメタデータを含んでもよい。例えば、そのような内部メタデータは(非空間的位置情報である情報に関連する)タイプ２メタデータ604-2でもよい。本発明の一形態では、タイプ２メタデータは或るグループを指定し、特定のBSS400のユーザはそのグループに属している。例えばそのグループは兵士の軍隊とすることもできる。
サウンドフィールドコントローラ416は、ユーザが聴くことを希望するオーディオのタイプをユーザが指定できるようにし、１つ以上の仮想的なバイノーラル音声環境をユーザが指定することも可能にする。オーディオミキサ484はリスナにマイクロフォンの音、ステレオフォニック音又は3-Dバイノーラル音を提供する。更に、リスナは或る音源をバイノーラル音で含むが、同じ環境中の別の音源がステレオ音であるように選択できる。BSS400は、様々な仮想的音響環境を幾つでもユーザに提供し、その音響環境から選択が行われる。以下、選択可能なオーディオ環境及び本発明を有利に使用する方法が説明される。
Ａ．選択的フィルタリングモード
関連音情報は、場合によっては、望まれない背景音と共に劣化するおそれがあることを、当業者は認めるであろう。そのような劣化を低減し且つ信号雑音比を改善するため、人間は、関心のある音を選別する能力を生まれつき持っている。この本能は、必要のない音を人間が削減又は排除することを支援する。例えば、背景音声が大きかった場合でさえ、選別された声(又は、特定の場所から発する声)に或る程度集中できる能力を人間は生まれつき持っている。これは、「カクテルパーティ効果(cocktail party effect)」として様々な文献で説明されている。
本発明の一実施例の場合、兵士は、彼の属するグループ内の他の兵士の場所を良好に把握することで、戦場の状況を能く理解できる(優れた状況認識をすることができる。)。例えば、ある軍事偵察指令が４グループの兵士に関わり、各グループは、周囲状況を偵察するために異なる方向に進むものとする。通信ネットワークでなされる様々な会話全てを聴く代わりに、各グループは、彼ら自身のバイノーラル環境を選択できる。その後、あるグループの兵士達が、混雑している都市環境に分散され互いを見失った場合でも、彼らのグループメンバの場所各々を彼らは依然として把握するであろう。スピーカの仮想的な位置を可視化することで、彼らの音声通信は、グループの全員に彼らの大まかな場所を通知する。グループ内の誰でもが、彼らの声を単に聴くことでグループの他者との位置関係を知る。このように、兵士達は彼らの道具ではなくむしろ彼らの環境に目を向けることができる。
BSS400の場合、上記のタイプ１メタデータ604-1及びタイプ２メタデータ604-2を用いることで、上記の特徴は実現可能である。例えば、所定のグループの１つに属するユーザから発するような、BSS400から送信された特定の信号をタイプ１メタデータは特定できる。この場合、タイプ１メタデータ604-1は少なくとも１つのデータフィールドを含み、そのデータフィールドは、ユーザが所属している所定のグループの１つを特定するように用意されている。例えば、このグループ情報は、インターフェースを介してユーザによりBSS400に入力可能であり、そのインターフェースはサウンドフィールドコントローラ416により用意される。メタデータ604は、言明データ602と共に送信信号600に挿入される。その後、送信信号600が別のユーザのBSS400により受信されると、音響環境マネジャ494は、タイプ１メタデータに基づいて、送信信号600が発せられたグループを特定する。信号を送信したユーザが、信号を受信したユーザと同じグループのメンバであった場合、音響環境マネジャは、そのユーザに言明データ602が再生成されることを引き起こし、バイノーラル処理を用いて3-D音響効果をもたらす。タイプ２メタデータは、音響環境マネジャ494により使用され、言明データに適切なバイノーラル処理を判断する。例えば、オーディオ生成部496はその情報を利用し、ユーザのバイノーラル環境に音が適切に与えられるようにする。例えば、オーディオ生成部はその情報を使って、言明データが、仮想音響環境内の所望の空間位置から適切に発生することを引き起こす。
Ｂ．選択的関連モード
上記の選択的フィルタリング法は、別の形態でBSS400により使用可能であり、3-D(バイノーラル)、2-D(ステレオフォニック)及び1-D(モノフォニック)のような複数の音次元(audio dimension)を組み合わせる。例えば、場合によっては、ユーザは背景の音情報を全て排除することを希望しないかもしれない。しかしながら、所望のバイノーラル音源とともに同じ音次元の中で関連の低い音を維持するのではなく、ユーザは、その関連の低い音をモノフォニック(1-D)又はステレオフォニック(2-D)の次元に変えることができる。音の音響フォーマットをバイノーラルからモノフォニックな音に又はステレオフォニックな音に変えることは、そのような音の関連性や重要度のレベルの違いを表わす。なお、このプロセスは、その音の何らかの位置確認手がかりを排除する。1-D、2-D又は3-Dの音のデシベルレベルは、リスナがその次元を希望する時はいつでも調整可能である。
上記の効果をもたらすため、所定のユーザグループ各々について、別個のバイノーラル音響環境を決定することができる。以後、BSS400各々は受信したメタデータを使って、言明データを発したユーザのグループを特定する。あるユーザの所定のグループ内の様々なユーザから受信した言明データは、バイノーラルフォーマットで提供される。特に、音響環境マネジャ494はタイプ１メタデータ604-1を利用して、信号が特定のグループのメンバから発せられたか否かを判定する。同じグループのメンバから発せられた言明データは、3-Dバイノーラル音響環境内の各BSS400ユーザ用に再生成される。各BSS400はグループメンバのために言明データを処理し、タイプ２メタデータを利用してバイノーラル音を生成し、そのユーザのグループのメンバが位置する場所を表現する。
好適実施例によれば、所定のユーザグループの少なくとも第2のものに属するユーザから、BSS400はRF信号600を受信する。そのようなRF信号は、タイプ１メタデータを利用することで特定可能である。これらの信号中の言明データ602は、ヘッドセット108で再生成され、ユーザは音響的に感知できる。しかしながらここで重要なことに、BSS400はそのような音を異なるオーディオフォーマットで再生成するように構築可能である。例えば、そのような音を3-Dバイノーラルフォーマットで再生成するのではなく、その音は、1-Dモノフォニックフォーマットで提供可能である。この音は同じ音響効果では提供されないので、その音はユーザにとって異なって感知される。ユーザは、この区別(相違)を利用して、彼ら自身のグループメンバの声に選択的に集中することができる。
上述の様々な音次元を組み合わせることでユーザが恩恵を受ける様々な状況が存在する。例えば、先の例における司令官は、他の３人の司令官の声をモノフォニック音で聴くことを希望するかもしれない。かくて司令官は、彼のグループの兵士のバイノーラルな声と他の司令官のモノフォニックな声とを区別できる。更に、他の司令官の声を聴く能力を持つことは、リスナの状況判断に関する重要な情報をリスナに提供する。
Ｃ．アラート及び警告
声の連絡に加えて、タイプ１及びタイプ２メタデータを使って他のタイプの情報が音響環境(サウンドフィールド)に重ね合わせられてもよい。例えば、１つ以上のセンサ401を利用することで、センサ情報が検出可能である。このセンサ情報は、信号600に対応するフォーマットに統合可能である。そしてこの信号は様々なユーザ109-1，109-2，．．．，109-nに送信され、各ユーザに関連するBSS400により受信される。センサ401は、バイオハザード(生物学的危険)、原子力災害又は化学的危険のセンサを含む如何なるタイプのセンサでもよい。更にセンサ401は、危険(ハザード)403が検出された場合に信号600をブロードキャストするよう設計される。信号600は、言明データ602及びメタデータ604を必要に応じて含み、ユーザに危害を知らせる。例えば、言明データはオーディオデータを含み、或いはBSS400で使用される特定のイヤコンを指すデータポインタを含む。言明データは危険の種類(性質)をユーザに通知するよう使用可能である。メタデータ604はタイプ１メタデータ及びタイプ２メタデータを含むことができる。
タイプ２メタデータは、危険を検出したセンサのGPS座標、又はセンサで検出された危険な場所のGPS推定座標を含むことができる。このRF信号がユーザの無線機で受信された場合、ユーザのBSS400は、タイプ２メタデータを使って、センサ401がそのユーザと関わっている場所を判定し、言明データで指定されるイヤコンをユーザに提供する。イヤコン生成部は受信した言明データを「化学的毒物発見。こちらに近づかないで下さい。」のような語句に翻訳し、兵士の3-D音響環境で聞こえるであろう。特に、音響環境マネジャ494は、センサ401が提供したGPS座標とユーザが提供したGPS座標(例えば、内蔵GPS生成部402により提供される)とを使用して、そのユーザに対する危険の方向を判断する。警告音声は、ユーザが致命的な毒物に接近しすぎていることをユーザに警告し、その3-Dバイノーラル音を聞くことで、ユーザはセンサ401(及び／又は関連する危険場所)の方向を突き止めることができる。かくてユーザは影響の及ぶ地域から逃げるためにどの方向に行くべきかを知ることができる。
Ｄ．インテリジェンスインフュージョン
インテリジェンス情報と上記のバイノーラル音響環境を組み合わせることは、前線の兵士能力を大幅に強化する。従来、司令センタに過剰に多くの情報が到来すること及び前線の兵士に適時に適切な情報が届かないことが問題であった。本発明によれば、インテリジェンス(言明データ602)は適切なGPSデータ(タイプ１メタデータ604-1)と共にブロードキャストされ、そのインテリジェンスデータを受信する或る地域内のユーザを特定する。このように、速やかに情報を必要とするユーザは、上記の選択的な関連モードによりその情報を受信する。別の状況では、インテリジェンス情報は、コマンドセンタからそれを必要とする兵士達のみにブロードキャストされ、上述の選択的なフィルタリング(選別)モードで受信される。
これらの特質を更に理解するため、具体例が考察される。市街戦の場合、センサが街中に配備され、様々な出来事(イベント)を検出する。或るグループの兵士達がBSS400を装備して救助指令に出向いた場合、兵士達は２つの音響環境を組み合わせ、彼らの状況認識力を改善する。例えば、3-Dバイノーラル環境及びモノフォニック環境が選択されるかもしれない。
兵士達が待ち伏せに備えて分散しなければならない場合、上記の選択フィルタリングモードは有益である。全ての兵士は、彼らの声の情報を単に聴くことで彼らの仲間の居る場所を知ることができる。狙撃者が居ることのような危険性を検出するために、１つ以上のセンサ401が使用可能である。これらのセンサ401は、路上の兵士達に発砲した屋根上の狙撃者402により、活性化される。センサ401は、狙撃者の空間的場所を地域内の兵士全員に同時に提供する。これは、センサ401が敵からの発砲のGPS座標を特定し、味方の発砲を狙撃者の場所に仕向けることで達成可能である。路上の兵士の場合、彼のコンピュータにはイヤコンが備わっており、狙撃者の場所からあたかもそれが生じたかのように仮想的な3-D音で発生する。言明データ602は、「私を撃て、私を撃て(shoot me, shoot me)」と述べるイヤコンを特定する。タイプ２メタデータは、狙撃者の危険のある場所を指定するGPS情報を含んでもよい。
本発明の一実施例の場合、センサ401は数秒間警告を発する。狙撃者402が位置を変えて再び発砲した場合、センサ401は新たな場所を検出し、新たな警告を発する。BSS400はその警告を受信し、タイプ２メタデータ604-2でその変化を検出する。メタデータにおけるその変化は、3-Dバイノーラル環境におけるイヤコンの仮想的な場所をBSS400が変えることを引き起こす。有利なことに、そのイヤコンは、より大きな音で最初は始まり、数秒間にわたって徐々に減衰する。これは、狙撃者402が最後に発砲して以来どの程度経過しているかを兵士に知らせる。この状況の場合、オーディオインテリジェンスは兵士にリアルタイムで提供されており、その地域の危険を速やかに警告し、兵士達は、視覚で道具を見るために周囲状況から目を離す必要はない。
同様に、指名手配中の容疑者が街中の或る特定のインターネットカフェで発見された場合、インテリジェントデータが、そのカフェの近くにたまたま居合わせた兵士達にブロードキャストされ、その被疑者を捕獲することを支援する。カフェの近くに居合わせた兵士達は、タイプ１メタデータ604-1を含むブロードキャストメッセージを受信することで指定可能である。そのタイプ１メタデータで規定される特定の限定された地理的領域内に居る兵士達だけにメッセージが発音されることを、そのタイプ１メタデータは示す。例えば、タイプ１メタデータは、特定のGPS座標及び所定の距離を特定することができる。そして各BSS400は、特定のGPS座標から所定の距離の範囲内にBSS400が位置するか否かを判断できる。当然に、他の方法を使って地理的領域を指定してもよい。ブロードキャストされた信号600は言明データ602を含み、言明データは適切なイヤコンを直接的に又は間接的に指定する。例えば、カフェの数ブロック以内に居る兵士全員に通知されるよう選択されたイヤコンは、「私を捕まえろ，私は指名手配されている！」とすることができる。兵士達はBSS400により与えられる案内によりバイノーラル音響環境の中で注意深く移動してカフェを発見し、その容疑者を確保する。
Ｅ．ナビゲーション支援
BSS400はナビゲーション支援として使用することもできる。例えば、兵士達が敵地から抜け出る必要があった場合、抜け出る時間及び場所に関する情報を含む信号600は、彼らのBSS400により受信される。例えば、この信号600は、言明データ602、タイプ１メタデータ及びタイプ２メタデータを含み、その情報を規定する。内蔵GPS推定部402により指定されたGPS座標と共に、信号はBSS400により使用される。例えば、この情報はBSS400により使用され、兵士に３つの音声情報を与える。先ず、言明データ602により規定されるイヤコンが、抜け出る地点の道案内(方向)を示すバイノーラル音を提供する。次に、イヤコンは、抜け出る地点に至るまでに残っている距離を兵士に伝える。最後に、抜け出る乗物(例えば、ヘリコプタ)が到着する前に、イヤコンはどの程度時間が残っているかを兵士に伝える。従って兵士達は「脱出場所は２マイル先。残り３２分。」というような反復的なイヤコンを聴く。イヤコンはバイノーラル音で提供され、脱出場所の方角から音が生じているように見せてもよいことに、留意を要する。内部コンピュータは、数秒毎に音情報を更新し、兵士のHRTFは常に更新され、兵士達を適切な場所に案内する。
この音響ナビゲーション環境は、他の音響環境と組み合わせられ、彼らの周囲に関する追加的な情報を兵士に与える。例えば、或る兵士は他の戦友と連絡をとる必要があり、その戦友は、見通し線上には居ないが、同じ脱出地点に向かう者である。兵士全員は他の兵士のおおよその場所を聴くことができる。或る兵士が傷ついて歩行に困難であった場合、バイノーラル音響システムは、脱出地点に向かうのを支援するように、負傷兵士の近くの兵士に指図する。
Ｆ．位置検索拡張
別の音次元は、BSS400により生成されたバイノーラル音響フィールドに手を加え、位置に関する良い手がかりをユーザに与えるようにすることである。これらの位置の手がかりは、特定の方向に音が見かけ上単に発するようにしていることを改善できる。本発明の一実施例によれば、BRIRフィルタ410は、反響効果を生じるように使用可能である。様々な仮想的な部屋又は空間(room)が使用され、ユーザから放射状の距離を表す。この技法を使って、遠隔信号源がユーザの位置に対してどの程度距離があるかを、ユーザは良好に推定できる。例えば、100フィート未満の距離は、BRIRによるフィルタリング(選別)なしにユーザに提示され、或いはBRIRは小さな空間のBRIRに対応してもよい。101乃至1000フィートの間の距離の場合、狭い空間に対応するBRIRフィルタ410が使用される。1000フィートより遠い距離の場合、細くて狭い空間に対応するBRIRフィルタ410が使用される。当然に、空間の厳密な形状やBRIRフィルタの厳密な対応関係は、本発明にとって重要でない。必要なことは、ユーザ間の様々な距離を区別するように、様々なBRIRフィルタが使用されることである。従って、２マイルの雑木林に分散した兵士達のグループは、100フィート未満の場所に位置する仲間の兵士から通常の音を聴く。中程度に離れている(例えば、101乃至1000フィート)兵士仲間と連絡をとる場合、そのような兵士の声は、彼らの声が狭い空間の端からあたかも生じているかのように発せられる。同様に、遠く離れた兵士(例えば、1000フィート以上)からの音声伝送は、細長い空間の端からあたかも発するように音が発せられる。当然に、グループ内の兵士達からの全ての通信は、バイノーラル音で提供可能である。従って、兵士達全員は、その声を聴くことで、彼ら及びスピーカの間で相対的な方向及び近似的な距離を知ることができる。
言明データ602、タイプ１メタデータ604-1及びタイプメタデータ604-2を用いて、更なる機能がBSS400で実現可能である。ユーザ間の距離は、タイプ２メタデータを使って通知可能である。サウンドフィールドコントローラ416により用意されるインターフェースを使って、ユーザは拡張された位置検索モードを選択できる。従って、信号を送信したBSS400とその後に信号を受信したBSS400との間の距離の計算に基づいて、音響環境マネジャ494は、適切なHRTFフィルタ408及び適切なBRIRフィルタ410を選択する。
Ｇ．テレプレゼンスモード
テレプレゼンス(telepresence)モードは、如何なる環境にもユーザを仮想的に配置することを可能にし、その地域で起こる活動を能く理解できるようにする。テレプレゼンスモードを利用することで、軍隊指揮官は、何らかの特定の戦場で起こっている軍事活動をより効果的に理解する。戦場に任意のGPS位置座標と共に彼らのBSS400をプログラミングすることで、どの司令官(commander)も最前線に仮想的に移される。その場所は一定の物理的な場所でもよいし、或いはその場所は指揮官又は兵士と共に戦場で動的に変わってもよい。テレプレゼンスにより、選択された将校に対して、兵士全員又は将校の声の連絡及び仮想的な位置をユーザは聴くことができる。このバイノーラル音は、司令官が戦場上空を飛行する無人機から受信する視覚的情報を補足する。この戦場環境に仮想的に入ることで、その司令官はより良い判断を行うことができる。

Claims (10)

  1. バイノーラル情報をユーザに通知する方法であって、
    少なくとも第１情報及び第２情報を含む少なくとも１つの信号を生成するステップと、
    ユーザが明確に聞き取れるように発音される情報を指定する言明データを前記第1情報に含めるステップと、
    少なくとも第１メタデータを前記第２情報に含めるステップであって、前記第１メタデータは、前記言明データのソースの空間的位置情報を除く前記言明データの特徴を指定する情報を含む、ステップと、
    前記第１メタデータに基づく所定の音響強調法に従って、前記言明データを含むバイノーラル音環境を生成するステップと
    を有する方法。
  2. 複数のバイノーラル音環境を決めるステップを更に有する請求項１記載の方法。
  3. 前記所定の音響強調法は、前記複数のバイノーラル音環境の内の或る特定のものに前記言明データが関連することを、前記第１メタデータが示す場合にのみ、前記言明データを前記バイノーラル音環境に含めるステップを有する、請求項２記載の方法。
  4. 前記所定の音響強調法は、複数のユーザグループを作るステップと、該ユーザグループの内の所定のものに属するメンバから前記言明データが発せられた場合にのみ、前記複数のバイノーラル音環境の内の特定のものに前記言明データを含めるステップとを更に有する請求項２記載の方法。
  5. 前記所定の音響強調法は、前記第１メタデータで指定される前記言明データのソースに基づいて、音響再生成フォーマットを選択するステップを有する、請求項２記載の方法。
  6. 所定の状況の出現を示す制御信号に応じて、前記少なくとも１つの信号を自動的に生成するステップを更に有する、請求項１記載の方法。
  7. バイノーラル情報をユーザに通知するバイノーラル音響システムであって、
    少なくとも第１情報及び第２情報を含む信号を受信する受信機と、
    前記第１メタデータに基づく所定の音響強調法に従って、バイノーラル音環境で前記言明データを聞き取れるように再生成する、RF信号に応答する音響処理システムと、
    を有し、前記第１情報は、ユーザが明確に聞き取れるように発音される情報を指定する言明データを有し、前記第２情報は第１メタデータ及び第２メタデータを有し、前記第１メタデータは、前記言明データのソースの空間的位置情報を除く前記言明データの特徴を指定する情報を有し、少なくとも第２メタデータは、前記言明データのソースに関連する空間的位置情報を特定する、バイノーラル音響システム。
  8. 前記言明データのソースに関連する遠隔地点と前記ユーザとの相対的な空間距離に応じて、BRIRフィルタ及び反響フィルタを選択的に使用する、請求項７記載のバイノーラル音響システム。
  9. 前記第１メタデータは、複数の所定のバイノーラル音環境の内の１つを指定する、請求項７記載のバイノーラル音響システム。
  10. 前記複数のバイノーラル音環境の内の或る特定のものに前記言明データが関連することを、前記第１メタデータが示す場合にのみ、前記言明データを前記バイノーラル音環境に含める、請求項９記載のバイノーラル音響システム。
JP2009518620A 2006-07-07 2007-07-03 バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム Expired - Fee Related JP4916547B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/482,326 2006-07-07
US11/482,326 US7876903B2 (en) 2006-07-07 2006-07-07 Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
PCT/US2007/072767 WO2008091367A2 (en) 2006-07-07 2007-07-03 Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system

Publications (2)

Publication Number Publication Date
JP2009543479A true JP2009543479A (ja) 2009-12-03
JP4916547B2 JP4916547B2 (ja) 2012-04-11

Family

ID=38919155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009518620A Expired - Fee Related JP4916547B2 (ja) 2006-07-07 2007-07-03 バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム

Country Status (8)

Country Link
US (1) US7876903B2 (ja)
EP (2) EP2050309A2 (ja)
JP (1) JP4916547B2 (ja)
KR (1) KR101011543B1 (ja)
CN (1) CN101491116A (ja)
CA (1) CA2656766C (ja)
TW (1) TWI340603B (ja)
WO (1) WO2008091367A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056589A (ja) * 2008-08-26 2010-03-11 Sony Corp 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
JP2013143744A (ja) * 2012-01-12 2013-07-22 Denso Corp 音像提示装置
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
KR20160095042A (ko) * 2014-01-03 2016-08-10 돌비 레버러토리즈 라이쎈싱 코오포레이션 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
US10425763B2 (en) 2014-01-03 2019-09-24 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
US11228856B2 (en) 2012-03-06 2022-01-18 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a higher-order ambisonics audio signal
JP2022166062A (ja) * 2016-08-01 2022-11-01 マジック リープ， インコーポレイテッド 空間化オーディオを用いた複合現実システム

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690269A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 双耳的面向对象的音频解码器
US8099286B1 (en) * 2008-05-12 2012-01-17 Rockwell Collins, Inc. System and method for providing situational awareness enhancement for low bit rate vocoders
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
US8160265B2 (en) * 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
KR20120065774A (ko) * 2010-12-13 2012-06-21 삼성전자주식회사 오디오 처리장치, 오디오 리시버 및 이에 적용되는 오디오 제공방법
EP2661912B1 (en) * 2011-01-05 2018-08-22 Koninklijke Philips N.V. An audio system and method of operation therefor
CN102790931B (zh) * 2011-05-20 2015-03-18 中国科学院声学研究所 一种三维声场合成中的距离感合成方法
US8958567B2 (en) 2011-07-07 2015-02-17 Dolby Laboratories Licensing Corporation Method and system for split client-server reverberation processing
US9167368B2 (en) * 2011-12-23 2015-10-20 Blackberry Limited Event notification on a mobile device using binaural sounds
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
CN102665156B (zh) * 2012-03-27 2014-07-02 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
DE102012208118A1 (de) * 2012-05-15 2013-11-21 Eberhard-Karls-Universität Tübingen Headtracking-Headset und Gerät
EP2669634A1 (en) * 2012-05-30 2013-12-04 GN Store Nord A/S A personal navigation system with a hearing device
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9050212B2 (en) * 2012-11-02 2015-06-09 Bose Corporation Binaural telepresence
US9544692B2 (en) * 2012-11-19 2017-01-10 Bitwave Pte Ltd. System and apparatus for boomless-microphone construction for wireless helmet communicator with siren signal detection and classification capability
DE102012025039B4 (de) * 2012-12-20 2015-02-19 Zahoransky Formenbau Gmbh Verfahren zur Herstellung von Spritzgießteilen in Zwei-Komponenten-Spritzgießtechnik sowie Spritzgießteil
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
CN108810793B (zh) 2013-04-19 2020-12-15 韩国电子通信研究院 多信道音频信号处理装置及方法
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
EP2809088B1 (en) * 2013-05-30 2017-12-13 Barco N.V. Audio reproduction system and method for reproducing audio data of at least one audio object
EP3025516B1 (en) 2013-07-22 2020-11-04 Harman Becker Automotive Systems GmbH Automatic timbre, loudness and equalization control
WO2015010865A1 (en) * 2013-07-22 2015-01-29 Harman Becker Automotive Systems Gmbh Automatic timbre control
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
GB201315524D0 (en) * 2013-08-30 2013-10-16 Nokia Corp Directional audio apparatus
EP3806498B1 (en) 2013-09-17 2023-08-30 Wilus Institute of Standards and Technology Inc. Method and apparatus for processing audio signal
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
CN113630711B (zh) * 2013-10-31 2023-12-01 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
US20150139448A1 (en) * 2013-11-18 2015-05-21 International Business Machines Corporation Location and orientation based volume control
EP2887700B1 (en) * 2013-12-20 2019-06-05 GN Audio A/S An audio communication system with merging and demerging communications zones
CN108922552B (zh) 2013-12-23 2023-08-29 韦勒斯标准与技术协会公司 生成用于音频信号的滤波器的方法及其参数化装置
JP6674737B2 (ja) 2013-12-30 2020-04-01 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 位置データを有する聴取装置および聴取装置の動作方法
DK2890156T3 (da) * 2013-12-30 2020-03-23 Gn Hearing As Høreapparat med positionsdata og fremgangsmåde til betjening af et høreapparat
GB2518024A (en) * 2014-01-31 2015-03-11 Racal Acoustics Ltd Audio communications system
US9674599B2 (en) 2014-03-07 2017-06-06 Wearhaus, Inc. Headphones for receiving and transmitting audio signals
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
EP3128766A4 (en) 2014-04-02 2018-01-03 Wilus Institute of Standards and Technology Inc. Audio signal processing method and device
CN104240695A (zh) * 2014-08-29 2014-12-24 华南理工大学 一种优化的基于耳机重放的虚拟声合成方法
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
KR101627652B1 (ko) 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US10149082B2 (en) 2015-02-12 2018-12-04 Dolby Laboratories Licensing Corporation Reverberation generation for headphone virtualization
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US9464912B1 (en) * 2015-05-06 2016-10-11 Google Inc. Binaural navigation cues
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US10003896B2 (en) 2015-08-18 2018-06-19 Gn Hearing A/S Method of exchanging data packages of different sizes between first and second portable communication devices
EP3133759A1 (en) * 2015-08-18 2017-02-22 GN Resound A/S A method of exchanging data packages of different sizes between first and second portable communication devices
CN111314826B (zh) 2015-09-17 2021-05-14 搜诺思公司 由计算设备执行的方法及相应计算机可读介质和计算设备
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN108476366B (zh) 2015-11-17 2021-03-26 杜比实验室特许公司 用于参数化双耳输出系统和方法的头部跟踪
CN105682000B (zh) * 2016-01-11 2017-11-07 北京时代拓灵科技有限公司 一种音频处理方法和系统
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
WO2017156276A1 (en) * 2016-03-11 2017-09-14 Mayo Foundation For Medical Education And Research Cochlear stimulation system with surround sound and noise cancellation
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN106572425A (zh) * 2016-05-05 2017-04-19 王杰 音频处理装置及方法
US9584946B1 (en) * 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
US10932082B2 (en) 2016-06-21 2021-02-23 Dolby Laboratories Licensing Corporation Headtracking for pre-rendered binaural audio
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10359858B2 (en) * 2016-09-07 2019-07-23 Disney Enterprises, Inc. Systems and methods for simulating sounds of a virtual object using procedural audio
US10028071B2 (en) 2016-09-23 2018-07-17 Apple Inc. Binaural sound reproduction system having dynamically adjusted audio output
WO2018088450A1 (ja) * 2016-11-08 2018-05-17 ヤマハ株式会社 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
EP3470976A1 (en) * 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10491643B2 (en) 2017-06-13 2019-11-26 Apple Inc. Intelligent augmented audio conference calling using headphones
GB2563635A (en) * 2017-06-21 2018-12-26 Nokia Technologies Oy Recording and rendering audio signals
FR3076899B1 (fr) * 2018-01-12 2020-05-22 Esthesix Procede et dispositif pour indiquer un cap c a un utilisateur
WO2019138187A1 (fr) * 2018-01-12 2019-07-18 Esthesix Procede et dispositif ameliores pour indiquer un cap c a un utilisateur
CN108718435A (zh) * 2018-04-09 2018-10-30 安克创新科技股份有限公司 一种扬声装置及其输出声音的方法
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10705790B2 (en) * 2018-11-07 2020-07-07 Nvidia Corporation Application of geometric acoustics for immersive virtual reality (VR)
US20200211540A1 (en) * 2018-12-27 2020-07-02 Microsoft Technology Licensing, Llc Context-based speech synthesis
CN110475197B (zh) * 2019-07-26 2021-03-26 中车青岛四方机车车辆股份有限公司 一种声场回放方法和装置
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11356795B2 (en) * 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
CN113810838A (zh) * 2021-09-16 2021-12-17 Oppo广东移动通信有限公司 音频控制方法和音频播放设备
CN114650496A (zh) * 2022-03-07 2022-06-21 维沃移动通信有限公司 音频播放方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0449757A (ja) * 1990-06-18 1992-02-19 Nippon Telegr & Teleph Corp <Ntt> 会議通話端末装置
JPH07303148A (ja) * 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 通信会議装置
JPH08237790A (ja) * 1994-05-31 1996-09-13 Victor Co Of Japan Ltd ヘッドホン再生装置
JP2005184621A (ja) * 2003-12-22 2005-07-07 Yamaha Corp 通話装置
JP2005331826A (ja) * 2004-05-21 2005-12-02 Victor Co Of Japan Ltd 学習システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4086433A (en) 1974-03-26 1978-04-25 National Research Development Corporation Sound reproduction system with non-square loudspeaker lay-out
GB1550627A (en) 1975-11-13 1979-08-15 Nat Res Dev Sound reproduction systems
US5717767A (en) 1993-11-08 1998-02-10 Sony Corporation Angle detection apparatus and audio reproduction apparatus using it
US5596644A (en) 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
AUPO099696A0 (en) 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
US6021206A (en) * 1996-10-02 2000-02-01 Lake Dsp Pty Ltd Methods and apparatus for processing spatialised audio
AUPP272898A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Time processed head related transfer functions in a headphone spatialization system
JP2003521202A (ja) 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
FR2823392B1 (fr) 2001-04-05 2004-10-29 Audispace Procede et systeme pour diffuser selectivement des informations dans un espace, et equipements mis en oeuvre dans ce systeme
US6961439B2 (en) 2001-09-26 2005-11-01 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US20050198193A1 (en) 2004-02-12 2005-09-08 Jaakko Halme System, method, and apparatus for creating metadata enhanced media files from broadcast media

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0449757A (ja) * 1990-06-18 1992-02-19 Nippon Telegr & Teleph Corp <Ntt> 会議通話端末装置
JPH07303148A (ja) * 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 通信会議装置
JPH08237790A (ja) * 1994-05-31 1996-09-13 Victor Co Of Japan Ltd ヘッドホン再生装置
JP2005184621A (ja) * 2003-12-22 2005-07-07 Yamaha Corp 通話装置
JP2005331826A (ja) * 2004-05-21 2005-12-02 Victor Co Of Japan Ltd 学習システム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472653B2 (en) 2008-08-26 2013-06-25 Sony Corporation Sound processing apparatus, sound image localized position adjustment method, video processing apparatus, and video processing method
JP2010056589A (ja) * 2008-08-26 2010-03-11 Sony Corp 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
JP2013143744A (ja) * 2012-01-12 2013-07-22 Denso Corp 音像提示装置
US11228856B2 (en) 2012-03-06 2022-01-18 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a higher-order ambisonics audio signal
US11895482B2 (en) 2012-03-06 2024-02-06 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a Higher-Order Ambisonics audio signal
US11570566B2 (en) 2012-03-06 2023-01-31 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a Higher-Order Ambisonics audio signal
JP2014116722A (ja) * 2012-12-07 2014-06-26 Sony Corp 機能制御装置およびプログラム
KR20160095042A (ko) * 2014-01-03 2016-08-10 돌비 레버러토리즈 라이쎈싱 코오포레이션 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
US10555109B2 (en) 2014-01-03 2020-02-04 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
JP2020025309A (ja) * 2014-01-03 2020-02-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
US10771914B2 (en) 2014-01-03 2020-09-08 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
US11212638B2 (en) 2014-01-03 2021-12-28 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
US10425763B2 (en) 2014-01-03 2019-09-24 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
KR101870058B1 (ko) 2014-01-03 2018-06-22 돌비 레버러토리즈 라이쎈싱 코오포레이션 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
US11582574B2 (en) 2014-01-03 2023-02-14 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
JP2017507525A (ja) * 2014-01-03 2017-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
JP2022166062A (ja) * 2016-08-01 2022-11-01 マジック リープ， インコーポレイテッド 空間化オーディオを用いた複合現実システム
JP7270820B2 (ja) 2016-08-01 2023-05-10 マジック リープ， インコーポレイテッド 空間化オーディオを用いた複合現実システム

Also Published As

Publication number Publication date
TWI340603B (en) 2011-04-11
US20080008342A1 (en) 2008-01-10
WO2008091367A2 (en) 2008-07-31
CA2656766C (en) 2012-05-15
EP2050309A2 (en) 2009-04-22
KR101011543B1 (ko) 2011-01-27
WO2008091367A3 (en) 2008-10-16
JP4916547B2 (ja) 2012-04-11
CA2656766A1 (en) 2008-07-31
TW200816854A (en) 2008-04-01
US7876903B2 (en) 2011-01-25
EP2434782A2 (en) 2012-03-28
CN101491116A (zh) 2009-07-22
KR20090035575A (ko) 2009-04-09

Similar Documents

Publication Publication Date Title
JP4916547B2 (ja) バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム
US11671783B2 (en) Directional awareness audio communications system
US20150326963A1 (en) Real-time Control Of An Acoustic Environment
EP2589231B1 (en) Facilitating communications using a portable communication device and directed sound output
CN111327980B (zh) 提供虚拟声音的听力设备
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
JP2015507572A (ja) 車両内の音を指向させるシステム、方法、及び装置
US9781538B2 (en) Multiuser, geofixed acoustic simulations
EP2724556A2 (en) Method and device for processing sound data
WO2017003472A1 (en) Shoulder-mounted robotic speakers
JP2017153083A (ja) 自動車でオーディオ信号を再生する装置及び方法
CN111492342A (zh) 音频场景处理
WO2022004421A1 (ja) 情報処理装置、出力制御方法、およびプログラム
JP6587047B2 (ja) 臨場感伝達システムおよび臨場感再現装置
WO2022185725A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023061130A1 (zh) 耳机、用户设备及处理信号的方法
Sauk et al. Creating a multi-dimensional communication space to improve the effectiveness of 3-D audio
WO2022151336A1 (en) Techniques for around-the-ear transducers
WO2022010805A1 (en) Techniques for generating spatial sound via head-mounted external facing speakers
AU2022258764A1 (en) Spatially-bounded audio elements with derived interior representation
EP3182723A1 (en) Audio signal distribution

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees