JP2008532374A - オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置および方法 - Google Patents

Abstract

オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置は、シーン記述を提供するための手段（８）を含み、シーン記述は、オーディオシーン内のオーディオオブジェクトの時間的シーケンスを定義し、さらに、仮想音源の音源位置に関する情報および、仮想音源の開始または終了に関する情報を含む。さらに、オーディオオブジェクトは、少なくとも、仮想音源に関連付けられたオーディオファイルへの参照を含む。オーディオオブジェクトは、各レンダラモジュール（３）に対する単一の出力データストリームを生成する目的で、処理するための手段（０）によって処理され、この出力データストリーム内には、仮想音源の位置に関する情報およびオーデォファイル自体が、互いに関連付けられて含まれている。これにより、一方では可搬性が達成され、他方では確実なデータの整合性により高品質が達成される。
【選択図】 図１

Description

本発明は、波面合成の分野に関し、より特定的には、処理されるべきデータを用いた波面合成レンダリング手段の制御に関する。

本発明は、波面合成の概念に関し、より特定的には、マルチレンダラシステムに関連した効率的な波面合成の概念に関する。

娯楽用電子機器の分野において、新しい技術や画期的な製品がますます求められている。新しいマルチメディアシステムの成功にとって不可欠なのは、最適な機能性や能力を提供することである。これは、デジタル技術、特にコンピュータ技術を利用することによって達成される。その例として、より現実に近い視聴覚印象を与えるアプリケーションがある。これまでのオーディオシステムは、自然環境ばかりでなく仮想環境における空間的な音の再生の質に実質的な問題があった。

オーディオ信号のマルチチャネルラウンドスピーカによる再生方法が以前より知られており長年にわたって標準化されてきている。しかし、全ての通常の技術では必ず、ラウンドスピーカの場所と聞き手の位置とが伝送フォーマット上に印加されてしまっているという欠点がある。聞き手に対してラウンドスピーカを間違って配置すると、オーディオの質が大いに劣化する。最適な音は、狭い再生スペース、いわゆるスィートスポットでのみ実現される。

オーディオ再生時、より自然な空間的印象およびより大きなエンクロージャまたはエンベロープが、新しい技術の助けにより達成され得る。この技術の原理、いわゆる波面合成法（ＷＦＳ）は、デルフト工科大学（TU Delft）において研究され、８０年代後半に最初に紹介された（Berkout, A.J.; de Vries, D.; Vogel, P.：「波面合成法による音響制御（“Acoustic control by Wave field Synthesis”）」、JASA 93、１９９３年）。

波面合成法は、コンピュータの多大なパワーおよび高速の転送レートを要求するので、これまでのところ実際にはほとんど用いられていない。今日の具体的な用途にこの技術を利用できるようにするには、マイクロプロセッサ技術およびオーディオ符号化の分野における進展がなければならない。プロフェッショナルな領域での初代の製品の登場が、翌年に予定されている。数年後には、消費者層のための初代の波面合成アプリケーションが市場に出てくるであろう。

ＷＦＳの基本的な概念は、以下のような、ホイヘンス（Huygens）の波動理論の原理の応用に基づいている：
すなわち、波によって捉えられる各点は、球面状または円状に伝搬する素元波の出発点である。

これを音響に応用すると、入来する波先はどのような形状であっても、互いに近接して配置された多数のラウンドスピーカ（いわゆるラウンドスピーカアレイ）によって再現することができる。再現されるのが単一の点音源であって複数のラウンドスピーカが直線状に配置されているような最も単純な場合、各ラウンドスピーカのオーディオ信号は、個々のラウンドスピーカの放射する音場が正しく重なり合うように、時間遅延および振幅のスケーリングがなされなければならない。音源が複数の場合には、各音源について、各ラウンドスピーカに対する寄与が個々に計算され、結果として得られる複数の信号が合算される。再生されるべき複数の音源が１つの部屋の中にあってその部屋の壁が反響する場合には、反響音もまた、付加的な音源としてラウンドスピーカアレイによって再生されねばならない。したがって、その計算の負担は、音源の数と、録音室の反響特性と、ラウンドスピーカの数とに大いに依存する。

特に、この技術の利点は、非常に広い再生スペースにわたって、音について自然な空間的印象を達成することができることである。公知の技術とは異なり、複数の音源の方向と距離とが非常に正確に再生される。現実のラウンドスピーカアレイと聞き手との間に複数の仮想音源を位置付けることすら、ある程度まで可能である。

このような波面合成は特性の知られている環境においてはうまく機能するが、その特性が変化するか、または、その環境の実際の特性と合致しない環境特性に基づいて波面合成が行なわれると、狂いが生じる。

周辺環境の特性は、その周辺環境のインパルス応答によっても記述され得る。

これについて以下の例に基づいてより詳細に説明する。ここで、ラウンドスピーカが壁に対して音響信号を送出し、壁の反響が望まれていないものとする。この単純な例については、波面合成を用いた空間補償は以下のようになる。まず、壁から反射した音響信号がいつラウンドスピーカに戻ってきてどのような振幅を有するのか、を確かめる目的で、この壁の反響を判定する。壁からの反響が望ましくない場合、波面合成法によれば、反射信号と同様の振幅を有しかつ反射信号と位相が反対である信号をラウンドスピーカ上に印加することで、伝搬する補償波が反射波と相殺し、それにより、この壁からの反響を問題の周辺環境において除去する、というように、壁からの反響を排除できる可能性がある。これは、最初にその周辺環境のインパルス応答を計算し、その後、その周辺環境のインパルス応答に基づいて、その壁の特性および位置を判定することによって達成することができ、その壁は、ミラー音源、すなわち、入来する音を反射する音源、と解釈される。

最初にその周辺環境のインパルス応答を測定し、その後、オーディオ信号に重畳するようにラウンドスピーカに印加されるべき補償信号を計算すれば、この壁からの反響は相殺され、その周辺環境の中にいる聞き手は、壁が全く存在しないような印象を得るようになる。

しかしながら、反射波の最適な補償のためには、補償の過不足が生じないように、その部屋のインパルス応答を正確に判定することが重要となる。

波面合成は、広い再生エリアにわたって仮想音源の正しいマッピングを行なう。それと同時に、波面合成は、サウンドマスタおよびサウンドエンジニアに対して、より一層複雑な音の風景を作成する新しい技術的かつ創造的可能性をもたらす。８０年代末期にデルフト工科大学で開発された波面合成法（ＷＦＳ、または音場合成法）は、音の再生にホログラフィ技術を取入れたものであり、キルヒホッフ−ヘルムホルツ（Kirchhoff-Helmholtz）の積分がその基礎となっている。それによれば、閉じた体積内の任意の音場は、その体積の表面上に、単極および双極の音源（ラウンドスピーカアレイ）を分布させることによって生成することができる。

波面合成においては、ラウンドスピーカアレイのラウンドスピーカごとの合成信号が、仮想位置における仮想音源から送出される音声信号から計算される。ここで、それら合成信号は、振幅および位相に関して、ラウンドスピーカアレイ内に存在する複数のラウンドスピーカによって出力される個々の音波の重畳から得られる波が、もし仮想位置における仮想音源が実際の位置における実際の音源であった場合にその仮想位置におけるその仮想音源によって生じたであろう波に対応するように、形成される。

通常、様々な仮想位置に複数の仮想音源が存在する。合成信号の計算は、各仮想位置における各仮想音源について行なわれ、通常は、１つの仮想音源から複数のラウンドスピーカに対する複数の合成信号が得られる。１つのラウンドスピーカから見ると、そのラウンドスピーカは複数の合成信号を受取り、それらは様々な仮想音源に遡る。それらの音源の、線形重ね合わせ原理により可能となる重畳の結果が、そのラウンドスピーカから実際に送出される再生信号となる。

より大きなラウンドスピーカアレイ、すなわち、より多くのラウンドスピーカが提供されれば、波面合成が利用され得る可能性はより高くなる。しかしながらそれに伴って、波面合成ユニットが必要とする計算のパワーもまた増大する。というのも、チャネル情報もまた通常は考慮に入れねばならなくなるからである。すなわちこれは、原則として、各仮想音源から各ラウンドスピーカへは独自の伝送チャネルが存在すること、また原則として、各仮想音源が各ラウンドスピーカに対して１つの合成信号をもたらし、および／または、各ラウンドスピーカが仮想音源と同じ数の合成信号を得ること、を意味する。

特に、仮想音源もまた移動し得る映画館のような用途に波面合成の可能性が利用される場合、合成信号の計算、チャネル情報の計算、および、チャネル情報と合成信号との組み合わせによる再生信号の生成のために、相当な量の計算パワーがかかわってくることが予想される。

さらに、ここで注記すべきは、オーディオ再生の質が、利用可能なラウンドスピーカの数が増加するほど高まることである。これは、ラウンドスピーカアレイ内のラウンドスピーカの数が多くなるほど、オーディオ再生の質がよりよくなり、より現実に近づくことを意味する。

上記の場合、個々のラウンドスピーカに対する完全にレンダリングされかつアナログ−デジタル変換された再生信号は、たとえば、波面合成中央ユニットから個々のラウンドスピーカへと２線式ラインを介して伝送され得る。この場合、すべてのラウンドスピーカがほぼ確実に同時に作動することで、同期化のためのさらなる方策が必要ではなくなる、という利点がある。ただし、波面合成中央ユニットは必ず、特定の再生ルームのため、または、決まった数のラウンドスピーカでの再生のためだけに製造される。このことは、各再生ルームについて、独自の波面合成中央ユニットが作成されねばならないことを意味する。また、そのユニットは、多大な計算パワーを行使せねばならない。というのも、オーディオ再生信号の計算が、多くのラウンドスピーカおよび／または多くの仮想音源について、少なくともその一部が並行かつリアルタイムで行なわれねばならないからである。

ドイツ国特許ＤＥ １０２５４４０４ Ｂ４は、図７に示すようなシステムを開示している。その一部は中央波面合成モジュール１０である。残りの部分は、個々のラウンドスピーカモジュール１２ａ、１２ｂ、１２ｃ、１２ｄ、および１２ｅからなり、それらは図１に示すように、実際の物理的なラウンドスピーカ１４ａ、１４ｂ、１４ｃ、１４ｄ、および１４ｅに接続されている。なお、ラウンドスピーカ１４ａ〜１４ｅの数は５０を上回り、一般的な用途においては通常は優に１００を超える。個々のラウンドスピーカが各ラウンドスピーカと関連付けられている場合には、対応する数のラウンドスピーカモジュールもまた必要である。しかしながら、用途によっては、隣接する複数のラウンドスピーカの小さな群に１つのラウンドスピーカモジュールで対処することが好ましい。これに関連して、たとえば４つのラウンドスピーカに接続された１つのラウンドスピーカモジュールがその４つのラウンドスピーカに同じ再生信号を与えるか、それとも、それら４つのラウンドスピーカについて対応する異なる合成信号が計算されるか、は任意である。そこで、そのようなラウンドスピーカモジュールは実際には、いくつかの個々のラウンドスピーカモジュールからなり、それらが物理的に１つのユニットにまとめられている。

波面合成モジュール１０とそれぞれ個々のラウンドスピーカ１２ａ〜１２ｅとの間には、独自の伝送経路１６ａ〜１６ｅが存在し、各伝送経路は、中央波面合成モジュールおよび、対応するラウンドスピーカモジュールに結合されている。

波面合成モジュールからラウンドスピーカモジュールにデータを伝送するためのデータ伝送モードとしては、高いデータレートを提供するシリアル伝送フォーマット、たとえばいわゆるファイヤワイヤ（Firewire）伝送フォーマットまたはＵＳＢデータフォーマットが好ましい。１００メガビット／秒を超えるデータ転送レートが有利である。

波面合成モジュール１０からラウンドスピーカモジュールに伝送されるデータストリームは、波面合成モジュール内で選ばれたデータフォーマットに従ってフォーマット化されており、通常のシリアルデータフォーマットで提供される同期化情報を備える。この同期化情報は、個々のラウンドスピーカモジュールによってデータストリームから抽出され、そして、個々のラウンドスピーカモジュールをそれらの再生に関して、すなわち、最終的にはアナログのスピーカ信号を得るためのアナログ−デジタル変換、および、その目的のために提供されるサンプリング（リサンプリング）に関して、同期化するために使用される。中央波面合成モジュールがマスタとして機能し、すべてのラウンドスピーカモジュールがクライアントとして機能する。ここで、個々のデータストリームはすべて、複数の伝送経路１６ａ〜１６ｅを介して中央モジュール１０から同じ同期化情報を得る。これにより、すべてのラウンドスピーカモジュールが同時に作動すること、つまりマスタ１０と同期することが確実となる。このことは、オーディオ再生システムにとって、オーディオの質の低下を防ぐために重要である。これにより、波面合成モジュールによって計算された合成信号が、対応するオーディオレンダリングの後に、個々のラウンドスピーカから時間的にオフセットされた形で発せられる事態が防げる。

ここに述べた概念は、波面合成システムに対して非常に高い柔軟性を提供するものであり、それは種々の用途に対して適応可能である。しかしそれは、実際の主要なレンダリングを行なっている、すなわち仮想音源の位置に応じてまたラウンドスピーカの位置に応じてそれらラウンドスピーカに対する個々の合成信号を計算している中央波面合成モジュールが、システム全体に対する「ボトルネック」となっている、という問題を未だに抱えている。このシステムにおいては、「ポストレンダリング」、すなわち、合成信号にチャネル伝送機能を付すこと等が、既に分散形式で行なわれており、したがって、中央レンダラモジュールと個々のラウンドスピーカモジュールとの間で必要なデータ伝送容量は既に、所定のしきい値エネルギよりも低いエネルギで合成信号を選択することにより減じられているが、それでもなお、すべての仮想音源はすべてのラウンドスピーカモジュールに対して何らかの方法でレンダリングされねばならず、つまりは合成信号に変換されねばならず、その選択は、レンダリングの後にしか行なうことができない。

このことは、レンダリングが未だにシステムの全体的な能力を決定することを意味する。もし中央レンダリングユニットがたとえば３２個の仮想音源を同時にレンダリングすることが可能であって、それら３２個の仮想音源についての合成信号を同時に計算することが可能である場合、もし１つのオーディオシーンで３２個を上回る数の音源が同時にアクティブであるとすると、能力に関して深刻なボトルネックが生じる。単純なシーンの場合にはこれは十分である。しかし、より複雑なシーンで、たとえば雨が降っており多くの雨粒が個々の音源となるような、没入型の音の印象がある場合には、最大で３２個の音源という容量がもはや十分でないことはすぐにわかることである。同様の状況は、大規模なオーケストラであって、実際に個々のオーケストラプレーヤを処理すること、または少なくとも各楽器グループをその位置における独自の音源として処理することが望まれる場合に、生じる。このとき、３２個の仮想音源ではすぐに少な過ぎることになる。

通常、公知の波面合成の概念においては、シーン記述が使用される。シーン記述では、そのシーン記述内のデータと個々の仮想音源に対するオーディオデータとを使用して、完全なシーンが１つのレンダラまたは１つのマルチレンダリング構造でレンダリングできるように、個々のオーディオオブジェクトがまとめて定義される。ここでは、各オーディオオブジェクトについて、そのオーディオオブジェクトがどこで始まりどこで終わるべきかが厳密に定義される。さらに、各オーディオオブジェクトについて、仮想音源のあるべき位置、すなわち、波面合成レンダリング手段へと入れられるべき位置が厳密に示されており、それにより、対応する合成信号が各ラウンドスピーカに対して生成されるようになっている。その結果、個々のラウンドスピーカから出力される音波をそれら合成信号に対する反応として重ね合わせることにより、音源が、再生ルームの中または外の、仮想音源の音源位置によって規定される位置にあたかも位置付けられているかのような印象が、聞き手にもたらされる。

既に述べたように、先行技術の波面合成システムは、オーサリングツール６０（図６）、コントロール／レンダラモジュール６２（図６）、およびオーディオサーバ６４（図６）からなる。オーサリングツールは、ユーザが、シーンを作成および編集し、波面合成をベースとするシステムを制御することを可能にする。１つのシーンは、個々の仮想オーディオ音源に関する情報とオーディオファイルとからなる。オーディオ音源の特性およびオーディオデータに対するそれらの参照は、ＸＭＬシーンファイル内に記憶される。オーディオデータ自体はオーディオサーバ上にファイルされ、そこからレンダラモジュールに転送される。

このシステムの概念において、シーンデータとオーディオデータとの整合性が常に保証されるわけではないことが問題である。なぜなら、それらは互いに別々に記憶されて、互いに独立してコントロール／レンダラモジュールに転送されるからである。

これは、レンダラモジュールが、波面を計算する目的で、個々のオーディオ音源に関する情報、たとえばオーディオ音源の位置等に関する情報を必要とすることに起因する。この理由のために、シーンデータもまた、制御データとしてレンダラモジュールに転送される。制御データおよび付随するオーディオデータに基づいて、レンダラモジュールは、個々のラウンドスピーカについて対応する信号を計算することが可能である。

レンダラモジュールがより古い音源位置から構成されるより古い音源のオーディオデータを未だ処理していることにより、明らかに知覚可能なアーチファクトが生じ得る、ということがわかった。レンダラモジュールが、その古い音源の位置データとは異なる、新しい音源の新しい位置データを得た時点で、レンダラモジュールが新しい位置データを引き継ぎ、先の音源からの未だ存在するオーディオデータの残りを処理する、という事態が生じ得る。再生ルームにおける知覚可能な音の印象に関して、このことは、音源が１つの位置から他の位置へと「ジャンプする」ことにつながり、これは、特に音源が比較的大きな音の音源であった場合、および、問題の２つの音源の位置、つまり先の音源と今の音源との位置が非常に違う場合に、聞き手にとっては非常に聞き辛いものとなり得る。

この概念のさらなる短所は、ＸＭＬファイル形式のシーン記述の柔軟性および／または可搬性が低いことである。特に、レンダラモジュールは互いに調整されるべき２つの入力を含み、それらを同期させるのは困難であるので、同じシーン記述を別のシステムに応用することは問題となり得る。２つの入力の同期化については、上述のアーチファクトをできるだけなくすために、比較的多大な努力が必要であること、すなわち、ビットストリームの有効性を大いに減じる、タイムスタンプまたは同様のものを用いることによって達成されること、を注記しておく。ここで、レンダラにオーディオデータを伝送すること、およびレンダラによってオーディオデータを処理することが、多大なデータレートを必要とするのでどうしても問題をはらむことを考えると、この微妙な時点で携帯可能なインターフェイスを実現するのは非常に難しいということがわかるであろう。

本発明の目的は、波面合成レンダリング手段を制御するための概念であって、シーン記述の別のシステムへの可搬性をさらに与える、柔軟な概念を提供することである。

この本発明の目的は、請求項１に記載の波面合成レンダラ手段を制御するための装置、請求項１１に記載の波面合成レンダラ手段を制御するための方法、または請求項１２に記載のコンピュータプログラム、により達成される。

本発明は、以下の発見に基づいている。すなわち、一方では同期化に関する問題、他方では柔軟性の欠如に関する問題は、一方ではシーン記述から、他方ではオーディオデータから、オーディオファイルおよび仮想音源に関する位置情報の両方を含む共通の出力データストリームを作成することによって解決することができる。ここで、仮想音源に関する位置情報は、たとえば、出力データストリーム内の、オーディオファイルに関連付けられてデータストリーム内に対応して位置付けられるヘッダに、導入される。

本発明に従えば、波面合成レンダリング手段は、すべての情報、すなわち、オーディオデータと、オーディオデータに関連付けられた、位置情報および時間情報、音源識別情報または音源の種類の定義等のメタデータと、を含む、単一のデータストリームのみを得ることになる。

したがって、位置データとオーディオデータとの独特のかつ不可変の関連付けが与えられ、オーディオファイルに対して間違った位置情報を使用することに関して先に述べた問題は、もはや起こり得なくなる。

さらに、本発明の、シーン記述およびオーディオファイルから共通の出力データストリームを生成する処理手段は、他のシステムへの高い柔軟性および可搬性をもたらす。レンダラ手段のための制御データストリームとして、オーディオデータと各オーディオオブジェクトの位置情報とが互いに対して固定的に関連付けられた、それ自体が自動的に同期される単一のデータストリームが作成される。

本発明に従えば、レンダラは確実に、オーディオ音源の位置情報およびオーディオ音源のオーディオデータを、一意に関連付けられた態様で得ることができ、それにより、「ジャンプする音源」により音の再生の質を劣化させてしまうような同期化の問題はもはや起こらなくなる。

好ましくは、オーディオデータおよびメタデータは中央で処理される。本発明の処理手段により、それらがそれらの時間的な参照に対応してデータストリーム内で一緒に転送されることが達成される。これにより、ビットストリームの有効性もまた高まる。というのも、データにタイムスタンプを設けることがもはや必要ではなくなるからである。さらに、本発明の概念は、レンダラを簡素化することができ、その入力バッファサイズを減少することができる。なぜなら、それはもはや、２つの別個のデータストリームがあるかのような大量のデータを保持する必要がないからである。

本発明に従えば、処理手段という形の中央データモデリングおよびデータ管理モジュールが実現される。これは好ましくは、オーディオデータと、シーンデータ（位置、タイミング、および、音源の互いに対する相対的な空間的かつ時間的関係、または音源の再生に関する質の要件等の、出力条件）とを管理する。処理手段はさらに、シーンデータを時間的および空間的出力条件に変換することが可能であり、オーディオデータを再生ユニットへと出力データストリームを通じて、それと一貫して搬送することができる。

以下に、本発明の好ましい実施例について、添付の図面を参照してより詳細に説明する。

図１は、波面合成レンダラ手段が、オーディオオブジェクトから、再生ルーム内に装着可能な複数のラウンドスピーカによって再生が可能な合成信号を生成するように、オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置を示す。特に、本発明の装置は、シーン記述を提供するための手段８を含む。シーン記述はオーディオシーン内のオーディオオブジェクトの時間的なシーケンスを定義し、オーディオオブジェクトは、仮想音源の音源位置に関する情報、および、仮想音源に対するオーディオファイルまたは仮想音源に対するオーディオファイルを参照する参照情報を含む。少なくともオーディオオブジェクトの時間シーケンスが、手段８からオーディオオブジェクトを処理するための手段０に供給される。本発明の装置はさらに、オーディオファイルデータベース１を含んでもよく、これにより、オーディオファイルがオーディオオブジェクトを処理するための手段０に供給される。

オーディオオブジェクトを処理するための手段０は、特に、波面合成レンダラ手段３に供給することが可能な、出力データストリーム２を生成するよう形成される。特に、出力データストリームは、オーディオオブジェクトのオーディオファイルを含み、さらに、オーディオファイルに関連して、仮想音源の位置に関する情報および、好ましくはさらに、仮想音源の開始点および／または終了点に関する時間情報もまた含む。これらの追加情報、すなわち、位置情報およびおそらくは時間情報は、さらなるメタデータとともに、対応するオーディオオブジェクトのオーディオファイルと関連して、出力データストリーム内に書込まれる。

なお、波面合成レンダラ手段３は単一のモジュールであってもよく、または、１または複数のラウンドスピーカアレイ４に結合された多くの異なるモジュールを含んでもよい。

したがって、本発明に従えば、すべてのオーディオ音源は、それらの特性および関連付けられたオーディオデータとともに、複数のレンダラまたは単一のレンダラモジュールに供給される単一の出力データストリーム内に、オーディオシーンに対して記憶される。オーディオシーンは非常に複雑であるため、このことは本発明により、オーディオオブジェクトを処理するための手段０によって達成される。この手段は、シーン記述を提供するための手段８およびオーディオファイルデータベース１と協働し、好ましくは、オーディオファイルがその中に記憶されるインテリジェントデータベースの出力部において、中央データマネージャとして機能するように形成される。

シーン記述に基づいて、データの時間的および空間的なモデリングが、データベースの助けを借りて行なわれる。対応のデータモデリングを通じて、オーディオデータおよびその出力と、時間的および空間的条件との整合性が保証される。本発明の好ましい実施例においては、これらの条件は、レンダラにデータを送出する際に、スケジュールに基づいてチェックされ確実にされる。複雑なオーディオシーンもまた波面合成によりリアルタイムで再生することができるように、また、同時に柔軟に作動することができるようにするために、すなわち、１つのシステムのために考えられたシーン記述を他のシステムにも転送することができるように、処理手段がオーディオデータベースの出力部に設けられる。

好ましくは、特にハードディスクベースの解決策において、オーディオデータへのアクセス時間を最小限に抑える目的で、特別なデータ構造が用いられる。ハードディスクベースの解決策は、それが、ＣＤまたはＤＶＤで現在において達成され得るよりも高い転送レートを可能にするという利点を有する。

次に、図２を参照して、オーディオオブジェクトが有するのが望ましい情報について説明する。オーディオオブジェクトは、仮想音源のオーディオコンテントを何らかの方法で表わすオーディオファイルを特定するものである。しかしながら、オーディオオブジェクトは、オーディオファイルを含む必要はなく、実際のオーディオファイルが格納されているデータベース内の定義された場所を指すインデックスを有してもよい。

さらに、オーディオオブジェクトは、好ましくは、仮想音源の識別情報を含む。これはたとえば、音源の番号、または有意のファイル名等である。さらに、本発明においては、オーディオオブジェクトは、仮想音源の、すなわち、オーディオファイルの、最初および／または最後に対するタイムスパンを特定する。最初に対するタイムスパンのみが特定された場合、それは、そのファイルのレンダリングの実際の開始点がそのタイムスパン内でレンダラによって変更され得ることを示す。最後に対するタイムスパンが追加で与えられている場合、それは、その終了点もまたそのタイムスパン内で変更されることを示しており、この場合には、オーディオファイルがその長さについても実現に応じて変更され得ることになる。種々の実現が可能である。たとえば、開始点が実際にシフトすることが許されるが、その長さは決して変更してはならならず、したがって、そのオーディオファイルの終了点もまた自動的にシフトされる、というようなオーディオファイルの開始／終了時間の定義もまた可能である。ノイズについては、特に、その終了点もまた可変であるようにしておくことが望ましい。なぜなら、たとえば風の音がいくぶん早くまたは遅く開始しまたいくぶん早くまたは遅く終了しても、通常は問題にはならないからである。実現によってはさらなる特定が可能であるおよび／または望ましく、たとえば、開始点が実際に変化することが許されるが終了点の変化は許されない、等と規定することもできる。

好ましくは、オーディオオブジェクトは、位置に対するロケーションスパンをさらに含む。あるオーディオオブジェクトについては、それらがたとえば正面の左側から来るのかあるいは正面の中央から来るのか、または、それらが再生ルーム内の基準点に対してある（小さな）角度でもってシフトされるかどうか、は重要ではないだろう。しかしながら、上述のように、特にやはりノイズ領域では、どのような場所にも位置付けることができ、かつしたがって最大のロケーションスパンを有するオーディオオブジェクトが存在し、それらはたとえば、オーディオオブジェクト内で、「任意」というコードで特定されるか、または、コードなし（暗示的）で特定され得る。

オーディオオブジェクトは、仮想音源の種類を示す情報のような、さらなる情報を含み得る。これは、その仮想音源が、音波の点源であるか、平面波の音源であるか、それとも任意の波先の複数の音源を生成する音源であるか、を示す情報であり、レンダラモジュールがそのような情報を処理可能な場合に限り含まれ得る。

図３は、シーン記述を例示的に示す概略図である。その中で、種々のオーディオオブジェクトＡＯ１、…、ＡＯｎ＋１の時間シーケンスが示されている。これは特に、オーディオオブジェクトＡＯ３に向けられており、それに対してタイムスパンが、図３に示すように規定されている。図３におけるオーディオオブジェクトＡＯ３の開始点および終了点は両方とも、そのタイムスパンによってシフトすることが可能である。しかしながら、オーディオオブジェクトＡＯ３の定義は、その長さは変更されてはならない、というものである。ただしこれは、オーディオオブジェクトごとに可変的に調整可能である。

オーディオオブジェクトＡＯ３を時間の正方向にシフトすることにより、オーディオオブジェクトＡＯ３がオーディオオブジェクトＡＯ２の後になって開始されるようにすることができることがわかる。両方のオーディオオブジェクトが同じレンダラ上で再生された場合にさもなければ起こり得たであろう短い重複２０を、この方法によって避けることが可能である。もしオーディオオブジェクトＡＯ３が、オーディオオブジェクトＡＯ２およびＡＯ１等のレンダラ上で処理されるべき既存のすべての別のオーディオオブジェクトのせいで、先行技術におけるレンダラの容量を超えて存在するオーディオオブジェクトであった場合には、タイムスパン２０が非常に小さいものであったにせよ、本発明なしでは、オーディオオブジェクトＡＯ３が全く処理されない事態が生じたであろう。本発明に従えば、オーディオオブジェクトＡＯ３はオーディオオブジェクト操作手段３により、容量の超過が起こらないように、またしたがって、オーディオオブジェクトＡＯ３が全く処理されない事態が生じないように、シフトされる。

本発明の好ましい実施例においては、相対的な表示を有するシーン記述が使用される。オーディオオブジェクトＡＯ２の開始が、もはや絶対的な時間点ではなく、オーディオオブジェクトＡＯ１に対する相対的な時間期間で与えられることで、柔軟性が増大される。これに対応して、ロケーション表示の相対的な記述が好ましい。すなわち、オーディオオブジェクトが再生ルームにおけるある地点ｘｙに配置されるのではなく、たとえば、別のオーディオオブジェクトまたは基準オブジェクトに対してあるベクトルでオフセットされる。

これにより、タイムスパン情報および／またはロケーションスパン情報は、非常に効率的に適用され得る。すなわち、タイムスパンを単に、オーディオオブジェクトＡＯ３が、オーディオオブジェクトＡＯ１の開始後、２分から２分２０秒の間の時間期間において開始し得る、ということを表わすように、決めることができる。

このような空間および時間の条件の相対的な定義によって、制約という形の、データベース効率のよい表現がもたらされる。これについてはたとえば次の文献に記載されている。「マルチメディアデータベースシステムにおけるモデリング用出力制約（"Modeling Output Constraints in Multimedia Database Systems"）」、T. Heimrich、第１回国際マルチメディアモデリング会議（1^th International Multimedia Modelling Conference）、ＩＥＥＥ、２００５年１月２日〜２００５年１月１４日、メルボルン（Melbourne）。ここで、一貫したデータベースの状態を定義するのに、データベースシステムにおける制約の使用が示されている。特に、アレン（Allen）の関係式を使用して時間的な制約が記述されており、空間的関係式を使用して空間的な制約が記述されている。ここから、同期化の目的で、好適な出力制約を規定することができる。そのような出力制約としては、複数のオブジェクト間の時間的または空間的条件、制約に違反があった場合の反応、および、そのような制約をいつチェックすべきかを表わすチェック時間、等がある。

本発明の好ましい実施例においては、各シーンの空間的／時間的出力オブジェクトは、互いに対して相対的にモデリングされる。オーディオオブジェクト操作手段は、これらの相対的かつ可変な定義を、絶対的な空間的かつ時間的順序へと変換する。この順序は、図１に示されるシステムの出力６ａで得られ、波面合成システム内のレンダラモジュールが特にどのようにアドレスされるかを定義する出力スケジュールを表わすものである。このスケジュールは、出力条件に対応するオーディオデータ内に配される出力プランである。

次に、図４ａに基づいて、そのような出力スケジュールの好ましい実施例について説明する。特に、図４ａは、図４ａに従って左から右に伝送される、すなわち、図１のオーディオオブジェクト操作手段３から図１の波面合成システム０の１または複数の波面合成レンダラへと伝送される、データストリームを示す。特に、データストリームは、図４ａに示される実施例においては、各オーディオオブジェクトにつき、まずヘッダＨを含み、その中に位置情報および時間情報が含まれ、その下流に、その特定のオーディオオブジェクトに対するオーディオファイルを含み、これが、図４ａでは、最初のオーディオオブジェクトに対してはＡＯ１で、２番目のオーディオオブジェクトに対してはＡＯ２で、以下同様に示されている。

その後、波面合成レンダラがそのデータストリームを受け、たとえば現在の固定的に合意された同期化情報から、ヘッダが入来した時点を認識する。さらなる同期化情報に基づいて、レンダラはその後、ヘッダが終わった時点を認識する。これに代えて、各ヘッダについてビット単位の固定長さを取決めることも可能である。

図４ａに示される本発明の好ましい実施例におけるオーディオレンダラは、ヘッダを受取った後に、自動的に、後続のオーディオファイル、すなわちたとえばＡＯ１が、オーディオオブジェクトに属すること、すなわち、そのヘッダ内で特定された音源位置に属すること、を知る。

図４ａは、波面合成レンダラに対するシリアルデータ伝送を示す。もちろん、複数のオーディオオブジェクトは、１つのレンダラ内で同時に再生される。このため、レンダラは、データストリームの構文解析のために、入力バッファの前にデータストリーム読出手段が設けられることを求める。データストリーム読出手段がヘッダを解釈し、対応して付随するオーディオファイルを格納し、その後、レンダラが、入力バッファから正しいオーディオファイルおよび正しい音源位置を読み出し、そして、オーディオオブジェクトがレンダリングされる番になる。データストリームのための他のデータもまたもちろん可能である。時間／場所情報および実際のオーディオデータを別々に伝送することも可能である。しかしながら、図４ａに示される組み合わせられた伝送が好ましい。というのも、位置／時間情報をオーディオファイルと連結することにより、データの整合性の問題が排除されるからである。なぜなら、レンダラがオーディオデータに対する正しい音源位置を有しており、また、先の音源のオーディオファイル等を未だにレンダリングしているのではなく、新しい音源の位置情報を既に使用してレンダリングしていることが、常に確実となるからである。

図４ａは、直列に形成されたデータストリームを示す。その中では各オーディオオブジェクトについて、各オーディオファイルの前に関連付けられたヘッダが存在する。たとえば、オーディオファイルＡＯ１に対するヘッダＨ１等である。これは、レンダラにオーディオオブジェクト１を転送するためのものである。これに対し、図４ｂは、複数のオーディオオブジェクトに対して１つの共通のヘッダが選ばれるデータ構造を示す。共通のヘッダは各オーディオオブジェクトに対して対応するエントリを有し、これはやはり、オーディオオブジェクトＡＯ１、ＡＯ２およびＡＯ３のオーディオファイルに対してＨ１、Ｈ２およびＨ３で指定される。

図４ｃは、代替的なデータ構造をさらに示す。この構造においては、ヘッダがそれぞれのオーディオオブジェクトの下流にある。このデータフォーマットもまた、オーディオファイルとヘッダとの時間的な関連付けを可能にする。なぜなら、レンダラ内のパーサが常に、たとえば何らかのビットパターンまたは他の同期化情報に基づいて、ヘッダの始まりを見つけることが可能だからである。しかしながら、図４ｃの実現例は、レンダラが十分に大きい入力バッファ、すなわち、関連付けられたヘッダが入来するまでオーディオファイル全体を記憶することができるような大きな入力バッファを有しているときにのみ実現可能である。このため、図４ａまたは４ｂにおける実現が好ましい。

図４ｄは、代替的な実施例をさらに示しており、その中で、データストリームはたとえば、変調方法を通じていくつかの並列の伝送チャネルを含む。好ましくは、各データストリームについて、すなわち、データ処理手段からレンダラへの各データ伝送について、オーディオ音源がレンダラによってレンダリングされ得るだけの数の伝送チャネルが設けられる。たとえば、１つのレンダラが最大で３２個のオーディオ音源をレンダリングすることができる場合、少なくとも３２チャンネルを有する伝送チャネルがこの実施例では提供される。これらのチャネルは、公知のＦＤＭＡ、ＣＤＭＡまたはＴＤＭＡ技術のどれによっても実現され得る。並列の物理的なチャネルを設けることもまた可能である。この場合、レンダラは、並列に供給される、すなわち、入力バッファの最小量で供給される。これに代えて、レンダラはたとえば、オーディオ音源に対するヘッダを受信する。すなわち、オーディオ音源ＡＯ１に対するＨ１を１つの入力チャネルを通じて受信する。これは、最初のデータが到着したらすぐにレンダリングを開始する目的のためである。このように、データがレンダラ内のほんのわずかな「中間記憶」を用いてまたは全く用いずにある方法で処理されるので、記憶要件が非常に低いレンダラが実現され得る。ただしこれは通常はもちろん、より集約的な変調技術またはより集約的な伝送経路を使ってのことである。

本発明は、オブジェクト指向の方法に基づいている。すなわち、個々の仮想音源は、オーディオオブジェクトおよび仮想の空間地点によって特徴付けられた、またおそらくは、それが音波の点源であるか、平面波の音源であるか、他の形状の複数音源のための音源であるか、という、音源の種類によって特徴付けられた、オブジェクトとして理解される。

上述のように、波面の計算は非常に時間がかかるものであり、計算アルゴリズムの効率性に関連して、サウンドカードおよびコンピュータ等の使用されるハードウェアの容量により制限されるものである。したがって、非常に高性能なＰＣベースの解決策であったとしても、要求の厳しい音の事象が多数同時に表現されるべき場合には、波面合成の計算の限界にすぐに到達してしまう。使用されるソフトウェアおよびハードウェアの容量的な限界が、ミキシングおよび再生における仮想音源の数に関して限界を与えることになる。

図６は、そのような、容量に限界のある公知の波面合成概念を示す。これは、オーサリングツール６０と、コントロールレンダラモジュール６２と、オーディオサーバ６４とを含む。コントロールレンダラモジュールは、ラウンドスピーカアレイ６６にデータを供給するように形成され、ラウンドスピーカアレイ６６は、個々のラウンドスピーカ７０の個々の波の重畳によって、所望の波先６８を生成する。オーサリングツール６０は、ユーザが、シーンを作成しかつ編集し、波面合成ベースのシステムを制御することを可能にする。シーンは、個々の仮想オーディオ音源に関する情報と、オーディオデータとからなる。オーディオ音源の特性および、オーディオデータへの参照は、ＸＭＬシーンファイルに格納される。オーディオデータそのものはオーディオサーバ６４上にファイルされ、そこからレンダラモジュールへと伝送される。同時に、レンダラモジュールは、オーサリングツールから制御データを獲得し、それにより、中央に実現されているコントロールレンダラモジュール６２は、個々のラウンドスピーカに対して合成信号を生成することができる。図６に示される概念は、「波面合成のためのオーサリングシステム（"Authoring System for Wave Field Synthesis"）」、F. Melchior, T. Roder, S. Brix, S. WabnikおよびC. Riegel、ＡＥＳコンベンション紙（AES Convention Paper）、第１１５回ＡＥＳコンベンション、２００３年１０月１０日、ニューヨーク（New York）、に記載されている。

この波面合成システムがいくつかのレンダラモジュールとともに作動される場合、各レンダラは、そのレンダラがそれに関連付けられている限られた数のラウンドスピーカによる再生のために、そのデータを必要とするかしないかにかかわらず、同じオーディオデータが供給される。現在のコンピュータは各々、３２個のオーディオ音源を計算することが可能であるので、これがシステムの限界を表わす。他方、システム全体においてレンダリングすることが可能な音源の数は、効率的な態様で大いに増大させることができる。これは、映画のような複雑な用途、雨や拍手のような没入型の雰囲気、または他の複雑なオーディオシーンのための、実質的な必須条件の１つである。

本発明に従えば、波面合成マルチレンダラシステムにおいて、冗長なデータ伝送プロセスおよびデータ処理プロセスの減少を達成することができる。これは、計算能力の強化および／または同時に計算可能なオーディオ音源の数の増加につながる。

マルチレンダラシステムの個々のレンダラへのオーディオデータおよびメタデータの冗長な伝送および処理を減少させるために、オーディオサーバは、データ出力手段によって拡張され、データ出力手段は、どのレンダラがどのオーディオデータおよびメタデータを必要とするかを判断することが可能である。データマネージャによっておそらくは支援されるデータ出力手段は、好ましい実施例においては、いくつかの情報を必要とする。この情報とは、まず、オーディオデータであり、そして、音源の時間および位置データであり、最後に、レンダラの構成、すなわち、接続されるラウンドスピーカおよびそれらの位置ならびにそれらの容量に関する情報である。データ管理技術および出力条件の定義の助けにより、出力スケジュールが、オーディオオブジェクトの時間的および空間的構成とともに、データ出力手段により生成される。その後、空間的構成、時間的スケジュールおよびレンダラ構成から、データ管理モジュールが、ある時刻においてどの音源がどのレンダラに関連しているのかを計算する。

好ましい全体的な概念を図５に示す。データベース２２は出力側のデータ出力手段２４によって補われる。データ出力手段はスケジューラとも称される。このスケジューラは、ラウンドスピーカアレイの対応するラウンドスピーカが供給されるように、その出力２０ａ、２０ｂ、２０ｃにおいて種々のレンダラ５０に対するレンダラ入力信号を生成する。

好ましくは、スケジューラ２４もまた、ストレージマネージャ５２によって支援されるが、これは、データベース４２を、ＲＡＩＤシステムおよび対応するデータ構造のデフォルトによって構成するためである。

入力側にはデータジェネレータ５４が存在するが、これはたとえば、オーディオシーンをオブジェクト指向の態様でモデリングするまたは記述する、オーディオエンジニアまたはサウンドマスタであり得る。ここで、データジェネレータは、対応する出力条件５６を含むシーン記述を与え、それらの条件は、必要であれば変換５８の後に、データベース２２内にオーディオデータとともに格納される。オーディオデータは、挿入／更新ツール５９によって操作および更新され得る。

本発明の方法は、諸条件に応じて、ハードウェアでもソフトウェアでも実現され得る。その実現は、その方法が実行されるようにプログラマブルコンピュータシステムとともに協働することが可能な、電子的に読出可能な制御信号を有して、デジタル記憶媒体上、特に、フロッピーディスク（登録商標）またはＣＤ上であってもよい。本発明は一般に、コンピュータプログラムプロダクトであってもよく、それは、そのコンピュータプログラムプロダクトがコンピュータ上で実行されたときに当該方法を行なうための機械で読取可能なキャリア上に記憶されたプログラムコードを有する。言い換えれば、本発明は、コンピュータ上で実行されたときに当該方法を行なうためのプログラムコードを有する、コンピュータプログラムとして実現することも可能である。

波面合成レンダラ手段を制御するための本発明の装置のブロック回路図である。 オーディオオブジェクトの例を示す図である。 シーン記述の例を示す図である。 現在の時間データおよび位置データを有するヘッダが各オーディオオブジェクトと関連付けられている、ビットストリームを示す図である。 出力データストリームの代替的な実施例を示す図である。 データストリームの代替的な実施例をさらに示す図である。 出力データストリームの代替的な実施例をさらに示す図である。 本発明の概念を波面合成システム全体に組み込んだ様子を示す図である。 公知の波面合成の概念を説明する概略図である。 公知の波面合成の概念を説明するさらなる図である。

Claims (12)

1. 波面合成レンダラ手段（３）がオーディオオブジェクトから、再生ルーム内に装着可能な複数のラウンドスピーカ（４）によって再生が可能な合成信号を生成するように、オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための装置であって、
   シーン記述を提供するための手段（８）を含み、シーン記述は、オーディオシーン内のオーディオオブジェクトの時間的シーケンスを定義し、オーディオオブジェクトは、仮想音源の音源位置に関する情報および、仮想音源に対するオーディオファイル、または、仮想音源に対するオーディオファイルを参照する参照情報を含み、該装置はさらに、
   該波面合成レンダラ手段（３）に供給することが可能な出力データストリームを生成する目的で、オーディオオブジェクトを処理するための手段（０）を含み、出力データストリームは、オーディオオブジェクトのオーディオファイルと、オーディオファイルに関連して、オーディオオブジェクトの仮想音源の位置に関する情報とを含む、装置。
2. シーン記述内のオーディオオブジェクトがそれを参照するかまたはシーン記述内に含まれている、オーディオオブジェクトのオーディオファイルは、圧縮されたオーディオファイルであって、
   該処理するための手段（０）は、オーディオファイルが圧縮解除されたオーディオデータを含むように出力データストリーム（２）を生成するよう形成される、請求項１に記載の装置。
3. 該波面合成レンダラ手段（３）が、すべてのラウンドスピーカが結合され得る単一のレンダラモジュールを含み、該処理するための手段（０）が、仮想音源の位置に関する情報および、レンダラモジュールによって処理されるべきすべてのデータに対するオーディオファイルがその中に含まれるデータストリームを生成するよう形成されるか、または、
   該波面合成レンダラ手段が、それぞれ異なるラウンドスピーカに結合することが可能な複数のレンダラモジュールを含み、該処理するための手段（０）が、各レンダラモジュールに対して、仮想音源の位置に関する情報および、出力データストリームがそれに対して提供されるその１つのレンダラモジュールによってレンダリングされるべきオーディオオブジェクトのみに対するオーディオデータがその中に含まれる出力データストリームを生成するよう形成される、請求項１または２に記載の装置。
4. 該処理するための手段（０）は、仮想音源に対する位置情報がその中に含まれるヘッダ（Ｈ）の続きにその仮想音源に対するオーディオファイルが続くように、出力データストリームを生成するよう形成され、それにより、該波面合成レンダラ手段（３）は、オーディオファイルを参照して該ヘッダの時間的な位置に基づいて、オーディオファイルがヘッダ内の位置情報でレンダリングされるように決定することが可能である、請求項１〜３のいずれかに記載の装置。
5. 該処理するための手段（０）は、複数のオーディオファイルに対して単一の共通のヘッダが生成されるようにデータストリームを生成するよう形成され、該共通のヘッダは、各オーディオファイルに対して、各仮想音源に対する位置情報を特定するエントリであって、その仮想音源に対するオーディオファイルがデータストリーム内のどこに配されているかをさらに示すエントリを含む、請求項１〜３のいずれかに記載の装置。
6. 該処理するための手段（０）は、ヘッダを、データストリーム内の固定的なデフォルトの、絶対的な、または相対的な位置に配するよう形成される、請求項１〜４のいずれかに記載の装置。
7. 該処理するための手段（０）と波面合成レンダラ手段との間で、複数の伝送チャネルを有する並列のデータ接続を使用することができ、該処理するための手段（０）は、時間的に並列な態様で起こるオーディオオブジェクトを並列の伝送チャネルに分散するよう形成され、該処理するための手段（０）は、さらに、伝送チャネルが、オーディオファイルと、オーディオファイルがそれに関連付けられる仮想音源の位置に関する情報との両方を得るように形成される、請求項１〜６のいずれかに記載の装置。
8. 該処理するための手段（０）はさらに、シーン記述による開始時刻または終了時刻に関する情報を得るように、および、それをオーディオファイルと関連して出力データストリーム内に導入するように形成される、請求項１〜７のいずれかに記載の装置。
9. 該提供するための手段（８）は、１つのオーディオオブジェクトの別のオーディオオブジェクトまたは基準オーディオオブジェクトに対する相対的な時間情報または位置情報をシーン記述に与えるよう形成され、
   該処理するための手段（０）は、その相対的な時間情報または相対的な位置情報から、再生ルームにおける仮想音源の絶対的な位置または実際の開始時刻もしくは実際の終了時刻を計算するように、および、それをオーディオファイルと関連して出力データストリーム内に導入するように形成される、請求項１〜８のいずれかに記載の装置。
10. 該提供するための手段（８）はデータベース（１）を含み、該データベース内には、オーディオオブジェクトに対するオーディオファイルもまた記憶され、
    該処理するための手段（０）は、データベース出力配置手段として形成される、請求項１〜９のいずれかに記載の装置。
11. 波面合成レンダラ手段（３）がオーディオオブジェクトから、再生ルーム内に装着可能な複数のラウンドスピーカ（４）によって再生が可能な合成信号を生成するように、オーディオオブジェクトを用いて波面合成レンダラ手段を制御するための方法であって、
    シーン記述を提供するステップ（８）を含み、シーン記述は、オーディオシーン内のオーディオオブジェクトの時間的シーケンスを定義し、オーディオオブジェクトは、仮想音源の音源位置に関する情報および、仮想音源に対するオーディオファイル、または、仮想音源に対するオーディオファイルを参照する参照情報を含み、該方法はさらに、
    該波面合成レンダラ手段（３）に供給することが可能な出力データストリームを生成する目的で、オーディオオブジェクトを処理するステップ（０）を含み、出力データストリームは、オーディオオブジェクトのオーディオファイルと、オーディオファイルに関連して、オーディオオブジェクトの仮想音源の位置に関する情報とを含む、方法。
12. コンピュータによって実行されたときに請求項１１に記載の方法を行うためのプログラムコードを有するコンピュータプログラム。

Images