JP2007513370A - オーディオ信号のインパルス応答を符号化及び復号化する方法 - Google Patents

Abstract

インパルス応答を複数の連続した制御パラメータフィールド（１５，１６，１７，１８）、特にｐａｒａｍｓ［１２８］フィールドに挿入することにより、室内特性を持ったＭＰＥＧ−４規格に準拠した音信号の再生のために、実際の、すなわち、測定された室内インパルス応答を伝送及び使用することができるようにする。第１の制御パラメータフィールド（１５）は後続フィールドの個数及び内容に関する情報を含んでいる。音信号のプレゼンテーションのために、連続した制御パラメータフィールドの内容が分離され、ノード（１２）の追加メモリに格納され、室内特性を計算する際に使用される。

Description

本発明はオーディオ信号のインパルス応答を符号化及び復号化するための、特に、ＭＰＥＧ−４オーディオ規格に準拠したオーディオオブジェクトとして符号化された音源のプレゼンテーションを記述するための方法及び装置に関する。

背景
リバーブとも略される自然残響は、閉じた室で表面からの反射により生じる音の漸進的な減衰の効果である。音源から発した音は壁の表面に当たり、様々な角度で表面から反射される。これらの反射のうちの幾らかはすぐに知覚されるが、他の反射は知覚されるまで他の表面で反射され続ける。堅く重い表面が穏やかな減衰で音を反射する一方で、軟らかい表面は音の大部分を、特に、高周波成分を吸収する。室のサイズ、複雑さ、壁の角度、表面の性質、及び室の内容物の組合せが、室内の音特性を、したがってリバーブを決定する。

リバーブは時不変の効果なので、録音中又は再生中に室内インパルス応答をオーディオ信号に適用することによって再現することができる。室内インパルス応答は、瞬時の全周波数衝撃騒音に対する、残響という形態での室応答として理解することができ、一般には減衰する雑音のように見える。ディジタル化された室内インパルス応答が得られるならば、ディジタル化された信号処理により、任意のディジタル化された「乾いた」音に正確な室内特性を付加することができる。また、単に異なる室内インパルス応答を使用するだけで、オーディオ信号を異なる空間に置くことが可能である。

近年、この室内特性を持った音信号を再生するために、実際の、すなわち、測定された室内インパルス応答を伝送及び使用することが、研究開発の課題であった。ＭＰＥＧ−４オーディオ及びシステム規格ＩＳＯ／ＩＥＣ１４４９６において規定された形のＭＰＥＧ−４を使用する場合には、長いインパルス応答の伝送は以下の問題のゆえに困難であることが判明している：
１．室内インパルス応答はＭＰＥＧ−４‘サンプルダンプ’としてＭＰＥＧ−４プレーヤーにロードすることができる。ＭＰＥＧ−４‘サンプルダンプ’は、適切なＭＩＤＩ及びＳＡプロファイルを有するＭＩＤＩを含んだ完全な合成オーディオ（Ｓｔｒｕｃｔｕｒｅｄ Ａｕｄｉｏ（ＳＡ，ＭＰＥＧ−４プログラミング言語））の実施を要する技術である。この解決手段はコードと複雑さと実行能力とに対する極めて高い要求を課すため、現在ＭＰＥＧ−４プレーヤーでは実行不可能であり、将来の装置においてさえ利用可能でないかもしれない。
２．特に仮想現実用途のために規定された‘ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ’ノードを使用することによる合成室内インパルス応答の利用の不利な点は、このようなパラメトリック合成室内インパルス応答は実測された室内インパルス応答とは著しく異なっており、音の自然さではるかに劣るということである。
３．上記解決手段１．及び２．は可能ではあるが、最適ではないため、また可能ならば新たなノードの導入は避けるべきであることから、実際の室内インパルス応答の伝送及び使用のために特別に設計された新たなノードを付加することは望ましくない。
４．室内インパルス応答の伝送にオーディオ信号自体の場合と同じ符号化を適用することは合理的でない。一般的なＭＰＥＧオーディオ符号化スキームは心理音響学的現象を利用している。これは、知覚できないオーディオ信号部分を抑圧することによりオーディオデータレートを低下させるのに特に適している。しかし、室内インパルス応答は人間の耳にではなく、室内特性に関係しているので、心理音響学を室内インパルスに適用すると歪曲をもたらしてしまう。

発明
本発明は、ＭＰＥＧ−４規格との適合性があり、しかも上記の問題を克服するような、オーディオ信号のインパルス応答を符号化するための方法を具体化するという課題に基づいている。この課題は請求項１に規定された方法により解決される。

本発明は以下の事実の認識に基づいている。ＭＰＥＧ−４システム規格では、オーディオ効果を記述するために、いわゆるＡｕｄｉｏＦＸノードとＡｕｄｉｏＦＸＰｒｏｔｏソリューションが規定されている。ｐａｒａｍｓ［１２８］と呼ばれる、ＡｕｄｉｏＦＸノードとＡｕｄｉｏＦＸＰｒｏｔｏソリューションのそれぞれにおける１２８個の浮動小数点値のアレイは、オーディオ効果の制御のためのパラメータを提供するために使用される。これらのパラメータは、効果の持続時間の間、固定されていてもよいし、例えば、フェーディングのような時間に依存する効果を可能にするために、フレームの更新のたびに更新してもよい。拡張された信号の伝送は１２８個の値という制限のゆえに可能ではない。１２８個の値という制限は広範なインパルス応答には余りに狭すぎる。

それゆえ、オーディオ信号のインパルス応答を符号化する本発明による方法は、音源のインパルス応答を生成し、この生成したインパルス応答を表すパラメータを、特に連続したｐａｒａｍｓ［１２８］アレイである複数の連続した制御パラメータフィールドに挿入することから成っており、第１の制御パラメータフィールドは後続のフィールドの個数及び内容に関する情報を含んでいる。

さらに、本発明は、オーディオ信号のインパルス応答を復号化するための対応する方法を具体化するという課題に基づいている。この課題は請求項６に規定された方法により解決される。

原則的に、オーディオ信号のインパルス応答を復号化する本発明による方法は、インパルス応答を表すパラメータを複数の連続した制御パラメータフィールドから分離することから成っており、第１の制御パラメータフィールドは後続の制御パラメータフィードの個数と内容とに関する情報を含んでいる。分離されたパラメータはノードの追加メモリに格納され、格納されたパラメータは室内特性の計算に使用される。

本発明のさらに別の有利な実施形態は、従属請求項、以下の説明、及び図面から明らかになる。

図面
本発明の実施例を図１に基づいて説明する。図１は、本発明による連続した制御パラメータフィールドを用いたＡｕｄｉｏＦＸＰｒｏｔｏソリューションを持つＢＩＦＳシーンの一例を図式的に示したものである。

実施例
図１に示されているＢＩＦＳシーンには、ＭＰＥＧ−４バイナリストリーム１とＭＰＥＧ−４デコーダの３つの処理層２，３，４が描かれている。デマルチプレクス／復号化層２は、例えばＧ７２３又はＡＡＣデコーダであるそれぞれのオーディオデコーダ５，６，７に３つのオーディオ信号ストリームを供給することによりこれらのオーディオ信号ストリームを復号化し、ＢＩＦＳデコーダ８を使用することによりＢＩＦＳストリームを復号化する。復号化されたＢＩＦＳストリームはオーディオＢＩＦＳ層３を具体化及び構成し、オーディオＢＩＦＳ層３及び上のＢＩＦＳ層４のノード内での信号処理のための情報を提供する。デコーダ５，６，７からの復号化されたオーディオ信号ストリームは、オーディオソースノード９，１０，及び１１へのオーディオ入力として機能する。オーディオソースノード１１からの信号は、ＡｕｄｉｏＭｉｘノード１２によりダウンミックスされた信号をＳｏｕｎｄ２Ｄノード１４を介して出力側に供給する前に、ＡｕｄｉｏＦＸＰｒｏｔｏ１２において室内インパルス応答を適用することにより付加的効果を得る。図において連続するブロック１５，１６，１７，１８で表されている複数の連続したｐａｒａｍｓ［１２８］フィールドは、完全な室内インパルス応答を伝送するために使用される。ここで、第１のブロック１５は、それぞれ室内インパルス応答の相応する部分を含んでいる後続のｐａｒａｍｓ［１２８］フィールドの個数などの一般的情報を含んでいる。ＡｕｄｉｏＦＸＰｒｏｔｏの実施では、信号処理の前に、完全な室内インパルス応答が再採取されなければならない。

このＭＰＥＧ−４向け実施形態の理解を容易にするため、以下では、本発明の実施形態のさらなる詳細に入る前に、関連するＭＰＥＧ−４の詳細の簡潔な説明を与える。

ＭＰＥＧ−４は、オーディオオブジェクトの表現をサポートすることにより広範なアプリケーションを容易にする。オーディオオブジェクトを組合せるために、付加的な情報−いわゆるシーン記述−が空間及び時間内での配置を決定し、符号化されたオーディオオブジェクトとともに伝送される。伝送後、オーディオオブジェクトは別個に復号化され、１個の表現へと加工されるようにシーン記述を用いて構成され、リスナーに提示される。

効率性のために、ＭＰＥＧ−４システム規格ＩＳＯ／ＩＥＣ１４４９６は、２進表現でのシーン記述、いわゆるBinary Information for Scenes（ＢＩＦＳ）を符号化する方法を規定している。同様に、オーディオ処理のために求められたＢＩＦＳの部分集合が、いわゆるＡｕｄｉｏＢＩＦＳである。シーン記述は階層構造になっており、グラフとして表現することができる。このグラフでは、グラフのリーフノードが個々のオブジェクトを形成し、他のノードは処理、例えば、位置決め、スケーリング、効果などを記述する。個々のオブジェクトの外見と挙動はシーン記述ノード内のパラメータを用いて制御することができる。

いわゆるＡｕｄｉｏＦＸノードは、オーディオプログラミング言語“Structured Audio”（ＳＡ）に基づいてオーディオ効果を記述するために定義されている。Structured Audioの適用は高い処理性能を要求し、Structured Audioコンパイラ又はインタープリタを必要とする。このことが、処理性能とインプリメンテーションの複雑さとが限定された製品での使用を制限してしまう。

しかし、ＭＰＥＧ−４システム規格で規定されているＰｒｏｔｏ機構を使用することにより簡略化を達成することができる。Ｐｒｏｔｏ機構はＢＩＦＳ言語のための専用マクロ機構である。ＡｕｄｉｏＦＸＰｒｏｔｏソリューションは民生用機器に適合されており、Structured Audio機能のないプレーヤーも基本的なオーディオ効果を使用することが可能である。ＰＲＯＴＯはＡｕｄｉｏＦＸノードをカプセル化するので、Structured Audio機能を備えた拡張ＭＰＥＧ−４プレーヤーは直接ＳＡトークンストリームを復号化することができる。よりシンプルな民生用プレーヤーは効果を識別し、使用可能ならば、内部効果表現からこれらの効果を開始するだけである。ＡｕｄｉｏＦＸＰｒｏｔｏソリューションの１つのフィールドとして、ｐａｒａｍｓ［１２８］フィールドがある。このフィールドはふつう効果の実時間制御のためのパラメータを含んでいる。本発明は、ある効果において使用可能な、例えば室内インパルス応答である１２８個の浮動小数点値よりも長さの長い複雑なシステムパラメータを使用できるようにするために、１２８個の浮動小数点値のデータブロック長（３２ビットｆｌｏａｔ）に制限されたこのｐａｒａｍｓ［１２８］に対して、複数の連続したフィールドアップデートを使用する。第１のｐａｒａｍｓ［１２８］フィールドは後続のフィールドの個数と内容とに関する情報を含んでいる。これはフィールドアップデートの拡張であり、−デフォルトでは−ただ１つのｐａｒａｍｓ［１２８］フィールドで実行される。任意の長さのデータの伝送が可能になる。続いて、これらのデータを追加メモリに格納し、効果の計算中に使用することができる。原則的に、伝送されるデータの数をできるだけ小さく保つために、動作中にフィールドのある部分だけをそれぞれ置き換え又は修正することも可能である。

詳細には、ａｕｄｉｏＮａｔｕｒａｌＲｅｖｅｒｂと呼ばれる、ＭＰＥＧ−４に自然な室内インパルス応答を適用するための特別なＡｕｄｉｏＦＸＰｒｏｔｏは、以下のパラメータを含んでいる：
第１のｐａｒａｍｓ［ ］フィールド：

後続のｐａｒａｍｓ［ ］フィールド：

ａｕｄｉｏＮａｔｕｒａｌＲｅｖｅｒｂ ＰＲＯＴＯは、リバーブ効果を生じさせる異なる音響チャネルのインパルス応答を使用する。これらのインパルス応答は非常に長い（大きな教会やホールでは数秒）場合もあるので、１つのｐａｒａｍｓ［ ］アレイでは完全なデータセットを送信するには不十分である。したがって、次のように大量の連続したｐａｒａｍｓ［ ］アレイが使用される：
ｐａｒａｍｓ［ ］の第１ブロックは後続のｐａｒａｍｓ［ ］フィールドに関する情報を含んでいる：
ｎｕｍＰａｒａｍｓＦｉｅｌｄｓフィールドは、使用される後続のｐａｒａｍｓ［ ］フィールドの個数を決定する。ＮａｔｕｒａｌＲｅｖｅｒｂ ＰＲＯＴＯはこれらのフィールドを格納するのに十分なメモリを提供しなければならない。

ｎｕｍＩｍｐＲｅｓｐはインパルス応答の個数を定める。

ｒｅｖｅｒｂＣｈａｎｎｅｌｓフィールドは入力チャネルへのインパルス応答のマッピングを定める。

ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＣｏｄｉｎｇフィールドは、どのようにインパルス応答を符号化するかを示す（下の表を参照）。

ケース１は、疎なインパルス応答の長さを低減するのに有用である。

室内インパルス応答のスケーラブルな伝送を可能にするために、さらなる値を定義してもよい。同報通信モードにおける１つの有利な例は、短い室内インパルス応答を頻繁に伝送し、長いシーケンスはより低頻度で伝送することである。インターリーブモードにおける別の有利な例は、室内インパルス応答の第１の部分を頻繁に伝送し、室内インパルス応答の後続部分はより低頻度で伝送することである。

フィールドは次のように第１のｐａｒａｍｓ［ ］アレイにマッピンされる：
ｎｕｍＰａｒａｍｓＦｉｅｌｄｓ ＝ｐａｒａｍｓ［０］
ｎｕｍＲｅｖＣｈａｎ ＝ｐａｒａｍｓ［１］
ｓａｍｐｌｅＲａｔｅ ＝ｐａｒａｍｓ［２］
ｒｅｖｅｒｂＣｈａｎｎｅｌｓ［０…ｎｕｍＲｅｖＣｈａｎ−１］＝
ｐａｒａｍｓ［３…３＋ｎｕｍＲｅｖＣｈａｎ−１］
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＣｏｄｉｎｇ＝
ｐａｒａｍｓ［３＋ｎｕｍＲｅｖＣｈａｎ］
後続のｐａｒａｍｓ［ ］フィールドは、以下のように、連続したｎｕｍＩｍｐＲｅｓｐインパルス応答を含んでいる：
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈは後続のｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅの長さを与える。

ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈとｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅは、ｎｕｍＩｍｐＲｅｓｐ回繰り返される。

フィールドは次のように後続のｐａｒａｍｓ［ ］アレイにマッピンされる：
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈ＝ｐａｒａｍｓ［０］
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅ＝
ｐａｒａｍｓ［１…１＋ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈ］…
指定したパラメータにしたがって残響を計算するために、出力として残響音信号を出す別の方法を使用してもよい。

本発明によれば、ＭＰＥＧ−４規格における制御パラメータの長さの限界を克服することによって、音信号の再生のために拡張室内インパルス応答を伝送及び使用することが可能になる。しかしながら、本発明は他のシステムにも又は同様の限界を有するＭＰＥＧ−４における他の機能にも適用することができる。

本発明による連続した制御パラメータフィールドを用いたＡｕｄｉｏＦＸＰｒｏｔｏソリューションを持つＢＩＦＳシーンの一例を図式的に示す。

Claims (11)

1. オーディオ信号のインパルス応答を符号化する方法であって、前記インパルス応答により所定の室内特性に相応する音信号の再生を可能にする方法において、
   音源に対する室内インパルス応答を生成し、
   前記生成したインパルス応答を表すパラメータを複数の連続した制御パラメータフィールド（１５，１６，１７，１８）に挿入し、
   ただし、第１の制御パラメータフィールドは後続の制御パラメータフィードの個数と内容とに関する情報を含んでいるものとする、ことを特徴とするオーディオ信号のインパルス応答を符号化する方法。
2. ＭＰＥＧ−４規格を用いて音信号を符号化し、ｐａｒａｍｓ［１２８］フィールドに対する複数の連続したフィールドアップデートを用いて、ＰＲＯＴＯ機構においてＳｔｒｕｃｔｕｒｅｄ Ａｕｄｉｏインタフェースを介して室内インパルス応答を伝送する、請求項１記載の方法。
3. 室内インパルス応答のスケーラブルな伝送を可能にする、請求項１又は２記載の方法。
4. 同報通信モードでは、短い室内インパルス応答を頻繁に伝送し、長いシーケンスはより低頻度で伝送する、請求項３記載の方法。
5. インターリーブモードでは、室内インパルス応答の第１の部分を頻繁に伝送し、室内インパルス応答の後続部分はより低頻度で伝送する、請求項３記載の方法。
6. オーディオ信号のインパルス応答を復号化する方法であって、前記インパルス応答により所定の室内特性に相応する音信号の再生を可能にする方法において、
   インパルス応答を表すパラメータを、複数の連続した制御パラメータフィールドから分離し、
   ただし、第１の制御パラメータフィールドは後続の制御パラメータフィードの個数と内容とに関する情報を含んでいるものとし、
   分離したパラメータをノードの追加メモリに格納し、
   前記格納したパラメータを室内特性の計算に使用する、ことを特徴とするオーディオ信号のインパルス応答を復号化する方法。
7. ＭＰＥＧ−４規格を用いて音信号を復号化し、ｐａｒａｍｓ［１２８］フィールドに対する複数の連続したフィールドアップデートを用いて、ＰＲＯＴＯ機構においてＳｔｒｕｃｔｕｒｅｄ Ａｕｄｉｏインタフェースを介して室内インパルス応答を受信する、請求項６記載の方法。
8. 前記室内インパルス応答のスケーラブルな伝送に続いて室内インパルス応答を受信する、請求項６又は７記載の方法。
9. 同報通信モードでは、短い室内インパルス応答を頻繁に受信し、長いシーケンスはより低頻度で受信する、請求項８記載の方法。
10. インターリーブモードでは、室内インパルス応答の第１の部分を頻繁に受信し、室内インパルス応答の後続部分はより低頻度で受信する、請求項８記載の方法。
11. 請求項１から１０のいずれか１項記載の方法を実行することを特徴とする装置。

Images