JP2008504578A - マルチチャネル出力信号を発生するためのマルチチャネルシンセサイザおよび方法 - Google Patents

Abstract

マルチチャネルシンセサイザは、後処理された再構成パラメータまたは後処理された量が、対応する量子化および逆量子化された再構成パラメータと異なるように、入力信号の実際の時間部分に対して、後処理された再構成パラメータまたは再構成パラメータから導出される量を決定するためのポストプロセッサ（１０）を含み、後処理された再構成パラメータまたは導出された量は、量子化ステップサイズに拘束されていない。マルチチャネル再構成器（１２）は、マルチチャネル出力信号を再構成するために後処理された再構成パラメータを用いる。マルチチャネル符号化／復号化に関して再構成パラメータを後処理することによって、低ビットレート要求では好ましい、再構成パラメータに対して大きい量子化ステップサイズによる再構成されたマルチチャネル出力信号における大きな変化が低減されるので、一方ではデータ速度を遅くし、他方では品質を向上することが可能になる。
【選択図】図１

Description

本発明は、マルチチャネルオーディオ処理に関し、特に、複数のチャネルを有する出力信号を再構成するためのベースチャネルおよびパラメトリックサイド情報を用いたマルチチャオーディオ再構成に関する。

近年、マルチチャネルオーディオ再生技術がますます重要になっている。これは、周知のＭＰ３技術等のオーディオ圧縮／符号化技術により、制限のある帯域幅を有するインターネットまたは他の伝送チャネルを介して、オーディオ記録を配信することが可能になったという事実によるものである。ステレオフォーマットの全記録を配信すること、すなわち、第１のつまり左ステレオチャネルと第２のつまり右ステレオチャネルとを含むオーディオ記録のデジタル表現を配信することが可能であるという事実により、ＭＰ３符号化技術はよく知られるようになった。

しかしながら、従来の２チャネルサウンドシステムには基本的な欠点がある。したがって、サラウンド技術が開発されている。推奨されるマルチチャネルサラウンド表現は、２つのステレオチャネルＬおよびＲに加えて、付加的なセンターチャネルＣおよび２つのサラウンドチャネルＬｓ、Ｒｓをさらに含む。この基準サウンドフォーマットは、３ステレオ／２ステレオとも呼ばれるもので、３つのフロントチャネルおよび２つのサラウンドチャネルを意味する。一般に、５つの伝送チャネルを必要とする。再生環境では、それぞれ５つの異なる場所に配置された少なくとも５つのスピーカは、５つの適切に配置されたスピーカから一定の距離において、最適なスイートスポットを得る必要がある。

マルチチャネルオーディオ信号の伝送に必要なデータ量を低減する本技術では、いくつかの技術が周知である。このような技術は、ジョイントステレオ技術と呼ばれている。このために、図１０を参照すると、ジョイントステレオデバイス６０を示している。このデバイスは、例えば、インテンシティステレオ（ＩＳ）またはバイノーラルキュー符号化（ＢＣＣ）を実施するデバイスとすることができる。このようなデバイスは、一般に、入力として少なくとも２つのチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）を受信し、１つのキャリアチャネルおよびパラメトリックデータを出力する。パラメトリックデータは、デコーダにおいて、元のチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）の近似値を算出できるように、定義されている。

通常、キャリアチャネルは、サブバンドサンプル、スペクトル係数、時間領域サンプル等を含み、これらにより、基礎の信号が比較的よい表現になるが、パラメトリックデータはスペクトル係数のこのようなサンプルを含まないが、乗算、時間シフティング、周波数シフティング、位相シフティング等による重み付けのような特定の再構成アルゴリズムを制御するための制御パラメータを含む。したがって、パラメトリックデータは、信号または関連付けられたチャネルの比較的粗い表現しか含んでいない。数字を提示すると、キャリアチャネルが必要とするデータ量は、６０〜７０キロビット／秒の範囲であるが、１つのチャネルに対してパラメトリックサイド情報が必要とするデータ量は、１．５〜２．５キロビット／秒の範囲である。パラメトリックデータの一例としては、以下に説明するように、周知のスケールファクタ、インテンシティステレオ情報またはバイノーラルキューパラメータが挙げられる。

インテンシティステレオ符号化については、ＡＥＳ予稿集３７９９、「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レーデラー（Ｌｅｄｅｒｅｒ）、１９９４年２月、アムステルダムに記載され、一般に、インテンシティステレオの概念は、２つの立体音響オーディオチャネルのデータに対して行われる主軸変換に基づいている。大部分のデータポイントが第１の原理軸のまわりに集中している場合、符号化を行う前に一定の角度で２つの信号を回転することにより、符号化利得を得ることができる。しかしながら、これは、現実の立体音響生成技術に対して必ずしも当てはまるとは限らない。そのため、この技術は、ビットストリームにおいて伝送から第２の直交成分を除外することにより変更される。したがって、左および右チャネルのための再構成された信号は、同じ伝送信号の別々に重み付けされまたはスケーリングされたバージョンからなる。しかしながら、再構成された信号は、それらの振幅において異なっているが、それらの位相情報については全く同じである。しかしながら、２つの元のオーディオチャネルのエネルギー時間エンベロープは、通常周波数選択的に動作する選択的スケーリング動作により保存される。これは、高い周波数での人間のサウンド認識に一致し、主要な空間キューは、エネルギーエンベロープにより決定される。

また、実際に実施するにあたっては、２つの成分を回転させる代わりに、伝送信号、すなわち、キャリアチャネルが、左チャネルおよび右チャネルの和信号から発生される。さらに、この処理、すなわち、スケーリング動作を実行するためにインテンシティステレオパラメータを発生することは、周波数選択的に実行され、すなわち、各スケールファクタバンド、すなわち、エンコーダの周波数区分に対して独立して実行される。好ましくは、２つのチャネルが結合チャネルまたは「キャリア」チャネルを形成するために結合され、結合チャネルの他に、インテンシティステレオ情報が決定され、これは、第１のチャネルのエネルギー、第２のチャネルのエネルギーまたは結合チャネルのエネルギーに依存する。

ＢＣＣ技術については、ＡＥＳコンベンション論文５５７４、「ステレオおよびマルチチャネルオーディオ圧縮に応用されたバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、２００２年５月、ミュンヘンに記載されている。ＢＣＣ符号化では、オーバーラップウィンドウを有するＤＦＴベースの変換を用いて、多数のオーディオ入力チャネルは、スペクトル表現に変換されている。得られる均一なスペクトルは、それぞれインデックスを有する重なりのない区分に分割される。各区分は、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有する。チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）は、各フレームｋに対して、この区分毎に推定される。ＩＣＬＤおよびＩＣＴＤは、量子化され符号化されると、ＢＣＣビットストリームが得られる。基準チャネルと比較にして、チャネル間レベル差およびチャネル間時間差が各チャネルに与えられる。次に、パラメータが規定の公式にしたがって算出され、これらは、処理される信号の特定の区分に依存する。

デコーダ側では、デコーダは、モノラル信号およびＢＣＣビットストリームを受信する。モノラル信号は、周波数領域に変換され、空間合成ブロックに入力され、このブロックは、復号化されたＩＣＬＤおよびＩＣＴＤ値も受信する。空間合成ブロックでは、マルチチャネル信号を合成するために、モノラル信号の重み付け動作を実行するためにＢＣＣパラメータ（ＩＣＬＤおよびＩＣＴＤ）値が用いられ、マルチチャネル信号は、周波数／時間変換後の元のマルチチャネルオーディオ信号を再構成したものを表す。

ＢＣＣの場合、ジョイントステレオモジュール６０は、パラメトリックチャネルデータが量子化され、ＩＣＬＤまたはＩＣＴＤパラメータを符号化するように、チャネルサイド情報を出力するために動作し、元のチャネルのうちの１つは、基準チャネルとしてチャネルサイド情報を符号化するために用いられる。

通常、キャリアチャネルは、構築する元のチャネルの総計として形成されるものである。

当然、上記の技術では、キャリアチャネルしか処理することができないデコーダに対するモノラル表現を提供するだけであり、パラメトリックデータを処理して、２つ以上の入力チャネルの１つ以上の近似値を発生することはできない。

バイノーラルキュー符号化（ＢＣＣ）として周知のオーディオ符号化技術については、米国特許出願公開第２００３／０２１９１３０Ａ１号、米国特許出願公開第２００３／００２６４４１Ａ１号および米国特許出願公開第２００３／００３５５５３Ａ１号にも詳細に記載されている。さらに引例として、「バイノーラルキュー符号化パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ． Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、オーディオおよびスピーチプロシーディング（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）におけるＩＥＥＥトランザクション、１１巻、第６号、１９９３年１１月がある。フォーラおよびバウムガルテが著したＢＣＣ技術に関する引例の米国特許出願公開公報および２つの引例の技術刊行物は、ここに引例としてすべて組み込まれている。

以下に、マルチチャネルオーディオ符号化のための代表的な一般的ＢＣＣ方法について、図１１〜１３を参照して、さらに詳細に説明する。図１１は、マルチチャネルオーディオ信号の符号化／伝送のための、そのような一般的バイノーラルキュー符号化方法を示す。ＢＣＣエンコーダ１１２の入力１１０のマルチチャネルオーディオ入力信号は、ダウンミックスブロック１１４でダウンミキシングされる。本例では、入力１１０の元のマルチチャネル信号は、フロント左チャネル、フロント右チャネル、左サラウンドチャネル、右サラウンドチャネルおよびセンターチャネルを有する、５チャネルサラウンド信号である。本発明の好適な実施の形態では、ダウンミックスブロック１１４は、これらの５つのチャネルを単純に加算して、モノラル信号にすることにより、和信号を生じる。マルチチャネル入力信号を用いて、１つのチャネルを有するダウンミックス信号が得られるような、他のダウンミキシング方法が周知である。この１つのチャネルは、和信号ライン１１５に出力される。ＢＣＣ解析ブロック１１６により得られたサイド情報は、サイド情報ライン１１７に出力される。ＢＣＣ解析ブロックでは、上記で説明したように、チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）が算出される。最近では、ＢＣＣ解析ブロック１１６は、チャネル間相関値（ＩＣＣ値）を算出するために高められている。好ましくは量子化され符号化された形式で、和信号およびサイド情報がＢＣＣデコーダ１２０に送信される。ＢＣＣデコーダは、出力マルチチャネルオーディオ信号のサブバンドを発生するために、送信された和信号を多数のサブバンドに分解して、スケーリングを行い、遅延して、他の処理を行う。出力１２１の再構成されたマルチチャネル信号のＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータ（キュー）が、ＢＣＣエンコーダ１１２への入力１１０の元のマルチチャネル信号に対するそれぞれのキューと同様になるように、この処理が実行される。このために、ＢＣＣデコーダ１２０は、ＢＣＣ合成ブロック１２２およびサイド情報処理ブロック１２３を含む。

以下に、図１２を参照して、ＢＣＣ合成ブロック１２２の内部構成を説明する。ライン１１５上の和信号が、時間／周波数変換ユニットまたはフィルタバンクＦＢ１２５に入力される。ブロック１２５の出力には、オーディオフィルタバンク１２５が１：１変換を実行する場合、すなわち、Ｎ個の時間領域サンプルからＮ個のスペクトル係数を生じる変換の場合、Ｎ個のサブバンド信号または、極端な場合では、ブロックとなったスペクトル係数が存在する。

ＢＣＣ合成ブロック１２２は、さらに、遅延ステージ１２６、レベル変更ステージ１２７、相関処理ステージ１２８および逆フィルタバンクステージＩＦＢ１２９を備える。ステージ１２９の出力では、５チャネルサラウンドシステムの場合に、図１１に示すように、例えば５つのチャネルを有する再構成されたマルチチャネルオーディオ信号が、１セットのスピーカ１２４に出力される。

図１２に示すように、入力信号ｓ（ｎ）は、エレメント１２５により、周波数領域またはフィルタバンク領域に変換される。同じ信号のいくつかのバージョンが乗算ノード１３０で示されるように得られるように、エレメント１２５による信号出力は乗算される。元の信号のバージョンの数は、再構成される出力信号における出力チャネルの数と等しい。一般に、ノード１３０での元の信号の各バージョンが遅延ｄ₁、ｄ₂、・・・、ｄ_i、・・・、ｄ_Nを受ける場合、遅延パラメータは図１１のサイド情報処理ブロック１２３により算出され、ＢＣＣ解析ブロック１１６で決定されるように、チャネル間時間差から導出される。

同じことが、乗算パラメータａ₁、ａ₂、・・・、ａ_i、・・・、ａ_Nについて当てはまり、これらについても、ＢＣＣ解析ブロック１１６により算出されるように、チャネル間レベル差に基づいてサイド情報処理ブロック１２３により算出される。

遅延されレベルが操作された信号間の特定の相関がブロック１２８の出力で得られるように、ＢＣＣ解析ブロック１１６により算出されるＩＣＣパラメータがブロック１２８の機能を制御するために用いられる。ステージ１２６、１２７、１２８の順序は、図１２に示す場合と異なっていてもよいことに、ここで留意されたい。

オーディオ信号のフレームに関する処理において、ＢＣＣ解析がフレームに関して実行され、すなわち、時間可変的、そして周波数に関しても実行されることに、ここで留意されたい。これは、各スペクトル帯域に対してＢＣＣパラメータが得られるという意味である。これは、オーディオフィルタバンク１２５が入力信号を例えば３２個のバンドパス信号に分解する場合、ＢＣＣ解析ブロックは、３２個の帯域それぞれに対するＢＣＣパラメータのセットを得るという意味である。当然、図１２に詳細に示される、図１１のＢＣＣ合成ブロック１２２が、本例の３２個の帯域に基づく再構成を実行する。

以下に、図１３を参照して、あるＢＣＣパラメータを決定するセットアップを示す。通常、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータは、１対のチャネル間で定義することができる。しかしながら、基準チャネルと互いのチャネルとの間で、ＩＣＬＤおよびＩＣＴＤパラメータを決定することが好ましい。これについて、図１３Ａに示す。

ＩＣＣパラメータは、別の方法で決定することもできる。一般に大抵の場合、図１３Ｂに示すように、考えられるすべてのチャネル対の間で、エンコーダ内のＩＣＣパラメータを推定することができる。この場合、考えられるすべてのチャネル対間の元のマルチチャネル信号とほぼ同じになるように、デコーダがＩＣＣを合成する。しかしながら、各時間で最も強力な２つのチャネル間のＩＣＣパラメータだけを推定することが提案されていた。この方法は、図１３Ｃに示され、１つの時点で、チャネル１とチャネル２との間でＩＣＣパラメータが推定され、別の時点で、チャネル１とチャネル５との間でＩＣＣパラメータが算出される例が示されている。次に、デコーダが、デコーダ内の最も強力なチャネル間のチャネル間相関を合成し、残りのチャネル対に対するチャネル間コヒーレンスを算出して合成するためのある発見的ルールを適用する。

例えば、送信ＩＣＬＤパラメータに基づいてパラメータａ₁、ａ_Nを算出するには、上記引例のＡＥＳコンベンション論文５５７４を参照する。ＩＣＬＤパラメータは、元のマルチチャネル信号におけるエネルギー分布を表す。一般性を失うことなく、他の全チャネルとフロント左チャネルとの間のエネルギー差を示す４つのＩＣＬＤパラメータが、図１３Ａに示される。サイド情報処理ブロック１２３では、再構成されたすべての出力チャネルの総エネルギーが送信和信号のエネルギーと同じになるように（または比例するように）、乗算パラメータａ₁、・・・、ａ_NがＩＣＬＤパラメータから導出される。これらのパラメータを決定するための簡単な方法は、２ステージ処理であり、これは、第１のステージでは、左フロントチャネルの乗算ファクタが１に設定され、図１３Ａの他のチャネルの乗算ファクタが送信ＩＣＬＤ値に設定される。次に、第２のステージでは、５つのチャネルすべてのエネルギーが算出され、送信和信号のエネルギーと比較される。次に、全チャネルは、全チャネルに対して等しいダウンスケーリングファクタを用いて、ダウンスケーリングされ、ダウンスケーリングファクタは、ダウンスケーリング後、再構成されたすべての出力チャネルの総エネルギーが送信和信号の総エネルギーと等しくなるように、選択される。

当然、乗算ファクタを算出する他の方法があり、これらは、２ステージ処理を利用せず、１ステージ処理だけを必要とするものである。

遅延パラメータに関して、左フロントチャネルの遅延パラメータｄ₁がゼロに設定される場合、ＢＣＣエンコーダから送信される遅延パラメータＩＣＴＤは、直接用いることができることに留意されたい。遅延を行っても信号のエネルギーを変更しないので、ここでは再スケーリングを行う必要がない。

ＢＣＣエンコーダからＢＣＣデコーダに送信されるチャネル間コヒーレンス測定値ＩＣＣに関して、２０ｌｏｇ１０（−６）から２０ｌｏｇ１０（６）の間の値の乱数を有する全サブバンドの重み付けファクタを乗算するというように、乗算ファクタａ₁、・・・、ａ_nを変更することにより、コヒーレンス操作を行うことができることに、ここで留意されたい。好ましくは、すべての重要な帯域に対してバリアンスがほぼ一定になり、各々の重要な帯域内で平均がゼロとなるように、疑似乱数シーケンスが選択される。同じシーケンスは、各々の異なるフレームのスペクトル係数に対して適用される。したがって、聴覚によるイメージの幅は、疑似乱数シーケンスのバリアンスを変更することにより、制御される。より大きいバリアンスは、より大きいイメージ幅を作り出す。バリアンス変更は、重要な帯域にわたるそれぞれの帯域で実行することができる。これにより、聴覚による場面において、それぞれ異なるイメージ幅を有する複数の対象を同時に存在させることが可能になる。疑似乱数シーケンスに対し適した振幅分布は、米国特許出願公開第２００３／０２１９１３０Ａ１号で概説されているように、対数目盛に対して均一な分布である。しかしながら、図１１に示すＢＣＣエンコーダからＢＣＣデコーダへ送信される和信号のように、すべてのＢＣＣ合成処理は、１つの送信される入力チャネルと関係付けられる。

パラメトリックステレオとして周知の関連した技術については、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔ ｒａｔｅｓ）」、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７２、およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）、Ｊ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）、「低複雑性パラメトリックステレオ符号化（Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７３に記載されている。

図１３を参照してすでに概説したように、パラメトリックサイド情報、すなわち、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）またはチャネル間コヒーレンスパラメータ（ＩＣＣ）は、算出され、５つのチャネルそれぞれに送信されることができる。このことは、通常、１つの５チャネル信号に対して５つのセットのチャネル間レベル差を送信することを意味している。同じことがチャネル間時間差についても当てはまる。チャネル間コヒーレンスパラメータについては、例えば２つのセットのこれらのパラメータを送信するだけで十分である。

図１２を参照してすでに概説したように、信号の１つのフレームまたは時間部分に対して、レベル差パラメータ、時間差パラメータまたはコヒーレンスパラメータは１つだけではない。むしろ、周波数依存のパラメータ化が行えるように、いくつかの異なる周波数帯域に対してこれらのパラメータが決定される。例えば３２の周波数チャネル、すなわち、３２の周波数帯域を有するフィルタバンクをＢＣＣ解析およびＢＣＣ合成に用いることは好ましいので、パラメータは、かなりの量のデータを占有することになる。他のマルチチャネル伝送と比較して、パラメトリック表示ではデータ速度が相当遅くなるが、２つのチャネル（ステレオ信号）を有する信号またはマルチチャネルサラウンド信号等の３つ以上のチャネルを有する信号のようなマルチチャネル信号を表現するために必要なデータ速度を、継続してさらに低減する必要がある。

このために、エンコーダ側で算出された再構成パラメータが、特定の量子化ルールに従って量子化される。これは、量子化されていない再構成パラメータが、限定されたセットの量子化レベルまたは量子化インデックスにマッピングされることを意味し、本技術で周知であり、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ）」、２００２年１０月、ロサンジェルス、ＡＥＳ第１１３回コンベンション、予稿集５６８６に詳細に記載されている。

量子化は、量子化ステップサイズよりも小さいパラメータ値を全て、ゼロに量子化する作用がある。さらに、大きなセットの量子化されていない値を小さなセットの量子化された値にマッピングすることにより、それ自体でデータ節減になる。これらのデータ速度節減は、エンコーダ側で量子化された再構成パラメータにエントロピー符号化を行うことにより、さらに高められる。好適なエントロピー符号化方法は、定義済みのコードテーブルに基づいた、または、実際に決定された信号統計データおよびコードブックの信号適応構成に基づいた、ハフマン法である。言い換えれば、算術符号化等の他のエントロピー符号化ツールを用いることができる。

一般に、量子化器のステップサイズが大きくなると、再構成パラメータに必要なデータ速度が低下するというルールがある。言い換えれば、量子化のサイズが荒くなるとデータ速度が遅くなり、量子化が微細になるとデータ速度が速くなる。

通常、データ速度が遅い環境ではパラメトリック信号表示が必要になるので、できるだけ荒いサイズで再構成パラメータを量子化することにより、ベースチャネルにおける特定の量のデータと、量子化されエントロピー符号化された再構成パラメータを含むサイド情報の適正な小さな量のデータとを有する信号表示が得られる。

したがって、従来技術の方法では、符号化されるマルチチャネル信号から直接、送信される再構成パラメータを抽出している。上述のように、量子化された再構成パラメータが、デコーダで逆量子化され、マルチチャネル合成に用いられる場合、荒いサイズの量子化を行うと再構成パラメータが歪んでしまう。もちろん、量子化器のステップサイズ、すなわち、選択された「量子化器の荒さ」によって、丸め誤差が大きくなる。このような丸め誤差は、量子化レベルの変化に、すなわち、第１の時点での第１の量子化レベルから後の時点での第２の量子化レベルへの変化になることがあり、ある量子化器のレベルと別の量子化器のレベルとの間の差が、相当大きな量子化器のステップサイズで定義され、このことは、荒いサイズの量子化では好ましい。残念ながら、量子化器のステップサイズが大きくなってしまうこのような量子化器のレベルの変化は、量子化されていないパラメータが２つの量子化レベルの中間にある場合、小さいパラメータ変化のみによって、トリガされることが可能になる。サイド情報におけるこのような量子化器インデックスの変化が発生することが、信号合成ステージにおける同じ大きな変化となる。例として、チャネル間レベル差を考える場合、大きな変化により、特定のスピーカ信号の音の大きさが急激に低下し、これに付随して、別のスピーカの信号の音の大きさが急激に増加することが明らかである。量子化レベル変化および荒いサイズの量子化のみによってトリガされるこの状況を、（仮想の）第１の場所から（仮想の）第２の場所へ直ちにサウンドソースを再配置することとして認識することができる。ある時点から別の時点へのこのような速やかな再配置は、不自然に聞こえ、すなわち、特に、音信号のサウンドソースはその位置を非常に速く変化しないので、このことは転調作用として認識される。

一般に、伝送エラーにより量子化器インデックスに急激に変化が発生することもあり、これによりマルチチャネル出力信号に急激に変化が直ちに発生し、この状況ではもっとよく当てはまることであるが、データ速度のために荒いサイズの量子化器を採用している。

米国特許出願公開第２００３／０２１９１３０Ａ１号 米国特許出願公開第２００３／００２６４４１Ａ１号 米国特許出願公開第２００３／００３５５５３Ａ１号 「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レーデラー（Ｌｅｄｅｒｅｒ）、１９９４年２月、アムステルダム、ＡＥＳ予稿集３７９９ 「ステレオおよびマルチチャネルオーディオ圧縮に応用されたバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、２００２年５月、ミュンヘン、ＡＥＳコンベンション論文５５７４ 「バイノーラルキュー符号化パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ． Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、オーディオおよびスピーチプロシーディング（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）におけるＩＥＥＥトランザクション、１１巻、第６号、１９９３年１１月 「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔ ｒａｔｅｓ）」、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７２ 「低複雑性パラメトリックステレオ符号化（Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）、Ｊ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７３ 「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、２００２年１０月、ロサンジェルス、ＡＥＳ第１１３回コンベンション、予稿集５６８６

本発明の目的は、一方ではデータ速度が低く、他方では良好な主観的な品質が可能な、向上された信号合成概念を提供することである。

本発明の第１の態様によれば、この目的は、入力信号から出力信号を発生するためのマルチチャネルシンセサイザであって、入力信号は少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、量子化された再構成パラメータは量子化ルールに従って量子化され、かつ入力信号の後の時間部分に関連付けられ、出力信号は多数の合成された出力チャネルを有し、多数の合成された出力チャネルは１より多いか入力チャネルの数よりも多く、処理される入力信号の時間部分に対して、後処理された再構成パラメータまたは再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、後処理された再構成パラメータまたは後処理された量の値が、量子化ルールに従って再量子化を用いて得られる値と異なるように、後処理された再構成パラメータを決定するポストプロセッサと、入力チャネルの時間部分および後処理された再構成パラメータまたは後処理された量を用いて、多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備える、マルチチャネルシンセサイザにより達成される。

本発明の第２の態様によれば、この目的は、入力信号から出力信号を発生する方法であって、入力信号は少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、量子化された再構成パラメータは量子化ルールに従って量子化され、かつ入力チャネルの後の時間部分に関連付けられ、出力信号は多数の合成された出力チャネルを有し、多数の合成された出力チャネルは１より多いか入力チャネルの数よりも多く、処理される入力信号の時間部分に対して、後処理された再構成パラメータまたは再構成パラメータから導出される後処理された量を決定するステップであって、後処理された再構成パラメータまたは後処理された量の値が、量子化ルールに従って再量子化を用いて得られる値と異なるようにするステップと、入力チャネルの時間部分および後処理された再構成パラメータまたは後処理された量を用いて、多数の合成された出力チャネルの時間部分を再構成するステップとを備える、方法により達成される。

本発明の第３の態様によれば、この目的は、コンピュータ上で実行するときに、上述の方法を実施するコンピュータプログラムにより達成される。

本発明は、マルチチャネルシンセサイザに用いられる量子化された再構成パラメータに対して後処理を行うことにより、一方では荒いサイズの量子化と、他方では量子化レベル変化とに付随する問題を、低減したり、解消したりするという知見に基づいている。従来技術のシステムでは、シンセサイザにおける再量子化を限定したセットの量子化された値に限って容認できるので、エンコーダにおける小さなパラメータ変化がデコーダでは大きなパラメータ変化となってしまうが、本発明のデバイスは、入力信号の処理される時間部分に対する後処理された再構成パラメータが、エンコーダを採用した量子化ラスタによって決定されるのではなく、量子化ルールによる量子化で得られる値とは異なる再構成パラメータの値となるように、再構成パラメータの後処理を実行する。

直線量子化器の場合、従来技術の方法では、量子化器のステップサイズの整数倍の逆量子化された値しか求めることができないが、本発明の後処理では、逆量子化された値を量子化器のステップサイズの非整数倍とすることが可能である。２つの隣接する量子化器のレベル間の後処理された再構成パラメータが、後処理によって得られ、後処理された再構成パラメータを利用する本発明のマルチチャネル再構成器によって用いられるので、本発明の後処理は、量子化器のステップサイズの制限を解消することを意味している。

この後処理は、マルチチャネルシンセサイザにおいて、再量子化の前または後で実行することができる。量子化されたパラメータ、すなわち、量子化器インデックスを用いて後処理が実行される場合、逆量子化器が必要になり、これは、量子化器ステップの倍数に逆に量子化できるばかりでなく、量子化器のステップサイズの倍数間の逆量子化された値に逆に量子化することができる。

逆量子化された再構成パラメータを用いて後処理が実行される場合、直接逆量子化器を用いることができ、逆量子化された値を用いて補間／フィルタ／平滑化が実行される。

対数量子化ルール等の非直線量子化ルールの場合、対数量子化は人間の耳によるサウンドの認知と類似しているので、再量子化の前に量子化された再構成パラメータの後処理は好ましく、対数量子化は、低レベルのサウンドに対してより正確で、高レベルのサウンドに対してはあまり正確でない、すなわち、一種の対数圧縮を行う。

ここで、量子化されたパラメータとしてビットストリームに含まれる再構成パラメータ自体を変更することにより、本発明の利点を得るものではないことに留意されたい。再構成パラメータから後処理された量を導出することにより、利点を得ることができる。再構成パラメータが差パラメータで、差パラメータから導出される絶対パラメータに対して平滑化等の操作が実行される場合、これは特に有益である。

本発明の好適な実施の形態では、再構成パラメータの後処理は、信号アナライザにより制御され、これは、信号特性が存在する、求める再構成パラメータに関連付けられる信号部分を解析する。好適な実施の形態では、本発明の後処理は、信号の音部分に対して（周波数および／または時間に対して）起動されるが、音でない部分、すなわち、入力信号の過渡部分に対して後処理が起動されない。これにより、信号の音部分ではなく、オーディオ信号の過渡部分に対して、フルダイナミックの再構成パラメータ変化が確実に送信される。

好ましくは、ポストプロセッサは、音でない、すなわち、過渡信号部分に対して特に重要な空間検出キューに影響を与えることなく、再構成パラメータの平滑化の形式で変更を実行し、これは、心理音響的な視点から理解できるものである。

本発明により、再構成パラメータをエンコーダ側で量子化すると荒いサイズの量子化が可能となるので、データ速度が遅くなり、ある逆量子化されたレベルから別の逆量子化されたレベルへ再構成パラメータが変化するという理由で、システム設計者がデコーダにおいて大きな変化を気にかける必要がなくなり、２つの再量子化レベル間の値でマッピングして、本発明の処理により、変化が低減される。

本発明の別の利点は、ある再量子化レベルから次の許容再量子化レベルへの変化による可聴アーティファクトが本発明の後処理により低減されるので、システムの品質が向上することであり、２つの許容再量子化レベル間の値でマッピングする。

もちろん、量子化された再構成パラメータに対して本発明の後処理は、エンコーダにおけるパラメータ化と後の再構成パラメータの量子化とにより生じる情報損失に加えて、さらに情報が損失することになる。しかしながら、本発明のポストプロセッサが、好ましくは、実際のまたは直前の量子化された再構成パラメータを用いて、入力信号の実際の時間部分、すなわち、ベースチャネルの再構成に用いられる後処理された再構成パラメータを決定するので、このことはさほど悪いことではない。エンコーダ誘導誤用をある程度補償することができるので、主観的な品質が向上することになることがわかる。エンコーダ側誘導誤用が再構成パラメータの後処理によって補償されない場合であっても、再構成されたマルチチャネルオーディオ信号における空間認知の大きな変化は、好ましくは音信号部分に限って低減されるので、さらに情報を損失することになるかどうかという事実にかかわらず、いずれにせよ、主観的な聴き取り品質が向上することになる。

本発明の好ましい実施の形態が添付図面を参照して後に説明されるが、これらの図としては：
図１は、本発明のマルチチャネルシンセサイザの好適な実施の形態のブロック図であり、
図２は、図１のマルチチャネルシンセサイザを含むエンコーダ／デコーダシステムの好適な実施の形態のブロック図であり、
図３は、図１の本発明のマルチチャネルシンセサイザに用いられるポストプロセッサ／信号アナライザの結合のブロック図であり、
図４は、入力信号の時間部分と、過去の信号部分、処理される実際の信号部分および未来の信号部分に対して関連付けられた量子化された再構成パラメータとの概略表現であり、
図５は、図１によるポストプロセッサの実施の形態であり、
図６ａは、図１に示すポストプロセッサの別の実施の形態であり、
図６ｂは、ポストプロセッサの別の好適な実施の形態であり、
図７ａは、図１に示すポストプロセッサの別の実施の形態であり、
図７ｂは、再構成パラメータから導出される量を平滑化可能なことを示す本発明による後処理されるパラメータを示す概略図であり、
図８は、直接マッピングまたは拡張マッピングを実行する量子化器／逆量子化器の概略説明であり、
図９ａは、後の入力信号部分に関連付けられる量子化された再構成パラメータの例示的な時間経過を示し、
図９ｂは、平滑化（ローパス）機能を実施するポストプロセッサにより後処理された、後処理された再構成パラメータの時間経過を示し、
図１０は、従来技術のジョイントステレオエンコーダを示し、
図１１は、従来技術のＢＣＣエンコーダ／デコーダチェーンを示すブロック図であり、
図１２は、従来技術により実施された図１１のＢＣＣ合成ブロックを示すブロック図であり、
図１３は、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを決定するための周知の手法を示す図である。

図１は、入力信号から出力信号を発生するための本発明のマルチチャネルエンコーダ／シンセサイザのブロック図を示す。図４を参照して後述するように、入力信号は、少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、量子化された再構成パラメータは、量子化ルールに従って量子化されている。時間部分のシーケンスが量子化された再構成パラメータのシーケンスと関連付けられるように、各再構成パラメータは入力チャネルの時間部分と関連付けられている。また、図１のマルチチャネルシンセサイザにより発生された出力信号は、いずれにせよ入力信号における入力チャネルの数よりも多い、多数の合成された出力チャネルを有することに留意されたい。入力チャネルの数が１である場合、すなわち、１つの入力チャネルが存在する場合、出力チャネルの数は２以上である。しかしながら、入力チャネルの数が２または３の場合、出力チャネルの数は、少なくとも３または少なくとも４である。

上述のＢＣＣの場合では、入力チャネルの数は、１または一般にせいぜい２であるが、出力チャネルの数は、５（左サラウンド、左、センター、右、右サラウンド）若しくは６（５サラウンドチャネルプラス１サブウーハーチャネル）、または、７．１若しくは９．１マルチチャネルフォーマットではそれ以上となる。

図１に示すように、本発明のマルチチャネルシンセサイザは、基本的な特徴として、再構成パラメータポストプロセッサ１０およびマルチチャネル再構成器１２を備える。再構成パラメータポストプロセッサ１０は、入力信号の後の時間部分に対して、量子化され好ましくは符号化された再構成パラメータを受信する。再構成パラメータポストプロセッサ１０は、処理される入力信号の時間部分に対して、後処理された再構成パラメータをその出力で決定する。再構成パラメータポストプロセッサは、後処理ルールに従って動作し、これは、特定の好適な実施の形態では、ローパスフィルタリングルール、平滑化ルール等である。特に、ポストプロセッサ１０は、後処理された再構成パラメータの値が、量子化ルールに従って、任意の量子化された再構成パラメータの再量子化により得られる値と異なるように、後処理された再構成パラメータを決定する。

マルチチャネル再構成器１２は、入力チャネルの処理される時間部分および後処理された再構成パラメータを用いて、多数の合成出力チャネルのそれぞれの時間部分を再構成するために用いられる。

本発明の好適な実施の形態では、量子化された再構成パラメータは、チャネル間レベル差、チャネル間時間差またはチャネル間コヒーレンスパラメータ等の、量子化されたＢＣＣパラメータである。当然、インテンシティステレオまたはパラメトリックステレオに対するパラメータ等の他の全ての再構成パラメータについても、本発明に従って処理することができる。

要約すると、本発明のシステムは、入力信号の後の時間部分に関連付けられる量子化され好ましくは符号化された再構成パラメータのための第１の入力１４ａを有する。入力信号の後の時間部分は、第２の入力１４ｂに入力され、これは、マルチチャネル再構成器１２に好ましくは入力信号アナライザ１６に接続され、これについては後述する。出力側では、図１の本発明のマルチチャネルシンセサイザは、マルチチャネル出力信号出力１８を有し、これは、いくつかの出力チャネルを含み、この数は、多数の入力チャネルより多く、入力チャネルの数は、１つの入力チャネルまたは２つ以上の入力チャネルとすることができる。いずれにせよ、合成された出力チャネルは、一方では入力信号を用いて、他方では再構成パラメータの形式でサイド情報を用いて形成されるので、入力チャネルより出力チャネルの数が多い。

以下には、ビットストリームの例を示す図４を参照する。ビットストリームは、いくつかのフレーム２０ａ、２０ｂ、２０ｃ、・・・を含む。各フレームは、図４の上の４角のフレームで示される入力信号の時間部分を含む。また、各フレームは、各フレーム２０ａ、２０ｂ、２０ｃの下の４角で図４に示される、時間部分に関連付けられる量子化された再構成パラメータのセットを含む。例示として、フレーム２０ｂは、処理される入力信号部分と考えられ、このフレームは、すなわち、処理される入力信号部分の「過去」を形成する、直前の入力信号部分を有する。また、処理される入力信号部分の「未来」を形成する、次の入力信号部分が存在する（処理される入力部分は、「実際の」入力信号部分とも呼ばれる）が、「過去」における入力信号部分は先の入力信号部分と呼ばれ、未来における信号部分は後の入力信号部分と呼ばれる。

以下に、本発明のマルチチャネルシンセサイザを配置可能な完全なエンコーダ／デコーダ構成について図２を参照する。

図２は、エンコーダ側２１とデコーダ側２２とを示す。エンコーダでは、Ｎ個の元の入力チャネルがダウンミキサステージ２３に入力される。ダウンミキサステージは、チャネルの数を例えば１つのモノラルチャネルに、あるいは可能ならば２つのステレオチャネルに低減する。次に、ダウンミキサ２３のダウンミックスした信号表示は、ソースエンコーダ２４に入力され、ソースエンコーダは、例えば出力ビットストリームを生じるＭＰ３エンコーダまたはＡＡＣエンコーダとして実施される。エンコーダ側２１は、さらに、パラメータ抽出器２５を備え、これは、本発明に従って、ＢＣＣ解析（図１１のブロック１１６）を実行し、量子化された好ましくはハフマン符号化されたチャネル間レベル差（ＩＣＬＤ）を出力する。ソースエンコーダ２４の出力でのビットストリームとともにパラメータ抽出器２５により出力される量子化された再構成パラメータは、デコーダ２２に送信されたり、デコーダに後から送信するために保存されたりすることができる。

デコーダ２２は、ソースデコーダ２６を含み、これは、受信されたビットストリーム（ソースエンコーダ２４から送信されたもの）から信号を再構成する。このために、ソースデコーダ２６は、その出力で、入力信号の後の時間部分をアップミキサ１２に供給し、これは、図１のマルチチャネル再構成器１２と同じ機能を実行する。好ましくは、この機能は、図１１のブロック１２２により実施されるようにＢＣＣ合成である。

図１１と異なって、本発明のマルチチャネルシンセサイザは、さらに、ポストプロセッサ１０を含み、これは、「チャネル間レベル差（ＩＣＬＤ）スムーザ」と呼ばれ、入力信号アナライザ１６により制御され、好ましくは入力信号の調性解析を実行する。

図２からわかるように、チャネル間レベル差（ＩＣＬＤｓ）等の再構成パラメータがあり、ＩＣＬＤスムーザに入力されるが、パラメータ抽出器２５とアップミキサ１２とをつなぐ接続がさらにある。このバイパス接続を介して、後処理する必要のない他の再構成パラメータを、パラメータ抽出器２５からアップミキサ１２に供給することができる。

図３は、信号アナライザ１６およびＩＣＬＤスムーザ１０により形成される信号適応再構成パラメータ処理の好適な実施の形態を示す。

信号アナライザ１６は、調性決定ユニット１６ａと後段の閾値処理デバイス１６ｂとから形成される。さらに、図２の再構成パラメータポストプロセッサ１０は、平滑化フィルタ１０ａと、ポストプロセッサスイッチ１０ｂとを含む。ポストプロセッサスイッチ１０ｂは、閾値処理デバイス１６ｂにより制御され、調性特性等の入力信号の特定の信号特性が特定の指定の閾値に対して所定の関係にあることを閾値処理デバイス１６ｂが決定した場合、スイッチが作動される。この場合、入力信号の信号部分の調整が、特に、特定の入力信号の時間部分の特定の周波数帯域が調性閾値を超える調性を有する場合に、（図３に示すように）スイッチが上の位置に作動されるという状況である。この場合、逆量子化されたチャネル間差ではなく、後処理されたものがデコーダ／マルチチャネル再構成器／アップミキサ１２に供給されるように、スイッチ１０ｂは、平滑化フィルタ１０ａの出力をマルチチャネル再構成器１２の入力に接続するために作動される。

しかしながら、調性決定手段が、実際の入力信号の時間部分の特定の周波数帯域、すなわち、処理される入力信号部分の特定の周波数帯域が指定の閾値よりも低い調性を有する、すなわち、過渡であると決定する場合、スイッチは平滑化フィルタ１０ａをバイパスするように作動される。

後者の場合、平滑化フィルタ１０ａによる信号適応後処理は、過渡信号に対する再構成パラメータ変化が変更のない後処理ステージを通過して、過渡信号に対して相当高い確率で現実の状況に対応する、空間イメージに関する再構成された出力信号を迅速に変化することを確実にする。

ここで、一方では後処理を起動し、他方では完全に後処理を起動しない図３の実施の形態、すなわち、後処理を行うか行わないかという二者択一は、その単純で効率的な構造のために、単に好適な実施の形態にすぎないことに留意されたい。しかしながら、特に調性に対しては、この信号特性は、質的パラメータばかりでなく、通常０と１との間にすることができる量的パラメータでもあることに留意されたい。量的に決定されたパラメータに従って、音信号が大きい場合に大きな平滑化が起動され、音信号がそうでない場合により低い平滑化度合いを有する平滑化が始められるように、平滑化フィルタの平滑化度合い、または、例えば、ローパスフィルタのカットオフ周波数を設定することができる。

もちろん、過渡信号が大きい場合、再構成パラメータの後処理が、マルチチャネル信号の空間イメージの変化をさらに強調するように、過渡部分を検出したり、定義済みの量子化された値間の値、または量子化インデックス間の値にパラメータの変化を強調したりすることもできる。この場合、後の時間部分に対する後の再構成パラメータにより指示されるように１の量子化ステップサイズを、例えば１．５、１．４、１．３等に高めて、再構成されたマルチチャネル信号の空間イメージをさらに劇的に変化させることができる。

ここで、音信号特性、過渡信号特性または他の信号特性は、それに基づいて信号解析が再構成パラメータポストプロセッサを制御するために実行され得る信号特性の例に過ぎないことに留意されたい。この制御に応答して、再構成パラメータポストプロセッサは、所定の量子化ルールにより決定される、一方では量子化インデックスの任意の値であり、他方では再量子化値である値を有する後処理された再構成パラメータを決定する。

ここで、再構成パラメータの後処理は、信号特性に依存すること、すなわち、信号適応パラメータ後処理はオプションであることに留意されたい。また、信号に依存しない後処理は、多くの信号に対して利点がある。例えば、ユーザが（強調機能の場合に）強められた変化を行ったり、（平滑化機能の場合に）弱められた変化を行ったりするように、特定の後処理機能をユーザが選択することもできる。あるいは、任意のユーザ選択および信号特性に依存しない後処理は、誤り耐性に関してある利点がある。特に、量子化器のステップサイズが大きい場合、量子化器インデックスの伝送エラーにより、可聴アーティファクトが顕著になってしまうことが明らかになっている。このために、エラーを起こしやすいチャネルを介して信号を送信する必要がある場合、前進型誤信号訂正等を実行する。本発明によれば、過去における再構成パラメータに基づく再構成パラメータの後処理は、大量の送信された量子化された再構成パラメータを検出することになり、さらに、このようなエラーに対する適切な対策となるので、後処理は、ビットとして効率的でないエラー訂正符号を不要とすることができる。また、後処理機能が平滑化機能である場合、後述するように、先のまたは後の再構成パラメータと大きく異なる量子化された再構成パラメータは自動的に操作される。

図５は、図１の再構成パラメータポストプロセッサ１０の好適な実施の形態を示す。特に、量子化された再構成パラメータが符号化されるという状況を考える。ここでは、符号化された量子化された再構成パラメータはエントロピーデコーダ１０ｃに入り、これは、復号化された量子化された再構成パラメータのシーケンスを出力する。エントロピーデコーダの出力で再構成パラメータは量子化され、このことは、特定の「有益な」値を有していることを意味しているのではなく、後段の逆量子化器により実施される特定の量子化ルールの特定の量子化器インデックスまたは量子化器レベルを示していることを意味している。マニピュレータ１０ｄは、例えば、（好ましくは）必要とする後処理機能により決定される任意のフィルタ特性を有するＩＩＲフィルタまたはＦＩＲフィルタ等のデジタルフィルタとすることができる。平滑化またはローパスフィルタリング後処理機能が好ましい。マニピュレータ１０ｄの出力で、操作された量子化された再構成パラメータのシーケンスが得られ、これらは、整数の数字だけでなく、量子化ルールにより決定される範囲内の任意の実数である。このように操作された量子化された再構成パラメータは、ステージ１０ｄの前の値１、０、１と比較して、１．１、０．１、０．５等の値を有することができる。次に、ブロック１０ｄの出力での値のシーケンスは、後処理された再構成パラメータを得るために拡張逆量子化器１０ｅに入力され、これらは、図１のブロック１２でマルチチャネル再構成（例えばＢＣＣ合成）に用いることができる。

通常の逆量子化器は、限定した数の量子化インデックスから指定の逆量子化された出力値へ各量子化入力をマッピングするだけであるので、拡張量子化器１０ｅは通常の逆量子化器と異なることに留意されたい。通常の逆量子化器は、非整数量子化器インデックスをマッピングすることはできない。したがって、好ましくは、拡張逆量子化器１０ｅは直線または対数量子化ルール等の同じ量子化ルールを用いて実施されるが、非整数入力を受け付けて、整数入力だけを用いて得られる値とは異なる出力値を供給することができる。

再量子化の前（図５を参照）または再量子化の後（図６ａ、図６ｂを参照）で、操作を行うかどうかは、本発明に対して基本的に差は何もない。後者の場合では、逆量子化器は、すでに概略を述べたように、図５の拡張逆量子化器１０ｅと異なる、通常の直接逆量子化器である必要がある。もちろん、図５および図６ａの選択は、特定の実施例に依存する選択の問題である。現在のＢＣＣ実施例では、既存のＢＣＣアルゴリズムとより互換性があるので、図５の実施の形態が好ましい。しかしながら、このことは他の応用では別の話である。

図６ｂは、図６ａの拡張逆量子化器１０ｅが、直接逆量子化器と直線または好ましくは非直線曲線に従ってマッピングするためのマッピング手段１０ｇとに置換される実施の形態を示す。このマッピング手段は、数値動作を実行するための回路またはルックアップテーブル等のハードウェアまたはソフトウェアとして実行することができる。データ操作は、例えばスムーザ１０ｇを用いて、マッピング手段１０ｇの前段、またはマッピング手段１０ｇの後段、または結合して両段で実行することができる。全てのエレメント１０ｆ、１０ｈ、１０ｇはソフトウェアルーチンの回路等の構成部品を直接用いて実施することができるので、後処理が逆量子化器領域で実行される場合に、この実施の形態は好ましい。

一般に、ポストプロセッサ１０は、図７ａに示すようにポストプロセッサとして実施され、実際の量子化された再構成パラメータ、未来の再構成パラメータまたは過去の量子化された再構成パラメータを全てまたは選択して受信する。この場合、ポストプロセッサは、少なくとも１つの過去の再構成パラメータおよび実際の再構成パラメータだけを受信し、ポストプロセッサは、ローパスフィルタとして動作する。しかしながら、ポストプロセッサ１０が、リアルタイムの応用において可能でないが、他の全ての応用において可能である、未来の量子化された再構成パラメータを受信する場合、ポストプロセッサは、例えば特定の周波数帯域の再構成パラメータの時間経過を平滑化するために、未来の量子化された再構成パラメータと現在または過去の量子化された再構成パラメータとの間で補間を実行することができる。

すでに概説したように、パラメトリック符号化されたマルチチャネル信号内のベースチャネルに付属する再構成パラメータから導出される量について、荒いサイズの量子化環境での量子化ステップサイズによるアーティファクトを克服するデータ操作を実行することができる。例えば、量子化された再構成パラメータが差パラメータ（ＩＣＬＤ）である場合、変更をしないで、このパラメータを逆量子化することができる。次に、出力チャネルの絶対レベル値を導出することができ、絶対値に対して本発明のデータ操作が実行される。この手順は、後処理された再構成パラメータまたは後処理された量の値が、量子化ルールに従って再量子化を用いて、すなわち「ステップサイズ制限」を克服する操作を行わずに、得られる値と異なるように、量子化された再構成パラメータと実際の再構成との間の処理経路でデータ操作が実行される限りにおいて、本発明のアーティファクトを低減することにもなる。

操作された量を量子化された再構成パラメータから最終的に導出するためのマッピング機能の多くは、導出可能で、本技術で用いられ、これらのマッピング機能は、後処理されない量を得るためにマッピングルールに従って入力値を出力値に一意的にマッピングするための機能を含み、それは、次に、マルチチャネル再構成（合成）アルゴリズムに用いられる後処理された量を得るために後処理される。

以下では、図８を参照して、図５の拡張逆量子化器１０ｅと、図６ａの直接逆量子化器１０ｆとの間の違いを説明する。このために、図８の図では、横軸は、量子化されていない値の入力値軸を示す。縦軸は、量子化器レベルまたは量子化器インデックスを示し、これは、好ましくは０、１、２、３の値を有する整数である。ここで、図８の量子化器では、０から１の間の値または１から２の間の値にはならないことに留意されたい。これらの量子化器レベルに対するマッピングは、例えば−１０から１０の間の値が０にマッピングされ、１０から２０の間の値が１に量子化される等のように、階段関数により制御される。

考えられる逆量子化器機能は、０の量子化器レベルを０の逆量子化された値にマッピングする。１の量子化器レベルは、１０の逆量子化された値にマッピングされる。同様に、例えば、２の量子化器レベルは２０の逆量子化された値にマッピングされる。したがって、再量子化は、参照番号３１で示す逆量子化器機能により制御される。直接逆量子化器は、ライン３０とライン３１との交点に限って可能であることに留意されたい。このことは、図８の逆量子化器ルールを有する直接逆量子化器では、０、１０、２０、３０の値だけを、再量子化により得ることができることを意味している。

拡張逆量子化器は、０．５の値等の、０から１または１から２の間の値を入力として受信するので、拡張逆量子化器１０ｅとは異なっている。マニピュレータ１０ｄにより得られる０．５の値の進んだ再量子化により、５の逆量子化された出力値となり、すなわち、後処理された再構成パラメータは、量子化ルールに従って再量子化により得られる値と異なる値を有する。通常の量子化ルールでは、０または１０の値だけが得られるが、逆量子化器機能３１に従って動作する本発明の逆量子化器では、異なる値、すなわち、図８に示す５の値が得られる。

直接逆量子化器では、整数量子化器レベルを量子化されたレベルにマッピングするだけであるが、拡張逆量子化器は、非整数量子化器「レベル」を受信し、これらの値を逆量子化器ルールにより決定される値間の「逆量子化された値」にマッピングする。

図９は、図５の実施の形態に対する本発明の後処理の効果を示す。図９ａは、０から３の間で変化する量子化された再構成パラメータのシーケンスを示す。図９ｂは、図９ａの波形がローパス（平滑化）フィルタに入力される場合、「変更された量子化器インデックス」とも呼ぶ、後処理された再構成パラメータのシーケンスを示す。ここで、時点１、４、６、８、９、および１０での増減は、図９ｂの実施の形態では低減していることに留意されたい。アーティファクトとして考えられる時点８と時点９との間のピークが、量子化ステップ全体で抑制されていることを強調して述べる。しかしながら、すでに概説したように、このような極端な値を、量的調性値に従って後処理の度合いにより制御することができる。

本発明は、本発明の後処理が、変動を平滑化したり、短期の極端な値を平滑化したりするという利点がある。この状況は、特に、同じエネルギーを有するいくつかの入力チャネルからの信号部分が、信号の周波数帯域、すなわち、ベースチャネルまたは入力信号チャネルと重ね合わされる場合に発生する。次に、この周波数帯域は、時間部分毎に対応し、個々の出力チャネルを非常に変動するように混合した即座の状況に依存する。しかしながら、心理音響的な視点から、これらの変動は、基本的にソースの位置の検出に寄与せずに、主観的な聴き取り印象を悪くするような影響を与えるので、これらの変動を平滑化する方がよい。

本発明の好適な実施の形態によれば、システムにおける異なる場所で品質損失を発生することなく、あるいは送信された再構成パラメータの高い解像度／量子化（したがって、速いデータ速度）を必要とすることなく、このような可聴アーティファクトが低減されたり、解消されたりする。本発明は、重要な空間ローカライゼーション検出キューに基本的に影響を与えることなく、パラメータの信号適応変更（平滑化）を実行することにより、本目的を達成する。

再構成された出力信号の特性に突然変化が発生すると、高い定常特性を有するオーディオ信号に対して、特に可聴アーティファクトが発生する。これは、音信号がある場合である。したがって、このような信号に対する量子化された再構成パラメータ間に「スムーザ」によるトランジションを供給することは重要なことである。これは、例えば、平滑化、補間等により得ることができる。

また、このようなパラメータ値の変更により、他の種類のオーディオ信号に可聴歪みが発生してしまう。これは、信号特性に急速に発生する変動を含む信号の場合である。このような特性は、過渡部分または打楽器のアタックに見られる。この場合、本発明により、パラメータ平滑化を起動しないようにする。

これは、信号適応法で、送信された量子化された再構成パラメータの後処理により、得られる。

適応性は、直線または非直線である。適応性が非直線の場合、図３で説明されるように閾値処理手順が実行される。

適応性を制御するための別の基準は、信号特性の特定の定常性を決定することである。信号特性の定常性を決定するための特定の形式は、信号エンベロープ、または、特に、信号の調性を評価することである。ここで、全周波数範囲に対して、または、好ましくは、オーディオ信号の異なる周波数帯域それぞれに対して、調性を決定することができることに留意されたい。

本発明により、パラメータ値を送信するための必要とされたデータ速度が速くなることなく、今まで不可避であったアーティファクトを低減したり、または解消したりすることになる。

図２および図３ですでに概説したように、検討中の信号部分に音特性がある場合に、本発明の好適な実施の形態では、チャネル間レベル差の平滑化を実行する。エンコーダで算出されて、エンコーダで量子化されるチャネル間レベル差は、信号適応平滑化動作を行うためにデコーダに送信される。適応構成要素は、閾値決定に関する調性決定であり、音スペクトル成分に対してチャネル間レベル差のフィルタリングを起動して、ノイズ様および過渡スペクトル成分に対してはこのような後処理を起動しない。本実施の形態では、エンコーダの付加的なサイド情報は、適応平滑化アルゴリズムを実行するために必要としない。

ここで、本発明の後処理は、パラメトリックステレオＭＰ３／ＡＡＣ、ＭＰ３サラウンド、および同様の方法などのマルチチャネル信号に対してパラメトリック符号化を行う他の概念に用いることもできることに留意されたい。

図１は、本発明のマルチチャネルシンセサイザの好適な実施の形態のブロック図である。 図２は、図１のマルチチャネルシンセサイザを含むエンコーダ／デコーダシステムの好適な実施の形態のブロック図である。 図３は、図１の本発明のマルチチャネルシンセサイザに用いられるポストプロセッサ／信号アナライザの結合のブロック図である。 図４は、入力信号の時間部分と、過去の信号部分、処理される実際の信号部分および未来の信号部分に対して関連付けられた量子化された再構成パラメータとの概略表現である。 図５は、図１によるポストプロセッサの実施の形態である。 図６ａは、図１に示すポストプロセッサの別の実施の形態である。 図６ｂは、ポストプロセッサの別の好適な実施の形態である。 図７ａは、図１に示すポストプロセッサの別の実施の形態である。 図７ｂは、再構成パラメータから導出される量を平滑化可能なことを示す本発明による後処理されるパラメータを示す概略図である。 図８は、直接マッピングまたは拡張マッピングを実行する量子化器／逆量子化器の概略説明である。 図９ａは、後の入力信号部分に関連付けられる量子化された再構成パラメータの例示的な時間経過を示す。 図９ｂは、平滑化（ローパス）機能を実施するポストプロセッサにより後処理された、後処理された再構成パラメータの時間経過を示す。 図１０は、従来技術のジョイントステレオエンコーダを示す。 図１１は、従来技術のＢＣＣエンコーダ／デコーダチェーンを示すブロック図である。 図１２は、従来技術により実施された図１１のＢＣＣ合成ブロックを示すブロック図である。 図１３は、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを決定するための周知の手法を示す図である。

Claims (26)

1. 入力信号から出力信号を発生するためのマルチチャネルシンセサイザであって、前記入力信号は少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは１より多いか入力チャネルの数よりも多く、
   処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサ（１０）であって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサ（１０）と、
   前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器（１２）とを備える、マルチチャネルシンセサイザ。
2. 処理される前記入力信号の前記時間部分の信号特性を決定する、前記入力信号を解析するための入力信号アナライザ（１６）をさらに備え、
   前記ポストプロセッサ（１０）は、前記信号特性に依存して、前記後処理された再構成パラメータを決定する、請求項１に記載のマルチチャネルシンセサイザ。
3. 前記ポストプロセッサ（１０）は、所定の信号特性が前記入力信号アナライザ（１６）により決定される場合に、前記後処理された再構成パラメータを決定し、前記所定の信号特性が前記入力信号の時間部分に対して前記入力信号アナライザにより決定されない場合に、前記ポストプロセッサ（１０）をバイパスする、請求項２に記載のマルチチャネルシンセサイザ。
4. 前記入力信号アナライザ（１６）は、信号特性値が閾値と指定の関係にある場合に、前記所定の信号特性として前記信号特性を決定する、請求項３に記載のマルチチャネルシンセサイザ。
5. 前記信号特性は、処理される前記入力信号の前記部分の調性特性または過渡特性である、請求項２、請求項３または請求項４に記載のマルチチャネルシンセサイザ。
6. 前記ポストプロセッサ（１０）は、後処理された再構成パラメータのシーケンスが後処理されていない逆量子化された再構成パラメータのシーケンスと比較して時間的により平滑になるように、平滑化機能を実行する、請求項１ないし請求項５のいずれかに記載のマルチチャネルシンセサイザ。
7. 前記ポストプロセッサ（１０）は平滑化機能を実行し、前記ポストプロセッサ（１０）はローパス特性を有するデジタルフィルタを含み、前記フィルタは、入力として、前記入力信号の直前の時間部分に関連付けられる少なくとも１つの再構成パラメータを受信する、請求項１ないし請求項６のいずれかに記載のマルチチャネルシンセサイザ。
8. 前記ポストプロセッサ（１０）は、少なくとも１つの直前の時間部分に関連付けられる再構成パラメータを用いて、または、少なくとも１つの後の時間部分に関連付けられる再構成パラメータを用いて、補間機能を実行する、請求項１ないし請求項７のいずれかに記載のマルチチャネルシンセサイザ。
9. 前記ポストプロセッサ（１０）は、
   前記量子化ルールにより定義されるいずれの量子化レベルとも一致しないように、操作された再構成パラメータを決定し、
   逆量子化器によりいずれの量子化レベルをマッピングすることにより定義される逆量子化された値と一致しない、逆量子化された操作された再構成パラメータに、前記操作された再構成パラメータをマッピングする逆量子化器を用いて、前記操作された再構成パラメータを逆量子化する、請求項１ないし請求項８のいずれかに記載のマルチチャネルシンセサイザ。
10. 前記量子化ルールは、対数量子化ルールである、請求項９に記載のマルチチャネルシンセサイザ。
11. 前記ポストプロセッサ（１０）は、
    前記量子化ルールに従って、量子化された再構成パラメータを逆量子化し、
    得られた逆量子化された再構成パラメータを操作し、
    非直線または直線機能に従って、操作されたパラメータをマッピングする、請求項１ないし請求項１１のいずれかに記載のマルチチャネルシンセサイザ。
12. 前記ポストプロセッサ（１０）は、
    前記量子化ルールに従って、量子化された再構成パラメータを逆量子化し、
    非直線または直線機能に従って、得られた逆量子化されたパラメータをマッピングし、
    得られたマッピングされた再構成パラメータを操作する、請求項１ないし請求項１１のいずれかに記載のマルチチャネルシンセサイザ。
13. 前記ポストプロセッサ（１０）は、前記量子化ルールに従って、前記入力信号の前記後の時間部分に関連付けられる逆量子化された再構成パラメータに対して動作し、
    前記ポストプロセッサ（１０）は、さらに、前記入力信号の少なくとも１つの直前の時間部分に対して、少なくとも１つの逆量子化された再構成パラメータに基づいて、後処理された再構成パラメータを決定する、請求項１ないし請求項１２のいずれかに記載のマルチチャネルシンセサイザ。
14. 前記入力信号の時間部分は、前記入力信号の異なる周波数帯域に対する複数の量子化された再構成パラメータと関連付けられ、
    前記ポストプロセッサ（１０）は、前記入力信号の前記異なる周波数帯域に対して、後処理された再構成パラメータを決定する、請求項１ないし請求項１３のいずれかに記載のマルチチャネルシンセサイザ。
15. 前記入力信号は、マルチチャネルオーディオ信号の少なくとも２つの元のチャネルを結合することにより得られる和スペクトルであり、
    前記量子化された再構成パラメータは、チャネル間レベル差パラメータ、チャネル間時間差パラメータ、チャネル間位相差パラメータまたはチャネル間コヒーレンスパラメータである、請求項１ないし請求項１４のいずれかに記載のマルチチャネルシンセサイザ。
16. 前記入力チャネルアナライザ（１６）は、前記入力信号が有する前記信号特性を量的に示す度合いを決定し、
    前記ポストプロセッサ（１０）は、前記度合いに依存する強度を用いて後処理を実行する、請求項２ないし請求項１５のいずれかに記載のマルチチャネルシンセサイザ。
17. 前記ポストプロセッサ（１０）は、処理される前記時間部分に対して前記後処理された再構成パラメータを決定する場合に、処理される前記時間部分に関連付けられる前記量子化された再構成パラメータを用いる、請求項１ないし請求項１６のいずれかに記載のマルチチャネルシンセサイザ。
18. 前記量子化ルールは、２つの隣接する量子化レベル間の差が、数値計算を実行するためのプロセッサのプロセッサ精度により決定される２つの数間の差よりも大きくなるようになる、請求項１ないし請求項１７のいずれかに記載のマルチチャネルシンセサイザ。
19. 前記量子化された再構成パラメータは、エントロピー符号化され、エントロピー符号化された形式で前記時間部分に関連付けられ、
    前記ポストプロセッサ（１０）は、前記後処理された再構成パラメータを決定するために用いられる前記エントロピー符号化された量子化された再構成パラメータをエントロピー復号化する、請求項１ないし請求項１８のいずれかに記載のマルチチャネルシンセサイザ。
20. 前記デジタルフィルタ（１０ａ）は、ＩＩＲフィルタである、請求項７に記載のマルチチャネルシンセサイザ。
21. 前記ポストプロセッサ（１０）は、後の時間部分に対する後処理された再構成パラメータ間の差が、再量子化により、後の時間部分に関連付けられる前記量子化された再構成パラメータから導出される、後処理されていない再構成パラメータ間の差よりも小さくなるように、後処理ルールを実施する、請求項１ないし請求項２０のいずれかに記載のマルチチャネルシンセサイザ。
22. 前記後処理された量は、後処理されていない量を得るために、マッピングルールに従って、入力値を出力値に一意的にマッピングするマッピング機能だけを用いて、前記量子化された再構成パラメータから導出され、前記ポストプロセッサは、前記後処理された量を得るために前記後処理されていない量を後処理する、請求項１ないし請求項２１のいずれかに記載のマルチチャネルシンセサイザ。
23. 前記量子化された再構成パラメータは、前記入力チャネルに関連付けられる２つの絶対量間のパラメータ化された差を示す差パラメータであり、前記後処理された量は、前記入力チャネルのうちの１つに対応する出力チャネルを再生するために用いられる絶対値である、請求項１ないし請求項２２のいずれかに記載のマルチチャネルシンセサイザ。
24. 前記量子化された再構成パラメータは、チャネル間レベル差であり、前記後処理された量は、出力チャネルの絶対レベルを示し、または、
    前記量子化された再構成パラメータは、チャネル間時間差であり、前記後処理された量は、出力チャネルの絶対時間基準を示し、または、
    前記量子化された再構成パラメータは、チャネル間コヒーレンス基準であり、前記後処理された量は、出力チャネルの絶対コヒーレンスレベルを示し、または、
    前記量子化された再構成パラメータは、チャネル間位相差であり、前記後処理された量は、出力チャネルの絶対位相値を示す、請求項１ないし請求項２３のいずれかに記載のマルチチャネルシンセサイザ。
25. 入力信号から出力信号を発生する方法であって、前記入力信号は少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力チャネルの後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは１より多いか入力チャネルの数よりも多く、
    処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップ（１０）であって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるようにするステップと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップ（１２）とを備える、方法。
26. コンピュータ上で実行するときに、請求項２５に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images