JP2016530788A - 符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム - Google Patents

Abstract

符号化表現に基づいて少なくとも４つの帯域幅拡張チャネル信号を提供するオーディオデコーダであって、マルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて、第１のダウンミックス信号と第２のダウンミックス信号とを提供するよう構成される。オーディオデコーダは、マルチチャネル復号を用いて、第１のダウンミックス信号に基づいて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供するよう構成される。オーディオデコーダは、マルチチャネル復号を用いて、第２のダウンミックス信号に基づいて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するよう構成される。オーディオデコーダは、第１の帯域幅拡張チャネル信号と第３の帯域幅拡張チャネル信号とを得るために、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張を行うよう構成される。オーディオデコーダは、第２の帯域幅拡張チャネル信号と第４の帯域幅拡張チャネル信号とを得るために、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張を行うよう構成される。オーディオエンコーダは、関連する概念を採用する。【選択図】図５

Description

本発明による実施形態は、符号化表現に基づいて少なくとも４つの帯域幅拡張チャネル信号を提供するためのオーディオデコーダを提供する。

本発明による他の実施形態は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するためのオーディオエンコーダを提供する。

本発明による他の実施形態は、符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法を提供する。

本発明による他の実施形態は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法を提供する。

本発明による他の実施形態は、前記方法のうちの１つを実行するためのコンピュータプログラムを提供する。

一般的に、本発明の実施形態は、ｎ個のチャネルのジョイント符号化に関する。

近年、オーディオコンテンツの記憶および送信に対する需要が着実に増えている。また、オーディオコンテンツの記憶および送信に対する品質要求も着実に増えている。このことから、オーディオコンテンツの符号化および復号の概念が高まっている。例えば、国際規格ＩＳＯ／ＩＥＣ１３８１８−７：２００３等に記載のある「ＡＡＣ（ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）」が開発されている。また、国際規格ＩＳＯ／ＩＥＣ２３００３−１：２００７等に記載のある「ＭＰＥＧサラウンド」の概念といった空間的拡張機能もいくつか開発されている。オーディオ信号の空間的情報を符号化および復号するための付加的改良が、ＳＡＯＣ（ｓｐａｔｉａｌ ａｕｄｉｏ ｏｂｊｅｃｔ ｃｏｄｉｎｇ）に関する国際規格ＩＳＯ／ＩＥＣ２３００３−２：２０１０に記載されている。

また、一般的なオーディオ信号とスピーチ信号とを両方とも良好な符号化効率で符号化するとともにマルチチャネルオーディオ信号を処理する可能性を提供するフレキシブルなオーディオ符号化／復号概念が、「ＵＳＡＣ（ｕｎｉｆｉｅｄ ｓｐｅｅｃｈ ａｎｄ ａｕｄｉｏ ｃｏｄｉｎｇ）」に関する記載のある国際規格ＩＳＯ／ＩＥＣ２３００３−３：２０１２において定義されている。

ＭＰＥＧ ＵＳＡＣ［１］において、２つのチャネルのジョイントステレオ符号化は、帯域制限または全帯域残留信号と共に、複合予測、ＭＰＳ２−１−１、またはユニファイドステレオを用いて行われる。

ＭＰＥＧサラウンド［２］は、残留信号の送信を伴いまたは伴わずに、マルチチャネルオーディオのジョイント符号化のためのＯＴＴおよびＴＴＴボックスを階層結合する。

ＩＳＯ／ＩＥＣ２３００３−３：２０１２−Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ − ＭＰＥＧ Ａｕｄｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｐａｒｔ ３：Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ． ＩＳＯ／ＩＥＣ２３００３−１：２００７−Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ − ＭＰＥＧ Ａｕｄｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｐａｒｔ １：ＭＰＥＧ Ｓｕｒｒｏｕｎｄ．

しかし、３次元オーディオシーンの効率的な符号化および復号のためのより高度な概念の提供への要望がある。

本発明による実施形態は、符号化表現に基づいて少なくとも４つの帯域幅拡張チャネル信号を提供するためのオーディオデコーダを提供する。オーディオデコーダは、（第１の）マルチチャネル復号を用いて、第１のダウンミックス信号と第の２ダウンミックス信号とのジョイント符号化表現に基づいて、第１のダウンミックス信号と第２のダウンミックス信号とを提供するよう構成される。オーディオデコーダは、（第２の）マルチチャネル復号を用いて、第１のダウンミックス信号に基づいて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供し、（第３の）マルチチャネル復号を用いて、第２のダウンミックス信号に基づいて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するよう構成される。オーディオデコーダは、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張を行って第１の帯域幅拡張チャネル信号と第３の帯域幅拡張チャネル信号とを得るよう構成される。また、オーディオデコーダは、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張を行って第２の帯域幅拡張チャネル信号と第４の帯域幅拡張チャネル信号とを得るよう構成される。

本発明によるこの実施形態は、オーディオデコーダの第２のステージにおいて異なるダウンミックス信号に基づいて得られたオーディオチャネル信号をマルチチャネル帯域幅拡張に用いる場合、階層型オーディオデコーダにおいて特に良好な帯域幅拡張結果が得られるという知見に基づく。ここで、異なるダウンミックス信号は、オーディオデコーダの第１のステージにおいてジョイント符号化表現から導出されるものである。オーディオシーンの知覚的に特に重要な位置と関連付けられるダウンミックス信号が階層型オーディオデコーダの第１のステージにおいて分離される一方、聴覚印象にとってそれほど重要でない空間位置が階層型オーディオデコーダの第２のステージにおいて分離されると、特に良好なオーディオ品質が得られることが分かっている。また、オーディオシーンの異なる知覚的に重要な位置（例えば、オーディオシーンの位置であって、前記位置からの信号間の関係が知覚的に重要であるような位置）と関連付けられるオーディオチャネル信号は、マルチチャネル帯域幅拡張においてジョイント処理されるべきことが分かっている。こうすることで、マルチチャネル帯域幅拡張は、これらの聴覚的に重要な位置からの信号間の依存関係および違いを考慮することができるからである。これは、（階層型オーディオデコーダの第２のステージにおいて第１のダウンミックス信号から導出される）第１のオーディオチャネル信号と階層型オーディオデコーダの第２のステージにおいて第２のダウンミックス信号から導出される第３のオーディオチャネル信号とに基づいてマルチチャネル帯域幅拡張を行うことによって、２つの帯域幅拡張チャネル信号（すなわち、第１の帯域幅拡張チャネル信号および第３の帯域幅拡張チャネル信号）を得ることで、実現される。よって、（ジョイント）マルチチャネル帯域幅拡張は、階層型マルチチャネルデコーダの第２のステージにおいて異なるダウンミックス信号から導出されたオーディオチャネル信号に基づいて行われ、第１のオーディオチャネル信号と第３のオーディオチャネル信号との間の関係は、第１のダウンミックス信号と第２のダウンミックス信号との間の関係に類似する（または、第１ダウンミックス信号と第２ダウンミックス信号との間の関係によって決定される）。このように、オーディオデコーダの第１ステージで行われる、マルチチャネル復号を用いた第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現からの第１のダウンミックス信号と第２のダウンミックス信号との導出によって実質的に決定される当該関係（例えば、第１のオーディオチャネル信号と第３のオーディオチャネル信号との間の関係）を、マルチチャネル帯域幅拡張で用いることができる。したがって、マルチチャネル帯域幅拡張は、階層型オーディオデコーダの第１のステージにおいて高精度で再生可能なこの関係を利用することができ、それによって、特に良好な聴覚印象が達成される。

好適な実施形態において、第１のダウンミックス信号および第２のダウンミックス信号は、オーディオシーンの異なる水平位置（または方位位置）と関連付けられる。人間の聴覚系は、異なる水平位置に対して特に感受性が高いことから、異なる水平オーディオ位置（または方位位置）間を区別することがとりわけ適切であることが分かっている。よって、階層型オーディオデコーダの第１のステージにおける処理は、典型的に後続ステージの処理よりも精度が高いことから、階層型オーディオデコーダの第１のステージにおいてオーディオシーンの異なる水平位置と関連付けられたダウンミックス信号間を分離することは、有利である。また、結果的に、（第１の）マルチチャネル帯域幅拡張で結合的に用いられる第１のオーディオチャネル信号および第３のオーディオチャネル信号は、オーディオシーンの異なる水平位置と関連付けられ（なぜなら、階層型オーディオデコーダの第２のステージにおいて、第１のオーディオチャネル信号は、第１のダウンミックス信号から導出され、第３のオーディオチャネル信号は、第２のダウンミックス信号から導出されるからである）、これにより、（第１の）マルチチャネル帯域幅拡張が、異なる水平位置間を区別する人間の能力にうまく適合する。同様に、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて行われる（第２の）マルチチャネル帯域幅拡張も、オーディオシーンの異なる水平位置と関連付けられるオーディオチャネル信号上で動作し、それによって、（第２の）マルチチャネル帯域幅拡張も、オーディオシーンの異なる水平位置と関連付けられるオーディオチャネル信号間の心理音響的に重要な関係にうまく適合する。こうして、特に良好な聴覚印象が達成される。

好適な実施形態において、第１のダウンミックス信号は、オーディオシーンの左側と関連付けられ、第２のダウンミックス信号は、オーディオシーンの右側と関連付けられる。したがって、第１のオーディオチャネル信号は、典型的に、オーディオシーンの左側と関連付けられ、第３のオーディオチャネル信号は、オーディオシーンの右側と関連付けられ、それによって、（第１の）マルチチャネル帯域幅拡張は、オーディオシーンの異なる側からのオーディオチャネル信号上で（好ましくは結合的に）動作し、人間の左右の知覚にうまく適合する。同様のことが、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて動作する（第２の）マルチチャネル帯域幅拡張にも当てはまる。

好適な実施形態において、第１のオーディオチャネル信号および第２のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられる。同様に、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられる。階層型オーディオデコーダの第２のステージにおいてオーディオシーンの垂直近傍位置と関連付けられるオーディオチャネル信号間を分離することが有利であることが分かっている。また、典型的に、垂直近傍位置と関連付けられるオーディオチャネル信号間を分離することによってオーディオチャネル信号は大幅に劣化せず、それによって、マルチチャネル帯域幅拡張への入力信号は、マルチチャネル帯域幅拡張（例えば、ステレオ帯域幅拡張）に適したままであることが分かっている。

好適な実施形態において、第１のオーディオチャネル信号および第３のオーディオチャネル信号は、オーディオシーンの第１の共通水平面（または第１の共通高度）ではあるがオーディオシーンの異なる水平位置（または方位位置）と関連付けられ、第２のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの第２の共通水平面（または第２共通高度）ではあるが、オーディオシーンの異なる水平位置（または方位位置）と関連付けられる。この場合、第１の共通水平面（または高度）は、第２の共通水平面（または高度）と異なる。同一水平面（または高度）と関連付けられる２つのオーディオチャネル信号に基づいてマルチチャネル帯域幅拡張を行うことで、特に良好な品質結果が得られることが分かっている。

好適な実施形態において、第１のオーディオチャネル信号および第２のオーディオチャネル信号は、オーディオシーンの第１の共通垂直面（または共通方位位置）ではあるが、オーディオシーンの異なる垂直位置（または高度）と関連付けられる。同様に、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの第２の共通垂直面（または共通方位位置）ではあるが、オーディオシーンの異なる垂直位置（または高度）と関連付けられる。この場合、第１の共通垂直面（または方位位置）は、好ましくは、第２の共通垂直面（または方位位置）と異なる。共通垂直面（または方位位置）と関連付けられるオーディオチャネル信号の分割（または分離）は、階層型オーディオデコーダの第２のステージを用いて、良好な結果を伴って行われる一方、異なる垂直面（または方位位置）と関連付けられるオーディオチャネル信号間の分離（または分割）は、階層型オーディオデコーダの第１ステージを用いて良好な品質結果を伴って行われることが分かっている。

好適な実施形態において、第１のオーディオチャネル信号および第２のオーディオチャネル信号は、オーディオシーンの左側と関連付けられ、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの右側と関連付けられる。このような構成により、特に良好なマルチチャネル帯域幅拡張が可能になる。このマルチチャネル帯域幅拡張は、左側と関連付けられるオーディオチャネル信号と右側と関連付けられるオーディオチャネル信号との間の関係を利用することで、左側からの音と右側からの音とを区別する人間の能力にうまく適合する。

好適な実施形態において、第１のオーディオチャネル信号および第３のオーディオチャネル信号は、オーディオシーンの下部と関連付けられ、第２のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの上部と関連付けられる。このようなオーディオチャネル信号の空間的配分により、特に良好な聴覚結果が得られることが分かっている。

好適な実施形態において、オーディオデコーダは、マルチチャネル復号を用いて第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて第１のダウンミックス信号と第２のダウンミックス信号とを提供する際、水平分割を行うよう構成される。階層型オーディオデコーダの第１のステージで水平分割を行うことで、特に良好な聴覚印象が得られることが分かっている。なぜなら、階層型オーディオデコーダの第１のステージにおいて実行される処理は、典型的に、階層型オーディオデコーダの第２のステージにおいて実行される処理より高性能であるからである。また、オーディオデコーダの第１のステージで水平分割を行うことで、良好な聴覚印象が得られる。なぜなら、人間の聴覚系は、オーディオオブジェクトの垂直位置と比べて、オーディオオブジェクトの水平位置に対してより感受性が高いからである。

好適な実施形態において、オーディオデコーダは、マルチチャネル復号を用いて第１のダウンミックス信号に基づいて少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供する際、垂直分割を行うよう構成される。同様に、オーディオデコーダは、好ましくは、マルチチャネル復号を用いて第２のダウンミックス信号に基づいて少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供する際、垂直分割を行うよう構成される。階層型デコーダの第２のステージで垂直分割を行うことで、良好な聴覚印象が得られることが分かっている。なぜなら、人間の聴覚系は、音源（またはオーディオオブジェクト）の垂直位置に対して特に感受性が高くないからである。

好適な実施形態において、オーディオデコーダは、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、ステレオ帯域幅拡張を行って第１の帯域幅拡張チャネル信号と第３の帯域幅拡張チャネル信号とを得るように構成される。ここで、第１のオーディオチャネル信号と第３のオーディオチャネル信号とは、第１も左右チャネル対を表す。同様に、オーディオデコーダは、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、ステレオ帯域幅拡張を行って第２の帯域幅拡張チャネル信号と第４の帯域幅拡張チャネル信号とを得るよう構成される。ここで、第２のオーディオチャネル信号と第４のオーディオチャネル信号とは、第２の左右チャネル対を表す。ステレオ帯域幅拡張により、特に良好な聴覚印象が得られることが分かっている。なぜなら、ステレオ帯域幅拡張は、左ステレオチャネルと右ステレオチャネルとの間の関係を考慮し、この関係に依存した帯域幅拡張を行うことができるからである。

好適な実施形態において、オーディオデコーダは、予測ベースマルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて、第１のダウンミックス信号と第２のダウンミックス信号とを提供するよう構成される。階層型オーディオデコーダの第１のステージにおいて予測ベースマルチチャネル復号を使用することで、ビットレートと品質との間の良好なトレードオフが可能になることが分かっている。予測の利用により、オーディオオブジェクトの左右の区別に重要な、第１のダウンミックス信号と第２のダウンミックス信号との違いの良好な復元が可能になることが分かっている。

例えば、オーディオデコーダは、以前のフレームの信号成分を用いて導出される信号成分の、現在のフレームのダウンミックス信号の提供への寄与を記述する予測パラメータを評価するよう構成されてもよい。よって、以前のフレームの信号成分を用いて導出される信号成分の寄与度を、符号化表現に含まれるパラメータに基づいて調整することができる。

例えば、予測ベースマルチチャネル復号は、ＭＤＣＴドメインで動作してもよく、それによって、予測ベースマルチチャネル復号は、第１のダウンミックス信号と第２のダウンミックス信号とを導出するマルチチャネル復号へ入力信号を提供するオーディオ復号ステージに、うまく適合し、容易に相互作用してもよい。必須ではないが、好ましくは、予測ベースマルチチャネル復号は、オーディオデコーダの実施を促進するＵＳＡＣ複合ステレオ予測であってもよい。

好適な実施形態において、オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて、第１のダウンミックス信号と第２のダウンミックス信号とを提供するよう構成される。残留信号支援マルチチャネル復号を用いることで、第１のダウンミックス信号と第２のダウンミックス信号との特に正確な再構成が可能になり、オーディオチャネル信号に基づく、ひいては、帯域幅拡張チャネル信号に基づく、左右の位置知覚が向上する。

好適な実施形態において、オーディオデコーダは、パラメータベースマルチチャネル復号を用いて、第１のダウンミックス信号に基づいて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供するよう構成される。また、オーディオデコーダは、パラメータベースマルチチャネル復号を用いて、第２のダウンミックス信号に基づいて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するよう構成される。パラメータベースマルチチャネル復号の使用により、階層型オーディオデコーダの第２のステージによく適合することが分かっている。パラメータベースマルチチャネル復号により、オーディオ品質とビットレートとの間の良好なトレードオフが可能になることが分かっている。パラメータベースマルチチャネル復号の再生品質が典型的に予測ベース（および、残留信号支援の可能性もある）マルチチャネル復号の再生品質ほど良好でなくても、パラメータベースマルチチャネル復号の使用が典型的に十分であることが分かっている。なぜなら、人間の聴覚系は、オーディオオブジェクトの垂直位置（または高度）に対して特に敏感ではないからである。これは、好ましくは、第１のオーディオチャネル信号と第２のオーディオチャネル信号との間、または、第３のオーディオチャネル信号と第４のオーディオチャネル信号との間、の分散（または分離）によって決定される。

好適な実施形態において、パラメータベースマルチチャネル復号は、それぞれのダウンミックス信号に基づいて２つ以上のオーディオチャネル信号を提供するために、２つのチャネル間の所望の相関関係（または共分散）および／または２つのチャネル間のレベル差を記述する１つ以上のパラメータを評価するよう構成される。例えば、２つのチャネル間の所望の相関関係および／または２つのチャネル間のレベル差を記述するパラメータの使用は、（典型的に、オーディオシーンの異なる垂直位置と関連付けられる）第１のオーディオチャネルおよび第２のオーディオチャネルの信号間の分割（または分離）、および、（典型的に、異なる垂直位置と関連付けられる）第３のオーディオチャネル信号と第４のオーディオチャネル信号との間の分割（または分離）に適することが分かっている。

例えば、パラメータベースマルチチャネル復号は、ＱＭＦドメインで動作してもよい。よって、パラメータベースマルチチャネル復号は、必須ではないが、好ましくは、ＱＭＦドメインで動作し得るマルチチャネル帯域幅拡張にうまく適合し、容易に相互作用してもよい。

例えば、パラメータベースマルチチャネル復号は、ＭＰＥＧサラウンド２−１−２復号またはユニファイドステレオ復号であってもよい。このような符号化概念の使用は、実施を促進し得る。なぜなら、これらの復号概念は、既にレガシーオーディオデコーダに存在し得るからである。

好適な実施形態において、オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、第１のダウンミックス信号に基づいて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供するよう構成される。また、オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、第２のダウンミックス信号に基づいて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するよう構成されてもよい。残留信号支援マルチチャネル復号を用いることで、オーディオ品質が向上し得る。なぜなら、第１のオーディオチャネル信号と第２のオーディオチャネル信号との間の分離および／または第３のオーディオチャネル信号と第４のオーディオチャネル信号との間の分離を、特に高い品質で行うことができるからである。

好適な実施形態において、オーディオデコーダは、マルチチャネル復号を用いて、第１の残留信号と第の２残留信号とのジョイント符号化表現に基づいて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供するのに用いられる第１の残留信号と、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するのに用いられる第２の残留信号とを提供するよう構成される。こうして、階層型復号の概念を、２つの残留信号の提供に拡張してもよい。残留信号のうちの１つは、第１のオーディオチャネル信号と第２のオーディオチャネル信号との提供に用いられ（但し、典型的に、第３のオーディオチャネル信号と第４のオーディオチャネル信号との提供には用いられない）、残留信号のうちの１つは、第３のオーディオチャネル信号と第４のオーディオチャネル信号との提供に用いられる（但し、好ましくは、第１のオーディオチャネル信号と第２のオーディオチャネル信号との提供には用いられない）。

好適な実施形態において、第１の残留信号および第２の残留信号は、オーディオシーンの異なる水平位置（または方位位置）と関連付けられてもよい。このように、階層型オーディオデコーダの第１のステージで行われる第１の残留信号と第２の残留信号との提供では、水平分割（または分離）を行ってもよい。ここで、（階層型オーディオデコーダの第２のステージで行われる処理と比べて）階層型オーディオデコーダの第１のステージでは、特に良好な水平分割（または分離）が可能であることが分かっている。したがって、聞き手にとって特に重要な水平分離を、特に良好な再生を実現する階層型オーディオ復号の第１のステージで行うことで、良好な聴覚印象が得られる。

好適な実施形態において、第１の残留信号は、オーディオシーンの左側と関連付けられ、第２の残留信号は、オーディオシーンの右側と関連付けられる。これは、人間の位置感度に適合する。

本発明の実施形態は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するためのオーディオエンコーダを提供する。オーディオエンコーダは、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、共通帯域幅拡張パラメータの第１の組を得るよう構成される。オーディオエンコーダは、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、共通帯域幅拡張パラメータの第２の組を得るよう構成される。オーディオエンコーダは、第１のダウンミックス信号を得るために、マルチチャネル符号化を用いて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とをジョイント符号化し、第２のダウンミックス信号を得るために、マルチチャネル符号化を用いて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とをジョイント符号化するよう構成される。また、オーディオエンコーダは、ダウンミックス信号の符号化表現を得るために、マルチチャネル符号化を用いて、第１のダウンミックス信号と第２のダウンミックス信号とをジョイント符号化するよう構成される。

この実施形態は、共通帯域幅拡張パラメータの第１の組が、階層型オーディオエンコーダの第２のステージにおいてジョイント符号化のみされる異なるダウンミックス信号により表されるオーディオチャネル信号に基づいて得られるべきであるという考えに基づく。上述したオーディオデコーダと並行して、階層型オーディオ符号化の第２のステージにおいてのみ結合されるオーディオチャネル信号間の関係を、オーディオデコーダ側で特に高い精度で再生できる。よって、階層型エンコーダの第２のステージにおいてのみ効果的に結合される２つのオーディオ信号は、共通帯域幅拡張パラメータの組を得るのに適することが分かっている。なぜなら、マルチチャネル帯域幅拡張は、オーディオデコーダ側でその関係が良好に再構成されるオーディオチャネル信号に最適であるからである。したがって、実現可能なオーディオ品質という観点において、階層型オーディオエンコーダの第１のステージで結合されるオーディオチャネル信号から共通帯域幅拡張パラメータの組を得ることに比べて、階層型オーディオエンコーダの第２のステージにおいてのみ結合されるオーディオチャネル信号から共通帯域幅拡張パラメータの組を導出するほうがよいことが分かっている。但し、最良のオーディオ品質は、階層型オーディオエンコーダの第１のステージでジョイント符号化される前にオーディオチャネル信号から共通帯域幅拡張パラメータの組を導出することによって得られることが分かっている。

好適な実施形態において、第１のダウンミックス信号および第２のダウンミックス信号は、オーディオシーンの異なる水平位置（または方位位置）と関連付けられる。この概念は、異なる水平位置と関連付けられる信号が階層型オーディオエンコーダの第２のステージにおいてジョイント符号化のみされる場合に最良の聴覚印象が得られるという考えに基づく。

好適な実施形態において、第１のダウンミックス信号は、オーディオシーンの左側と関連付けられ、第２のダウンミックス信号は、オーディオシーンの右側と関連付けられる。こうして、オーディオシーンの異なる側と関連付けられるマルチチャネル信号を用いて、共通帯域幅拡張パラメータの組が提供される。その結果、共通帯域幅拡張パラメータの組は、異なる側の音源を区別する人間の能力にうまく適合する。

好適な実施形態において、第１のオーディオチャネル信号および第２のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられる。また、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられる。オーディオシーンの垂直近傍位置と関連付けられるオーディオチャネル信号を階層型エンコーダの第１のステージでジョイント符号化することで良好な聴覚印象が得られる一方、垂直近傍位置と関連付けられていない（が、異なる水平位置または異なる方位位置と関連付けられる）オーディオチャネル信号から共通帯域幅拡張パラメータの組を導出するほうがよいことが分かっている。

好適な実施形態において、第１のオーディオチャネル信号および第３のオーディオチャネル信号は、オーディオシーンの第１の共通水平面（または第１の共通高度）ではあるが、オーディオシーンの異なる水平位置（または方位位置）と関連付けられ、第２のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの第２の共通水平面（または第２共通高度）ではあるが、オーディオシーンの異なる水平位置（または方位位置）と関連付けられ、第１の水平面は、第２の水平面と異なる。このようなオーディオチャネル信号の空間的関連付けによって、特に良好なオーディオ符号化結果（ひいては、オーディオ復号結果）が得られることが分かっている。

好適な実施形態において、第１のオーディオチャネル信号および第２のオーディオチャネル信号は、オーディオシーンの第１の垂直面（または第１の方位位置）ではあるがオーディオシーンの異なる垂直位置（または異なる高度）と関連付けられる。また、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、好ましくは、オーディオシーンの第２の垂直面（または第２の方位位置）ではあるが、オーディオシーンの異なる垂直位置（または異なる高度）と関連付けられ、第１の共通垂直面は、第２の共通垂直面と異なる。このようなオーディオチャネル信号の空間的関連付けによって、良好なオーディオ符号化品質が得られることが分かっている。

好適な実施形態において、第１のオーディオチャネル信号および第２のオーディオチャネル信号は、オーディオシーンの左側と関連付けられ、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの右側と関連付けられる。この結果、典型的に効率的なビットレートで復号を行うと共に、良好な聴覚印象が得られる。

好適な実施形態において、第１のオーディオチャネル信号および第３のオーディオチャネル信号は、オーディオシーンの下部と関連付けられ、第２のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの上部と関連付けられる。この構成は、良好な聴覚印象を伴う効率的なオーディオ符号化に寄与する。

好適な実施形態において、オーディオエンコーダは、マルチチャネル符号化を用いて、第１のダウンミックス信号と第２のダウンミックス信号とに基づいてダウンミックス信号の符号化表現を提供する際、水平結合を行うよう構成される。オーディオデコーダに関する上述の説明と並行して、（オーディオエンコーダの第１のステージと比べて）オーディオエンコーダの第２のステージで水平結合を行うことで、特に良好な聴覚印象が得られることが分かっている。なぜなら、オーディオオブジェクトの水平位置は、聞き手にとって特に高い関連性があり、階層型オーディオエンコーダの第２のステージは、典型的に、階層型オーディオデコーダの第１のステージに対応するからである。

好適な実施形態において、オーディオエンコーダは、マルチチャネル復号を用いて、第１のオーディオチャネル信号と第２のオーディオチャネル信号とに基づいて第１のダウンミックス信号を提供する際、垂直結合を行うよう構成される。また、オーディオエンコーダは、好ましくは、第３のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて第２ダウンミックス信号を提供する際、垂直結合を行うよう構成される。よって、垂直結合が、オーディオエンコーダの第１のステージで行われる。これは、オーディオオブジェクトの垂直位置が、典型的に、オーディオオブジェクトの水平位置ほど聞き手にとって重要ではなく、階層型符号化（ひいては、階層型復号）に起因する再生劣化が適度に低く維持されるため、有利である。

好適な実施形態において、オーディオエンコーダは、予測ベースマルチチャネル符号化を用いて、第１のダウンミックス信号と第２のダウンミックス信号とに基づいて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現を提供するよう構成される。このような予測ベースマルチチャネル符号化は、階層型エンコーダの第２のステージで行われるジョイント符号化に適することが分かっている。オーディオデコーダに関する上述の説明を参照し、同様にここにおいて適用する。

好適な実施形態において、以前のフレームの信号成分を用いて導出される信号成分の、現在のフレームのダウンミックス信号の提供への寄与を記述する予測パラメータが、予測ベースマルチチャネル符号化を用いて提供される。よって、以前のフレームの信号成分を用いて導出される信号要素の、現在のフレームのダウンミックス信号の提供への寄与を記述する予測パラメータを適用する、オーディオエンコーダ側で、良好な信号再構成が可能となる。

好適な実施形態において、予測ベースマルチチャネル符号化は、ＭＤＣＴドメインで動作する。したがって、予測ベースマルチチャネル符号化は、（例えば、共通ダウンミックス信号の）予測ベースマルチチャネル符号化の出力信号の最終符号化にうまく適合する。この最終符号化は、典型的に、ブロッキングアーティファクトを適度に少なく抑えるため、ＭＤＣＴドメインで実行される。

好適な実施形態において、予測ベースマルチチャネル符号化は、ＵＳＡＣ複合ステレオ予測符号化である。ＵＳＡＣ複合ステレオ予測符号化を用いることで、既存のハードウェアおよび／またはプログラムコードを階層型オーディオエンコーダの実施に容易に再利用できるため、実施が促進される。

好適な実施形態において、オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、第１のダウンミックス信号と第２のダウンミックス信号とに基づいて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現を提供するよう構成される。こうして、オーディオデコーダ側で、特に良好な再生品質が実現される。

好適な実施形態において、オーディオエンコーダは、パラメータベースマルチチャネル符号化を用いて、第１のオーディオチャネル信号と第２のオーディオチャネル信号とに基づいて、第１のダウンミックス信号を提供するよう構成される。また、オーディオエンコーダは、パラメータベースマルチチャネル符号化を用いて、第３のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、第２のダウンミックス信号を導出するよう構成される。パラメータベースマルチチャネル符号化の使用により、階層型オーディオエンコーダの第１のステージでの適用時に、再生品質とビットレートの間の良好な折り合いが得られることが分かっている。

好適な実施形態において、パラメータベースマルチチャネル符号化は、２つのチャネル間の所望の相関関係および／または２つのチャネル間のレベル差を記述する１つ以上のパラメータを提供するよう構成される。こうして、オーディオ品質の大幅な劣化なしに、適度なビットレートで効率的に符号化を行うことができる。

好適な実施形態において、パラメータベースマルチチャネル符号化は、ＱＭＦドメインで動作し、これは、オーディオチャネル信号に行われ得る前処理にうまく適合する。

好適な実施形態において、パラメータベースマルチチャネル符号化は、ＭＰＥＧサラウンド２−１−２符号化またはユニファイドステレオ符号化である。このような符号化概念の使用は、実施の手間を大幅に軽減する。

好適な実施形態において、オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、第１のオーディオチャネル信号と第２のオーディオチャネル信号とに基づいて、第１のダウンミックス信号を提供するよう構成される。また、オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、第３のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、第２のダウンミックス信号を提供するよう構成されてもよい。こうして、より良好なオーディオ品質が得られる。

好適な実施形態において、オーディオエンコーダは、マルチチャネル符号化を用いて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とをジョイント符号化する際に得られる第１の残留信号と、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とをジョイント符号化する際に得られる第２の残留信号とのジョイント符号化表現を提供するよう構成される。階層型符号化概念は、階層型オーディオ符号化の第１のステージで提供される残留信号にも適用できることが分かっている。残留信号のジョイント符号化によって、オーディオチャネル信号間の依存関係（または相関関係）を利用することができる。なぜなら、これらの依存関係（または相関関係）は、典型的に、残留信号にも反映されているからである。

好適な実施形態において、第１の残留信号および第２の残留信号は、オーディオシーンの異なる水平位置（または方位位置）と関連付けられる。こうして、階層型符号化の第２のステージにおいて、残留信号間の依存関係を高精度で符号化できる。これによって、オーディオデコーダ側で、良好な聴覚印象と共に、異なる水平位置（または方位位置）間の依存関係（または相関関係）を再生することができる。

好適な実施形態において、第１の残留信号は、オーディオシーンの左側と関連付けられ、第２の残留信号は、オーディオシーンの右側と関連付けられる。よって、オーディオシーンの異なる水平位置（または方位位置）と関連付けられる第１の残留信号と第２の残留信号とのジョイント符号化が、オーディオエンコーダの第２のステージで行われ、オーディオデコーダ側での高品質再生が可能になる。

本発明による好適な実施形態は、符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法を提供する。当該方法は、（第１の）マルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて、第１のダウンミックス信号と第２のダウンミックス信号とを提供するステップを備える。当該方法は、また、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、（第１の）マルチチャネル帯域幅拡張を行って第１の帯域幅拡張チャネル信号と第３の帯域幅拡張チャネル信号とを得るステップを備える。当該方法は、また、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、（第２の）マルチチャネル帯域幅拡張を行って第２の帯域幅拡張チャネル信号と第４の帯域幅拡張チャネル信号とを得るステップを備える。この方法は、上述したオーディオデコーダと同じ考察に基づく。

本発明による好適な実施形態は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法を提供する。当該方法は、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、共通帯域幅拡張パラメータの第１の組を得るステップを備える。当該方法は、また、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、共通帯域幅拡張パラメータの第２の組を得るステップを備える。当該方法は、更に、マルチチャネル符号化を用いて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とをジョイント符号化して第１のダウンミックス信号を得、マルチチャネル符号化を用いて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とをジョイント符号化して第２のダウンミックス信号を得るステップを備える。当該方法は、更に、マルチチャネル符号化を用いて、第１のダウンミックス信号と第２のダウンミックス信号とをジョイント符号化してダウンミックス信号の符号化表現を得るステップを備える。当該方法は、上述したオーディオエンコーダと同じ考察に基づく。

本発明によるさらなる実施形態は、本明細書に記載の方法を実行するためのコンピュータプログラムを提供する。

本発明による実施形態を、添付図面を参照しながら以下に説明する。
本発明の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の実施形態による少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法のフローチャートである。 本発明の実施形態による符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法のフローチャートである。 本発明の実施形態による少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法のフローチャートである。 本発明の実施形態による符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法のフローチャートである。 本発明の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の他の実施形態によるオーディオエンコーダの概略ブロック図である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 図１３によるオーディオエンコーダで使用可能なビットストリームの構文表現である。 パラメータｑｃｅＩｎｄｅｘの異なる値の表表現である。 本発明による概念を用いることができる３Ｄオーディオエンコーダの概略ブロック図である。 本発明による概念を用いることができる３Ｄオーディオデコーダの概略ブロック図である。 フォーマットコンバータの概略ブロック図である。 本発明の実施形態によるクワッドチャネル要素（ＱＣＥ）のトポロジー構造のグラフ表現である。 本発明の実施形態によるオーディオデコーダの概略ブロック図である。 本発明の実施形態によるＱＣＥデコーダの詳細な概略ブロック図である。 本発明の実施形態によるクワッドチャネルエンコーダの詳細な概略ブロック図である。

（１．図１のオーディオエンコーダ）
図１は、全体において１００で表されるオーディオエンコーダの概略ブロック図を示す。オーディオエンコーダ１００は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するよう構成される。オーディオエンコーダ１００は、第１のオーディオチャネル信号１１０と、第２のオーディオチャネル信号１１２と、第３のオーディオチャネル信号１１４と、第４のオーディオチャネル信号１１６とを受信するよう構成される。また、オーディオエンコーダ１００は、残留信号のジョイント符号化表現１３０と共に、第１のダウンミックス信号１２０および第２のダウンミックス信号１２２の符号化表現を提供するよう構成される。オーディオエンコーダ１００は、残留信号支援マルチチャネルエンコーダ１４０を含む。残留信号支援マルチチャネルエンコーダ１４０は、残留信号支援マルチチャネル符号化を用いて第１のオーディオチャネル信号１１０と第２のオーディオチャネル信号１１２とをジョイント符号化して、第１のダウンミックス信号１２０と第１の残留信号１４２とを得るよう構成される。オーディオ信号エンコーダ１００は、また、残留信号支援マルチチャネルエンコーダ１５０を含む。残留信号支援マルチチャネルエンコーダ１５０は、残留信号支援マルチチャネル符号化を用いて少なくとも第３のオーディオチャネル信号１１４と第４のオーディオチャネル信号１１６とをジョイント符号化して、第２のダウンミックス信号１２２と第２の残留信号１５２とを得るよう構成される。オーディオデコーダ１００は、また、マルチチャネルエンコーダ１６０を含む。マルチチャネルエンコーダ１６０は、マルチチャネル符号化を用いて第１の残留信号１４２と第２の残留信号１５２とをジョイント符号化して、残留信号１４２，１５２のジョイント符号化表現１３０を得るよう構成される。

オーディオエンコーダ１００の機能に関して、オーディオエンコーダ１００は、階層型符号化を行う。ここで、第１のオーディオチャネル信号１１０と第２のオーディオチャネル信号１１２とは、残留信号支援マルチチャネル符号化１４０を用いてジョイント符号化され、第１のダウンミックス信号１２０と第１の残留信号１４２との両方が提供される。第１の残留信号１４２は、例えば、第１のオーディオチャネル信号１１０と第２のオーディオチャネル信号１１２との間の違いを記述してもよく、および／または、第１のダウンミックス信号１２０および残留信号支援マルチチャネルエンコーダ１４０により提供され得る任意のパラメータによって表すことができない何らかの信号特徴を記述してもよい。言い換えれば、第１の残留信号１４２は、第１のダウンミックス信号１２０および残留信号支援マルチチャネルエンコーダ１４０により提供され得る任意の可能なパラメータに基づいて得られる復号結果の改良を可能にする残留信号であってもよい。例えば、第１の残留信号１４２は、高レベル信号特性（例：相関特性、共分散特性、レベル差特性等）の単なる再構成と比べて、少なくとも、オーディオデコーダ側での第１のオーディオチャネル信号１１０および第２オのーディオチャネル信号１１２の部分波形再構成を可能にしてもよい。同様に、残留信号支援マルチチャネルエンコーダ１５０は、第３のオーディオチャネル信号１１４と第４のオーディオチャネル信号１１６とに基づいて、第２のダウンミックス信号１２２と第２の残留信号１５２との両方を提供し、それによって、第２の残留信号は、オーディオデコーダ側での第３のオーディオチャネル信号１１４および第４のオーディオチャネル信号１１６の信号再構成の改良を可能にする。第２の残留信号１５２は、結果として、第１の残留信号１４２と同じ機能を果たし得る。しかし、オーディオチャネル信号１１０，１１２，１１４および１１６が何らかの相関性を含む場合、第１の残留信号１４２および第２の残留信号１５２は、典型的に、ある程度相関関係にある。したがって、相関信号のマルチチャネル符号化が依存関係を利用することによってビットレートを典型的木に低減するので、マルチチャネルエンコーダ１６０を用いた第１の残留信号１４２と第２の残留信号１５２とのジョイント符号化は、典型的に、高い効率性を有する。よって、残留信号のジョイント符号化表現１３０のビットレートを適度に低く抑えながら、第１の残留信号１４２と第２の残留信号１５２とを高精度で符号化することができる。

要約すると、図１による実施形態は、階層型マルチチャネル符号化を提供する。当該階層型マルチチャネル符号化において、残留信号支援マルチチャネルエンコーダ１４０，１５０を用いることによって良好な再生品質が得られ、第１の残留信号１４２と第２の残留信号１５２とをジョイント符号化することによってビットレート要求を適度に保つことができる。

オーディオエンコーダ１００のさらなる任意の改良も可能である。これらの改良の一部を、図４，１１および１２を参照して説明する。但し、オーディオエンコーダ１００は、本明細書に記載のオーディオデコーダと並列に適応可能であり、オーディオエンコーダの機能は、典型的にオーディオデコーダの機能を逆にしたものである。

（２．図２によるオーディオデコーダ）
図２は、全体において２００で表されるオーディオデコーダの概略ブロック図を示す。

オーディオデコーダ２００は、第１の残留信号と第２の残留信号とのジョイント符号化表現２１０を含む符号化表現を受信するよう構成される。オーディオデコーダ２００は、また、第１のダウンミックス信号２１２と第２のダウンミックス信号２１４との表現を受信する。オーディオデコーダ２００は、第１のオーディオチャネル信号２２０と、第２のオーディオチャネル信号２２２と、第３のオーディオチャネル信号２２４と、第４のオーディオチャネル信号２２６とを提供するよう構成される。

オーディオデコーダ２００は、マルチチャネルデコーダ２３０を含む。マルチチャネルデコーダ２３０は、第１の残留信号２３２と第２の残留信号２３４とのジョイント符号化表現２１０に基づいて、第１の残留信号２３２と第２の残留信号２３４とを提供するよう構成される。オーディオデコーダ２００は、また、（第１の）残留信号支援マルチチャネルデコーダ２４０を含む。（第１の）残留信号支援マルチチャネルデコーダ２４０は、マルチチャネル復号を用いて、第１のダウンミックス信号２１２と第１の残留信号２３２とに基づいて、第１のオーディオチャネル信号２２０と第２のオーディオチャネル信号２２２とを提供するよう構成される。オーディオデコーダ２００は、また、（第２の）残留信号支援マルチチャネルデコーダ２５０を含む。（第２の）残留信号支援マルチチャネルデコーダ２５０は、第２のダウンミックス信号２１４と第２の残留信号２３４とに基づいて、第３のオーディオチャネル信号２２４と第４のオーディオチャネル信号２２６とを提供するよう構成される。

オーディオデコーダ２００の機能に関して、オーディオ信号デコーダ２００は、（第１の）共通残留信号支援マルチチャネル復号２４０に基づいて第１のオーディオチャネル信号２２０と第２のオーディオチャネル信号２２２とを提供し、マルチチャネル復号の復号品質は、第１の残留信号２３２によって高くなる（非残留信号支援復号と比較した場合）。言い換えれば、第１のダウンミックス信号２１２は、第１のオーディオチャネル信号２２０と第２のオーディオチャネル信号２２２とに関する「粗い」情報を提供し、例えば、第１のオーディオチャネル信号２２０と第２のオーディオチャネル信号２２２との間の違いを、残留信号支援マルチチャネルデコーダ２４０により受信し得る（任意の）パラメータおよび第１の残留信号２３２によって記述してもよい。よって、第１の残留信号２３２は、例えば、第１のオーディオチャネル信号２２０および第２のオーディオチャネル信号２２２の部分波形再構成を可能にしてもよい。

同様に、（第２の）残留信号支援マルチチャネルデコーダ２５０は、第２のダウンミックス信号２１４に基づいて第３のオーディオチャネル信号２２４と第４のオーディオチャネル信号２２６とを提供し、第２のダウンミックス信号２１４は、例えば、第３のオーディオチャネル信号２２４と第４のオーディオチャネル信号２２６とを「粗く」記述してもよい。また、例えば、第３のオーディオチャネル信号２２４と第４のオーディオチャネル信号２２６との間の違いを、（第２の）残留信号支援マルチチャネルデコーダ２５０により受信し得る（任意の）パラメータおよび第２の残留信号２３４によって記述してもよい。よって、第２の残留信号２３４の評価により、例えば、第３のオーディオチャネル信号２２４および第４のオーディオチャネル信号２２６の部分波形再構成を可能にしてもよい。したがって、第２の残留信号２３４は、第３のオーディオチャネル信号２２４および第４のオーディオチャネル信号２２６の再構成品質の向上を可能にしてもよい。

しかし、第１の残留信号２３２および第２の残留信号２３４は、第１の残留信号と第２の残留信号とのジョイント符号化表現２１０から導出される。マルチチャネルデコーダ２３０によって行われるこのようなマルチチャネル復号は、第１のオーディオチャネル信号２２０と、第２のオーディオチャネル信号２２２と、第３のオーディオチャネル信号２２４と、第４のオーディオチャネル信号２２６とが典型的に類似または「相関」しているので、高い復号効率を可能にする。したがって、第１の残留信号２３２および第２の残留信号２３４も、また、典型的に類似または「相関」しており、このことを利用して、マルチチャネル復号を用いて、ジョイント符号化表現２１０から第１の残留信号２３２と第２の残留信号２３４とを導出することができる。

結果的に、残留信号２３２、２３４をこれらのジョイント符号化表現２１０に基づいて復号することによって、および、各残留信号を用いて２つ以上のオーディオチャネル信号を復号することによって、高い復号品質が得られる。

結論として、オーディオデコーダ２００は、高品質オーディオチャネル信号２２０，２２２，２２４，２２６を提供することで、高い復号効率を実現する。

尚、オーディオデコーダ２００において任意に実施可能な付加的特徴および機能について、図３，５，６および１３を参照して後述するが、オーディオデコーダ２００は、何ら付加的な変更なしに上記の利点を有し得る。

（３．図３によるオーディオデコーダ）
図３は、本発明の他の実施形態によるオーディオデコーダの概略ブロック図を示す。図３のオーディオデコーダは、全体において３００で表される。オーディオデコーダ３００は、図２によるオーディオデコーダ２００と類似するため、上述の説明が適用される。しかし、以下に述べるように、オーディオデコーダ３００は、オーディオデコーダ２００と比べて、付加的特徴および機能が補われている。

オーディオデコーダ３００は、第１の残留信号と第２の残留信号とのジョイント符号化表現３１０を受信するよう構成される。オーディオデコーダ３００は、また、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現３６０を受信するよう構成される。オーディオデコーダ３００は、また、第１のオーディオチャネル信号３２０と、第２のオーディオチャネル信号３２２と、第３のオーディオチャネル信号３２４と、第４のオーディオチャネル信号３２６とを提供するよう構成される。オーディオデコーダ３００は、マルチチャネルデコーダ３３０を含む。マルチチャネルデコーダ３３０は、第１の残留信号と第２の残留信号とのジョイント符号化表現３１０を受信して、これらに基づいて、第１の残留信号３３２と第２の残留信号３３４とを提供するよう構成される。オーディオデコーダ３００は、また、（第１の）残留信号支援マルチチャネル復号３４０を含む。（第１の）残留信号支援マルチチャネル復号３４０は、第１の残留信号３３２と第１のダウンミックス信号３１２とを受信し、第１のオーディオチャネル信号３２０と第２のオーディオチャネル信号３２２とを提供する。オーディオデコーダ３００は、また、（第２の）残留信号支援マルチチャネル復号３５０を含む。（第２の）残留信号支援マルチチャネル復号３５０は、第２の残留信号３３４と第２のダウンミックス信号３１４とを受信し、第３のオーディオチャネル信号３２４と第４のオーディオチャネル信号３２６とを提供するよう構成される。

オーディオデコーダ３００は、また、他のマルチチャネルデコーダ３７０を含む。他のマルチチャネルデコーダ３７０は、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現３６０を受信して、これらに基づいて、第１のダウンミックス信号３１２と第２のダウンミックス信号３１４とを提供するよう構成される。

以下に、オーディオデコーダ３００のさらなる具体的な詳細について説明する。但し、実際のオーディオデコーダは、これら全ての付加的特徴および機能の組み合わせを実現する必要はない。むしろ、以下に記載の特徴および機能を、オーディオデコーダ２００（または他の任意のオーディオデコーダ）に個々に追加して、オーディオデコーダ２００（または他の任意のオーディオデコーダ）を徐々に改良してもよい。

好適な実施形態において、オーディオデコーダ３００は、第１の残留信号と第２の残留信号とのジョイント符号化表現３１０を受信する。このジョイント符号化表現３１０は、第１の残留信号３３２と第２の残留信号３３４とのダウンミックス信号、および、第１の残留信号３３２と第２の残留信号３３４との共通残留信号を含んでもよい。加えて、ジョイント符号化表現３１０は、例えば、１つ以上の予測パラメータを含んでもよい。従って、マルチチャネルデコーダ３３０は、予測ベース残留信号支援マルチチャネルデコーダであってもよい。例えば、マルチチャネルデコーダ３３０は、国際規格ＩＳＯ／ＩＥＣ２３００３−３：２０１２の「Ｃｏｍｐｌｅｘ Ｓｔｅｒｅｏ Ｐｒｅｄｉｃｔｉｏｎ」の節に記載されるようなＵＳＡＣ複合ステレオ予測であってもよい。例えば、マルチチャネルデコーダ３３０は、以前のフレームの信号成分を用いて導出される信号成分の、現在のフレームのための第１の残留信号３３２および第２の残留信号３３４の提供への寄与を記述する予測パラメータを評価するよう構成されてもよい。また、マルチチャネルデコーダ３３０は、第１の符号を伴う（ジョイント符号化表現３１０に含まれる）共通残留信号を適用して第１の残留信号３３２を得ると共に、第１の符号と逆の第２の符号を伴う（ジョイント符号化表現３１０に含まれる）共通残留信号を適用して第２の残留信号３３４を得るよう構成されてもよい。このように、共通残留信号は、少なくとも部分的に、第１の残留信号３３２と第２の残留信号３３４との間の違いを記述するものであってもよい。但し、マルチチャネルデコーダ３３０は、上述の国際規格ＩＳＯ／ＩＥＣ２３００３−３：２０１２に記載されているように、ジョイント符号化表現３１０に含まれるダウンミックス信号と、共通残留信号と、１つ以上の予測パラメータとを評価して第１の残留信号３３２と第の２残留信号３３４とを得てもよい。また、第１の残留信号３３２を、オーディオシーンの第１の水平位置（または方位位置）、例えば、左水平位置、と関連付けてもよく、第２の残留信号３３４を、オーディオシーンの第２の水平位置（または方位位置）、例えば、右水平位置、と関連付けてもよい。

第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現３６０は、好ましくは、第１のダウンミックス信号と第２のダウンミックス信号とのダウンミックス信号と、第１のダウンミックス信号と第２のダウンミックス信号との共通残留信号と、１つ以上の予測パラメータとを含む。言い換えれば、「共通」ダウンミックス信号の中に、第１のダウンミックス信号３１２と第２のダウンミックス信号３１４とがダウンミックスされ、「共通」残留信号は、少なくとも部分的に、第１のダウンミックス信号３１２と第２のダウンミックス信号３１４との違いを記述してもよい。マルチチャネルデコーダ３７０は、好ましくは、ＵＳＡＣ複合ステレオ予測デコーダ等の予測ベース残留信号支援マルチチャネルデコーダである。言い換えれば、第１のダウンミックス信号３１２と第２のダウンミックス信号３１４とを提供するマルチチャネルデコーダ３７０は、第１の残留信号３３２と第２の残留信号３３４とを提供するマルチチャネルデコーダ３３０と実質的に同一であってもよく、上述の説明および参照が当てはまる。また、第１のダウンミックス信号３１２は、好ましくは、オーディオシーンの第１の水平位置または方位位置（例えば、左水平位置または方位位置）と関連付けられ、第２のダウンミックス信号３１４は、好ましくは、オーディオシーンの第２の水平位置または方位位置（例えば、右水平位置または方位位置）と関連付けられる。よって、第１のダウンミックス信号３１２および第１の残留信号３３２は、同じ第１の水平位置または方位位置（例えば、左水平位置）と関連付けられてもよく、第２のダウンミックス信号３１４および第２の残留信号３３４は、同じ第２の水平位置または方位位置（例えば、右水平位置）と関連付けられてもよい。したがって、マルチチャネルデコーダ３７０およびマルチチャネルデコーダ３３０は、両方とも、水平分割（または、水平分離、または水平分布）を行ってもよい。

残留信号支援マルチチャネルデコーダ３４０は、好ましくは、パラメータベースであってもよく、したがって、２つのチャネル（例えば、第１のオーディオチャネル信号３２０および第２のオーディオチャネル信号３２２）間の所望の相関関係および／または前記２つのチャネル間のレベル差を記述する１つ以上のパラメータ３４２を受信してもよい。例えば、残留信号支援マルチチャネル復号３４０は、残留信号拡張または「ユニファイドステレオ復号」デコーダ（例えば、ＩＳＯ／ＩＥＣ ２３００３−３，ｃｈａｐｔｅｒ ７．１１ （Ｄｅｃｏｄｅｒ） ＆ Ａｎｎｅｘ Ｂ．２１ （Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ Ｅｎｃｏｄｅｒ ＆ Ｄｅｆｉｎｉｔｉｏｎ ｏｆ ｔｈｅ Ｔｅｒｍ ”Ｕｎｉｆｉｅｄ Ｓｔｅｒｅｏ”に記載される）を伴うＭＰＥＲＧサラウンド符号化（例えば、ＩＳＯ／ＩＥＣ２３００３−１：２００７）に記載されるに基づいてもよい。従って、残留信号支援マルチチャネルデコーダ３４０は、第１のオーディオチャネル信号３２０と第２のオーディオチャネル信号３２２とを提供してもよく、ここで、第１のオーディオチャネル信号３２０および第２のオーディオチャネル信号３２２は、オーディオシーンの垂直近傍位置と関連付けられる。例えば、第１のオーディオチャネル信号は、オーディオシーンの左下位置と関連付けられてもよく、第２のオーディオチャネル信号は、オーディオシーンの左上位置と関連付けられてもよい（第１のオーディオチャネル信号３２０および第２のオーディオチャネル信号３２２は、例えば、オーディオシーンの同一の水平位置または方位位置、または、３０度以内で分かれた方位位置、と関連付けられる）。言い換えれば、残留信号支援マルチチャネルデコーダ３４０は、垂直分割（または分布、または分離）を行ってもよい。

残留信号支援マルチチャネルデコーダ３５０の機能は、残留信号支援マルチチャネルデコーダ３４０の機能と同一であってもよい。ここで、第３のオーディオチャネル信号は、例えば、オーディオシーンの右下位置と関連付けられてもよく、第４のオーディオチャネル信号は、例えば、オーディオシーンの右上位置と関連付けられてもよい。言い換えれば、第３のオーディオチャネル信号および第４のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられてもよく、オーディオシーンの同一水平位置または方位位置と関連付けられてもよく、残留信号支援マルチチャネルデコーダ３５０は、垂直分割（または分離、または分布）を行う。

要約すると、図３によるオーディオデコーダ３００は、階層型オーディオ復号を行い、第１のステージ（マルチチャネルデコーダ３３０、マルチチャネルデコーダ３７０）では左右分割が行われ、第２のステージ（残留信号支援マルチチャネルデコーダ３４０，３５０）では上下分割が行われる。また、残留信号３３２，３３４は、ダウンミックス信号３１２，３１４（ジョイント符号化表現３６０）と同様、ジョイント符号化表現３１０を用いて符号化される。このように、異なるチャネル間の相関関係を、ダウンミックス信号３１２，３１４の符号化（および復号）、および残留信号３３２，３３４の符号化（および復号）のために利用する。こうして、高い符号化効率が達成され、信号間の相関関係が良好に利用される。

（４．図４によるオーディオエンコーダ）
図４は、本発明の他の実施形態によるオーディオエンコーダの概略ブロック図を示す。図４によるオーディオエンコーダは、全体において４００で表される。オーディオエンコーダ４００は、４つのオーディオチャネル信号、すなわち、第１のオーディオチャネル信号４１０と、第２のオーディオチャネル信号４１２と、第３のオーディオチャネル信号４１４と、第４のオーディオチャネル信号４１６とを受信するよう構成される。また、オーディオエンコーダ４００は、オーディオチャネル信号４１０，４１２，４１４および４１６に基づいて符号化表現を提供するよう構成され、前記符号化表現は、共通帯域幅拡張パラメータの第１の組４２２と共通帯域幅拡張パラメータの第２の組４２４との符号化表現と共に、２つのダウンミックス信号のジョイント符号化表現４２０を含む。オーディオエンコーダ４００は、第１の帯域幅拡張パラメータエクストラクタ４３０を含む。第１の帯域幅拡張パラメータエクストラクタ４３０は、第１のオーディオチャネル信号４１０と第３のオーディオチャネル信号４１４とに基づいて、共通帯域幅拡張パラメータの第１の組４２２を得るよう構成される。オーディオエンコーダ４００は、また、第２の帯域幅拡張パラメータエクストラクタ４４０を含む。第２の帯域幅拡張パラメータエクストラクタ４４０は、第２のオーディオチャネル信号４１２と第４のオーディオチャネル信号４１６とに基づいて、共通帯域幅拡張パラメータの第２の組４２４を得るよう構成される。

オーディオエンコーダ４００は、また、（第１の）マルチチャネルエンコーダ４５０を含む。（第１の）マルチチャネルエンコーダ４５０は、マルチチャネル符号化を用いて、少なくとも第１のオーディオチャネル信号４１０と第２のオーディオチャネル信号４１２とをジョイント符号化して、第１のダウンミックス信号４５２を得るよう構成される。更に、オーディオエンコーダ４００は、（第２の）マルチチャネルエンコーダ４６０を含む。（第２の）マルチチャネルエンコーダ４６０は、マルチチャネル符号化を用いて、少なくとも第３のオーディオチャネル信号４１４と第４のオーディオチャネル信号４１６とをジョイント符号化して、第２のダウンミックス信号４６２を得るよう構成される。更に、オーディオエンコーダ４００は、（第３の）マルチチャネルエンコーダ４７０を含む。（第３の）マルチチャネルエンコーダ４７０は、マルチチャネル符号化を用いて、第１のダウンミックス信号４５２と第２のダウンミックス信号４６２とをジョイント符号化して、ダウンミックス信号のジョイント符号化表現４２０を得るよう構成される。

オーディオエンコーダ４００の機能に関して、オーディオエンコーダ４００は、階層型マルチチャネル符号化を行い、第１のステージにおいて第１のオーディオチャネル信号４１０と第２のオーディオチャネル信号４１２とが結合され、また第１のステージにおいて第３のオーディオチャネル信号４１４と第４のオーディオチャネル信号４１６とが結合されて、それによって、第１のダウンミックス信号４５２と第２のダウンミックス信号４６２とが得られる。第１のダウンミックス信号４５２と第２のダウンミックス信号４６２とは、それから、第２のステージにおいて、ジョイント符号化される。但し、第１の帯域幅拡張パラメータエクストラクタ４３０は、階層型マルチチャネル符号化の第１のステージにおいて異なるマルチチャネルエンコーダ４５０，４６０によって処理されるオーディオチャネル信号４１０，４１４に基づいて、共通帯域幅拡張パラメータの第１の組４２２を提供する。同様に、第２の帯域幅拡張パラメータエクストラクタ４４０は、第１の処理ステージにおいて異なるマルチチャネルエンコーダ４５０，４６０によって処理される異なるオーディオチャネル信号４１２，４１６に基づいて、共通帯域幅拡張パラメータの第２の組４２４を提供する。この特定の処理順によって、帯域幅拡張パラメータの組４２２，４２４が、階層型符号化の第２のステージにおいて（すなわち、マルチチャネルエンコーダ４７０において）のみ結合されるチャネルに基づくという利点が得られる。このことは、音源位置知覚について関連性が低い関係のオーディオチャネルを階層型符号化の第１のステージにおいて結合することが望ましいことから、有利である。むしろ、第１のダウンミックス信号と第２のダウンミックス信号との間の関係が音源位置知覚を主に決定することが好ましい。なぜなら、第１のダウンミックス信号４５２と第２のダウンミックス信号４６２との間の関係は、個々のオーディオチャネル信号４１０，４１２，４１４，４１６間の関係よりもよく維持できるからである。言い換えれば、共通帯域幅拡張パラメータの第１の組４２２は、ダウンミックス信号４５２，４６２の違いに寄与する２つのオーディオチャネル（オーディオチャネル信号）に基づき、共通帯域幅拡張パラメータの第２の組４２４は、階層型マルチチャネル符号化においてオーディオチャネル信号の上記処理によって到達される、ダウンミックス信号４５２，４６２の違いに寄与するオーディオチャネル信号４１２，４１６に基づいて提供されることが望ましいことが分かっている。したがって、共通帯域幅拡張パラメータの第１の組４２２は、第１のダウンミックス信号４５２と第２のダウンミックス信号４６２との間のチャネル関係と比べる際、類似のチャネル関係に基づく。ここで、後者は、典型的に、オーディオデコーダ側で生成される空間的印象を支配する。したがって、帯域幅拡張パラメータの第１の組４２２の提供、および帯域幅拡張パラメータの第２の組４２４の提供が、オーディオデコーダ側で生成される空間的聴覚印象によく適応している。

（５．図５によるオーディオデコーダ）
図５は、本発明の他の実施形態によるオーディオデコーダの概略ブロック図を示す。図５のオーディオデコーダは、全体において５００で表される。

オーディオデコーダ５００は、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現５１０を受信するよう構成される。また、オーディオデコーダ５００は、第１の帯域幅拡張チャネル信号５２０と、第２の帯域幅拡張チャネル信号５２２と、第３の帯域幅拡張チャネル信号５２４と、第４の帯域幅拡張チャネル信号５２６とを提供するよう構成される。

オーディオデコーダ５００は、（第１の）マルチチャネルデコーダ５３０を含む。（第１の）マルチチャネルデコーダ５３０は、マルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現５１０に基づいて、第１のダウンミックス信号５３２と第２のダウンミックス信号５３４とを提供するよう構成される。オーディオデコーダ５００は、また、（第２の）マルチチャネルデコーダ５４０を含む。（第２の）マルチチャネルデコーダ５４０は、マルチチャネル復号を用いて、第１のダウンミックス信号５３２に基づいて、少なくとも第１のオーディオチャネル信号５４２と第２のオーディオチャネル信号５４４とを提供するよう構成される。オーディオデコーダ５００は、また、（第３の）マルチチャネルデコーダ５５０を含む。（第３の）マルチチャネルデコーダ５５０は、マルチチャネル復号を用いて、第２のダウンミックス信号５４４に基づいて、少なくとも第３のオーディオチャネル信号５５６と第４のオーディオチャネル信号５５８とを提供するよう構成される。更に、オーディオデコーダ５００は、（第１の）マルチチャネル帯域幅拡張５６０を含む。（第１の）マルチチャネル帯域幅拡張５６０は、第１のオーディオチャネル信号５４２と第３のオーディオチャネル信号５５６とに基づいてマルチチャネル帯域幅拡張を行って、第１の帯域幅拡張チャネル信号５２０と第３の帯域幅拡張チャネル信号５２４とを得るよう構成される。更に、オーディオデコーダは、（第２の）マルチチャネル帯域幅拡張５７０を含む。（第２の）マルチチャネル帯域幅拡張５７０は、第２のオーディオチャネル信号５４４と第４のオーディオチャネル信号５５８とに基づいてマルチチャネル帯域幅拡張を行って、第２の帯域幅拡張チャネル信号５２２と第４の帯域幅拡張チャネル信号５２６とを得るよう構成される。

オーディオデコーダ５００の機能に関して、オーディオデコーダ５００は、階層型マルチチャネル復号を行い、階層型復号の第１のステージにおいて第１のダウンミックス信号５３２と第２のダウンミックス信号５３４との分割が行われ、階層型復号の第２のステージにおいて第１のダウンミックス信号５３２から第１のオーディオチャネル信号５４２と第２のオーディオチャネル信号５４４とが導出され、階層型復号の第２のステージにおいて第２のダウンミックス信号５５０から第３のオーディオチャネル信号５５６と第４のオーディオチャネル信号５５８とが導出される。但し、第１のマルチチャネル帯域幅拡張５６０および第２のマルチチャネル帯域幅拡張５７０は、両方ともそれぞれ、第１のダウンミックス信号５３２から導出される１つのオーディオチャネル信号と、第２のダウンミックス信号５３４から導出される１つのオーディオチャネル信号とを受信する。階層型復号の第２のステージと比べる際、階層型マルチチャネル復号の第１のステージとして行われる（第１の）マルチチャネル復号５３０によってより良好なチャネル分離が典型的に実現されるため、各マルチチャネル帯域幅拡張５６０，５７０は、良好に分離された入力信号（なぜなら、これらは、良好にチャネル分離された第１のダウンミックス信号５３２および第２のダウンミックス信号５３４に由来するため）を受信することが分かる。こうして、マルチチャネル帯域幅拡張５６０，５７０は、聴覚印象にとって重要であり、第１のダウンミックス信号５３２と第２のダウンミックス信号５３４との間の関係によって良く表されるステレオ特性を考慮することができ、したがって、良好な聴覚印象を与えることができる。

言い換えれば、各マルチチャネル帯域幅拡張ステージ５６０，５７０が両（第２のステージ）マルチチャネルデコーダ５４０，５５０から入力信号を受信するというオーディオデコーダの「交差」構造によって、チャネル間のステレオ関係を考慮した良好なマルチチャネル帯域幅拡張が可能になる。

しかし、オーディオデコーダ５００に、図２，３，６および１３によるオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。個々の特徴をオーディオデコーダ５００に導入して、オーディオデコーダの性能を次第に向上させることも可能である。

（６．図６によるオーディオデコーダ）
図６は、本発明の他の実施形態によるオーディオデコーダの概略ブロック図を示す。図６によるオーディオデコーダは、全体において６００で表される。図６によるオーディオデコーダ６００は、図５によるオーディオデコーダ５００と類似しており、上述の説明が当てはまる。しかし、オーディオデコーダ６００にはいくつかの特徴および機能が補われている。これらの特徴および機能は、個々にまたは組み合わせて、改良のためにオーディオデコーダ５００に導入することも可能である。

オーディオデコーダ６００は、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現６１０を受信して、第１の帯域幅拡張信号６２０と、第２の帯域幅拡張信号６２２と、第３の帯域幅拡張信号６２４と、第４の帯域幅拡張信号６２６とを提供するよう構成される。オーディオデコーダ６００は、マルチチャネルデコーダ６３０を含む。マルチチャネルデコーダ６３０は、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現６１０を受信して、これらに基づいて、第１のダウンミックス信号６３２と第２のダウンミックス信号６３４とを提供するよう構成される。オーディオデコーダ６００は、さらに、マルチチャネルデコーダ６４０を含む。マルチチャネルデコーダ６４０は、第１のダウンミックス信号６３２を受信して、これに基づいて、第１のオーディオチャネル信号５４２と第２のオーディオチャネル信号５４４とを提供するよう構成される。オーディオデコーダ６００は、また、マルチチャネルデコーダ６５０を含む。マルチチャネルデコーダ６５０は、第２のダウンミックス信号６３４を受信して、第３のオーディオチャネル信号６５６と第４のオーディオチャネル信号６５８とを提供するよう構成される。オーディオデコーダ６００は、また、（第１の）マルチチャネル帯域幅拡張６６０を含む。（第１の）マルチチャネル帯域幅拡張６６０は、第１のオーディオチャネル信号６４２と第３のオーディオチャネル信号６５６とを受信して、これらに基づいて、第１の帯域幅拡張チャネル信号６２０と第３の帯域幅拡張チャネル信号６２４とを提供するよう構成される。また、（第２の）マルチチャネル帯域幅拡張６７０は、第２のオーディオチャネル信号６４４と第４のオーディオチャネル信号６５８とを受信して、これらに基づいて、第２の帯域幅拡張チャネル信号６２２と第４の帯域幅拡張チャネル信号６２６とを提供する。

オーディオデコーダ６００は、また、さらなるマルチチャネルデコーダ６８０を含む。さらなるマルチチャネルデコーダ６８０は、第１の残留信号と第２の残留信号とのジョイント符号化表現６８２を受信するよう構成され、これらに基づいて、マルチチャネルデコーダ６４０による使用に供する第１の残留信号６８４と、マルチチャネルデコーダ６５０による使用に供する第２の残留信号６８６とを提供する。

マルチチャネルデコーダ６３０は、好ましくは、予測ベース残留信号支援マルチチャネルデコーダである。例えば、マルチチャネルデコーダ６３０は、上述したマルチチャネルデコーダ３７０と実質的に同一であってもよい。例えば、マルチチャネルデコーダ６３０は、前述の通り、また、上述したＵＳＡＣ規格に記載されるように、ＵＳＡＣ複合ステレオ予測デコーダであってもよい。従って、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現６１０は、例えば、マルチチャネルデコーダ６３０により評価される、第１のダウンミックス信号と第２のダウンミックス信号との（共通）ダウンミックス信号と、第１のダウンミックス信号と第２のダウンミックス信号との（共通）残留信号と、１つ以上の予測パラメータとを含んでもよい。

また、第１のダウンミックス信号６３２は、例えば、オーディオシーンの第１の水平位置または方位位置（例えば、左水平位置）と関連付けられてもよく、第２のダウンミックス信号６３４は、例えば、オーディオシーンの第２の水平位置または方位位置（例えば、右水平位置）と関連付けられてもよい。

更に、マルチチャネルデコーダ６８０は、例えば、予測ベース残留信号関連マルチチャネルデコーダであってもよい。マルチチャネルデコーダ６８０は、上述したマルチチャネルデコーダ３３０と実質的に同一であってもよい。例えば、マルチチャネルデコーダ６８０は、前述の通り、ＵＳＡＣ複合ステレオ予測デコーダであってもよい。結果として、第１の残留信号と第２の残留信号とのジョイント符号化表現６８２は、マルチチャネルデコーダ６８０により評価される、第１の残留信号と第２の残留信号との（共通）ダウンミックス信号と、第１の残留信号と第２の残留信号との（共通）残留信号と、１つ以上の予測パラメータとを含んでもよい。更に、第１の残留信号６８４は、オーディオシーンの第１の水平位置または方位位置（例えば、左水平位置）と関連付けられてもよく、第２の残留信号６８６は、オーディオシーンの第２の水平位置または方位位置（例えば、右水平位置）と関連付けられてもよい。

マルチチャネルデコーダ６４０は、例えば、前述の通り、また、参照規格に記載されるように、ＭＰＥＧサラウンドマルチチャネル復号等の、パラメータベースマルチチャネル復号であってもよい。但し、（任意の）マルチチャネルデコーダ６８０および（任意の）第１の残留信号６８４の存在下で、マルチチャネルデコーダ６４０は、ユニファイドステレオデコーダ等の、パラメータベース残留信号支援マルチチャネルデコーダであってもよい。このように、マルチチャネルデコーダ６４０は、上述したマルチチャネルデコーダ３４０と実質的に同一であってもよく、マルチチャネルデコーダ６４０は、例えば、上述したパラメータ３４２を受信してもよい。

同様に、マルチチャネルデコーダ６５０は、マルチチャネルデコーダ６４０と実質的に同一であってもよい。従って、マルチチャネルデコーダ６５０は、例えば、パラメータベースであってもよく、任意に、（任意のマルチチャネルデコーダ６８０の存在下で）残留信号支援であってもよい。

また、第１のオーディオチャネル信号６４２および第２のオーディオチャネル信号６４４は、好ましくは、オーディオシーンの垂直隣接空間位置と関連付けられる。例えば、第１のオーディオチャネル信号６４２は、オーディオシーンの左下位置と関連付けられ、第２のオーディオチャネル信号６４４は、オーディオシーンの左上位置と関連付けられる。したがって、マルチチャネルデコーダ６４０は、第１のダウンミックス信号６３２（および、任意に、第１の残留信号６８４）によって記述されるオーディオコンテンツの垂直分割（または、分離、または分布）を行う。同様に、第３のオーディオチャネル信号６５６および第４のオーディオチャネル信号６５８は、オーディオシーンの垂直隣接位置と関連付けられ、好ましくは、オーディオシーンの同一水平位置または方位位置と関連付けられる。例えば、第３のオーディオチャネル信号６５６は、好ましくは、オーディオシーンの右下位置と関連付けられ、第４のオーディオチャネル信号６５８は、好ましくは、オーディオシーンの右上位置と関連付けられる。したがって、マルチチャネルデコーダ６５０は、第２のダウンミックス信号６３４（および、任意に、第２の残留信号６８６）によって記述されるオーディオコンテンツの垂直分割（または、分離、または分布）を行う。

但し、第１のマルチチャネル帯域幅拡張６６０は、オーディオシーンの左下位置および右下位置と関連付けられた第１のオーディオチャネル信号６４２と第３のオーディオチャネル６５６とを受信する。従って、第１のマルチチャネル帯域幅拡張６６０は、オーディオシーンの同一水平面（例えば、下水平面）または高度およびオーディオシーンの異なるサイド（左／右）と関連付けられた２つのオーディオチャネル信号に基づいて、マルチチャネル帯域幅拡張を行う。したがって、マルチチャネル帯域幅拡張は、帯域幅拡張を行う際に、ステレオ特性（例えば、人間のステレオ知覚）を考慮することができる。同様に、第２のマルチチャネル帯域幅拡張６７０も、ステレオ特性を考慮し得る。なぜなら、第２のマルチチャネル帯域幅拡張は、オーディオシーンの同一水平面（例えば、上水平面）または高度の、異なる水平位置（異なる側）（左／右）のオーディオチャネル信号に作用するからである。

更に、結論として、階層型オーディオデコーダ６００は、第１のステージ（マルチチャネル復号６３０，６８０）において左右分割（または分離、または分布）が行われ、第２のステージ（マルチチャネル復号６４０，６５０）において垂直分割（分離または分布）が行われ、マルチチャネル帯域幅拡張が１対の左右信号に作用する（マルチチャネル帯域幅拡張６６０，６７０）構造を含む。この復号経路の「交差」によって、聴覚印象にとって特に重要な（例えば、上下分割より重要な）左右分離を、階層型オーディオデコーダの第１の処理ステージにおいて行うことができ、また、マルチチャネル帯域幅拡張を１対の左右オーディオチャネル信号に行うことができ、これも特に良好な聴覚印象へとつながる。上下分割は、左右分離とマルチチャネル帯域幅拡張との間の中間ステージとして行われ、聴覚印象を大きく損なうことなく、４つのオーディオチャネル信号（または帯域幅拡張チャネル信号）を導出可能である。

（７．図７による方法）
図７は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法７００のフローチャートを示す。

方法７００は、残留信号支援マルチチャネル符号化を用いて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とをジョイント符号化７１０して、第１のダウンミックス信号と第の１残留信号とを得るステップを含む。方法は、また、残留信号支援マルチチャネル符号化を用いて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とをジョイント符号化７２０して第２のダウンミックス信号と第２の残留信号とを得るステップを含む。方法は、さらに、マルチチャネル符号化を用いて、第１の残留信号と第２の残留信号とをジョイント符号化７３０して残留信号の符号化表現を得るステップを含む。しかし、方法７００に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。

（８．図８による方法）
図８は、符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法８００のフローチャートを示す。

方法８００は、マルチチャネル復号を用いて、第１の残留信号と第２の残留信号とのジョイント符号化表現に基づいて第１の残留信号と第２の残留信号とを提供するステップ８１０を含む。方法８００は、また、残留信号支援マルチチャネル復号を用いて、第１のダウンミックス信号と第１の残留信号とに基づいて第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供するステップ８２０を含む。方法８００は、また、残留信号支援マルチチャネル復号を用いて、第２のダウンミックス信号と第２の残留信号とに基づいて第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するステップ８３０を含む。

方法８００に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。

（９．図９による方法）
図９は、少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法９００のフローチャートを示す。

方法９００は、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて共通帯域幅拡張パラメータの第１の組を得るステップ９１０を含む。方法９００はまた、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて共通帯域幅拡張パラメータの第２の組を得るステップ９２０を含む。方法は、また、マルチチャネル符号化を用いて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とをジョイント符号化して第１のダウンミックス信号を得るステップと、マルチチャネル符号化を用いて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とをジョイント符号化９４０して第２のダウンミックス信号を得るステップとを含む。方法は、また、マルチチャネル符号化を用いて、第１のダウンミックス信号と第２のダウンミックス信号とをジョイント符号化９５０してダウンミックス信号の符号化表現を得るステップを含む。

尚、特定の相互依存関係にない方法９００のステップの一部は、任意の順番で、または、並列で、実行することができる。また、方法９００に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。

（１０．図１０による方法）
図１０は、符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法１０００のフローチャートを示す。

方法１０００は、マルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて第１のダウンミックス信号と第２のダウンミックス信号とを提供するステップ１０１０と、マルチチャネル復号により第１のダウンミックス信号に基づいて少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供すること１０２０と、マルチチャネル復号を用いて、第２のダウンミックス信号に基づいて少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するステップ１０３０と、第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいてマルチチャネル帯域幅拡張を行って１０４０、第１の帯域幅拡張チャネル信号と第３の帯域幅拡張チャネル信号とを得るステップと、第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいてマルチチャネル帯域幅拡張を行って１０５０、第２の帯域幅拡張チャネル信号と第４の帯域幅拡張チャネル信号とを得るステップとを含む。

尚、方法１０００のステップの一部は、並列で、または、異なる順番で、実行することができる。また、方法１０００に、オーディオエンコーダおよびオーディオデコーダに関して本明細書に記載される特徴および機能のいずれかを補ってもよい。

（１１．図１１，１２および１３による実施形態）
以下に、本発明による付加的実施形態および基本的な考察を記載する。

図１１は、本発明の実施形態によるオーディオエンコーダ１１００の概略ブロック図を示す。オーディオエンコーダ１１００は、左下チャネル信号１１１０と、左上チャネル信号１１１２と、右下チャネル信号１１１４と、右上チャネル信号１１１６とを受信するよう構成される。

オーディオエンコーダ１１００は、第１のマルチチャネルオーディオエンコーダ（または符号化）１１２０を含む。第１のマルチチャネルオーディオエンコーダ（または符号化）１１２０は、ＭＰＥＧサラウンド２−１−２オーディオエンコーダ（または符号化）またはユニファイドステレオオーディオエンコーダ（または符号化）であり、左下チャネル信号１１１０と左上チャネル信号１１１２とを受信する。第１のマルチチャネルオーディオエンコーダ１１２０は、左ダウンミックス信号１１２２を提供し、任意に、左残留信号１１２４を提供する。オーディオエンコーダ１１００は、また、第２のマルチチャネルエンコーダ（または符号化）１１３０を含む。第２のマルチチャネルエンコーダ（または符号化）１１３０は、ＭＰＥＧサラウンド２−１−２エンコーダ（または符号化）またはユニファイドステレオエンコーダ（または符号化）であり、右下チャネル信号１１１４と右上チャネル信号１１１６とを受信する。第２のマルチチャネルオーディオエンコーダ１１３０は、右ダウンミックス信号１１３２を提供し、任意に、右残留信号１１３４を提供する。オーディオエンコーダ１１００は、また、ステレオコーダ（または符号化）１１４０を含む。ステレオコーダ（または符号化）１１４０は、左ダウンミックス信号１１２２と右ダウンミックス信号１１３２とを受信する。また、複合予測ステレオ符号化である第１のステレオ符号化１１４０は、心理音響モデルから、心理音響モデル情報１１４２を受信する。例えば、心理モデル情報１１４２は、異なる周波数バンドまたは周波数サブバンドの心理音響関連性および心理音響マスキング効果等を記述してもよい。ステレオ符号化１１４０は、チャネル対要素（ＣＰＥ）「ダウンミックス」を提供し、これは、１１４４で表され、左ダウンミックス信号１１２２と右ダウンミックス信号１１３２とをジョイント符号化形態で記述する。また、オーディオエンコーダ１１００は、任意に、第２のステレオコーダ（または符号化）１１５０を含む。第２のステレオコーダ（または符号化）１１５０は、心理音響モデル情報１１４２と共に、任意の左残留信号１１２４と任意の右残留信号１１３４とを受信するよう構成される。複合予測ステレオ符号化である第２のステレオ符号化１１５０は、チャネル対要素（ＣＰＥ）「残留」を提供するよう構成され、これは、左残留信号１１２４と右残留信号１１３４とをジョイント符号化形態で表す。

エンコーダ１１００（および本明細書に記載の他のオーディオエンコーダ）は、利用可能なＵＳＡＣステレオツール（すなわち、ＵＳＡＣ符号化において利用可能な符号化概念）を階層的に組み合わせることによって水平および垂直信号依存関係を利用するという考えに基づく。帯域制限または全帯域残留信号（１１２４および１１３４で表す）を伴うＭＰＥＧサラウンド２−１−２またはユニファイドステレオ（１１２０および１１３０で表す）を用いて、垂直近傍チャネル対が結合される。各垂直チャネル対の出力は、ダウンミックス信号１１２２，１１３２であり、ユニファイドステレオでは、残留信号１１２４，１１３４である。バイノーラルアンマスキングの知覚要求を満たすため、両ダウンミックス信号１１２２，１１３２を、左／右および中／サイド符号化の可能性を含むＭＤＣＴドメインにおける複合予測（エンコーダ１１４０）により、水平に結合し、ジョイント符号化する。同じ方法を、水平結合残留信号１１２４，１１３４に適用可能である。この概念を図１１に示す。

図１１を参照して説明した階層構造は、両ステレオツール（例えば、ＵＳＡＣステレオツール）と、その間のリソーティングチャネルを有効にすることで実現できる。このように、追加の前処理／後処理ステップは、不要であり、ツールのペイロードの送信のためのビットストリーム構文は、不変である（例えば、ＵＳＡＣ規格と比べる際、実質的に不変である）。この考えが、図１２に示すエンコーダ構造につながる。

図１２は、本発明の実施形態によるオーディオエンコーダ１２００の概略ブロック図を示す。オーディオエンコーダ１２００は、第１のチャネル信号１２１０と、第２のチャネル信号１２１２と、第３のチャネル信号１２１４と、第４のチャネル信号１２１６とを受信するよう構成される。オーディオエンコーダ１２００は、第１のチャネル対要素のためのビットストリーム１２２０と、第２のチャネル対要素のためのビットストリーム１２２２とを提供するよう構成される。

オーディオエンコーダ１２００は、第１のマルチチャネルエンコーダ１２３０を含む。第１のマルチチャネルエンコーダ１２３０は、ＭＰＥＧサラウンド２−１−２エンコーダまたはユニファイドステレオエンコーダであり、第１のチャネル信号１２１０と第２のチャネル信号１２１２とを受信する。また、第１のマルチチャネルエンコーダ１２３０は、第１のダウンミックス信号１２３２と、ＭＰＥＧサラウンドペイロード１２３６とを提供するとともに、任意に、第１の残留信号１２３４を提供する。オーディオエンコーダ１２００は、また、第２のマルチチャネルエンコーダ１２４０を含む。第２のマルチチャネルエンコーダ１２４０は、ＭＰＥＧサラウンド２−１−２エンコーダまたはユニファイドステレオエンコーダであり、第３のチャネル信号１２１４と第４のチャネル信号１２１６とを受信する。第２のマルチチャネルエンコーダ１２４０は、第１のダウンミックス信号１２４２と、ＭＰＥＧサラウンドペイロード１２４６とを提供するとともに、任意に、第２の残留信号１２４４を提供する。

オーディオエンコーダ１２００は、また、複合予測ステレオ符号化である第１のステレオ符号化１２５０を含む。第１ステレオ符号化１２５０は、第１のダウンミックス信号１２３２と第２のダウンミックス信号１２４２とを受信する。第１のステレオ符号化１２５０は、第１のダウンミックス信号１２３２と第２のダウンミックス信号１２４２とのジョイント符号化表現１２５２を提供し、このジョイント符号化表現１２５２は、（第１のダウンミックス信号１２３２と第２のダウンミックス信号１２４２との）（共通）ダウンミックス信号および（第１のダウンミックス信号１２３２と第２のダウンミックス信号１２４２との）共通残留信号の表現を含んでもよい。また、（第１の）複合予測ステレオ符号化１２５０は、典型的に１つ以上の複合予測係数を含む複合予測ペイロード１２５４を提供する。オーディオエンコーダ１２００は、また、複合予測ステレオ符号化である第２のステレオ符号化１２６０を含む。第２のステレオ符号化１２６０は、第１の残留信号１２３４と第２の残留信号１２４４（または、マルチチャネルエンコーダ１２３０，１２４０によって提供される残留信号がない場合には、０入力値）とを受信する。第２のステレオ符号化１２６０は、第１の残留信号１２３４と第２の残留信号１２４４とのジョイント符号化表現１２６２を提供し、これは、例えば、（第１の残留信号１２３４と第２の残留信号１２４４との）（共通）ダウンミックス信号および（第１の残留信号１２３４と第２の残留信号１２４４との）共通残留信号を含んでもよい。また、複合予測ステレオ符号化１２６０は、典型的に１つ以上の予測係数を含む複合予測ペイロード１２６４を提供する。

オーディオエンコーダ１２００は、また、心理音響モデル１２７０を含む。心理音響モデル１２７０は、第１の複合予測ステレオ符号化１２５０と第２の複合予測ステレオ符号化１２６０とを制御する情報を提供する。例えば、心理音響モデル１２７０によって提供される情報は、どの周波数バンドまたは周波数ビンが高い心理音響関連性を有し、高精度で符号化されるべきかを記述してもよい。但し、心理音響モデル１２７０によって提供される情報の使用は、任意である。

オーディオエンコーダ１２００は、また、第１のエンコーダ・マルチプレクサ１２８０を含む。第１のエンコーダ・マルチプレクサ１２８０は、第１の複合予測ステレオ符号化１２５０からジョイント符号化表現１２５２を受信し、第１の複合予測ステレオ符号化１２５０から複合予測ペイロード１２５４を受信し、かつ、第１のマルチチャネルオーディオエンコーダ１２３０からＭＰＥＧサラウンドペイロード１２３６を受信する。また、第１の符号化・多重化１２８０は、心理音響モデル１２７０から情報を受信してもよく、この情報は、例えば、心理音響マスキング効果等を考慮して、どの周波数バンドまたは周波数サブバンドにどの符号化精度を適用すべきかを記述する。こうして、第１の符号化・多重化１２８０は、第１のチャネル対要素ビットストリーム１２２０を提供する。

オーディオエンコーダ１２００は、また、第２の符号化・多重化１２９０を含む。第２の符号化・多重化１２９０は、第２の複合予測ステレオ符号化１２６０によって提供されるジョイント符号化表現１２６２と、第２の複合予測ステレオ符号化１２６０によって提供される複合予測ペイロード１２６４と、第２のマルチチャネルオーディオエンコーダ１２４０によって提供されるＭＰＥＧサラウンドペイロード１２４６とを受信するよう構成される。また、第２の符号化・多重化１２９０は、心理音響モデル１２７０から情報を受信してもよい。こうして、第２の符号化・多重化１２９０は、第２のチャネル対要素ビットストリーム１２２２を提供する。

オーディオエンコーダ１２００の機能に関しては、上述の説明、および図２，３，５および６によるオーディオエンコーダについての説明を参照のこと。

また、この概念は、幾何学的および知覚的特性を考慮して、複数のＭＰＥＧサラウンドボックスを用いて、水平に、垂直に、さもなくば幾何学的に関連するチャネルをジョイント符号化して、ダウンミックスおよび残留信号を複合予測ステレオ対に結合するように拡張可能である。これが、汎用のデコーダ構造につながる。

以下に、クワッドチャネル要素の実施を記載する。３次元オーディオ符号化システムにおいて、クワッドチャネル要素（ＱＣＥ）を形成するため、４つのチャネルの階層結合を用いる。ＱＣＥは、２つのＵＳＡＣチャネル対要素（ＣＰＥ：ｃｈａｎｎｅｌ ｐａｉｒ ｅｌｅｍｅｎｔ）からなる（または、２つのＵＳＡＣチャネル対要素を提供する、または、ＵＳＡＣチャネル対要素を受信する）。垂直チャネル対は、ＭＰＳ２−１−２またはユニファイドステレオを用いて結合される。ダウンミックスチャネルは、第１のチャネル対要素ＣＰＥにおいてジョイント符号化される。残留符号化を適用する場合、残留信号は、第２のチャネル対要素ＣＰＥにおいてジョイント符号化されるか、さもなければ、第２のＣＰＥの信号は、０に設定される。両方のチャネル対要素ＣＰＥとも、左／右および中／サイド符号化の可能性を含めて、ジョイントステレオ符号化のために複合予測を利用する。信号の高周波数部分の知覚的ステレオ特性を保持するために、ＳＢＲ（ｓｐｅｃｔｒａｌ ｂａｎｄｗｉｄｔｈ ｒｅｐｌｉｃａｔｉｏｎ）適用の前の追加のリソーティングステップによって、ステレオＳＢＲを上部左右チャネル対および下部左右チャネル対に適用する。

本発明の実施形態によるオーディオデコーダの概略ブロック図を示す図１３を参照して、可能なデコーダ構造について記載する。オーディオデコーダ１３００は、第１のチャネル対要素を表す第１のビットストリーム１３１０と、第２のチャネル対要素を表す第２のビットストリーム１３１２とを受信するよう構成される。但し、第１のビットストリーム１３１０および第２のビットストリーム１３１２は、共通全体ビットストリームに含まれてもよい。

オーディオデコーダ１３００は、例えば、オーディオシーンの左下位置を表し得る第１の帯域幅拡張チャネル信号１３２０と、例えば、オーディオシーンの左上位置を表し得る第２の帯域幅拡張チャネル信号１３２２と、例えば、オーディオシーンの右下位置と関連付けられ得る第３の帯域幅拡張チャネル信号１３２４と、例えば、オーディオシーンの右上位置と関連付けられ得る第４の帯域幅拡張チャネル信号１３２６とを提供するよう構成される。

オーディオデコーダ１３００は、第１のビットストリーム復号１３３０を含む。第１のビットストリーム復号１３３０は、第１のチャネル対要素用のビットストリーム１３１０を受信して、これに基づいて、２つのダウンミックス信号のジョイント符号化表現と、複合予測ペイロード１３３４と、ＭＰＥＧサラウンドペイロード１３３６と、スペクトル帯域幅複製ペイロード１３３８とを提供するよう構成される。オーディオデコーダ１３００は、また、第１の複合予測ステレオ復号１３４０を含む。第１の複合予測ステレオ復号１３４０は、ジョイント符号化表現１３３２と複合予測ペイロード１３３４とを受信して、これらに基づいて、第１のダウンミックス信号１３４２と第２のダウンミックス信号１３４４とを提供するよう構成される。同様に、オーディオデコーダ１３００は、第２のビットストリーム復号１３５０を含む。第２のビットストリーム復号１３５０は、第２のチャネル要素用のビットストリーム１３１２を受信して、これに基づいて、２つの残留信号のジョイント符号化表現１３５２と、複合予測ペイロード１３５４と、ＭＰＥＧサラウンドペイロード１３５６と、スペクトル帯域幅複製ビットロード１３５８とを提供するよう構成される。オーディオデコーダは、また、第２の複合予測ステレオ復号１３６０を含む。第２の複合予測ステレオ復号１３６０は、ジョイント符号化表現１３５２と複合予測ペイロード１３５４とに基づいて、第１の残留信号１３６２と第２の残留信号１３６４とを提供する。

オーディオデコーダ１３００は、また、ＭＰＥＧサラウンド２−１−２復号またはユニファイドステレオ復号である第１のＭＰＥＧサラウンド型マルチチャネル復号１３７０を含む。第１のＭＰＥＧサラウンド型マルチチャネル復号１３７０は、第１のダウンミックス信号１３４２と、第１の残留信号１３６２（任意）と、ＭＰＥＧサラウンドペイロード１３３６とを受信して、これらに基づいて、第１のオーディオチャネル信号１３７２と第２のオーディオチャネル信号１３７４とを提供する。オーディオデコーダ１３００は、また、ＭＰＥＧサラウンド２−１−２マルチチャネル復号またはユニファイドステレオマルチチャネル復号である第２のＭＰＥＧサラウンド型マルチチャネル復号１３８０を含む。第２のＭＰＥＧサラウンド型マルチチャネル復号１３８０は、第２のダウンミックス信号１３４４および第２の残留信号１３６４（任意）を、ＭＰＥＧサラウンドペイロード１３５６と共に受信して、これらに基づいて、第３のオーディオチャネル信号１３８２と第４のオーディオチャネル信号１３８４とを提供する。オーディオデコーダ１３００は、また、第１のステレオスペクトル帯域幅複製１３９０を含む。第１のステレオスペクトル帯域幅複製１３９０は、第１のオーディオチャネル信号１３７２および第３のオーディオチャネル信号１３８２を、スペクトル帯域幅複製ペイロード１３３８と共に受信して、これらに基づいて、第１の帯域幅拡張チャネル信号１３２０と第３の帯域幅拡張チャネル信号１３２４とを提供するよう構成される。オーディオデコーダは、また、第２のステレオスペクトル帯域幅複製１３９４を含む。第２のステレオスペクトル帯域幅複製１３９４は、第２のオーディオチャネル信号１３７４および第４のオーディオチャネル信号１３８４を、スペクトル帯域幅複製ペイロード１３５８と共に受信して、これらに基づいて、第２の帯域幅拡張チャネル信号１３２２と第４の帯域幅拡張チャネル信号１３２６とを提供するよう構成される。

オーディオデコーダ１３００の機能に関しては、上述の説明、および、図２，３，５および６によるオーディオデコーダについての説明を参照のこと。

以下に、本明細書に記載のオーディオ符号化／復号に使用され得るビットストリームの例について、図１４ａおよび１４ｂを参照して記載する。ビットストリームは、例えば、上述した規格（ＩＳＯ／ＩＥＣ２３００３−３：２０１２）に記載されるＵＳＡＣ（ｕｎｉｆｉｅｄ ｓｐｅｅｃｈ−ａｎｄ−ａｕｄｉｏ ｃｏｄｉｎｇ）で用いられるビットストリームの拡張であってもよい。例えば、ＭＰＥＧサラウンドペイロード１２３６，１２４６，１３３６，１３５６および複合予測ペイロード１２５４，１２６４，１３３４，１３５４は、レガシーチャネル対要素（すなわち、ＵＳＡＣ規格によるチャネル対要素）用として送信されてもよい。クワッドチャネル要素ＱＣＥの使用をシグナリングするため、図１４ａに示すように、ＵＳＡＣチャネル対構成を２ビット拡張してもよい。言い換えれば、「ｑｃｅＩｎｄｅｘ」で表される２ビットを、ＵＳＡＣビットストリーム要素「ＵｓａｃＣｈａｎｎｅｌＰａｉｒＥｌｅｍｅｎｔＣｏｎｆｉｇ（）」に追加してもよい。ビット「ｑｃｅＩｎｄｅｘ」によってあらわされるパラメータの意味は、例えば、図１４ｂの表に示すように定義することができる。

例えば、ＱＣＥを形成する２つのチャネル対要素は、まず、ダウンミックス信号と第１のＭＰＳボックス用ＭＰＳペイロードとを含むＣＰＥ、次に、残留信号（または、ＭＰＳ２−１−２符号化の場合は０オーディオ信号）と第２のＭＰＳボックス用ＭＰＳペイロードとを含むＣＰＥ、というように、連続要素として送信されてもよい。

言い換えれば、クワッドチャネル要素ＱＣＥを送信するための従来のＵＳＡＣビットストリームと比べる際、シグナリングオーバーヘッドがわずかである。

但し、異なるビットストリームフォーマットも当然利用可能である。

（１２．符号化／復号環境）
以下に、本発明による概念が適用され得るオーディオ符号化／復号環境について記載する。

本発明による概念が使用され得る３Ｄオーディオコーデックシステムは、チャネルおよびオブジェクト信号の復号のためのＭＰＥＧ−Ｄ ＵＳＡＣコーデックに基づく。多量のオブジェクトの符号化効率を上げるため、ＭＰＥＧ ＳＡＯＣ技術が適応されている。３つのタイプのレンダラが、オブジェクトをチャネルにレンダリングするタスク、チャネルをヘッドホンにレンダリングするタスク、またはチャネルを異なるラウドスピーカセットアップにレンダリングするタスクを行う。オブジェクト信号がＳＡＯＣを用いて、明示的に送信またはパラメトリックに符号化されるとき、対応するオブジェクトメタデータ情報が圧縮され、かつ、３Ｄオーディオビットストリームに多重化される。

図１５は、このようなオーディオエンコーダの概略ブロック図を示し、図１６は、このようなオーディオデコーダの概略ブロック図を示す。すなわち、図１５および１６は、３Ｄオーディオシステムの異なるアルゴリズム的ブロックを示す。

３Ｄオーディオエンコーダ１５００の概略ブロック図を示す図１５を参照して、詳細を説明する。エンコーダ１５００は、任意のプリレンダラ／ミキサ１５１０を含む。プリレンダラ／ミキサ１５１０は、１つ以上のチャネル信号１５１２と１つ以上のオブジェクト信号１５１４とを受信して、これらに基づいて、１つ以上のチャネル信号１５１６を、１つ以上のオブジェクト信号１５１８，１５２０と共に提供する。オーディオエンコーダは、また、ＵＳＡＣエンコーダ１５３０を含むとともに、任意に、ＳＡＯＣエンコーダ１５４０を含む。ＳＡＯＣエンコーダ１５４０は、ＳＡＯＣエンコーダに提供される１つ以上のオブジェクト１５２０に基づいて、１つ以上のＳＡＯＣ伝送チャネル１５４２とＳＡＯＣサイド情報１５４４とを提供するよう構成される。また、ＵＳＡＣエンコーダ１５３０は、プリレンダラ／ミキサからチャネルとプリレンダリング済オブジェクトとを含むチャネル信号１５１６を受信し、プリレンダラ／ミキサから１つ以上のオブジェクト信号１５１８を受信し、かつ、１つ以上のＳＡＯＣ伝送チャネル１５４２と、ＳＡＯＣサイド情報１５４４とを受信して、これらに基づいて、符号化表現１５３２を提供するよう構成される。オーディオエンコーダ１５００は、また、オブジェクトメタデータエンコーダ１５５０を含む。オブジェクトメタデータエンコーダ１５５０は、（プリレンダラ／ミキサ１５１０により評価され得る）オブジェクトメタデータ１５５２を受信して、オブジェクトメタデータを符号化して符号化オブジェクトメタデータ１５５４を得るよう構成される。符号化メタデータは、ＵＳＡＣエンコーダ１５３０でも受信され、符号化表現１５３２の提供に用いられる。

オーディオエンコーダ１５００の個々の要素に関する詳細は、後述する。

図１６を参照して、オーディオデコーダ１６００について説明する。オーディオデコーダ１６００は、符号化表現１６１０を受信して、これに基づいて、代替フォーマット（例えば、５．１フォーマット）で、マルチチャネルラウドスピーカ信号１６１２、ヘッドホン信号１６１４、および／またはラウドスピーカ信号１６１６を提供するよう構成される。

オーディオデコーダ１６００は、ＵＳＡＣデコーダ１６２０を含み、符号化表現１６１０に基づいて、１つ以上のチャネル信号１６２２と、１つ以上のプリレンダリング済オブジェクト信号１６２４と、１つ以上のオブジェクト信号１６２６と、１つ以上のＳＡＯＣ伝送チャネル１６２８と、ＳＡＯＣサイド情報１６３０と、圧縮オブジェクトメタデータ情報１６３２とを提供する。オーディオデコーダ１６００は、また、オブジェクトレンダラ１６４０を含む。オブジェクトレンダラ１６４０は、オブジェクト信号１６２６とオブジェクトメタデータ情報１６４４とに基づいて１つ以上のレンダリング済オブジェクト信号１６４２を提供するよう構成され、ここで、オブジェクトメタデータ情報１６４４は、圧縮オブジェクトメタデータ情報１６３２に基づいてオブジェクトメタデータデコーダ１６５０によって提供される。オーディオデコーダ１６００は、また、任意に、ＳＡＯＣデコーダ１６６０を含む。ＳＡＯＣデコーダ１６６０は、ＳＡＯＣ伝送チャネル１６２８とＳＡＯＣサイド情報１６３０とを受信して、これらに基づいて、１つ以上のレンダリング済オブジェクト信号１６６２を提供するよう構成される。オーディオデコーダ１６００は、また、ミキサ１６７０を含む。ミキサ１６７０は、チャネル信号１６２２と、プリレンダリング済オブジェクト信号１６２４と、レンダリング済オブジェクト信号１６４２と、レンダリング済オブジェクト信号１６６２とを受信して、これらに基づいて、例えば、マルチチャネルラウドスピーカ信号１６１２を構成し得る複数の混合チャネル信号１６７２を提供するよう構成される。オーディオデコーダ１６００は、例えば、バイノーラルレンダラ１６８０を含んでもよい。バイノーラルレンダラ１６８０は、混合チャネル信号１６７２を受信して、これに基づいて、ヘッドホン信号１６１４を提供するよう構成される。オーディオデコーダ１６００は、また、フォーマット変換１６９０を含んでもよい。フォーマット変換１６９０は、混合チャネル信号１６７２と再生レイアウト情報１６９２とを受信して、これらに基づいて、代替ラウドスピーカセットアップのためのラウドスピーカ信号１６１６を提供するよう構成される。

以下に、オーディオエンコーダ１５００およびオーディオデコーダ１６００の要素の詳細を説明する。

（プリレンダラ／ミキサ）
プリレンダラ／ミキサ１５１０は、符号化前に、チャネルプラスオブジェクト入力シーンをチャネルシーンに変換するために任意に用いることができる。これは、機能的に、例えば、下記のオブジェクトレンダラ／ミキサと同一であってもよい。オブジェクトのプリレンダリングは、例えば、同時にアクティブなオブジェクト信号の数から基本的に独立した、エンコーダ入力での決定論的信号エントロピーを保証してもよい。オブジェクトのプリレンダリングにおいて、オブジェクトメタデータ送信は不要である。離散オブジェクト信号は、エンコーダが用いるよう構成されているチャネルレイアウトにレンダリングされる。各チャネルのためのオブジェクトの重みは、関連オブジェクトメタデータ（ＯＡＭ）１５５２から得られる。

（ＵＳＡＣコアコーデック）
ラウドスピーカチャネル信号、離散オブジェクト信号、オブジェクトダウンミックス信号、およびプリレンダリング済信号のためのコアコーデック１５３０，１６２０は、ＭＰＥＧ−Ｄ ＵＳＡＣ技術に基づく。これは、入力のチャネルおよびオブジェクト割り当てに関する幾何学的および意味論的情報に基づいてチャネルおよびオブジェクトマッピング情報を生成することにより、多数の信号の符号化を扱う。このマッピング情報は、どのように入力チャネルおよびオブジェクトがＵＳＡＣチャネル要素（ＣＰＥ、ＳＣＥ、ＬＦＥ）にマッピングされるかを記述し、対応する情報がデコーダに送信される。ＳＡＯＣデータまたはオブジェクトメタデータ等の付加的ペイロードは、全て、拡張要素を通過し、エンコーダレート制御において考慮されている。

オブジェクトの符号化は、レンダラのレート／歪要求および双方向性要求に依存して、異なる方法で行うことが可能である。以下のオブジェクト符号化変形が可能である：
１．プリレンダリング済オブジェクト：オブジェクト信号は、符号化前に、プリレンダリングされ、２２．２チャネル信号へ混合される。後続符号化系統は、２２．２チャネル信号を見る。
２．離散オブジェクト波形：オブジェクトは、モノラル波形としてエンコーダに供給される。エンコーダは、単一チャネル要素ＳＣＥを用いてチャネル信号に加えてオブジェクトを転送する。復号オブジェクトは、受信機側で、レンダリングされ、かつ、混合される。圧縮オブジェクトメタデータ情報は、受信機／レンダラへ並行に送信される。
３．パラメトリックオブジェクト波形：オブジェクト特性および互いの関係は、ＳＡＯＣパラメータによって記述される。オブジェクト信号のダウンミックスは、ＵＳＡＣで符号化される。パラメトリック情報は、並行に送信される。ダウンミックスチャネル数は、オブジェクト数および全体データレートに依存して選択される。圧縮オブジェクトメタデータ情報は、ＳＡＯＣレンダラへ送信される。

（ＳＡＯＣ）
オブジェクト信号のためのＳＡＯＣエンコーダ１５４０およびＳＡＯＣデコーダ１６６０は、ＭＰＥＧ ＳＡＯＣ技術に基づく。当該システムは、少数の送信チャネルおよび付加的パラメトリックデータ（オブジェクトレベル差ＯＬＤ、オブジェクト間相互関係ＩＯＣ、ダウンミックスゲインＤＭＧ）に基づいて多数のオーディオオブジェクトを再現、修正、およびレンダリングすることができる。付加的パラメトリックデータは、全てのオブジェクトを個々に送信するために必要なデータレートよりも大幅に低いデータレートを示すため、符号化が非常に効率的になる。ＳＡＯＣエンコーダは、入力として、オブジェクト／チャネル信号をモノラル波形として取り、パラメトリック情報（３Ｄオーディオビットストリーム１５３２，１６１０内にパックされる）およびＳＡＯＣ伝送チャネル（単一チャネル要素を用いて符号化され、かつ、送信される）を出力する。

ＳＡＯＣデコーダ１６００は、復号ＳＡＯＣ伝送チャネル１６２８とパラメトリック情報１６３０とからオブジェクト／チャネル信号を再構成し、再生レイアウトと、復元オブジェクトメタデータ情報と、任意にユーザ対話情報とに基づいて、出力オーディオシーンを生成する。

（オブジェクトメタデータコーデック）
各オブジェクトのために、３Ｄ空間におけるオブジェクトの幾何学的位置および量を特定する関連メタデータが、時間および空間におけるオブジェクト特性の量子化によって効率的に符号化される。圧縮オブジェクトメタデータｃＯＡＭ１５５４，１６３２は、サイド情報として受信機に送信される。

（オブジェクトレンダラ／ミキサ）
オブジェクトレンダラは、所与の再生フォーマットに従って、圧縮オブジェクトメタデータを利用してオブジェクト波形を生成する。各オブジェクトは、そのメタデータによって、ある出力チャネルにレンダリングされる。このブロックの出力は、部分結果の合計から生じる。離散／パラメトリックオブジェクトと共に両チャネルベースコンテンツが復号された場合、チャネルベース波形およびレンダリング済オブジェクト波形は、結果として得られる波形を出力する前に（または、これらをバイノーラルレンダラまたはラウドスピーカレンダラモジュール等のポストプロセッサモジュールへ供給する前に）、混合される。

（バイノーラルレンダラ）
バイノーラルレンダラモジュール１６８０は、マルチチャネルオーディオ素材のバイノーラルダウンミックスを生成し、それによって、各入力チャネルがバーチャル音源によって表されるようにする。当該処理は、ＱＭＦドメインにおいて、フレーム単位で行われる。バイノーラル化は、測定バイノーラル室内インパルス応答に基づく。

（ラウドスピーカレンダラ／フォーマット変換）
ラウドスピーカレンダラ１６９０は、送信チャネル構成と所望の送信フォーマットとの間を変換する。よって、以下では「フォーマットコンバータ」と呼ばれる。フォーマットコンバータは、より少数の出力チャネルへの変換を行う、すなわち、ダウンミックスを生成する。当該システムは、入力および出力フォーマットの所与の組み合わせのための最適化ダウンミックスマトリクスを自動的に生成して、これらのマトリクスをダウンミックス処理において適用する。フォーマットコンバータは、標準のラウドスピーカ構成だけでなく、非標準的ラウドスピーカ配置を伴うランダム構成も可能にする。

図１７は、フォーマットコンバータの概略ブロック図を示す。図示されるように、フォーマットコンバータ１７００は、混合チャネル信号１６７２等のミキサ出力信号１７１０を受信し、スピーカ信号１６１６等のラウドスピーカ信号１７１２を提供する。フォーマットコンバータは、ＱＭＦドメインにおけるダウンミックスプロセス１７２０およびダウンミックスコンフィギュレータ１７３０を含み、ダウンミックスコンフィギュレータは、ミキサ出力レイアウト情報１７３２と再生レイアウト情報１７３４とに基づいてダウンミックスプロセス１７２０のための構成情報を提供する。

上述の概念、例えば、オーディオエンコーダ１００、オーディオデコーダ２００または３００、オーディオエンコーダ４００、オーディオデコーダ５００または６００、方法７００，８００，９００，１０００オーディオエンコーダ１１００または１２００、およびオーディオデコーダ１３００は、オーディオエンコーダ１５００および／またはオーディオデコーダ１６００内で用いることができる。例えば、上述のオーディオエンコーダ／デコーダは、異なる空間位置と関連付けられるチャネル信号の符号化または復号に利用することができる。

（１３．代替実施形態）
以下に、付加的な実施形態について記載する。

図１８〜２１を参照して、本発明による付加的な実施形態を説明する。

尚、「クワッドチャネル要素（ＱＣＥ）」をオーディオデコーダのツールとみなすことができ、これを、例えば、３次元オーディオコンテンツの復号に用いることが可能である。

言い換えれば、クワッドチャネル要素（ＱＣＥ）は、水平および垂直分布チャネルのより効率的な符号化のために４つのチャネルをジョイント符号化する方法である。ＱＣＥは、２つの連続するＣＰＥからなり、水平方向における複合ステレオ予測ツールおよび垂直方向におけるＭＰＥＧサラウンドベースステレオツールの可能性を伴うジョイントステレオツールを階層的に結合することによって形成される。これは、両方のステレオツールを有効にして当該ツール適用間に出力チャネルをスワップすることによって、実現される。ステレオＳＢＲは、高周波数の左右関係を保持するために水平方向において行われる。

図１８は、ＱＣＥのトポロジー的な構造を示す。図１８のＱＣＥは、図１１のＱＣＥに非常によく似ているため、上述の説明を参照すること。しかし、図１８のＱＣＥでは、複合ステレオ予測を行う際に心理音響モデルを使用する必要がない（但し、このような使用は当然任意で可能である）。また、第１のステレオスペクトル帯域幅複製（ステレオＳＢＲ）は、左下チャネルと右下チャネルとに基づいて行われ、第２のステレオスペクトル帯域幅複製（ステレオＳＢＲ）は左上チャネルと右上チャネルとに基づいて行われることが分かる。

以下に、いくつかの実施形態において当てはまる用語および定義を示す。

データ要素ｑｃｅＩｎｄｅｘは、ＣＰＥのＱＣＥモードを示す。ビットストリーム変数ｑｃｅＩｎｄｅｘの意味に関して、図１４ｂを参照すること。ｑｃｅＩｎｄｅｘは、タイプＵｓａｃＣｈａｎｎｅｌＰａｉｒＥｌｅｍｅｎｔ（）の２つの後続要素がクワッドチャネル要素（ＱＣＥ）として扱われているかを記述する。異なるＱＣＥモードは、図１４ｂにおいて与えられる。ｑｃｅＩｎｄｅｘは、１つのＱＣＥを形成する２つの後続要素について同一であるべきである。

以下に、本発明によるいくつかの実施形態において用いられ得るヘルプ要素を定義する：
ｃｐｌｘ＿ｏｕｔ＿ｄｍｘ＿Ｌ［］：複合予測ステレオ復号後の第１のＣＰＥの第１のチャネル
ｃｐｌｘ＿ｏｕｔ＿ｄｍｘ＿Ｒ［］：複合予測ステレオ復号後の第１のＣＰＥの第２のチャネル
ｃｐｌｘ＿ｏｕｔ＿ｒｅｓ＿Ｌ［］：複合予測ステレオ復号後の第２のＣＰＥ（ｑｃｅＩｎｄｅｘ＝１の場合、０）
ｃｐｌｘ＿ｏｕｔ＿ｒｅｓ＿Ｒ［］：複合予測ステレオ復号後の第２のＣＰＥの第２のチャネル（ｑｃｅＩｎｄｅｘ＝１の場合、０）
ｍｐｓ＿ｏｕｔ＿Ｌ＿１［］：第１のＭＰＳボックスの第１の出力チャネル
ｍｐｓ＿ｏｕｔ＿Ｌ＿２［］：第１のＭＰＳボックスの第２の出力チャネル
ｍｐｓ＿ｏｕｔ＿Ｒ＿１［］：第２のＭＰＳボックスの第１の出力チャネル
ｍｐｓ＿ｏｕｔ＿Ｒ＿２［］：第２のＭＰＳボックスの第２の出力チャネル
ｓｂｒ＿ｏｕｔ＿Ｌ＿１［］：第１のステレオＳＢＲボックスの第１の出力チャネル
ｓｂｒ＿ｏｕｔ＿Ｒ＿１［］：第１のステレオＳＢＲボックスの第２の出力チャネル
ｓｂｒ＿ｏｕｔ＿Ｌ＿２［］：第２のステレオＳＢＲボックスの第１の出力チャネル
ｓｂｒ＿ｏｕｔ＿Ｒ＿２［］：第２のステレオＳＢＲボックスの第２の出力チャネル

以下に、本発明による実施形態において行われる復号プロセスについて説明する。

ＵｓａｃＣｈａｎｎｅｌＰａｉｒＥｌｅｍｅｎｔＣｏｎｆｉｇ（）における構文要素（またはビットストリーム要素、またはデータ要素）ｑｃｅＩｎｄｅｘは、ＣＰＥがＱＣＥに属するか、および、残留符号化が使用されるか、を示す。ｑｃｅＩｎｄｅｘが０でない場合、現在のＣＰＥが、同じｑｃｅＩｎｄｅｘを有するＣＰＥであるその後続要素と共に、ＱＣＥを形成する。ステレオＳＢＲは、常に、ＱＣＥのために用いられるため、構文要素ｓｔｅｒｅｏＣｏｎｆｉｇＩｎｄｅｘは、３であり、ｂｓＳｔｅｒｅｏＳｂｒは、１である。

ｑｃｅＩｎｄｅｘ＝＝１の場合、第２のＣＰＥには、ＭＰＥＧサラウンドおよびＳＢＲのためのペイロードだけが含まれ、関連オーディオ信号データは含まれず、構文要素ｂｓＲｅｓｉｄｕａｌＣｏｄｉｎｇは、０に設定される。

第２のＣＰＥにおける残留信号の存在は、ｑｃｅＩｎｄｅｘ＝＝２で表される。この場合、構文要素ｂｓＲｅｓｉｄｕａｌＣｏｄｉｎｇは、１に設定される。

但し、別の簡略化され得るシグナリング方式を用いてもよい。

複合ステレオ予測の可能性を伴うジョイントステレオ復号は、ＩＳＯ／ＩＥＣ２３００３−３の項７．７に記載のように行われる。結果として得られる第１のＣＰＥの出力は、ＭＰＳダウンミックス信号ｃｐｌｘ＿ｏｕｔ＿ｄｍｘ＿Ｌ［］およびｃｐｌｘ＿ｏｕｔ＿ｄｍｘ＿Ｒ［］である。残留符号化を用いる場合（ｑｃｅＩｎｄｅｘ＝＝２）、第２のＣＰＥの出力は、ＭＰＳ残留信号ｃｐｌｘ＿ｏｕｔ＿ｒｅｓ＿Ｌ［］，ｃｐｌｘ＿ｏｕｔ＿ｒｅｓ＿Ｒ［］であり、残留信号が送信されない場合（ｑｃｅＩｎｄｅｘ＝＝１）、０信号が挿入される。

ＭＰＥＧサラウンド復号を適用する前に、第１の要素の第２のチャネル（ｃｐｌｘ＿ｏｕｔ＿ｄｍｘ＿Ｒ［］）と第２の要素の第１のチャネル（ｃｐｌｘ＿ｏｕｔ＿ｒｅｓ＿Ｌ［］）とがスワップされる。

ＭＰＥＧサラウンド復号は、ＩＳＯ／ＩＥＣ ２３００３−３の項７．１１に記載のように行われる。残留符号化を用いる場合、いくつかの実施形態における従来のＭＰＥＧサラウンド復号と比べて、復号を修正してもよい。ＩＳＯ／ＩＥＣ２３００３−３の項７．１１．２．７（図２３）に定義されるようなＳＢＲを用いた残留なしのＭＰＥＧサラウンド復号は、ステレオＳＢＲがｂｓＲｅｓｉｄｕａｌＣｏｄｉｎｇ＝＝１でも用いられるように修正され、図１９に示すデコーダ概略図となる。図１９は、ｂｓＲｅｓｉｄｕａｌＣｏｄｉｎｇ＝＝０およびｂｓＳｔｅｒｅｏＳｂｒ＝＝１についてのオーディオコーダの概略ブロック図を示す。

図１９に示すように、ＵＳＡＣコアデコーダ２０１０は、ダウンミックス信号（ＤＭＸ）２０１２をＭＰＳ（ＭＰＥＧサラウンド）デコーダ２０２０に提供し、ＭＰＳ（ＭＰＥＧサラウンド）デコーダ２０２０は、第１の復号オーディオ信号２０２２と第２の復号オーディオ信号２０２４とを提供する。ステレオＳＢＲデコーダ２０３０は、第１の復号オーディオ信号２０２２と第２の復号オーディオ信号２０２４とを受信して、これらに基づいて、左帯域幅拡張オーディオ信号２０３２と右帯域幅拡張オーディオ信号２０３４とを提供する。

ステレオＳＢＲを適用する前に、第１の要素の第２のチャネル（ｍｐｓ＿ｏｕｔ＿Ｌ＿２［］）と第２の要素の第１のチャネル（ｍｐｓ＿ｏｕｔ＿Ｒ＿１［］）とがスワップされて、左右ステレオＳＢＲを可能にする。ステレオＳＢＲの適用後、第１の要素の第２の出力チャネル（ｓｂｒ＿ｏｕｔ＿Ｒ＿１［］）と第２の要素の第１のチャネル（ｓｂｒ＿ｏｕｔ＿Ｌ＿２［］）とが再びスワップされて、入力チャネル順に戻る。

ＱＣＥデコーダ構造を、ＱＣＥデコーダ概略図である図２０に示す。

図２０の概略ブロック図は、図１３の概略ブロック図に非常によく似ているため、上述の説明を参照すること。また、図２０にはいくつかの信号ラベル付けが追加されており、本セクションの定義を参照すること。また、ステレオＳＢＲの後に行われるチャネルの最終リソーティングも示す。

図２１は、本発明の実施形態によるクワッドチャネルエンコーダ（ｑｕａｄ ｃｈａｎｎｅｌ ｅｎｃｏｄｅｒ）２２００の概略ブロック図を示す。すなわち、コアエンコーダツールとみなし得るクワッドチャネルエンコーダ（クワッドチャネル要素）を、図２１に示す。

クワッドチャネルエンコーダ２２００は、第１のステレオＳＢＲ２２１０を含む。第１のステレオＳＢＲ２２１０は、第１の左チャネル入力信号２２１２と第２の左チャネル入力信号２２１４とを受信して、これらに基づいて、第１のＳＢＲペイロード２２１５と、第１の左チャネルＳＢＲ出力信号２２１６と、第１の右チャネルＳＢＲ出力信号２２１８とを提供する。クワッドチャネルエンコーダ２２００は、また、第２のステレオＳＢＲを含む。第２のステレオＳＢＲは、第２の左チャネル入力信号２２２２と第２の右チャネル入力信号２２２４とを受信して、これらに基づいて、第１のＳＢＲペイロード２２２５と、第１の左チャネルＳＢＲ出力信号２２２６と、第１の右チャネルＳＢＲ出力信号２２２８とを提供する。

クワッドチャネルエンコーダ２２００は、第１のＭＰＥＧサラウンド型（ＭＰＳ２−１−２またはユニファイドステレオ）マルチチャネルエンコーダ２２３０を含む。第１のＭＰＥＧサラウンド型（ＭＰＳ２−１−２またはユニファイドステレオ）マルチチャネルエンコーダ２２３０は、第１の左チャネルＳＢＲ出力信号２２１６と第２の左チャネルＳＢＲ出力信号２２２６とを受信して、これらに基づいて、第１のＭＰＳペイロード２２３２と、左チャネルＭＰＥＧサラウンドダウンミックス信号２２３４とを提供するとともに、任意に、左チャネルＭＰＥＧサラウンド残留信号２２３６を提供する。クワッドチャネルエンコーダ２２００は、また、第２のＭＰＥＧサラウンド型（ＭＰＳ２−１−２またはユニファイドステレオ）マルチチャネルエンコーダ２２４０を含む。第２のＭＰＥＧサラウンド型（ＭＰＳ２−１−２またはユニファイドステレオ）マルチチャネルエンコーダ２２４０は、第１の右チャネルＳＢＲ出力信号２２１８と第２の右チャネルＳＢＲ出力信号２２２８とを受信して、これらに基づいて、第１のＭＰＳペイロード２２４２と、右チャネルＭＰＥＧサラウンドダウンミックス信号２２４４とを提供するとともに、任意に、右チャネルＭＰＥＧサラウンド残留信号２２４６を提供する。

クワッドチャネルエンコーダ２２００は、第１の複合予測ステレオ符号化２２５０を含む。第１の複合予測ステレオ符号化２２５０は、左チャネルＭＰＥＧサラウンドダウンミックス信号２２３４と右チャネルＭＰＥＧサラウンドダウンミックス信号２２４４とを受信して、これらに基づいて、複合予測ペイロード２２５２と、左チャネルＭＰＥＧサラウンドダウンミックス信号２２３４と右チャネルＭＰＥＧサラウンドダウンミックス信号２２４４とのジョイント符号化表現２２５４とを提供する。クワッドチャネルエンコーダ２２００は、第２の複合予測ステレオ符号化２２６０を含む。第２の複合予測ステレオ符号化２２６０は、左チャネルＭＰＥＧサラウンド残留信号２２３６と右チャネルＭＰＥＧサラウンド残留信号２２４６とを受信して、これらに基づいて、複合予測ペイロード２２６２と、左チャネルＭＰＥＧサラウンドダウンミックス信号２２３６と右チャネルＭＰＥＧサラウンドダウンミックス信号２２４６とのジョイント符号化表現２２６４とを提供する。

クワッドチャネルエンコーダは、また、第１のビットストリーム符号化２２７０を含む。第１のビットストリーム符号化２２７０は、ジョイント符号化表現２２５４と、複合予測ペイロード２２５２と、ＭＰＳペイロード２２３２と、ＳＢＲペイロード２２１５とを受信して、これらに基づいて、第１のチャネル対要素を表すビットストリーム部分を提供する。クワッドチャネルエンコーダは、また、第２のビットストリーム符号化２２８０を含む。第２のビットストリーム符号化２２８０は、ジョイント符号化表現２２６４と、複合予測ペイロード２２６２と、ＭＰＳペイロード２２４２と、ＳＢＲペイロード２２２５とを受信して、これらに基づいて、第１のチャネル対要素を表すビットストリーム部分を提供する。

（１４．代替的な実施）
いくつかの態様を装置のコンテキストで記載したが、これらの態様は、対応する方法の記載も表し、ブロックや装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップのコンテキストで記載された態様は、対応する装置の対応するブロック、または要素、または特徴の記載も表す。方法ステップの一部または全部は、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路等のハードウェア装置によって（を用いて）実行されてもよい。いくつかの実施形態において、１つ以上の最も重要な方法ステップは、そのような装置によって実行されてもよい。

発明の符号化オーディオ信号は、デジタル記憶媒体に記憶されてもよく、あるいは、無線伝送媒体またはインターネット等の有線伝送媒体等の伝送媒体上で伝送されてもよい。

実施要件に依存して、発明の実施形態は、ハードウェアまたはソフトウェアで実施可能である。実施は、フロッピー（登録商標）ディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ，、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリ等のデジタル記憶媒体を用いて行うことができる。デジタル記憶媒体には、電子的に読み取り可能な制御信号が記憶され、それぞれの方法を行うようプログラマブルコンピュータシステムと協働する（または協働することができる）。よって、デジタル記憶媒体は、コンピュータ可読であり得る。

本発明によるいくつかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを含み、本明細書に記載の方法のうちの１つを実行するようにプログラマブルコンピュータシステムと協働することができる。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラムプロダクトとして実施可能である。プログラムコードは、コンピュータプログラムプロダクトがコンピュータ上で動作する際、方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。

他の実施形態は、機械可読キャリアに記憶され、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。

言い換えれば、発明の方法の実施形態は、従って、コンピュータプログラムがコンピュータ上で動作する際、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的に、有形および／または非一時的である。

発明の方法のさらなる実施形態は、従って、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えば、インターネット等のデータ通信接続を介して転送されるよう構成されてもよい。

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するよう構成された、コンピュータまたはプログラマブルロジックデバイス等の、処理手段を含む。

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを組み込んだコンピュータを含む。

本発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的又は光学的に）転送するよう構成された装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイス等であってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。

いくつかの実施形態において、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を用いて、本明細書に記載の方法の機能の一部または全部を実行してもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般的に、方法は、好ましくは、任意のハードウェア装置によって行われる。

上記実施形態は、単に本発明の原理を例示するものである。本明細書に記載の構造や詳細の変形や変更は、当業者に明らかであろう。よって、限定は、特許請求の範囲のみによるものであり、本明細書で実施形態の記載を通じて提示された特定の詳細によるものではない。

（１５．結論）
以下に、結論を述べる。

本発明による実施形態は、垂直および水平分布チャネル間の信号依存関係をもとに、ジョイントステレオ符号化ツールを階層的に結合することによって、４つのチャネルがジョイント符号化できるという考察に基づく。例えば、垂直チャネル対は、帯域制限または全帯域残留符号化を伴うＭＰＳ２−１−１および／またはユニファイドステレオにより結合される。バイノーラルアンマスキングのための知覚的要件を満たすために、出力ダウンミックスは、例えば、左／右および中／サイド符号化の可能性を含むＭＤＣＴドメインにおける複合予測を用いてジョイント符号化される。残留信号がある場合、残留信号は、同じ方法により水平的に結合される。

本発明による実施形態は、先行技術の欠点の一部または全部を克服する。本発明の実施形態は、３Ｄオーディオコンテキストに適応され、ラウドスピーカチャネルがいくつかの高さ層に分布され、水平および垂直チャネル対になる。ＵＳＡＣに定義されるような２つのチャネルだけのジョイント符号化は、チャネル間の空間的および知覚的関係を考慮するのに十分でないことが分かっている。しかし、この問題は、本発明の実施形態によって克服される。

従来のＭＰＥＧサラウンドは、追加の前／後処理ステップに適用され、それにより、例えば、左右ラジカル残留信号間の依存関係を利用するために、残留信号は、ジョイントステレオ符号化の可能性なしに、個別に送信される。これに対して、本発明の実施形態は、このような依存関係を用いて、効率的な符号化／復号を可能にする。

さらに結論として、本発明の実施形態は、本明細書に記載の符号化および復号のための装置、方法、またはコンピュータプログラムをもたらす。

Claims (40)

1. 符号化表現（５１０；６１０，６８２；１３１０，１３１２）に基づいて少なくとも４つの帯域幅拡張チャネル信号（５２０，５２２，５２４，５２６）を提供するためのオーディオデコーダ（５００；６００；１３００；１６００；２０００）であって、
   オーディオデコーダは、マルチチャネル復号（５３０；６３０；１３４０）を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現（５１０；６１０；１３１０）に基づいて、第１のダウンミックス信号（５３２；６３２；１３４２）と第２のダウンミックス信号（５３４；６３４；１３４４）とを提供するよう構成され、
   オーディオデコーダは、マルチチャネル復号（５４０；６４０；１３７０を用いて、第１のダウンミックス信号に基づいて、少なくとも第１のオーディオチャネル信号（５４２；６４２；１３７２）と第２のオーディオチャネル信号（５４４；６４４；１３７４）とを提供するよう構成され、
   オーディオデコーダは、マルチチャネル復号（５５０；６５０；１３８０）を用いて、第２のダウンミックス信号に基づいて、少なくとも第３のオーディオチャネル信号（５５６；６５６；１３８２）と第４のオーディオチャネル信号（５５８；６５８；１３８４）とを提供するよう構成され、
   オーディオデコーダは、前記第１のオーディオチャネル信号と前記第３のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張（５６０；６６０；１３９０）を行って第１の帯域幅拡張チャネル信号（５２０；６２０；１３２０）と第３の帯域幅拡張チャネル信号（５２４；６２４；１３２４）とを得るよう構成され、
   オーディオデコーダは、前記第２のオーディオチャネル信号と前記第４のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張（５７０；６７０；１３９４）を行って第２の帯域幅拡張チャネル信号（５２２；６２２；１３２２）と第４の帯域幅拡張チャネル信号（５２６；６２６；１３２６）とを得るよう構成される、オーディオデコーダ。
2. 前記第１のダウンミックス信号および前記第２のダウンミックス信号は、オーディオシーンの異なる水平位置または方位位置と関連付けられる、請求項１に記載のオーディオデコーダ。
3. 前記第１のダウンミックス信号は、オーディオシーンの左側と関連付けられ、前記第２のダウンミックス信号は、前記オーディオシーンの右側と関連付けられる、請求項１または２に記載のオーディオデコーダ。
4. 前記第１のオーディオチャネル信号および前記第２のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられ、
   前記第３のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの垂直近傍位置と関連付けられる、請求項１〜３のいずれか１項に記載のオーディオデコーダ。
5. 前記第１のオーディオチャネル信号および前記第３のオーディオチャネル信号は、オーディオシーンの第１の共通水平面または第１の共通高度ではあるが前記オーディオシーンの異なる水平位置または方位位置と関連付けられ、
   前記第２のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの第２の共通水平面または第２の共通高度ではあるが前記オーディオシーンの異なる水平位置または方位位置と関連付けられ、
   前記第１の共通水平面または第１の共通高度は、前記第２の共通水平面または第２の共通高度と異なる、請求項１〜４のいずれか１項に記載のオーディオデコーダ。
6. 前記第１のオーディオチャネル信号および前記第２のオーディオチャネル信号は、前記オーディオシーンの第１の共通垂直面または第１の共通方位位置ではあるが前記オーディオシーンの異なる垂直位置または高度と関連付けられ、
   前記第３のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの第２の共通垂直面または第２の共通方位位置ではあるが前記オーディオシーンの異なる垂直位置または高度と関連付けられ、
   前記第１の共通垂直面または第１の方位位置は、前記第２の共通垂直面または第２の方位位置と異なる、請求項５に記載のオーディオデコーダ。
7. 前記第１のオーディオチャネル信号および前記第２のオーディオチャネル信号は、オーディオシーンの左側と関連付けられ、
   前記第３のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの右側と関連付けられる、請求項１〜６のいずれか１項に記載のオーディオデコーダ。
8. 前記第１のオーディオチャネル信号および前記第３のオーディオチャネル信号は、オーディオシーンの下部と関連付けられ、
   前記第２のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの上部と関連付けられる、請求項１〜７のいずれか１項に記載のオーディオデコーダ。
9. オーディオデコーダは、マルチチャネル復号を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とのジョイント符号化表現に基づいて前記第１のダウンミックス信号と前記第２のダウンミックス信号とを提供する際、水平分割を行うよう構成される、請求項１〜８のいずれか１項に記載のオーディオデコーダ。
10. オーディオデコーダは、マルチチャネル復号を用いて、前記第１のダウンミックス信号に基づいて少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とを提供する際、垂直分割を行うよう構成され、
    オーディオデコーダは、マルチチャネル復号を用いて、前記第２のダウンミックス信号に基づいて少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とを提供する際、垂直分割を行うよう構成される、請求項１〜９のいずれか１項に記載のオーディオデコーダ。
11. オーディオデコーダは、前記第１のオーディオチャネル信号と前記第３のオーディオチャネル信号とに基づいて、ステレオ帯域幅拡張を行い、前記第１の帯域幅拡張チャネル信号と前記第３の帯域幅拡張チャネル信号とを得るよう構成され、
    前記第１のオーディオチャネル信号と前記第３のオーディオチャネル信号とは、第１の左右チャネル対を表し、
    オーディオデコーダは、前記第２のオーディオチャネル信号と前記第４のオーディオチャネル信号とに基づいて、ステレオ帯域幅拡張を行い、前記第２の帯域幅拡張チャネル信号と前記第４の帯域幅拡張チャネル信号とを得るよう構成され、
    前記第２のオーディオチャネル信号と前記第４のオーディオチャネル信号とは、第２の左右チャネル対を表す、請求項１〜１０のいずれか１項に記載のオーディオデコーダ。
12. オーディオデコーダは、予測ベースマルチチャネル復号を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とのジョイント符号化表現に基づいて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とを提供するよう構成される、請求項１〜１１のいずれか１項に記載のオーディオデコーダ。
13. オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とのジョイント符号化表現に基づいて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とを提供するよう構成される、請求項１〜１２のいずれか１項に記載のオーディオデコーダ。
14. オーディオデコーダは、パラメータベースマルチチャネル復号を用いて、前記第１のダウンミックス信号に基づいて、少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とを提供するよう構成され、
    オーディオデコーダは、パラメータベースマルチチャネル復号を用いて、前記第２のダウンミックス信号に基づいて、少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とを提供するよう構成される、請求項１〜１３のいずれか１項に記載のオーディオデコーダ。
15. 前記パラメータベースマルチチャネル復号は、それぞれのダウンミックス信号に基づいて２つ以上のオーディオチャネル信号を提供するために、２つのチャネル間の所望の相関関係および／または２つのチャネル間のレベル差を記述する１つ以上のパラメータを評価するよう構成される、請求項１４に記載のオーディオデコーダ。
16. オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、前記第１のダウンミックス信号に基づいて、少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とを提供するよう構成され、
    オーディオデコーダは、残留信号支援マルチチャネル復号を用いて、前記第２のダウンミックス信号に基づいて、少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とを提供するよう構成される、請求項１〜１５のいずれか１項に記載のオーディオデコーダ。
17. オーディオデコーダは、マルチチャネル復号を用いて、第１の残留信号と第２の残留信号とのジョイント符号化表現に基づいて、少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とを提供するのに用いられる前記第１の残留信号と、少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とを提供するのに用いられる前記第２の残留信号とを提供するよう構成される、請求項１〜１６のいずれか１項に記載のオーディオデコーダ。
18. 前記第１の残留信号および前記第２の残留信号は、オーディオシーンの異なる水平位置または方位位置と関連付けられる、請求項１７に記載のオーディオデコーダ。
19. 前記第１の残留信号は、オーディオシーンの左側と関連付けられ、前記第２の残留信号は、前記オーディオシーンの右側と関連付けられる、請求項１７または１８に記載のオーディオデコーダ。
20. 少なくとも４つのオーディオチャネル信号（４１０，４１２；１５１２，１５１４；２２１２，２２２２，２２１４，２２２４）に基づいて符号化表現（４２０；１５３２；２２７２，２２８２）を提供するためのオーディオエンコーダ（４００；１５００；２２００）であって、
    オーディオエンコーダは、第１のオーディオチャネル信号（４１０；２２１２）と第３のオーディオチャネル信号（４１４，２２１４）とに基づいて、共通帯域幅拡張パラメータの第１の組（２２１５）を得るよう構成され、
    オーディオエンコーダは、第２のオーディオチャネル信号（４１２；２２２２）と第４のオーディオチャネル信号（４１６；２２２４）とに基づいて、共通帯域幅拡張パラメータの第２の組（２２２５）を得るよう構成され、
    オーディオエンコーダは、マルチチャネル符号化（４５０；２２３０）を用いて、少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とをジョイント符号化して第１のダウンミックス信号（４５２；２２３４）を得るよう構成され、
    オーディオエンコーダは、マルチチャネル符号化（４６０；２２４０）を用いて、少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とをジョイント符号化して第２のダウンミックス信号（４６２；２２４４）を得るよう構成され、
    オーディオエンコーダは、マルチチャネル符号化（４７０；２２５０）を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とをジョイント符号化して前記ダウンミックス信号の符号化表現を得るよう構成される、オーディオエンコーダ。
21. 前記第１のダウンミックス信号および前記第２のダウンミックス信号は、オーディオシーンの異なる水平位置または方位位置と関連付けられる、請求項２０に記載のオーディオエンコーダ。
22. 前記第１のダウンミックス信号は、オーディオシーンの左側と関連付けられ、前記第２のダウンミックス信号は、前記オーディオシーンの右側と関連付けられる、請求項２０または２１に記載のオーディオエンコーダ。
23. 前記第１のオーディオチャネル信号および前記第２のオーディオチャネル信号は、オーディオシーンの垂直近傍位置と関連付けられ、
    前記第３のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの垂直近傍位置と関連付けられる、請求項２０〜２２のいずれか１項に記載のオーディオエンコーダ。
24. 前記第１のオーディオチャネル信号および前記第３のオーディオチャネル信号は、オーディオシーンの第１の共通水平面または第の１高度ではあるが前記オーディオシーンの異なる水平位置または方位位置と関連付けられ、
    前記第２のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの第２の共通水平面または第２の高度ではあるが前記オーディオシーンの異なる水平位置または方位位置と関連付けられ、
    前記第１の共通水平面または第１の高度は、前記第２の共通水平面または第２の高度と異なる、請求項２０〜２３のいずれか１項に記載のオーディオエンコーダ。
25. 前記第１のオーディオチャネル信号および前記第２のオーディオチャネル信号は、前記オーディオシーンの第１の共通垂直面または第１の方位位置ではあるが前記オーディオシーンの異なる垂直位置または高度と関連付けられ、
    前記第３のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの第２の共通垂直面または第２の方位位置ではあるが前記オーディオシーンの異なる垂直位置または高度と関連付けられ、
    前記第１の共通垂直面または第１の方位位置は、前記第２の共通垂直面または第２の方位位置と異なる、請求項２４に記載のオーディオエンコーダ。
26. 前記第１のオーディオチャネル信号および前記第２のオーディオチャネル信号は、オーディオシーンの左側と関連付けられ、
    前記第３のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの右側と関連付けられる、請求項２０〜２５のいずれか１項に記載のオーディオエンコーダ。
27. 前記第１のオーディオチャネル信号および前記第３のオーディオチャネル信号は、オーディオシーンの下部と関連付けられ、
    前記第２のオーディオチャネル信号および前記第４のオーディオチャネル信号は、前記オーディオシーンの上部と関連付けられる、請求項２０〜２６のいずれか１項に記載のオーディオエンコーダ。
28. オーディオエンコーダは、マルチチャネル符号化を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とに基づいて前記ダウンミックス信号の符号化表現を提供する際、水平結合を行うよう構成される、請求項２０〜２７のいずれか１項に記載のオーディオエンコーダ。
29. オーディオエンコーダは、マルチチャネル符号化を用いて前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とに基づいて前記第１のダウンミックス信号を提供する際、垂直結合を行うよう構成され、
    オーディオエンコーダは、マルチチャネル符号化を用いて前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とに基づいて前記第２のダウンミックス信号を提供する際、垂直結合を行うよう構成される、請求項２０〜２８のいずれか１項に記載のオーディオエンコーダ。
30. オーディオエンコーダは、予測ベースマルチチャネル符号化を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とに基づいて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とのジョイント符号化表現を提供するよう構成される、請求項２０〜２９のいずれか１項に記載のオーディオエンコーダ。
31. オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とに基づいて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とのジョイント符号化表現を提供するよう構成される、請求項２０〜３０のいずれか１項に記載のオーディオエンコーダ。
32. オーディオエンコーダは、パラメータベースマルチチャネル符号化を用いて、前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とに基づいて、前記第１のダウンミックス信号を提供するよう構成され、
    オーディオエンコーダは、パラメータベースマルチチャネル符号化を用いて、前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とに基づいて、前記第２のダウンミックス信号を提供するよう構成される、請求項２０〜３１のいずれか１項に記載のオーディオエンコーダ。
33. 前記パラメータベースマルチチャネル符号化は、２つのチャネル間の所望の相関関係および／または２つのチャネル間のレベル差を記述する１つ以上のパラメータを提供するよう構成される、請求項３２に記載のオーディオエンコーダ。
34. オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とに基づいて、前記第１のダウンミックス信号を提供するよう構成され、
    オーディオエンコーダは、残留信号支援マルチチャネル符号化を用いて、前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とに基づいて、前記第２のダウンミックス信号を提供するよう構成される、請求項２０〜３３のいずれか１項に記載のオーディオエンコーダ。
35. オーディオエンコーダは、マルチチャネル符号化を用いて、少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とをジョイント符号化する際に得られる第１の残留信号と、少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とをジョイント符号化する際に得られる第２の残留信号とのジョイント符号化表現を提供するよう構成される、請求項２０〜３４のいずれか１項に記載のオーディオエンコーダ。
36. 前記第１の残留信号および前記第２の残留信号は、オーディオシーンの異なる水平位置または方位位置と関連付けられる、請求項３５に記載のオーディオエンコーダ。
37. 前記第１の残留信号は、オーディオシーンの左側と関連付けられ、
    前記第２の残留信号は、前記オーディオシーンの右側と関連付けられる、請求項３５または３６に記載のオーディオエンコーダ。
38. 符号化表現に基づいて少なくとも４つのオーディオチャネル信号を提供するための方法（１０００）であって、
    マルチチャネル復号を用いて、第１のダウンミックス信号と第２のダウンミックス信号とのジョイント符号化表現に基づいて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とを提供するステップ（１０１０）と、
    マルチチャネル復号を用いて、前記第１のダウンミックス信号に基づいて、少なくとも第１のオーディオチャネル信号と第２のオーディオチャネル信号とを提供するステップ（１０２０）と、
    マルチチャネル復号を用いて、前記第２のダウンミックス信号に基づいて、少なくとも第３のオーディオチャネル信号と第４のオーディオチャネル信号とを提供するステップ（１０３０）と、
    前記第１のオーディオチャネル信号と前記第３のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張を行い（１０４０）、第１の帯域幅拡張チャネル信号と第３の帯域幅拡張チャネル信号とを得るステップと、
    前記第２のオーディオチャネル信号と前記第４のオーディオチャネル信号とに基づいて、マルチチャネル帯域幅拡張を行い（１０５０）、第２の帯域幅拡張チャネル信号と第４の帯域幅拡張チャネル信号とを得るステップとを備える、方法。
39. 少なくとも４つのオーディオチャネル信号に基づいて符号化表現を提供するための方法（９００）であって、
    第１のオーディオチャネル信号と第３のオーディオチャネル信号とに基づいて、共通帯域幅拡張パラメータの第１の組を取得するステップ（９２０）と、
    第２のオーディオチャネル信号と第４のオーディオチャネル信号とに基づいて、共通帯域幅拡張パラメータの第２の組を取得するステップ（９３０）と、
    マルチチャネル符号化を用いて、少なくとも前記第１のオーディオチャネル信号と前記第２のオーディオチャネル信号とをジョイント符号化（９３０）して第１のダウンミックス信号を得るステップと、
    マルチチャネル符号化を用いて、少なくとも前記第３のオーディオチャネル信号と前記第４のオーディオチャネル信号とをジョイント符号化（９４０）して第２のダウンミックス信号を得るステップと、
    マルチチャネル符号化を用いて、前記第１のダウンミックス信号と前記第２のダウンミックス信号とをジョイント符号化（９５０）して前記ダウンミックス信号の符号化表現を得るステップとを備える、方法。
40. コンピュータプログラムがコンピュータ上で動作する際に請求項３８または３９に記載の方法を実行するためのコンピュータプログラム。

Images