JP2009526264A - 符号化／復号化装置及び方法 - Google Patents

Abstract

【課題】マルチチャンネル信号を３Ｄ効果を有する信号に效率的に符号化でき、再生環境によって適応的に最上の音質を有するオーディオ信号を復元して再生できる符号化／復号化方法及び装置を提供する。
【解決手段】ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出する段階と、互換型ダウンミックス信号を、第２のマルチチャンネルデコーダに最適化したダウンミックス信号に変換する互換処理段階と、変換されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する段階と、を含むことを特徴とする復号化方法を提供する。
【選択図】図１

Description

本発明は、符号化／復号化方法及び装置に係り、より詳細には、３Ｄ効果を有する信号の処理のためのオーディオ信号の符号化／復号化装置及びこれを用いた符号化／復号化方法に関する。

マルチチャンネル信号は、符号化装置を通じて自分よりも少ない数のチャンネルを有する信号にダウンミックスされて復号化装置に転送され、復号化装置は、前記転送されてきたダウンミックス信号をマルチチャンネル信号に復元した後、３以上のスピーカ、例えば、５．１チャンネルのスピーカを用いて再生する。

また、マルチチャンネル信号はヘッドホンのような２チャンネルのスピーカを通じて再生されることもできる。この場合、使用者に、２チャンネルスピーカの音を３以上の音源から出力されるかのように感じさせるには、マルチチャンネル信号を３Ｄ効果を有する信号に符号化または復号化する３Ｄ処理技術が必要である。

本発明の目的は、様々な再生環境でマルチチャンネル信号を再生できるように、３Ｄ効果を有する信号を效率的に処理することができる符号化／復号化装置及び方法を提供することにある。

上記の目的を達成するための本発明による復号化方法は、ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出する段階と、前記互換型ダウンミックス信号を第２のマルチチャンネルデコーダに最適化したダウンミックス信号に変換する互換処理段階と、前記変換されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する段階と、を有することを特徴とする。

上記の目的を達成するための本発明による他の復号化方法は、ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出する段階と、３Ｄレンダリングに用いられるフィルタ情報に、前記互換型ダウンミックス信号の変換のための互換情報を合成する段階と、前記合成されたフィルタ情報を用いて前記互換型ダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する段階と、を有することを特徴とする。

上記の目的を達成するための本発明による復号化装置は、ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出するビットアンパッキング部と、互換情報を用いて前記互換型ダウンミックス信号を第２のマルチチャンネルデコーダに最適化したダウンミックス信号に変換するダウンミックス互換処理部と、前記変換されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する３Ｄレンダリング部と、を有することを特徴とする。

前記復号化方法は、好ましくは、コンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体で具現化できる。

本発明の符号化／復号化装置及び方法によれば、マルチチャンネル信号を３Ｄ効果を有する信号に效率的に符号化でき、再生環境によって適応的に最上の音質を有するオーディオ信号を復元して再生することが可能になる。

以下、添付の図面を参照しつつ、本発明に係る符号化／復号化方法及び装置の好適な実施例について詳細に説明する。

図１は、本発明の一実施例による符号化／復号化装置を示すブロック図である。図１を参照すると、符号化器１００は、マルチチャンネルエンコーダ１１０、３Ｄレンダリング部１２０、ダウンミックスエンコーダ１３０及びビットパッキング部１４０を含んでなる。

マルチチャンネルエンコーダ１１０は、複数のチャンネルを有するマルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、また、前記ダウンミックス信号からマルチチャンネル信号を復元するのに必要な複数の前記チャンネルに関する空間情報（ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。

空間情報は、マルチチャンネルのうち、２チャンネル間のエネルギー差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）、２チャンネル信号から３チャンネル信号を生成するために用いられる予測係数であるＣＰＣ（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）、２チャンネル間相関関係(ｃｏｒｒｅｌａｔｉｏｎ)を示すＩＣＣ（Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）、及び２チャンネル間時間差を示すＣＴＤ（Ｃｈａｎｎｅｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ）などを含むことができる。

３Ｄレンダリング部１２０は、ダウンミックス信号を用いて３Ｄダウンミックス信号を生成する。３Ｄダウンミックス信号は、２チャンネルの信号が３以上の方向性を有するようにし、ヘッドホンのような２チャンネルスピーカを通じて３次元立体音響を再生できるようにするための信号である。すなわち、３Ｄダウンミックス信号を２チャンネルのスピーカを通じて再生すると、再生される音は３チャンネル以上の音源から出力されるかのように使用者に聞こえさせることができる。音原の方向感は、両耳から入ってくる音の強度差、時間差、位相差のうち少なくとも一つにより形成されるので、３Ｄレンダリング部１２０は、上記のように人間が聴覚で音原の３次元上の位置を把握するメカニズムを用いてダウンミックス信号を３Ｄダウンミックス信号に変換することができる。

３Ｄレンダリング部１２０は、フィルタを用いてダウンミックス信号をフィルタリングすることによって３Ｄダウンミックス信号を生成することが好ましく、フィルタに関する情報、例えば、フィルタの係数は外部から入力されることができる。また、３Ｄレンダリング部１２０は、ダウンミックス信号を用いて３Ｄダウンミックス信号を生成すべく、マルチチャンネルエンコーダ１１０で生成された空間情報を用いても良い。例えば、３Ｄレンダリング部１２０は、空間情報を用いてダウンミックス信号を仮想のマルチチャンネル信号に変換した後、この仮想のマルチチャンネル信号をフィルタリングし、３Ｄダウンミックス信号に変換することができる。

３Ｄレンダリング部１２０は、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）フィルタを用いてダウンミックス信号をフィルタリングすることによって、３Ｄダウンミックス信号を生成できる。

ＨＲＴＦは、任意の位置を有する音源から出る音波と耳の鼓膜に到達する音波間の伝達関数（ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）を意味し、音原の方位と高度によってその値は異なる。方向性のない信号をＨＲＴＦでフィルタリングすると、人には、あたかも特定方向から音が出るかのように聞こえる。

３Ｄレンダリング部１２０は、周波数ドメイン、例えば、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）ドメインまたはＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）ドメイン上で３Ｄダウンミックス信号生成作業を行うことができる。この場合、３Ｄプロセシングの前にＤＦＴまたはＦＦＴを行ったり、３Ｄプロセシングの後にＩＤＦＴ（ｉｎｖｅｒｓｅ ＤＦＴ）またはＩＦＦＴ（ｉｎｖｅｒｓｅ ＦＦＴ）を行うことができる。

３Ｄレンダリング部１２０は、ＱＭＦ（ｑｕａｄｒａｔｕｒｅ ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）／ハイブリッドドメイン上でも３Ｄレンダリングを行うことができ、その場合、３Ｄレンダリングの前後にＱＭＦ／ハイブリッド分析及び合成（ｓｙｎｔｈｅｓｉｓ）が行われるこどかできる。

また、３Ｄレンダリングは、時間（ｔｉｍｅ）ドメイン上でも行われることができる。３Ｄレンダリングの行われるドメインは、要求される音質、装置の演算能力などを考慮して最も好適なドメインを決定すれば良い。

ダウンミックスエンコーダ１３０は、マルチチャンネルエンコーダ１１０から出力されるダウンミックス信号または３Ｄレンダリング部１２０から出力される３Ｄダウンミックス信号を符号化する。ダウンミックスエンコーダ１３０は、入力されるダウンミックス信号をＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＭＰ３（ＭＰＥＧ ｌａｙｅｒ ３）またはＢＳＡＣ（Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などのオーディオ信号コーディング方法を用いて符号化することができる。

ダウンミックスエンコーダ１３０は、３Ｄ処理されなかったダウンミックス信号と３Ｄ処理された３Ｄダウンミックス信号とも符号化することができ、この場合、転送されるビットストリームにこれらの両信号を全て含めることができる。

ビットパッキング部１４０は、符号化されたダウンミックス信号または３Ｄダウンミックス信号と空間情報を用いてビットストリームを生成する。

ビットストリームは、空間情報、含まれた信号がダウンミックス信号か３Ｄダウンミックス信号かを示すダウンミックス識別情報、３Ｄレンダリング部１２０で用いられたフィルタに関する情報、例えば、ＨＲＴＦ係数に関する情報などを含むことができる。

すなわち、復号化装置に転送されるビットストリームには、３Ｄ処理されなかったダウンミックス信号とエンコーダで３Ｄ処理されたエンコーダ３Ｄダウンミックス信号のうち少なくとも一つが含まれることができ、転送されたビットストリームに含まれたダウンミックス信号を復号化装置で識別できるようにするダウンミックス識別情報が含まれることが好ましい。

転送されるビットストリームにダウンミックス信号とエンコーダ３Ｄダウンミックス信号のうちのいずれかが含まれるかは、使用者の選択、符号化／復号化装置の性能、再生環境などによって決定されることができる。

ＨＲＴＦ係数に対する情報は、３Ｄレンダリング部１２０で使用されたＨＲＴＦの逆変換関数の係数を含むことができ、３Ｄレンダリング部１２０で使用されたＨＲＴＦの係数に関する簡略化した情報、例えば、前記係数の包絡線（ｅｎｖｅｌｏｐｅ）情報のみを含んでも良い。ビットストリームにＨＲＴＦ逆変換関数の係数を含めて転送する場合、復号化装置のＨＲＴＦ係数変換作業が省略されることができるので、復号化装置の演算量を減少させることができる。

ビットストリームは、ＨＲＴＦを用いたフィルタリングによる信号のエネルギー変化に関する情報、すなわち、フィルタリング前の信号のエネルギーとフィルタリング後の信号のエネルギー間の差または比に関する情報を含むことができる。

ビットストリームは、ＨＲＴＦ係数を含むか否かを示す情報を有することができ、ＨＲＴＦ係数がビットストリームに含まれた場合、３Ｄレンダリング部１２０で使用されたＨＲＴＦの係数とＨＲＴＦの逆変換関数の係数のうちいずれかを含んでいるかに関する情報を有することができる。

図１を参照すると、本発明による復号化装置は、ビットアンパッキング部２１０、ダウンミックスデコーダ２２０、３Ｄレンダリング部２３０及びマルチチャンネルデコーダ２４０を含んでなる。

ビットアンパッキング部２１０は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ２２０は、符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ２２０は、ＡＡＣ、ＭＰ３またはＢＳＡＣなどのオーディオ信号復号化方法を用いて、符号化されたダウンミックス信号を復号化することができる。

上記のように、ビットストリームから抽出される信号は、符号化されたダウンミックス信号または符号化されたエンコーダ３Ｄダウンミックス信号でありうる。ビットストリームに含まれたダウンミックス信号が３Ｄ処理された信号か否かに関する情報は、ビットストリームに含まれることができる。

ダウンミックスデコーダ２２０により復号化されたエンコーダ３Ｄダウンミックス信号は、直ちに再生可能である。

ダウンミックスデコーダ２２０により復号化されたダウンミックス信号は、３Ｄレンダリング部２３０に含まれた第３のレンダリング部２３３で３Ｄ効果処理され、３Ｄダウンミックス信号に変換されることができる。このように復号化装置で３Ｄ効果処理されたデコーダ３Ｄダウンミックス信号は、直ちに再生可能である。

３Ｄレンダリング部２３０に含まれた第１のレンダリング部２３１は、ダウンミックスデコーダ２２０により復号化されたエンコーダ３Ｄダウンミックス信号に３Ｄレンダリングを行い、ダウンミックス信号を生成する。例えば、第１のレンダリング部２３１は、エンコーダ３Ｄダウンミックス信号の３Ｄ効果を除去することによって、３Ｄ処理されなかったダウンミックス信号を生成できる。

エンコーダ３Ｄダウンミックス信号の３Ｄ効果は、第１のレンダリング部２３１により完全に除去されないこともあり、したがって、第１のレンダリング部２３１から出力されるダウンミックス信号は、若干の３Ｄ効果を有する信号にもなりうる。

第１のレンダリング部２３１は、符号化器１００の３Ｄレンダリング部１２０で使用されたフィルタの逆変換フィルタを用いて、エンコーダダウンミックス信号を３Ｄ効果の除去されたダウンミックス信号に変換できる。３Ｄレンダリング部１２０で使用されたフィルタまたは逆変換フィルタに関する情報は、符号化器１００から転送されるビットストリームに含まれることができる。

ここで、フィルタはＨＲＴＦフィルタとすることが好ましく、この場合、符号化器１００で使用されたＨＲＴＦの係数またはＨＲＴＦの逆変換係数は、符号化器１００から転送されるビットストリームに含まれることができる。符号化器１００で使用されたＨＲＴＦの係数は逆変換された後、第１のレンダリング部２３１の３Ｄレンダリングに用いられる。ビットストリームに符号化器１００で使用されたＨＲＴＦの逆変換係数が含まれた場合、逆変換過程無しで、該ビットストリームに含まれた係数を用いて３Ｄレンダリングを行うことができるので、復号化装置の演算量を減少させることができる。

入力されるビットストリームには、フィルタ情報、例えば、ＨＲＴＦ係数を含むか否かを示す情報またはビットストリームに含まれたフィルタ情報が逆変換されたか否かに関する情報が含まれることができる。

マルチチャンネルデコーダ２４０は、３Ｄ効果の除去されたダウンミックス信号とビットストリームから抽出された空間情報とを用いて、３以上のチャンネルを有する３Ｄマルチチャンネル信号を生成する。

また、第２のレンダリング部２３２は、３Ｄ効果の除去されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄ効果を有する３Ｄダウンミックス信号を生成できる。すなわち、第１のレンダリング部２３１は、エンコーダ３Ｄダウンミックス信号から符号化器１００の３Ｄ効果を除去し、第２のレンダリング部２３１は、復号化装置が持つフィルタを用いて、当該３Ｄ効果の除去されたダウンミックス信号に３Ｄレンダリングを行い、復号化装置で所望の３Ｄ効果を有するコンバインド（ｃｏｍｂｉｎｅｄ）３Ｄダウンミックス信号を生成できる。

本発明による復号化装置は、第１、２、３レンダリング部２３１，２３２，２３３のうち、同じ動作を行う２以上のユニットを一つのレンダリング部に併合して含むことができる。

図１に示すように、符号化器１００で生成されたビットストリームは、上記のような復号化装置の構造を有する第１の復号化器２００とは異なる第２の復号化器３００に転送されることができ、第２の復号化器３００は、ビットストリームに含まれたダウンミックス信号を用いて３Ｄダウンミックス信号を生成することができる。

第２の復号化器３００のビットアンパッキング部３１０は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ３２０は、当該符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ３２０により復号化されたダウンミックス信号は、３Ｄレンダリング部３３０により３Ｄ効果処理され、３Ｄダウンミックスに変換されることができる。

図２は、本発明の一実施例による符号化装置の構成を示すブロック図で、同図の符号化装置は、３Ｄレンダリング部４００、４２０及びマルチチャンネルエンコーダ４１０を含んでなる。図２に示す符号化装置の動作説明において、図１を参照して説明した符号化装置の動作と重複する説明は省略する。

図２を参照すると、３Ｄレンダリング部４００，４２０は、マルチチャンネルエンコーダ４１０の前段または後段に位置することができる。すなわち、マルチチャンネル信号は、３Ｄレンダリング部４００で３Ｄレンダリングされた後、マルチチャンネルエンコーダ４１０に入力され、前処理エンコーダ３Ｄダウンミックス信号に符号化されることができ、あるいは、マルチチャンネル信号はマルチチャンネルエンコーダ４１０でダウンミックスされた後、３Ｄレンダリング部４２０で３Ｄレンダリングされ、後処理エンコーダダウンミックス信号に符号化されても良い。

この３Ｄレンダリングがマルチチャンネルエンコーダ４１０によるダウンミックスの以前に行われたか以降に行われたかに関する情報は、符号化装置から転送されるビットストリームに含まれることが好ましい。

図２では、３Ｄレンダリング部４００，４２０がマルチチャンネルエンコーダ４１０の前段及び後段ともに位置しているが、マルチチャンネルエンコーダ４１０の前段及び後段のいずれか一方に３Ｄレンダリング部が位置することが好ましい。

図３は、本発明の一実施例による復号化装置の構成を示すブロック図で、同図の復号化装置は、３Ｄレンダリング部４３０，４５０及びマルチチャンネルデコーダ４４０を含んでなる。図３に示す復号化装置の動作説明において、図１を参照して説明した復号化装置の動作と重複する説明は省略するものとする。

図３を参照すると、３Ｄレンダリング部４３０，４５０は、マルチチャンネルデコーダ４４０の前段または後段に位置することができる。すなわち、エンコーダ３Ｄダウンミックス信号は、３Ｄレンダリング部４３０で３Ｄ効果が除去された後、マルチチャンネルデコーダ４４０に入力され、前処理３Ｄマルチチャンネル信号に復号化されることができ、あるいは、エンコーダ３Ｄダウンミックス信号は、マルチチャンネルデコーダ４４０でマルチチャンネル信号に復元された後、３Ｄレンダリング部４５０で３Ｄ効果が除去され、後処理３Ｄマルチチャンネル信号に復号化されることができる。

このエンコーダ３Ｄダウンミックス信号を生成した符号化装置で、３Ｄレンダリングがダウンミックス以前に行われた場合、復号化装置では３Ｄレンダリングがマルチチャンネルデコーディング以後に行われるようにすることが好ましい。また、符号化装置で３Ｄレンダリングがダウンミックス以後に行われた場合には、復号化装置では３Ｄレンダリングがマルチチャンネルデコーディング以前に行われるようにすることが好ましい。

上記のように、符号化装置で３Ｄレンダリングがダウンミックス以前に行われたか、または、以後に行われたかに関する情報は、符号化装置から転送されるビットストリームから抽出されることが好ましい。

図３では、３Ｄレンダリング部４３０，４５０がマルチチャンネルデコーダ４３０の前段及び後段ともに位置しているが、マルチチャンネルデコーダ４３０の前段及び後段のいずれか一方に３Ｄレンダリング部が位置することが好ましい。

図４は、本発明の他の実施例による符号化装置の構成を示すブロック図である。同図の符号化装置は、マルチチャンネルエンコーダ５００、３Ｄレンダリング部５１０、ダウンミックスエンコーダ５２０及びビットパッキング部５３０を含んでなる。図４に示す符号化装置の動作説明において、図１を参照して説明した符号化装置の動作と重複する説明は省略する。

図４を参照すると、マルチチャンネルエンコーダ５００は、入力されるマルチチャンネル信号を用いてダウンミックス信号と空間情報を生成し、３Ｄレンダリング部５１０は、生成されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する。

符号化装置で、ダウンミックス信号への３Ｄレンダリングを行うか否かは、使用者の選択、符号化／復号化装置の性能、再生環境または要求される音質などによって決定されることができる。

ダウンミックスエンコーダ５２０は、マルチチャンネルエンコーダ５００で生成されたダウンミックス信号または３Ｄレンダリング部５１０で生成された３Ｄダウンミックス信号を符号化する。

ビットパッキング部５３０は、符号化されたダウンミックス信号または符号化されたエンコーダ３Ｄダウンミックス信号と空間情報を用いて、ビットストリームを生成する。このビットストリームは、含まれた信号が３Ｄ効果を有しないダウンミックス信号か３Ｄ効果を有するエンコーダ３Ｄダウンミックス信号かを示すダウンミックス識別情報を含むことが好ましい。すなわち、ダウンミックス識別情報は、ビットストリームにダウンミックス信号が含まれているか、エンコーダ３Ｄダウンミックス信号が含まれているか、または、これら両信号を含んでいるかに関する情報を有することができる。

図５は、本発明の他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部５４０、ダウンミックスデコーダ５５０及び３Ｄレンダリング部５６０を含んでなる。図５に示す復号化装置の動作説明において、図１を参照して説明した復号化装置の動作と重複する説明は省略する。

図５を参照すると、ビットアンパッキング部５４０は、入力されるビットストリームから、符号化されたダウンミックス信号、空間情報及びダウンミックス識別情報を抽出する。この抽出されたダウンミックス識別情報から、当該ビットストリームに含まれたダウンミックス信号が３Ｄ効果を有しないダウンミックス信号か、３Ｄ効果を有する３Ｄダウンミックス信号かがわかる。

このビットストリームにダウンミックス信号と３Ｄダウンミックス信号がいずれも含まれた場合、使用者の選択、符号化／復号化装置の性能、再生環境または要求される音質などによって、これら両信号のうちいずれか一方のみが当該ビットストリームから抽出され、復号化に用いられることができる。

ダウンミックスデコーダ５５０は、当該符号化されたダウンミックス信号を復号化する。この復号化された信号が、符号化装置で３Ｄレンダリングされたエンコーダ３Ｄダウンミックス信号である場合、復号化されたエンコーダ３Ｄダウンミックス信号は直ちに再生可能である。

また、復号化された信号が３Ｄ効果を有しないダウンミックス信号である場合、３Ｄレンダリング部５６０は、当該ダウンミックス信号に３Ｄレンダリングを行い、デコーダ３Ｄダウンミックス信号を生成することができる。

図６は、本発明のさらに他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部６００、ダウンミックスデコーダ６１０、第１の３Ｄレンダリング部６２０、第２の３Ｄレンダリング部６３０及びフィルタ情報保存部６４０を含んでなる。図６に示す復号化装置の動作説明において、図１を参照して説明した復号化装置の動作と重複する説明は省略する。

ビットアンパッキング部６００は、入力されるビットストリームから、符号化されたエンコーダ３Ｄダウンミックス信号及び空間情報を抽出し、ダウンミックスデコーダ６１０は、当該符号化されたエンコーダ３Ｄダウンミックス信号を復号化する。

第１の３Ｄレンダリング部６２０は、符号化装置で３Ｄレンダリングに使用されたフィルタの逆変換フィルタを用いて、前記復号化されたエンコーダ３Ｄダウンミックス信号から３Ｄ効果を除去する。第２の３Ｄレンダリング部６３０は、復号化装置が持つフィルタを用いて、該３Ｄ効果の除去された信号に３Ｄレンダリングを行い、３Ｄ効果を有するコンバインド３Ｄダウンミックス信号を生成する。

第２の３Ｄレンダリング部６３０は、符号化装置で３Ｄレンダリングに使用されたフィルタと異なる特性を有するフィルタ、例えば、符号化装置で使用されたＨＲＴＦと異なる係数を有するＨＲＴＦを用いて、３Ｄレンダリングを行うことが好ましい。

フィルタ情報保存部６４０は、３Ｄレンダリングに用いられるフィルタに関する情報、例えば、ＨＲＴＦ係数情報を保存しており、第２の３Ｄレンダリング部６３０は、フィルタ情報保存部６４０に保存されたフィルタ情報を用いてコンバインド３Ｄダウンミックス信号を生成できる。

フィルタ情報保存部６４０は、複数のフィルタに関する情報を保存することができ、この場合、使用者の選択、装置の能力または要求される音質などによって、保存された複数のフィルタに関する情報の中からいずれか一つのフィルタ情報が選択されることができる。

人種などによって耳の構造が異なることができるので、個々人に最適化したＨＲＴＦ係数は異なってくる。したがって、図６に示すような構造を有する復号化装置は、使用者が最適化した３Ｄダウンミックス信号を再生できるようにし、３Ｄダウンミックス信号の供給者が使用するＨＲＴＦによらず、使用者の希望するＨＲＴＦフィルタによる３Ｄ効果を有する３Ｄダウンミックス信号を再生可能である。

図７は、３Ｄレンダリングを行う３Ｄレンダリング部の一実施例を示す構成ブロック図であり、同図に示すように、特定ドメインで３Ｄレンダリングを行うためにドメイン変換部７００，７２０が３Ｄレンダリング部７１０の前段または後段に含まれることが好ましい。

図７を参照すると、ダウンミックス信号は、第１のドメイン変換部７００により周波数ドメイン上の信号に変換される。第１のドメイン変換部７００は、ダウンミックス信号に離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）を行ってＤＦＴドメインに変換したり、ファーストフーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）を行ってＦＦＴドメインに変換することができる。

３Ｄレンダリング部７１０は、周波数ドメイン上で前記ダウンミックス信号に空間情報を適用してマルチチャンネル信号を生成し、この生成されたマルチチャンネル信号をフィルタリングして３Ｄダウンミックス信号を生成する。

この生成された３Ｄダウンミックス信号は、第２のドメイン変換部７２０により時間ドメイン信号に変換される。第２のドメイン変換部７２０は、前記３Ｄダウンミックス信号に逆離散フーリエ変換（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＩＤＦＴ）または逆ファーストフーリエ変換（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＩＦＦＴ）を行うことができる。

上記のように周波数ドメイン上で生成された３Ｄダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシング（ａｌｉａｓｉｎｇ）のようなデータの損失または歪曲が生じることがある。

マルチチャンネル信号及び３Ｄダウンミックス信号の生成作業が周波数ドメイン上で行われるべく、パラメータバンド別に表現される空間情報は周波数ドメイン上にマッピングされ、フィルタ係数は周波数ドメイン上に変換される。

３Ｄレンダリング部７１０は、周波数ドメイン上でダウンミックス信号、空間情報及びフィルタ係数をかけ、３Ｄダウンミックス信号を生成できる。

Ｍ−ポイント（Ｍ−ｐｏｉｎｔ）を有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数をかけた後に時間ドメイン上の信号に変換すると、この変換された信号は、Ｍ個の有効信号を有するようになる。このようにダウンミックス信号、空間情報及びフィルタ係数をＭ−ポイントを有する周波数ドメイン上で表現すべく、Ｍ−ポイントＤＦＴまたはＭ−ポイントＦＦＴを使用することができる。

有効信号は、複数の信号のうち、常に‘０’の値を有する信号以外の信号の個数を意味するもので、例えば、オーディオ信号をｘ個の信号にサンプリングをし、ｘ個の有効信号を生成することができる。また、これらｘ個の有効信号のうち、ｙ個の有効信号をゼロパッディング（ｚｅｒｏ−ｐａｄｄｉｎｇ）すると、有効信号の個数が（ｘ−ｙ）個に減少し、ａ個の有効信号を有する信号とｂ個の有効信号を有する信号を畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）すれば、（ａ＋ｂ−１）個の有効信号を有する信号が生成される。

このダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかける過程は、時間ドメイン上で畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）をする効果を奏する。前記Ｍ−ポイントを有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数を、時間ドメイン上に変換したのち畳み込みをして信号を生成すると、この信号は（３＊Ｍ−２）個の有効信号を有することになる。

したがって、ダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかけたのち時間ドメイン上に変換して得られる信号の有効信号個数と、時間ドメイン上でダウンミックス信号、空間情報及びフィルタ係数を畳み込みして得られる信号の有効信号個数とが異なることができ、これにより、周波数ドメイン上で生成された３Ｄダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシングが起きるわけである。

エイリアシングを防止するためには、時間ドメイン上でダウンミックス信号の有効信号個数、周波数ドメイン上にマッピングされた空間情報の有効信号個数及びフィルタの係数の個数の和が、上記Ｍより大きくならなければならない。周波数ドメイン上にマッピングされた空間情報の有効信号個数は、周波数ドメインのポイントにより決定される。すなわち、パラメータバンド別に表現される空間情報がＮ−ポイントを有する周波数ドメイン上にマッピングされる場合、このマッピングされた空間情報の有効信号個数はＮとなる。

図７に示すように、第１のドメイン変換部７００は、第１のゼロパッディング部７０１及び第１の周波数ドメイン変換部７０２を含み、３Ｄレンダリング部７１０は、マッピング部７１１、時間ドメイン変換部７１２、第２のゼロパッディング部７１３、第２の周波数ドメイン変換部７１４、マルチチャンネル信号生成部７１５、第３のゼロパッディング部７１６、第３の周波数ドメイン変換部７１７及び３Ｄダウンミックス信号生成部７１８を含むことができる。

第１のゼロパッディング部７０１は、時間ドメイン上でＸ個サンプルを有するダウンミックス信号にゼロパッディングを行い、サンプルの個数をＭ個まで増加させ、第１の周波数ドメイン変換部７０２は、当該ゼロパッディングされたダウンミックス信号を、Ｍ−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたダウンミックス信号のサンプル個数はＭであるが、そのうち、有効信号の個数はＸである。

マッピング部７１１は、パラメータバンド別に表現された空間情報をＮ−ポイントを有する周波数ドメイン上にマッピングさせ、時間ドメイン変換部７１２は、前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上に変換する。この時間ドメイン上に変換された空間情報のサンプル個数はＮである。

第２のゼロパッディング部７１３は、時間ドメイン上でＮ個サンプルを有する前記空間情報にゼロパッディングを行い、サンプルの個数をＭ個まで増加させ、第２の周波数ドメイン変換部７１４は、前記ゼロパッディングされた空間情報をＭ−ポインドを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされた空間情報のサンプル個数はＭであるが、そのうち、有効信号の個数はＮである。

マルチチャンネル信号生成部７１５は、Ｍ−ポイントを有する周波数ドメイン上で表現された前記ダウンミックス信号と空間情報とをかけてマルチチャンネル信号を生成する。このような周波数ドメイン上の積により生成されたマルチチャンネル信号の有効信号の個数はＭであり、このような有効信号を有するダウンミックス信号と空間情報との時間ドメイン上での畳み込みにより生成されるマルチチャンネル信号の有効信号個数は（Ｘ＋Ｎ−１）となる。

第３のゼロパッディング部７１６は、時間ドメイン上で表現されるＹ個のフィルタ係数にゼロパッディングを行い、サンプルの個数をＭ個まで増加させ、第３の周波数ドメイン変換部７１７は、前記ゼロパッディングされたフィルタ係数を、Ｍ−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたフィルタ係数のサンプル個数はＭであるが、そのうち、有効信号の個数はＹである。

３Ｄダウンミックス信号生成部７１８は、前記生成されたマルチチャンネル信号と前記Ｍ−ポイントを有する周波数ドメイン上に変換されたフィルタ係数とをかけ、３Ｄダウンミックス信号を生成する。このような周波数ドメイン上の積により生成された３Ｄダウンミックス信号の有効信号の個数はＭであり、このような有効信号を有するマルチチャンネル信号とフィルタ係数の時間ドメイン上における畳み込みにより生成される３Ｄダウンミックス信号の有効信号個数は、（Ｘ＋Ｎ＋Ｙ−２）となる。

第１、２、３の周波数ドメイン変換部７１２で変換される周波数ドメインのポイントＭが、上記（Ｘ＋Ｎ＋Ｙ−２）以上になるようにすることによって、エイリアシングを防止できる。すなわち、第１、２、３の周波数ドメイン変換部７１２が（Ｘ＋Ｎ＋Ｙ−２）以上であるＭ−ポイントＤＦＴまたはＭ−ポイントＦＦＴを用いてドメイン変換を行うようにすることによって、エイリアシングを防止できる。

周波数ドメインへの変換にはＤＦＴ、ＦＦＴだけでなく、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）以外のフィルタバンクも用いられることができ、上記３Ｄダウンミックス信号生成にＨＲＴＦフィルタが用いられることができる。

上記空間情報の有効信号個数を調整する方法には、上記した方法の他の調整方法も使用可能であり、これら調整方法のうち、効率的で且つ演算量の少ない方法を選択して使用すると良い。

エイリアシングは、周波数ドメインと時間ドメイン間の変換過程の他、ＱＭＦ／ハイブリッドドメインへの変換過程でも発生でき、上記のようなエイリアシング防止方法は、ＱＭＦ／ハイブリッドドメインへの変換過程で発生するエイリアシングにも適用可能である。

また、マルチチャンネル信号の生成または３Ｄダウンミックス信号の生成に用いられる空間情報が変化することによって、この空間情報の変化区間で信号の不連続（ｄｉｓｃｏｎｔｉｎｕｉｔｙ）が発生し、このような不連続は、出力信号（ｏｕｔｐｕｔ ｓｉｇｎａｌ）にノイズの形態で現れる。

このようなノイズは、変化区間で空間情報が急に変化しないようにするスムージング（ｓｍｏｏｔｈｉｎｇ）方法を適用することによって減少させることができる。

例えば、隣り合う第１のフレーム（ｆｒａｍｅ）と第２のフレームにそれぞれ適用される第１の空間情報と第２の空間情報が異なることから、フレーム間の不連続が発生する。

この場合、第１の空間情報を第２の空間情報を用いて補正したり、第２の空間情報を第１の空間情報を用いて補正し、前記第１及び第２の空間情報間の差を減らすことによって、不連続により発生するノイズを減少させることができる。具体的には、第１及び第２の空間情報のうち少なくとも一つを、第１及び第２の空間情報の平均に取り換えてノイズを減少させることができる。

また、空間情報が対応するパラメータバンド（ｐａｒａｍｅｔｅｒ ｂａｎｄ）のうち、隣接する２つのバンド間の不連続によってもノイズが発生する。すなわち、隣り合う第１のパラメータバンドと第２のパラメータバンドにそれぞれ対応する第３の空間情報と第４の空間情報が異なることから、パラメータバンド間の不連続が発生する。

この場合、第３の空間情報を第４の空間情報を用いて補正したり、第４の空間情報を第３の空間情報を用いて補正し、第３及び第４の空間情報間の差を縮めることによって不連続により発生するノイズを減少させることができる。具体的には、第３及び第４の空間情報のうち少なくとも一つを、第３及び第４の空間情報の平均に取り換えてノイズを減少させることができる。

隣接するフレーム間またはパラメータバンド間の不連続により発生するノイズは、上記した方法の他、下記のような方法によっても減少させることができる。

ハニングウィンド（Ｈａｎｎｉｎｇ ｗｉｎｄｏｗ）のようなウィンドを各フレームにかけ、オーバーラップ・アンド・アッド（ｏｖｅｒｌａｐ ａｎｄ ａｄｄ）の形態で進行し、フレーム間の急な変化を減らす方法を用いても良く、または、相互に異なる空間情報が適用された出力信号にスムージングを行い、該出力信号のフレーム間に急な変化が起きないように調整する方法を用いても良い。

ＤＦＴドメイン上で空間情報、例えば、ＩＣＣを用いてチャンネル間の無相関（ｄｅｃｏｒｒｅｌａｔｉｏｎ）を調整する一方法について説明すると下記の通りである。

ＯＴＴまたはＴＴＴボックスの特定バンドに適用されるＩＣＣ値がＡである場合、このボックスに入力される信号の係数に（Ａ＋（１−Ａ＊Ａ）＾０．５＊ｉ）をかけ、無相関を調整することができる。この時、虚数部分は正と負の値から選択されることができる。

上記係数にかけられる値は、信号の特性、例えば、信号のエネルギーレベル、信号の周波数別エネルギー特性またはＩＣＣ値の適用されるボックスによって適切な加重値（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）を有することができ、これにより無相関効果を調整することができ、フレーム間のスムージングや補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）などを適用できる。

図７を参照して説明したように、周波数ドメイン上で３Ｄダウンミックス信号を生成するために、ＨＲＴＦまたは周波数ドメインに変換されたＨＲＩＲ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）が用いられることができる。

これと違い、時間ドメイン上でＨＲＩＲ及びダウンミックス信号を畳み込みすることによって３Ｄダウンミックス信号を生成でき、周波数ドメイン上で生成された３Ｄダウンミックス信号に逆ドメイン変換を行わずに周波数ドメイン上に残しておいても良い。

このような時間ドメイン上での畳み込みのために、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタまたはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが用いられることができる。

上記のように、本発明による符号化装置または復号化装置は、３Ｄダウンミックス信号を生成すべく、ｉ）周波数ドメイン上でＨＲＴＦまたは周波数ドメインに変換されたＨＲＩＲ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）を用いる方法、またはii）時間ドメイン上でＨＲＩＲを畳み込みする方法を用いることができ、これら両方法を組み合わせて使用することができる。

図８〜図１１は、ビットストリーム構造の実施例を示す図である。

図８を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、３Ｄダウンミックス信号を生成するための情報を含む３Ｄレンダリング情報フィールド、及びこれらの両情報を使用するためのヘッダ情報を有するヘッダフィールドで構成されることができる。また、状況によって、これら３つのフィールドのうち一部フィールドのみを用いてビットストリームを構成しても良い。

図９を参照すると、復号化に必要な付加情報を示すためのビットストリームは、符号化した信号全体に関するヘッダ情報を有する特定構造（ｓｐｅｃｉｆｉｃ ｃｏｎｆｉｇｕｒａｔｉｏｎ）ヘッダフィールドと、それぞれフレーム単位の付加情報を有する複数のフレームデータフィールドで構成されることができる。このフレームデータフィールドは、フレーム単位のヘッダ情報を有するフレームヘッダフィールドと、フレーム単位の空間情報を有するフレームパラメータデータフィールドとを含むことができる。あるいは、フレームデータフィールドは、空間情報を含むフレームパラメータデータフィールドのみで構成されても良い。

フレームパラメータデータフィールドは、フラグとパラメータデータとで構成されるモジュールを複数個含むことができる。このモジュールは、空間情報などのパラメータデータ及びそれから生成された信号の音質向上のためのデータ、例えば、ダウンミックスゲイン、スムージングデータの集合を意味する。

前記フレームヘッダフィールドで指定した情報に関連したモジュールデータを別のフラグ無しで受信する場合、フレームヘッダフィールドで指定した情報をより詳細に分類する場合、またはフレームヘッダフィールドで指定しない情報に対して別のフラグと情報を受信する場合には、前記フラグが省略されても良い。

一方、上記の３Ｄダウンミックス信号と関連した付加情報、例えば、ＨＲＴＦ係数情報などは、特定構造ヘッダフィールド、フレームヘッダ及びフレームパラメータデータフィールドのうち少なくとも一つに含まれることができる。

図１０を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、及び３Ｄダウンミックス信号を生成するための情報を含む３Ｄレンダリング情報フィールドで構成されることができる。

このような構成を有するビットストリームを受信した復号化装置は、再生しようとする信号によって、上記２つのフィールドのいずれか一つのフィールドのみを読み込んで復号化に用い、残り一つのフィールドはスキップ（ｓｋｉｐ）することができる。

すなわち、マルチチャンネル信号を生成しようとする場合、復号化装置は、３Ｄレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。また、３Ｄダウンミックス信号を生成しようとする場合には、復号化装置は、マルチチャンネルデコーディング情報フィールドをスキップし、３Ｄレンダリング情報フィールドに含まれた情報のみを読み込むことができる。

複数のフィールドのうち一部をスキップする方法の実施例について説明すると、下記の通りである。

第一、フィールドの全体ビット数に関するフィールド長情報をビットストリームに含め、このビット数に該当するデータをスキップすることによって、所望のフィールドをスキップすることができる。このフィールド長情報は、該当のフィールドの開始部分に位置することが好ましい。

第二、フィールドの終了部分または開始部分にシンクワード（ｓｙｎｃｗｏｒｄ）を配置し、このシンクワードを用いてフィールドの位置を把握することによって、所望のフィールドをスキップすることができる。

第三、フィールド長があらかじめ定められ固定されている場合には、この固定された長さに該当するデータ分だけスキップすることによって所望のフィールドをスキップすることができる。このフィールドの固定長さ情報は、ビットストリームに含まれたり、復号化装置に保存されていることができる。

第四、上記のような３つのフィールドスキップ方法のうち、２つ以上を組み合わせて用いることによって、複数のフィールドのうち所望のフィールドをスキップすることができる。

上記スキップ情報、例えば、フィールド長情報、シンクワードまたは固定長さ情報は、図９に示す特定構造ヘッダフィールド、フレームヘッダフィールド及びフレームパラメータデータフィールドのうち、少なくともいずれか一つに含まれたり、これら３つのフィールド以外の新しく定義されるフィールドに含まれることができる。
例えば、マルチチャンネル信号を生成しようとする場合、復号化装置は、３Ｄレンダリング情報フィールドの開始部分に含まれたフィールド長情報、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたシンクワードまたは３Ｄレンダリング情報フィールドの固定長さ情報を用いて、３Ｄレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。

また、３Ｄダウンミックス信号を生成しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたフィールド長情報、３Ｄレンダリング情報フィールドの開始部分に含まれたシンクワード、またはマルチチャンネルデコーディング情報フィールドの固定長さ情報を用いて、マルチチャンネルデコーディング情報フィールドをスキップし、３Ｄレンダリング情報フィールドに含まれたデータのみを読み込むことができる。

ビットストリームは、含んでいるデータがマルチチャンネル信号を生成するためのものか、３Ｄダウンミックス信号生成のためのものかに関する情報を有することができる。

一方、ビットストリームに、ＣＬＤのような空間情報は含まれず、３Ｄダウンミックス信号生成のためのデータ（例えば、ＨＲＴＦフィルタ係数）のみ含まれる場合、空間情報無しで３Ｄダウンミックス信号生成のためのデータのみを用いて復号化することによって、マルチチャンネル信号を再生することができる。

例えば、ダウンミックス信号から２チャンネルに関する空間情報であるステレオパラメータを求めた後、このステレオパラメータを再生しようとする複数のチャンネルに関する空間情報に変換し、この変換された空間情報を前記ダウンミックス信号に適用することによってマルチチャンネル信号を生成することができる。

一方、ビットストリームにマルチチャンネル信号生成のためのデータのみ含まれた場合は、別の復号化作業無しでダウンミックス信号を再生したり、復号化装置に含まれた別のＨＲＴＦフィルタを用いて前記ダウンミックス信号に３Ｄプロセシングを行い、３Ｄダウンミックス信号を再生しても良い。

また、ビットストリームにマルチチャンネル信号生成のためのデータと３Ｄダウンミックス信号生成のためのデータが両方とも含まれた場合、使用者がこれらの信号から、再生する信号を選択するようにすることができる。

以下では、復号化過程を示すシンタックス（ｓｙｎｔａｘ）に挙げて、一部のデータをスキップする方法の実施例について説明する。

まず、フレーム単位にオーディオ信号を復号化する過程を示すシンタックスは、次の通りである。

このシンタックスで、Ottdata()とTttData()は、ＣＬＤ、ＩＣＣ、ＣＰＣなどの空間情報のように、ダウンミックス信号をマルチチャンネル信号に復元するのに必須なパラメータを示すモジュールである。SmgData()、TempShapeData()、ArbitraryDownmixData()、ResidualData()は、符号化過程における歪曲を補正し、音質を向上させるために必要な情報を示すモジュールである。

例えば、復号化過程で、ＣＬＤ、ＩＣＣまたはＣＰＣのようなパラメータとArbitraryDownmixData()に含まれた情報のみを使用する場合、TttData()とArbitraryDownmixData()間に存在するSmgData()とTempShapeData()は不要になる。したがって、SmgData()モジュールとTempShapeData()モジュールはスキップすることが効率的である。

下記のシンタックス２は、一部モジュールをスキップする方法の第１の実施例を示す。

このシンタックスに示すように、SkipData()モジュールは、スキップしようとするモジュールの前に定義され、このSkipData()モジュールの内部に、スキップしようとするモジュールの全体ビット数（bsSkipBits）を指定する。

すなわち、スキップするSmgData()とTempShapeData()モジュールに用いられる全体ビット数を１５０ビットとすれば、SmgData()とTempShapeData()モジュールの前にSkipData()モジュールを定義し、bsSkipBitsを１５０ビットと指定することによって、１５０ビットに該当するSmgData()とTempShapeData()モジュールをスキップすることができる。

下記のシンタックス３は、一部モジュールをスキップする方法の第２の実施例を示す。

このシンタックスに示すように、シンクワードの使用有無に関する情報を有するbsSkipSyncflagとスキップされるモジュールの終了部分に位置するbsSkipSyncwordを用いて、余分なモジュールをスキップすることができる。

すなわち、bsSkipSyncflagをシンクワードを使用するものと指定すれば、このフラグ以下のモジュールは、シンクワードが現れるまでスキップされる。したがって、このシンタックス３では、bsSkipSyncflagとbsSkipSyncword間のSmgData()及びTempShapeData()モジュールがスキップされることができる。

図１１を参照すると、ビットストリームは、マルチチャンネル信号の再生のためのヘッダ情報を有するマルチチャンネルヘッダフィールド、３Ｄダウンミックス信号の再生のためのヘッダ情報を有する３Ｄレンダリングヘッダフィールド、及びそれぞれマルチチャンネル信号の再生のためのデータを有する複数のマルチチャンネルデコーディング情報フィールドを含む。

マルチチャンネル信号を再生しようとする場合、復号化装置は、３Ｄレンダリングヘッダフィールドをスキップし、マルチチャンネルヘッダフィールドに含まれたヘッダ情報とマルチチャンネルデコーディング情報フィールドに含まれたデータを読み込み、マルチチャンネル信号を生成する。

この３Ｄレンダリングヘッダフィールドをスキップする方法の実施例は、図１０を参照して説明したフィールドスキップ方法と同一なので、その説明は省略する。

３Ｄダウンミックス信号を再生しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたデータと３Ｄレンダリングヘッダフィールドに含まれたヘッダ情報を用いて３Ｄダウンミックス信号を生成できる。例えば、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたダウンミックス信号と３Ｄレンダリングヘッダフィールドに含まれたＨＲＴＦ係数情報を用いて３Ｄダウンミックス信号を生成することができる。

図１２は、本発明の一実施例による任意ダウンミックス信号を処理する符号化／復号化装置の構成を示すブロック図であり、任意ダウンミックス信号は、符号化器８００に含まれたマルチチャンネルエンコーダ８０１により生成されたダウンミックス信号でないダウンミックス信号を意味する。図１２に示す符号化／復号化装置の動作説明において、図１を参照して説明した符号化／復号化装置の動作と重複する説明は省略する。

図１２を参照すると、符号化器８００は、マルチチャンネルエンコーダ８０１、空間情報合成部８０２及び比較部８０３を含んでなる。

マルチチャンネルエンコーダ８０１は、マルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、このダウンミックス信号からマルチチャンネル信号を復元するのに必要な空間情報を生成する。

比較部８０３は、前記生成されたダウンミックス信号と任意ダウンミックス信号とを比較し、任意ダウンミックス信号を補償し、前記ダウンミックス信号に近似する信号に変換するための補償情報を生成する。復号化装置は、前記補償情報を用いて任意ダウンミックス信号を補償した後、この補償された任意ダウンミックス信号を用いてマルチチャンネル信号を生成することによって、原本信号により近似するマルチチャンネル信号を復元することができる。

ここで、補償情報は、マルチチャンネルエンコーダ８０１で生成されたダウンミックス信号と任意ダウンミックス信号との差分に関する情報を意味することができる。復号化装置は、任意ダウンミックス信号に、前記差分情報（ｄｉｆｆｅｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）に相応する信号を加え、任意ダウンミックス信号を補償することができる。

また、差分情報は、ダウンミックス信号と任意ダウンミックス信号間のエネルギーレベル差に関する情報であるダウンミックスゲインでありうる。

このダウンミックスゲインは、周波数バンド別に求められても良く、時間あるいは時間スロット（ｔｉｍｅ ｓｌｏｔ）別に求められても良く、チャンネル別に求められても良い。これら３つの方法を組み合わせて求めても良い。例えば、一部のダウンミックスゲインは、周波数バンド別に求められ、他の一部のダウンミックスゲインは、時間スロット別に求められても良い。

また、前記ダウンミックスゲインは、パラメータバンド別に求められるか、任意ダウンミックス信号に最適化された周波数帯域別に求められても良い。このパラメータバンドは、パラメータ形態の空間情報が適用される周波数間隔のことをいう。

求められたダウンミックス信号と任意ダウンミックス信号とのエネルギーレベル差は量子化されても良い。求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、ＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）の量子化レベル分解能と等しい、または、異なることができる。また、上記２つのダウンミックス信号間のエネルギーレベル差の量子化レベルは、ＣＬＤの量子化レベルの一部または全部を使用したり、ＣＬＤの量子化レベルの一部または全部と新しく定義された量子化レベルを組み合わせて使用することができる。

２つのダウンミックス信号間エネルギーレベル差の分解能は、ＣＬＤの分解能より平均的に小さいので、求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、ＣＬＤの量子化レベル分解能より細密な値を有するようにすることができる。

任意ダウンミックス信号を補償するための補償情報は、マルチチャンネル信号のうち、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分に関するレジデュアル情報を含む拡張情報でありうる。復号化装置は、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分まで拡張情報を用いて復元することによって、原本信号に近いマルチチャンネル信号を復元することができる。

このような拡張情報を生成する方法の実施例について説明すると、下記の通りである。

マルチチャンネルエンコーダ８０１は、入力されるマルチチャンネル信号のうち、生成されたダウンミックス信号に含まれない成分に関する情報を、第１の拡張情報として生成することができる。復号化装置は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を生成する段階で第１の拡張情報を適用することによって、原本信号に近いマルチチャンネル信号を復元できる。

マルチチャンネルエンコーダ８０１は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を復元し、この復元されたマルチチャンネル信号と原本マルチチャンネル信号間の差を求めることによって、第１の拡張情報を求めることができる。

比較部８０３は、マルチチャンネルエンコーダ８０１で生成されたダウンミックス信号のうち、任意ダウンミックス信号にない成分、すなわち、ダウンミックスゲインを用いて補償されない成分に関する情報を、第２の拡張情報として生成できる。復号化装置は、第２の拡張情報を用いて任意ダウンミックス信号をより前記ダウンミックス信号に近く補償することができる。

この拡張情報は、上記した方法の他、様々なレジデュアルコーディング方法を用いて生成されることができる。

ダウンミックスゲインと拡張情報が共に補償情報として用いられることができる。例えば、全体周波数帯域に対してダウンミックスゲインと拡張情報を求めたり、一部周波数帯域に対してはダウンミックスゲインを求め、残りの周波数帯域に対しては拡張情報を求め、補償情報として使用することができる。一実施例として、低周波帯域に対しては拡張情報を補償情報として用い、高周波帯域に対してはダウンミックスゲインを補償情報として用いることができる。

また、低周波帯域の他に、ピーク（ｐｅａｋ）またはノッチ（ｎｏｔｃｈ）などのように音質に重要な影響を及ぼす部分も、拡張情報を補償情報として用いることが好ましい。

空間情報合成部８０２は、マルチチャンネルエンコーダ８０１で生成されたマルチチャンネル信号復元のための基本空間情報、例えば、ＣＬＤ、ＣＰＣ、ＩＣＣ、ＣＴＤなどと前記補償情報を空間情報として合成する。すなわち、復号化装置で転送される空間情報は、マルチチャンネル信号復元のための基本空間情報、ダウンミックスゲイン、第１及び第２の拡張情報などを含むことができる。

前記合成された空間情報は、任意ダウンミックス信号と一緒にビットストリームに含まれ、復号化装置に転送される。

前記拡張情報と任意ダウンミックス信号は、ＡＡＣ、ＭＰ３またはＢＳＡＣなどのエンコーダを用いて符号化されることができる。前記拡張情報及び前記任意ダウンミックス信号は、同じオーディオエンコーダを用いてエンコードされても良いし、異なるオーディオエンコーダを用いてエンコードされても良い。

これら２つのオーディオエンコーダが同一である場合、復号化装置においても１種類のオーディオデコーダのみで復号化作業が可能である。この場合、任意ダウンミックス信号の復号化は常に可能な状態で始まるので、前記拡張情報を復号化できない場合は発生しない。ただし、任意ダウンミックス信号は、復号化されたＰＣＭ信号の形態で復号化装置に入力されるので、前記任意ダウンミックス信号に使用されたオーディオコーデックの種類がわからず、よって、拡張情報に使用されたオーディオコーデックの種類もわからない。

したがって、任意ダウンミックス信号と拡張情報の符号化に使用されたオーディオコーデックの種類に関する情報をビットストリームに挿入することが好ましい。

前記オーディオコーデック種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに挿入され、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。

上記２つのオーディオエンコーダが異なる場合、拡張情報の復号化が不可能な状況が発生することがあり、その場合、拡張情報の終点がわからないため、それ以上の復号化作業進行は不可能になる。

したがって、任意ダウンミックス信号と拡張情報に使用されたオーディオコーデックの種類に関する情報を、ビットストリームのうちの特定構造ヘッダフィールドに挿入し、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。拡張情報を復号化するためのデコーダが復号化装置に存在しない場合、拡張情報の復号化作業を進行せず、その次の情報を読む過程を行う。

拡張情報に対して用いられるコーデックの種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに含まれた特定シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を通じて表現されることができる。例えば、前記コーデック情報は、次のテーブル１に示すようなbsResidualCodecTypeという４ビットのシンタックスエレメントにより表現されることができる。

前記拡張情報は、前記レジデュアル情報と一緒にチャンネル拡張情報を含むことができる。前記チャンネル拡張情報は、空間情報により復号化されるマルチチャンネル信号よりも多い数のチャンネルを有する信号に拡張するための情報を意味し、例えば、５.１チャンネルまたは７．１チャンネル信号を、９．１チャンネル信号に拡張するための情報でありうる。

前記拡張情報は、ビットストリームに含まれて復号化装置に転送されることができ、復号化装置は、前記拡張情報を用いてダウンミックス信号を補償したり、マルチチャンネル信号のチャンネルを拡張させることができる。

また、復号化装置は、ビットストリームに含まれた前記拡張情報を抽出せずに、スキップすることができる。例えば、ビットストリームに含まれた３Ｄダウンミックス信号を用いてマルチチャンネル信号を生成したり、ビットストリームに含まれたダウンミックス信号を用いて３Ｄダウンミックス信号を生成しようとする場合、復号化装置は、ビットストリームのうち、前記拡張情報をスキップすることが好ましい。
ビットストリームのうち、前記拡張情報をスキップする方法は、図１０を参照して説明したスキップ方法と同一にすれば良い。

例えば、拡張情報の開始部分に位置する前記拡張情報の全体ビット数に関する情報、前記拡張情報の開始部分または終了部分に位置するシンクワード、前記拡張情報の固定されたビット数に関する情報のうち少なくとも一つを用いて、ビットストリームのうち前記拡張情報部分をスキップすることができる。前記スキップのための情報は、ビットストリームに含まれていることが好ましく、前記固定ビット数情報は、復号化装置に保存されていても良い。

図１２を参照すると、復号化器８１０は、ダウンミックス補償部８１１、３Ｄレンダリング部８１５及びマルチチャンネルデコーダ８１６を含んでなる。

ダウンミックス補償部８１１は、空間情報に含まれた補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて任意ダウンミックス信号を補償する。

３Ｄレンダリング部８１５は、前記補償されたダウンミックス信号に３Ｄレンダリングを行い、デコーダ３Ｄダウンミックス信号を生成する。また、マルチチャンネルデコーダ８１６は、前記補償されたダウンミックス信号と前記空間情報に含まれた基本空間情報を用いて３Ｄマルチチャンネル信号を生成する。

ダウンミックス補償部８１１が任意ダウンミックス信号を補償する方法の実施例について説明すると、下記の通りである。

前記補償情報がダウンミックスゲインである場合、ダウンミックス補償部８１１は、任意ダウンミックス信号のエネルギーレベルを前記ダウンミックスゲインを用いて補償し、前記任意ダウンミックス信号をダウンミックス信号に近い信号に変換することができる。

前記補償情報が第２の拡張情報である場合、ダウンミックス補償部８１１は、前記第２の拡張情報を用いて前記任意ダウンミックス信号にない成分を補償できる。

マルチチャンネルデコーダ８１６は、ダウンミックス信号にｐｒｅ−ｍａｔｒｉｘ Ｍ１、ｍｉｘ−ｍａｔｒｉｘ Ｍ２及びｐｏｓｔ−ｍａｔｒｉｘ Ｍ３を順次に適用し、マルチチャンネル信号を生成できるが、前記第１の拡張情報は、ｍｉｘ−ｍａｔｒｉｘ Ｍ２の適用段階で用いられてダウンミックス信号を補償することができる。すなわち、前記第２の拡張情報を用いてｐｒｅ−ｍａｔｒｉｘ Ｍ１が適用された任意ダウンミックス信号を補償できる。

上記のようにマルチチャンネル信号生成過程中に拡張情報を適用することによって、複数のチャンネルのうち特定チャンネルに対する補償が可能となる。例えば、拡張情報がｍｉｘ−ｍａｔｒｉｘ Ｍ２のセンターチャンネルに適用される場合、ダウンミックス信号の左側及び右側チャンネル信号が前記拡張情報を用いて補償され、拡張情報がｍｉｘ−ｍａｔｒｉｘ Ｍ２の左側チャンネルに適用される場合には、ダウンミックス信号の左側チャンネル信号が、前記拡張情報を用いて補償されるようにすることができる。

また、前記補償情報として前記ダウンミックスゲインと拡張情報が共に用いられることができる。例えば、任意ダウンミックス信号の低周波帯域は、前記拡張情報を用いて補償され、高周波帯域は、前記ダウンミックスゲインを用いて補償されるようにすることができる。また、低周波帯域の他に、ピーク、ノッチなどのように音質に重要な影響を及ぼす部分も、前記拡張情報により補償されるようにすることができる。前記拡張情報が適用される領域に関する情報は、符号化装置から転送されるビットストリームに含まれていることが好ましい。また、前記ビットストリームは、含まれたダウンミックス信号が任意ダウンミックス信号か否かに関する情報、及び補償情報を含むか否かに関する情報を含むことができる。

符号化器８００のマルチチャンネルエンコーダ８０１で生成されたダウンミックス信号のクリッピング（ｃｌｉｐｐｉｎｇ）を防止すべく、前記生成されたダウンミックス信号を、特定ゲインゲイン値で除することができる。前記ゲインは、固定（ｓｔａｔｉｃ）値を有するか、可変（ｄｙｎａｍｉｃ）値を有することができる。

ダウンミックス補償部８１１は、クリッピング防止のために、弱化した前記ダウンミックス信号を前記ゲイン値を用いて補償し、元来の大きさのダウンミックス信号に復元できる。

また、ダウンミックス補償部８１１により補償された任意ダウンミックス信号は、直接再生可能であり、補償されなかった任意ダウンミックス信号が３Ｄレンダリング部８１５に入力され、デコーダ３Ｄダウンミックス信号に変換されても良い。

図１２を参照すると、ダウンミックス補償部８１１は、第１のドメイン変換部８１２、補償処理部８１３及び第２のドメイン変換部８１４を含むことができる。

第１のドメイン変換部８１２は、任意ダウンミックス信号に対してドメイン変換を行い、補償処理部８１３は、前記変換されたドメイン上で補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて前記任意ダウンミックス信号を補償する。

前記補償作業は、ＱＭＦ／ハイブリッドドメイン上で行われることが好ましく、そのため、第１のドメイン変換部８１２は前記任意ダウンミックス信号に対してＱＭＦ／ハイブリッド分析を行うことができる。また、第１のドメイン変換部８１２は、前記任意ダウンミックス信号を、ＱＭＦ／ハイブリッドドメイン以外のドメイン、例えば、ＤＦＴまたはＦＦＴドメインのような周波数ドメインに変換することができ、前記補償作業は、ＱＭＦ／ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われても良い。

第２のドメイン変換部８１４は、前記補償された任意ダウンミックス信号にドメイン変換を行う。第２のドメイン変換部８１４は、第１のドメイン変換部８１４で行われたドメイン変換の逆変換を行い、前記補償された任意ダウンミックス信号を、ダウンミックス補償部８１１に入力される前のドメインに逆変換することが好ましい。

例えば、第２のドメイン変換部８１４は、前記補償された任意ダウンミックス信号にＱＭＦ／ハイブリッド合成を行い、前記補償された任意ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第２のドメイン変換部８１４は、前記補償された任意ダウンミックス信号にＩＤＦＴまたはＩＦＦＴなどを行うことができる。

図７を参照して説明したように、３Ｄレンダリング部８１５は、周波数ドメイン、ＱＭＦ／ハイブリッドドメインまたは時間ドメイン上において前記補償された任意ダウンミックス信号に３Ｄレンダリングを行うことができる。そのため、３Ｄレンダリング部８１５は、前記補償された任意ダウンミックス信号を、前記３Ｄレンダリングが行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングの行われた信号にドメイン変換を行うドメイン変換部を含むことができる。

補償処理部８１１で補償作業が行われるドメインと３Ｄレンダリング部８１５で３Ｄレンダリングが行われるドメインは、互いに同一であっても良いし、異なっていても良い。

図１３は、任意ダウンミックス信号の補償と３Ｄレンダリングを行う装置の構成の一実施例を示すブロック図であり、同図のダウンミックス補償／３Ｄレンダリング部８２０は、第１のドメイン変換部８２１、第２のドメイン変換部８２２、補償／３Ｄレンダリング処理部８２３及び第３のドメイン変換部８２４を含んでなる。

ダウンミックス補償／３Ｄレンダリング部８２０は、前記補償作業と３Ｄレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。

図１３を参照すると、第１のドメイン変換部８２１は、任意ダウンミックス信号を、前記補償作業と３Ｄレンダリングが行われる第１のドメイン上に変換する。第２のドメイン変換部８２２は、空間情報、例えば、マルチチャンネル信号生成に必要な基本空間情報と任意ダウンミックス信号の補償に必要な補償情報を、前記第１のドメイン上で適用可能なように変換する。前記補償情報は、ダウンミックスゲインと拡張情報のうち少なくとも一つを含む。

例えば、第２のドメイン変換部８２２は、ＱＭＦ／ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応する補償情報を周波数帯域にマッピングさせ、前記補償情報を周波数ドメインで適用可能な形態に変換することができる。

前記第１のドメインは、ＤＦＴまたはＦＦＴドメインなどのような周波数ドメイン、ＱＭＦ／ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。

前記補償情報を前記第１のドメイン上で適用可能なように変換する過程で、時間遅延（ｔｉｍｅ ｄｅｌａｙ）が発生する。この時間遅延を防止すべく、第２のドメイン変換部８２２は、前記補償情報のドメインと第１のドメイン間の時間遅延を補正する作業をさらに行うことができる。

補償／３Ｄレンダリング処理部８２３は、前記第１のドメイン上で前記変換された空間情報を用いて任意ダウンミックス信号に補償作業を行い、前記補償された任意ダウンミックス信号に３Ｄレンダリング作業を行う。前記補償作業と３Ｄレンダリングの遂行順序は変更可能である。

補償／３Ｄレンダリング処理部８２３は、前記補償作業と３Ｄレンダリングを同時に行うことができる。例えば、補償／３Ｄレンダリング処理部８２３は、３Ｄレンダリングに用いられるフィルタ係数と補償情報とが組み合わせられた新しいフィルタ係数を用いて、前記第１のドメイン上で前記任意ダウンミックス信号に３Ｄレンダリング作業を行うことによって、補償された３Ｄダウンミックス信号を生成できる。

第３のドメイン変換部８２４は、前記第１のドメイン上で生成された３Ｄダウンミックスに周波数ドメイン変換を行う。

図１４は、本発明の一実施例による互換型ダウンミックス信号を処理する復号化装置の構成を示すブロック図であり、同図の復号化器９００は、第１のマルチチャンネルデコーダ９１０、ダウンミックス互換処理部９２０、第２のマルチチャンネルデコーダ９３０及び３Ｄレンダリング部９４０を含んでなる。図１４に示す復号化装置の動作説明において、図１を参照して説明した復号化装置の動作と重複する説明は省略する。

互換型ダウンミックス信号は、２つ以上のマルチチャンネルデコーダで復号化可能な形態のダウンミックス信号を意味する。すなわち、互換型ダウンミックス信号は、いずれか一つのマルチチャンネルデコーダに最適化して生成されたダウンミックス信号であるが、交換処理作業を通じて前記マルチチャンネルデコーダ以外の他のマルチチャンネルデコーダに最適化されたダウンミックス信号に変換可能なものを意味することができる。

図１４を参照すると、入力される互換型ダウンミックス信号は、第１のマルチチャンネルデコーダ９１０に最適化して生成されたもので、第２のマルチチャンネルデコーダ９３０で復号化されるためには、まず、ダウンミックス互換処理部９２０を通じて第２のマルチチャンネルデコーダ９３０に最適化した信号に互換処理されることが好ましい。第１のマルチチャンネルデコーダ９１０は、前記互換型ダウンミックス信号を復号化し、第１のマルチチャンネル信号を生成する。第１のマルチチャンネルデコーダ９１０は、空間情報無しで前記互換型ダウンミックス信号のみを用いてマルチチャンネル信号を復号化できる。

第２のマルチチャンネルデコーダ９３０は、前記互換処理されたダウンミックス信号と空間情報を用いて第２のマルチチャンネル信号を生成する。３Ｄレンダリング部９４０は、前記互換処理されたダウンミックス信号に３Ｄレンダリングを行い、デコーダ３Ｄダウンミックス信号を生成することができる。

互換型ダウンミックス信号は、インバージョンマトリクス（ｉｎｖｅｒｓｉｏｎ ｍａｔｒｉｘ）のような互換情報を用いて、他のマルチチャンネルデコーダに最適化したダウンミックス信号に互換処理されることができる。例えば、第１のマルチチャンネルエンコーダ／デコーダ及びこれと異なる方式の第２のマルチチャンネルエンコーダ／デコーダが存在する時、符号化装置は、前記第１のマルチチャンネルエンコーダにより生成されたダウンミックス信号にマトリクスを適用し、前記第２のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を生成することができる。また、復号化装置は、前記互換型ダウンミックス信号にインバージョンマトリクスを適用し、前記第１のマルチチャンネルデコーダに最適化したダウンミックス信号を生成することができる。

図１４を参照すると、ダウンミックス互換処理部９２０は、インバージョンマトリクスを用いて、互換型ダウンミックス信号に互換処理を行うことによって、第２のマルチチャンネルデコーダ９３０に最適化したダウンミックス信号を生成できる。

前記インバージョンマトリクスに関する情報は、復号化装置があらかじめ保存していても良く、入力されるビットストリームに含まれて符号化装置から転送されても良い。また、入力されるビットストリームに含まれてダウンミックス信号が任意ダウンミックス信号か互換型ダウンミックス信号かに関する情報が、入力されるビットストリームに含まれることが好ましい。

図１４を参照すると、ダウンミックス互換処理部９２０は、第１のドメイン変換部９２１、互換処理部９２２及び第２のドメイン変換部９２３を含むことができる。

第１のドメイン変換部９２１は、互換型ダウンミックス信号にドメイン変換を行い、互換処理部８１３は、前記変換されたドメイン上で互換情報、例えば、インバージョンマトリクスを用いて、前記互換型ダウンミックス信号を、第２のマルチチャンネルデコーダ９３０に最適化した信号に変換する。

前記互換処理は、ＱＭＦ／ハイブリッドドメイン上で行われることが好ましく、そのため、第１のドメイン変換部９２１は、前記互換型ダウンミックス信号にＱＭＦ／ハイブリッド分析を行うことができる。また、第１のドメイン変換部９２１は、前記互換型ダウンミックス信号をＱＭＦ／ハイブリッドドメイン以外のドメイン、例えば、ＤＦＴまたはＦＦＴドメインのような周波数ドメインに変換することができ、前記互換処理は、ＱＭＦ／ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われることができる。

第２のドメイン変換部９２３は、前記互換処理された互換型ダウンミックス信号にドメイン変換を行う。第２のドメイン変換部９２３は、第１のドメイン変換部９２１で行われたドメイン変換の逆変換を行い、前記互換処理された互換型ダウンミックス信号を、ダウンミックス互換処理部９２０に入力される前のドメインに逆変換することが好ましい。

例えば、第２のドメイン変換部９２３は、前記互換処理された互換型ダウンミックス信号にＱＭＦ／ハイブリッド合成を行い、前記互換処理された互換型ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第２のドメイン変換部９２３は、前記互換処理された互換型ダウンミックス信号にＩＤＦＴまたはＩＦＦＴなどを行っても良い。

３Ｄレンダリング部９４０は、周波数ドメイン、ＱＭＦ／ハイブリッドドメインまたは時間ドメイン上で、前記互換処理された互換型ダウンミックス信号に３Ｄレンダリングを行うことができる、そのため、３Ｄレンダリング部９４０は、前記ダウンミックス信号を前記３Ｄレンダリングの行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングが行われた信号に対してドメイン変換を行うドメイン変換部を含むことができる。

互換処理部９２２で互換処理が行われるドメインと３Ｄレンダリング部９４０で３Ｄレンダリングが行われるドメインは、互いに同一である、または、異なる。

図１５は、互換型ダウンミックス信号の互換処理と３Ｄレンダリングを行う装置の一実施例を示す構成ブロック図であり、同図のダウンミックス互換／３Ｄレンダリング部９５０は、第１のドメイン変換部９５１、第２のドメイン変換部９５２、互換／３Ｄレンダリング処理部９５３及び第３のドメイン変換部９５４を含んでなる。

ダウンミックス互換／３Ｄレンダリング部９５０は、前記互換処理と３Ｄレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。

図１５を参照すると、第１のドメイン変換部９５１は、互換型ダウンミックス信号を、前記互換処理と３Ｄレンダリングが行われる第１のドメイン上に変換する。第２のドメイン変換部９５２は、空間情報と互換情報、例えばインバージョンマトリクスを、前記第１のドメイン上で適用可能なように変換する。

例えば、第２のドメイン変換部９５２は、ＱＭＦ／ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応するインバージョンマトリクスを周波数帯域にマッピングさせ、前記インバージョンマトリクスを周波数ドメインで適用可能な形態に変換できる。

前記第１のドメインは、ＤＦＴまたはＦＦＴドメインなどのような周波数ドメイン、ＱＭＦ／ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。

前記空間情報及び互換情報を前記第１のドメイン上で適用可能なように変換する過程で、時間遅延が発生することができる。この時間遅延を防止すべく、第２のドメイン変換部９５２は、前記空間情報及び互換情報のドメインと第１のドメイン間の時間遅延を補正する作業をさらに行うことができる。

互換／３Ｄレンダリング処理部９５３は、前記第１のドメイン上で前記変換された互換情報を用いて互換型ダウンミックス信号に互換処理を行い、前記互換処理された互換型ダウンミックス信号に３Ｄレンダリング作業を行う。前記互換処理と３Ｄレンダリングの遂行順序は変更可能である。

互換／３Ｄレンダリング処理部９５３は、前記互換処理と３Ｄレンダリングを同時に行うことができる。例えば、互換／３Ｄレンダリング処理部９５３は、３Ｄレンダリングに用いられるフィルタ係数と互換情報とが組み合わせられた新しいフィルタ係数を用いて、前記第１のドメイン上で前記互換型ダウンミックス信号に３Ｄレンダリング作業を行うことによって、３Ｄダウンミックス信号を生成できる。

第３のドメイン変換部９５４は、前記第１のドメイン上で生成された３Ｄダウンミックスに周波数ドメイン変換を行う。

図１６は、クロストーク（ｃｒｏｓｓｔａｌｋ）を除去するための復号化装置の一実施例を示す構成ブロック図であり、同図の復号化装置は、ビットアンパッキング部９６０、ダウンミックスデコーダ９７０、３Ｄレンダリング部９８０及びクロストーク除去部９９０を含んでなる。図１６に示す復号化装置の動作説明において、図１を参照して説明した復号化装置の動作と重複する説明は省略する。

３Ｄレンダリング部９８０から出力される３Ｄダウンミックス信号は、ヘッドホンなどを用いて再生されることができる。しかし、前記３Ｄダウンミックス信号が、使用者から遠く離れたスピーカーを通じて再生される場合には、チャンネル間クロストークが発生することができる。

したがって、図１６に示すように、本発明による復号化装置は、前記３Ｄダウンミックス信号にクロストーク除去を行うクロストーク除去部９９０を含むことが好ましい。

また、本発明による復号化装置では、音場処理（ｓｏｕｎｄ ｆｉｅｌｄ ｐｒｏｃｅｓｓｉｎｇ）が行われることができる。

前記音場処理に用いられる音場情報、すなわち、信号が再生される空間がどんな空間なのかに関する情報は、符号化装置から転送されるビットストリームに含まれたり、復号化装置で指定されることができる。

入力されるビットストリームは、残響時間（ｒｅｖｅｒｂｅｒａｔｉｏｎ ｔｉｍｅ）に関する情報を含むことができ、音場処理に用いられるフィルタは、前記残響時間情報によって調整されることができる。

前記音場処理は、初期部（Ｅａｒｌｙ Ｐａｒｔ）と後期残響（Ｌａｔｅ Ｒｅｖｅｒｂｅｒａｔｉｏｎ）に分けてそれぞれ処理されることができる。例えば、初期部は、ＦＩＲフィルタを用いて処理され、後期残響は、ＩＩＲフィルタを用いて処理されることができる。

前記初期部に対して音場処理を行う方法の実施例には、時間ドメイン上でＦＩＲフィルタを用いて畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）を行う方法、または、周波数ドメイン上での積を行った後、時間ドメインに変換する方法などがある。前記後期残響は、時間ドメイン上で音場処理されることが好ましい。

本発明はまた、コンピュータにより読み取り可能な記録媒体に、コンピュータにより読み取り可能なコードとして具現することが可能である。コンピュータにより読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータにより読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などを含め、キャリアウェーブ（例えば、インターネットを介した転送）の形態に具現されるものも含む。

本発明に係る符号化／復号化装置及び方法によれば、マルチチャンネル信号を、３Ｄ効果を有する信号に效率的に符号化でき、再生環境に応じて適応的に最上の音質を有するオーディオ信号を復元し再生することが可能になる。

以上説明してきた本発明の具体的な実施例は、いずれも例示のために開示されたもので、当業者なら、添付した特許請求の範囲上に開示された本発明の技術的思想とその技術的範囲内で、様々な実施例に改良、変更、代替または付加などが可能である。例えば、本発明によるグルーピング、データコーディング及びエントロピーコーディングを適用した様々な応用分野及び製品に適用することが可能である。また、本発明による少なくとも一特徴を適用したデータを保存する媒体を提供することが可能である。

本発明の一実施例による符号化／復号化装置の全体的な構成を示すブロック図である。 本発明の一実施例による符号化装置の構成を示すブロック図である。 本発明の一実施例による復号化装置の構成を示すブロック図である。 本発明の他の実施例による符号化装置の構成図を示すブロック図である。 本発明の他の実施例による復号化装置の構成図を示すブロック図である。 本発明のさらに他の実施例による復号化装置の構成を示すブロック図である。 ３Ｄレンダリングを行う装置の一実施例を示す構成ブロック図である。 ビットストリーム構造の各実施例を示す図である。 ビットストリーム構造の各実施例を示す図である。 ビットストリーム構造の各実施例を示す図である。 ビットストリーム構造の各実施例を示す図である。 本発明の一実施例による任意ダウンミックス信号を処理する符号化／復号化装置の構成を示すブロック図である。 任意ダウンミックス信号の補償と３Ｄレンダリングを行う装置の一実施例を示す構成ブロック図である。 本発明による互換型ダウンミックス信号を処理する復号化装置の一実施例を示す構成ブロック図である。 互換型ダウンミックス信号の互換処理と３Ｄレンダリングを行う装置の一実施例を示す構成ブロック図である。 クロストークを除去するための復号化装置の一実施例を示す構成ブロック図である。

Claims (15)

1. 入力されるビットストリームから信号を復号化する方法において、
   前記ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出する段階と、
   前記互換型ダウンミックス信号を、第２のマルチチャンネルデコーダに最適化したダウンミックス信号に変換する互換処理段階と、
   前記変換されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する段階と、
   を有することを特徴とする復号化方法。
2. 前記３Ｄレンダリングは、ＨＲＴＦを用いる、請求項１に記載の復号化方法。
3. 前記互換処理段階は、
   前記互換型ダウンミックス信号を、第１のドメインから第２のドメインへとドメイン変換する段階と、
   前記第２のドメイン上で、前記互換型ダウンミックス信号を、前記第２のマルチチャンネルデコーダに最適化したダウンミックス信号に変換する段階と、
   前記変換されたダウンミックス信号を、前記第２のドメインから前記第１のドメインへとドメイン変換する段階と、を有する、請求項１に記載の復号化方法。
4. 前記３Ｄダウンミックス信号生成段階は、
   前記変換されたダウンミックス信号を、第３のドメインから第４のドメインへとドメイン変換する段階と、
   前記第４のドメイン上で、前記変換されたダウンミックス信号に３Ｄレンダリングを行う段階と、
   前記３Ｄレンダリングの行われた信号を、前記第４のドメインから前記第３のドメインへとドメイン変換する段階と、を有する請求項１に記載の復号化方法。
5. 前記互換処理のための互換情報を前記第４のドメインで利用可能なように変換する段階をさらに有し、
   前記互換処理段階は、前記第４のドメインで、前記変換された互換情報を用いて前記互換型ダウンミックス信号を変換する、請求項４に記載の復号化方法。
6. 前記互換情報の変換過程中に発生する時間遅延を補正する段階をさらに有する、請求項５に記載の復号化方法。
7. 前記第４のドメインはＤＦＴドメイン、ＦＦＴドメイン、ＱＭＦ／ハイブリッドドメイン及び時間ドメインのうちいずれか一つである、請求項４〜６の何れか一項に記載の復号化方法。
8. 前記ビットストリームは、含むダウンミックス信号が互換型ダウンミックス信号か否かに関する情報を含む、請求項１に記載の復号化方法。
9. 前記変換されたダウンミックス信号と複数のチャンネルに関する空間情報を用いてマルチチャンネル信号を生成する段階をさらに有する、請求項１に記載の復号化方法。
10. 入力されるビットストリームから信号を復号化する方法において、
    前記ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出する段階と、
    ３Ｄレンダリングに用いられるフィルタ情報に、前記互換型ダウンミックス信号の変換のための互換情報を合成する段階と、
    前記合成されたフィルタ情報を用いて前記互換型ダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する段階と、
    を有することを特徴とする復号化方法。
11. 前記合成段階は、
    前記互換情報を第２のドメインで利用可能なように変換する段階と、
    前記第２のドメイン上で、前記フィルタ情報に、前記変換された互換情報を合成する段階と、を有する請求項１０に記載の復号化方法。
12. 前記３Ｄダウンミックス信号生成段階は、
    前記互換型ダウンミックス信号を、第１のドメインから前記第２のドメインへとドメイン変換する段階と、
    前記第２のドメイン上で、前記合成されたフィルタ情報を用いて前記互換型ダウンミックス信号に３Ｄレンダリングを行う段階と、
    前記３Ｄレンダリングが行われた互換型ダウンミックス信号を、前記第２のドメインから前記第１のドメインへとドメイン変換する段階と、を有する請求項１１に記載の復号化方法。
13. 入力されるビットストリームから信号を復号化する装置において、
    前記ビットストリームから、第１のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を抽出するビットアンパッキング部と、
    互換情報を用いて、前記互換型ダウンミックス信号を、第２のマルチチャンネルデコーダに最適化したダウンミックス信号に変換するダウンミックス互換処理部と、
    前記変換されたダウンミックス信号に３Ｄレンダリングを行い、３Ｄダウンミックス信号を生成する３Ｄレンダリング部と、
    を有することを特徴とする復号化装置。
14. 前記互換型ダウンミックス信号を、第１のドメインから第２のドメインへとドメイン変換する第１のドメイン変換部と、
    前記互換情報を前記第２のドメインで利用可能なように変換する第２のドメイン変換部と、を有し、
    前記ダウンミックス互換処理部は、前記第２のドメイン上で、前記変換された互換情報を用いて前記互換型ダウンミックス信号を変換し、前記３Ｄレンダリング部は、前記第２のドメイン上で、３Ｄレンダリングを行う、請求項１３に記載の復号化装置。
15. 請求項１〜１２の何れか一項に記載された方法をコンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。

Images