JP2011217395A - スケーラブルチャンネル復号化方法 - Google Patents

Abstract

【課題】 復号器に設けられたチャンネルまたはスピーカの設定を認識して、符号器で符号化された各マルチチャンネル信号に対して復号化しようとするレベルの数を計算し、そのレベルの数によって復号化してアップミキシングするスケーラブルチャンネル復号化方法及びシステムを提供すること。
【解決手段】 スケーラブルチャンネル復号化方法は、チャンネルまたはスピーカの設定を認識するステップと、認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、計算されたモジュールの数によって復号化してアップミキシングするステップとを含む。
【選択図】 図１

Description

本発明は、オーディオコーディングに係り、さらに詳細には、マルチチャンネルでオーディオ信号を符号化／復号化するサラウンドオーディオコーディングに関する。

マルチチャンネルオーディオコーディングには、ウェーブフォームマルチチャンネルオーディオコーディングとパラメトリックマルチチャンネルオーディオコーディングとがある。ウェーブフォームマルチチャンネルオーディオコーディングには、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２ ＭＣオーディオコーディング、ＡＡＣ ＭＣオーディオコーディング及びＢＳＡＣ／ＡＶＳ ＭＣオーディオコーディングがあり、５個のチャンネル信号が符号化され、５個のチャンネル信号が復号化される。パラメトリックマルチチャンネルオーディオコーディングは、ＭＰＥＧサラウンドコーディングがあり、ＭＰＥＧサラウンドコーディングによれば、符号化過程によって６個または８個のマルチチャンネルから１個または２個の符号化されたチャンネルが生成され、その６個または８個のマルチチャンネルがその１個または２個の符号化されたチャンネルから復号化される。このとき、６個または８個のマルチチャンネルは、マルチチャンネル環境の一例に過ぎない。

一般的に、このようなマルチチャンネルオーディオコーディングは、復号器から出力するチャンネルの数が符号器によって固定されて出力される。例えば、ＭＰＥＧサラウンドコーディングでは、符号器が６個または８個のマルチチャンネル信号を１個または２個の符号化されたチャンネルに符号化でき、復号器は、その１個または２個の符号化されたチャンネルを６個または８個のマルチチャンネルに復号化せねばならない。したがって、ユーザが再生しようとするスピーカの数及びスピーカの位置に該当する復号器のチャンネル設定が、符号器で設定されたチャンネルの数と相異なる場合、復号器でアップミキシングを行うに当たって、音質が低下する問題点を有する。

ＭＰＥＧサラウンドスペックによれば、マルチチャンネル信号は、マルチチャンネル信号を窮極的に一つあるいは二つの符号化されたチャンネルに順次にダウンミックスできるダウンミキシングモジュールのステップを経て符号化される。その一つあるいは二つの符号化されたチャンネルは、そのダウンミキシングモジュールのステップと類似したステップ（ツリー構造）のアップミキシングモジュールを経て、そのマルチチャンネル信号に復号化される。ここで、例えば、そのアップミキシングステップは、はじめには、その符号化されたダウンミックスされた信号を入力され、その符号化されたダウンミックスされた信号をＯＴＴ（１−ｔｏ−２）アップミキシングモジュールの組合わせを利用して、ＦＬ（Ｆｒｏｎｔ Ｌｅｆｔ）チャンネル、ＦＲ（Ｆｒｏｎｔ Ｒｉｇｈｔ）チャンネル、Ｃ（Ｃｅｎｔｅｒ）チャンネル、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｎｈａｎｃｅｍｅｎｔ）チャンネル、ＢＬ（Ｂａｃｋ Ｌｅｆｔ）チャンネル、ＢＲ（Ｂａｃｋ Ｒｉｇｈｔ）チャンネルのマルチチャンネルにアップミックスする。ここで、ＯＴＴモジュールのステップのアップミキシングは、マルチチャンネルが符号化される間に生成されたＣＬＳｓ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）及びＩＣＣｓ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎｓ）の空間情報を利用して達成されることもあり、マルチチャンネル内の既設定のチャンネル間のエネルギー比率またはエネルギー差についての情報であるＣＬＤを利用して達成されることもあり、入力信号の時間／周波数タイルに対応した関連情報であるＩＣＣを利用して達成もされる。それぞれのＣＬＤｓ及びＩＣＣｓと共に、それぞれのＯＴＴステップは、単一入力信号をそれぞれのＯＴＴステップを通じて個別的な出力信号にアップミックスしうる。本発明の実施例による段階化されたアップミキシングツリー構造の例が、図４ないし図８に示されている。
したがって、符号器のステップを反映する段階化された構造を有する復号器のかかる必要条件、ダウンミキシングの一般的な順序によって、符号化されたチャンネルをユーザが再生しようとするスピーカの数及びスピーカの位置に該当する復号器のチャンネル設定に基づいて、選択的に復号化することは困難である。

国際公開第２００５／０９４１２５号パンフレット

本発明が解決しようとする技術的課題は、復号器に設けられたチャンネルまたはスピーカの設定を認識して、符号器で符号化された各マルチチャンネル信号に対して復号化しようとするレベルの数を計算し、そのレベルの数によって復号化してアップミキシングするスケーラブルチャンネル復号化方法及びシステムを提供することである。

一実施例による方法は、
チャンネルまたはスピーカの設定を認識するステップと、
前記認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、
前記計算されたモジュールの数によって復号化してアップミキシングするステップと、
を含むことを特徴とするスケーラブルチャンネル復号化方法である。

本発明の一実施例によるマルチチャンネル復号化方法についての一実施例を示すフローチャートである。 本発明の一実施例によるスケーラブルチャンネル復号化システムの一実施例を示すブロック図である。 ５−２−５ツリー構造とアービトラリツリー構造とを複合的に構成した一実施例を示す図である。 本発明の一実施例によるスケーラブルチャンネル復号化方法及びシステムを説明するための所定のツリー構造を示す図である。 ５−１−５_１ツリー構造で、４チャンネルのみが出力可能な場合を示す図である。 ５−１−５_２ツリー構造で、４チャンネルのみが出力可能な場合を示す図である。 ５−１−５_１ツリー構造で、３チャンネルのみが出力可能な場合を示す図である。 ５−１−５_２ツリー構造で、３チャンネルのみが出力可能な場合を示す図である。 本発明の一実施例によるスケーラブルチャンネル復号化方法及びシステムによってTree_sign(ν)を設定する擬似コードを示す図である。 本発明の一実施例によるスケーラブルチャンネル復号化方法及びシステムによって、不要なモジュールに対応する行列の元素またはベクトルの元素を除去する擬似コードを示す図である。

本発明のその他の側面及び利点は、以下の明細書で、明細書の内容その自体あるいは本発明の実行によって理解される。

前記課題を達成するために、本発明の一実施例によるスケーラブルチャンネル復号化方法は、チャンネルまたはスピーカの設定を認識するステップと、前記認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して復号化するレベルの数を計算するステップと、前記計算されたレベルの数によって復号化してアップミキシングするステップと、を含みうる。

前記課題を達成するために、本発明の一実施例によるスケーラブルチャンネル復号化システムは、チャンネルまたはスピーカの設定を認識する設定認識部と、前記認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して復号化するレベルの数を計算するレベル計算部と、前記計算されたレベルの数によって復号化してアップミキシングするアップミキシング部と、を備えうる。

前記課題を達成するために、本発明の一実施例によるスケーラブルチャンネル復号化方法は、チャンネルまたはスピーカの設定を認識するステップと、符号器でマルチチャンネルからダウンミックスされた信号を前記認識されたチャンネルまたはスピーカの設定に対応するマルチチャンネル信号にアップミキシングするステップと、を含みうる。

前記課題を達成するために、本発明の一実施例によるスケーラブルチャンネル復号化方法は、チャンネルまたはスピーカの設定を認識するステップと、前記認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、前記計算されたモジュールの数によって復号化してアップミキシングするステップと、を含みうる。

前記課題を達成するために、本発明の一実施例によるスケーラブルチャンネル復号化方法は、チャンネルまたはスピーカの設定を認識するステップと、符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルを復号化しないと決定するステップと、前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断するステップと、前記判断された結果によって、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、前記計算されたモジュールの数によって復号化してアップミキシングするステップと、を含みうる。

前記の発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体であることが望ましい。

以下、添付された図面を参照して、本発明によるスケーラブルチャンネル復号化方法及びシステムについて詳細に説明する。

図１は、本発明によるマルチチャンネル復号化方法についての一実施例を示すフローチャートである。

まず、符号器から伝送されたサラウンドビットストリームを分析して空間情報及び付加情報を抽出する（ステップ１００）。

復号器に設けられたチャンネルまたはスピーカの設定を認識する（ステップ１０３）。ここで、復号器のマルチチャンネルの設定は、復号器に備えられたスピーカの数（ｎｕｍＰｌａｙＣｈａｎ）、復号器に備えられたスピーカのうち動作可能なスピーカの位置（ｐｌａｙＣｈａｎＰｏｓ（ｃｈ））、符号化されたチャンネルのうち復号器のマルチチャンネルで利用をできるか否かを表すベクトル（ｂＰｌａｙＳｐｋ（ｃｈ））を称す。

ここで、ｂＰｌａｙＳｐｋ（ｃｈ）は、次に記載された式（１）のように、符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用可能なスピーカを‘１’で表し、利用できないスピーカを‘０’で表す。

ここで、ｎｕｍＯｕｔＣｈａｎＡＴは、次に記載された式（２）によって計算された値である。

また、ｐｌａｙＣｈａｎＰｏｓは、例えば、５.１チャンネルに対して、次のような方式で表示しうる。

ステップ１０３で認識した結果、符号器で符号化されたチャンネルのうち、マルチチャンネルで利用できないチャンネルを復号化しないと決定する（ステップ１０６）。

行列

（ここで、ｖは、‘０’以上であり、‘ｎｕｍＯｕｔＣｈａｎ’未満である）は、図３ないし８に示されたツリー構造で、各出力信号に対してＯＴＴモジュールで上位に出力されるか（‘１’で表示する）下位に出力されるか（‘−１’で表示する）を表す元素で構成された行列である。以下で、行列

を利用して説明する。しかし、当業者ならば、行列

に限定されて実施されないということが分かる。例えば、行列

に対して、行と列とが変わって実施されることもある。

例えば、図４に示されたツリー構造で説明すれば、行列

でＢｏｘ ０で上位に出力され、Ｂｏｘ １で上位に出力され、Ｂｏｘ２ で上位に出力される１列は、［１ １ １］で表示され、Ｂｏｘ ０で下位に出力され、Ｂｏｘ ３で上位に出力される４列は、［１ １ ｎ／ａ］で表示される。ここで、‘ｎ／ａ’は、該当するチャンネル、モジュールまたはボックス（Ｂｏｘ）は、使用できないことを表示する識別子である。これと同じ方式で全てのマルチチャンネルを行列

で表せば、次の通りである。

ステップ１０６では、符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルに該当する列を行列

で何れも‘ｎ／ａ’に設定する。

例えば、図４に示されたツリー構造で説明すれば、符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できるか否かを表すベクトルであるｂＰｌａｙＳｐｋが第２及び第４チャンネルに‘０’で表示されているので、復号器に設けられたマルチチャンネルのうち、第２及び第４チャンネルは利用できない。したがって、ステップ１０６では、行列

で第２及び第４チャンネルに対応する列である２列と４列とを、次に記載されたように、何れもｎ／ａに設定する。

ステップ１０６で、復号化しないと決定されたチャンネルを除いて、同じ経路によって復号化されるチャンネルの有無を判断する（ステップ１０８）。ステップ１０８では、ステップ１０６で設定された行列

で所定の整数ｊとｋとが同一でない場合、

とが同じであるか否かを判断することによって、同じ経路に復号化されるマルチチャンネルの有無を判断する。

例えば、図４に示されたツリー構造で説明すれば、

とが同一でないので、ステップ１０６で生成された行列

で第１チャンネル及び第３チャンネルが同じ経路によって復号化されるマルチチャンネルがないとステップ１０８で判断される。しかし、

とが同一であるので、ステップ１０６で生成された行列

で第５チャンネル及び第６チャンネルが同じ経路によって復号化されるマルチチャンネルがあるとステップ１０８で判断される。

ステップ１０８で、同じ経路によって復号化されないマルチチャンネルと判断されたチャンネルに対して、復号化レベルを低下させる（ステップ１１０）。ここで、復号化レベルは、各マルチチャンネルで信号を出力するために経ねばならないＯＴＴモジュールまたはＴＴＴモジュールのような復号化を行うモジュールまたはボックスの数を称す。ステップ１０８で、同じ経路によって復号化されないマルチチャンネルと判断されたチャンネルに対して、最後に判断した復号化レベルをｎ／ａで表示する。

例えば、図４に示されたツリー構造で第１チャンネル及び第３チャンネルが同じ経路によって復号化されるマルチチャンネルがないことをステップ１０８で判断されたので、第１チャンネルに対応する１列及び第３チャンネルに対応する３列の最後の行を、次に記載されたように、ｎ／ａに設定する。

ステップ１０８及びステップ１１０は、復号化レベルを１レベルずつ低下させつつ、反復的に行う。これにより、ステップ１０８及びステップ１１０では、

に対して最後の行から最初の行まで１行ずつ上げつつ反復的に行う。

ステップ１０６ないしステップ１１０は、図９に示された擬似コードによって各サブツリーに対して

を設定する。

ステップ１１０で、低下した結果を利用して、各マルチチャンネルに対して復号化レベルの数を計算する（ステップ１１３）。

ステップ１１３で、復号化レベルの数は、次に記載された数式によって計算する。

例えば、図４に示されたツリー構造に対して、ステップ１１０で設定された行列

の復号化レベルの数を求めれば、次に記載された行列のように計算される。

これは、ｎ／ａは、絶対値を０と仮定し、何れもｎ／ａである列は、−１と仮定したので、行列

で１列に対する絶対値の和は２であり、何れもｎ／ａである列に該当する２列は、−１に設定する。

このような方式によって計算されたＤＬを利用して、図４に示された点線以前のモジュールまで復号化を行ってスケーラブルに復号化させうる。

ステップ１００で、抽出された空間情報を利用して、低ビット率で空間情報が急に変化することを防止するために、選択的に空間情報を平滑化する（ステップ１１６）。

ステップ１１６後に、既存のマトリックスサラウンド方式と互換性を維持するために、追加的なチャンネル別に利得値を計算し、プリベクトルを計算し、復号器で外部ダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出することによって、行列Ｒ_１を生成する（ステップ１１９）。ここで、Ｒ_１は、デコリレーション（ｄｅｃｏｒｒｅｌａｔｉｏｎ）のために、デコリレータ(ｄｅｃｏｒｒｅｌａｔｏｒ)に入力するための信号の生成に利用される。

例えば、図５に示された５−１−５_１ツリー構造及び図６に示された５−１−５_２ツリー構造が、次に記載された行列に設定されていると仮定する。

この場合、５−１−５_１ツリー構造で、ステップ１１９では、Ｒ_１を次に記載されたように計算する。

この場合、５−１−５_２ツリー構造で、ステップ１１９では、Ｒ_１を次に記載されたように計算する。

ステップ１１９で生成された行列Ｒ_１に対して補間を行って、行列Ｍ_１を生成する（ステップ１２０）。

デコリレーションされた信号とダイレクト信号とをミックスするための行列Ｒ_２を生成する（ステップ１２３）。ステップ１２３で生成された行列Ｒ_２は、ステップ１０６ないしステップ１１３で不要なモジュールと判断されたモジュールで復号化を行わないために、図１０に示された擬似コードによって、不要なモジュールに対応する行列の元素またはベクトルの元素を除去する。

５−１−５_１ツリー構造及び５−１−５_２ツリー構造に適用した例を、以下で説明する。

第一に、図５は、５−１−５_１ツリー構造で４チャンネルのみが出力可能な場合を示した図である。図５に示された５−１−５_１ツリー構造に対して、ステップ１０３ないしステップ１１３を行えば、次に記載された

とが生成される。

このように生成された

によって点線で表示された部分以前のモジュールで復号化が中断される。これにより、ＯＴＴ_２及びＯＴＴ_４がアップミキシングを行わないので、ステップ１２６で次に記載された行列Ｒ_２を生成する。

第二に、図６は、５−１−５_２ツリー構造で４チャンネルのみが出力可能な場合を示した図である。図６に示された５−１−５_２ツリー構造に対して、ステップ１０３ないしステップ１１３を行えば、次に記載された

とが生成される。

このように生成された

によって、点線で表示された部分以前のモジュールで復号化が中断される。

図７は、５−１−５_１ツリー構造で３チャンネルのみが出力可能な場合を示す図である。この場合、ステップ１０３ないしステップ１１３によって、次に記載された

とが生成される。

このように生成された

によって、点線で表示された部分以前のモジュールで復号化が中断される。

図８は、５−１−５_２ツリー構造で３チャンネルのみが出力可能な場合を示す図である。この場合、ステップ１０３ないしステップ１１３によって

とが生成される。

このように生成された

によって、点線で表示された部分以前のモジュールで復号化が中断される。

また、５−２−５ツリー構造、７−２−７_１ツリー構造、７−２−７_２ツリー構造でも適用するために、

を定義する。

第一に、５−２−５ツリー構造で、及びＲ_１は、次に記載されたように定義される。

第二に、７−２−７_１ツリー構造で、

及びＲ_１は、次に記載されたように定義される。

第三に、７−２−７_２ツリー構造で、

及びＲ_１は、次に記載されたように定義される。

５−２−５ツリー構造及び７−２−７ツリー構造は、３個のサブツリーに分離される。したがって、前述された５−１−５ツリー構造で適用された方式と同じ方式で、ステップ１２３で行列Ｒ_２を求めうる。

ステップ１２３で生成された行列Ｒ_２に対して補間を行って行列Ｍ_２を生成する（ステップ１２６）。

符号器でダウンミックスされた信号と原信号との差をＡＣＣで符号化してレジデュアルコーディングされた信号を復号化する（ステップ１２９）。

ステップ１２９で復号化されたＭＤＣＴ係数をＱＭＦドメインに変換する（ステップ１３０）。

ステップ１３０で出力された信号に対してフレーム間オーバーラップアッドを行う（ステップ１３３）。

低周波帯域信号がＱＭＦフィルタバンクに周波数分解能が足りないので、追加的なフィルタリングを通じて周波数分解能を向上させる（ステップ１３６）。

ＱＭＦハイブリッド分析フィルタバンクを利用して、入力信号を周波数バンド別に分解する（ステップ１４０）。

ステップ１２０で生成された行列Ｍ_１を利用して、ダイレクト信号及びデコリレーションする信号を生成する（ステップ１４３）。

ステップ１４３で生成されたデコリレーションする信号に対して、デコリレーションを空間感を有しうるように再構成するデコリレーションを行う（ステップ１４６）。

ステップ１４６でデコリレーションされた信号及びステップ１４３で生成されたダイレクト信号に対して、それぞれステップ１２６で生成された行列Ｍ_２を適用する（ステップ１４８）。

ステップ１５０で行列Ｍ_２が適用された信号にＴＥＳ（Ｔｅｍｐｏｒａｌ Ｅｎｖｅｌｏｐｅ Ｓｈａｐｉｎｇ）を適用する。

ステップ１５３でＴＥＳが適用された信号にＱＭＦハイブリッド合成フィルタバンクを利用して時間ドメインに変換する。

ステップ１５３で変換された信号にＴＰ（Ｔｅｍｐｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ）を適用する。

ここで、ステップ１５０及びステップ１５６は、アプローズ（ａｐｐｌａｕｓｅ）のようにテンポラル構造が重要な信号に対して音質を向上させるためのものであって、選択的に利用され、必須的に適用せねばならないものではない。

ダイレクト信号とデコリレーションされた信号とをミックスする（ステップ１５８）。

また、アービトラリツリー構造にも、次に記載された数式によってＲ_３を計算して適用しうる。

図２は、本発明によるスケーラブルチャンネル復号化システムの一実施例を示すブロック図である。

ビットストリーム復号器２００は、符号器から伝送されたサラウンドビットストリームを分析して空間情報及び付加情報を抽出する。

設定認識部２３０は、復号器に設けられたチャンネルまたはスピーカの設定を認識する。ここで、復号器のマルチチャンネルの設定は、復号器に備えられたスピーカの数（ｎｕｍＰｌａｙＣｈａｎ）、復号器に備えられたスピーカのうち動作可能なスピーカの位置（ｐｌａｙＣｈａｎＰｏｓ（ｃｈ））、符号化されたチャンネルのうち復号器のマルチチャンネルで利用できるか否かを表すベクトル（ｂＰｌａｙＳｐｋ（ｃｈ））を称す。

ここで、ｂＰｌａｙＳｐｋ（ｃｈ）は、次に記載された式（６）のように、符号器で符号化されたチャンネルのうち復号器に設けられたマルチチャンネルで利用可能なスピーカを‘１’で表し、利用できないスピーカを‘０’で表す。

ここで、ｎｕｍＯｕｔＣｈａｎＡＴは、次に記載された式（７）によって計算された値である。

また、ｐｌａｙＣｈａｎＰｏｓは、例えば、５.１チャンネルに対して次のような方式で表示される。

レベル計算部２３５は、設定認識部２３０で認識されたマルチチャンネルの設定を利用して、各マルチチャンネル信号に対して復号化レベルの数を計算する。ここで、レベル計算部２３５は、復号化決定部２４０及び第１計算部２５０を含んでなる。

復号化決定部２４０は、設定認識部２３０で認識された結果を利用して、符号器で符号化されたチャンネルのうちマルチチャンネルで利用できないチャンネルを復号化しないと決定する。

行列（ここで、ｖは、‘０’以上であり、‘ｎｕｍＯｕｔＣｈａｎ’未満である）は、図３ないし図８に示されたツリー構造で、各出力信号に対してＯＴＴモジュールで上位に出力されるか（‘１’で表示する）下位に出力されるか（‘−１’で表示する）を表す元素で構成された行列である。以下で、行列

を利用して説明する。しかし、当業者ならば、行列

に限定されて実施されないということが分かるであろう。例えば、行列

に対して行と列とが変わって実施することもできる。

例えば、図４に示されたツリー構造で説明すれば、行列

でＢｏｘ ０で上位に出力され、Ｂｏｘ １で上位に出力され、Ｂｏｘ ２で上位に出力される１列は、［１ １ １］で表示され、Ｂｏｘ
０で下位に出力され、Ｂｏｘ ３で上位に出力される４列は、［１ １ ｎ／ａ］で表示される。ここで、‘ｎ／ａ’は、該当するチャンネル、モジュールまたはボックス（Ｂｏｘ）は、使用できないことを表示する識別子である。このような方式で、全てのマルチチャンネルを行列

で表せば、次の通りである。

復号化決定部２４０は、符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルに該当する列を行列

で何れも‘ｎ／ａ’に設定する。

例えば、図４に示されたツリー構造で説明すれば、符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用をできるか否かを表すベクトルであるｂＰｌａｙＳｐｋが第２及び第４チャンネルに‘０’で表示されているので、復号器に設けられたマルチチャンネルのうち、第２及び第４チャンネルは利用できない。したがって、復号化決定部２４０では、行列

で第２及び第４チャンネルに対応する列である２列と４列とを、次に記載されたように、何れもｎ／ａに設定する。

第１計算部２５０は、復号化決定部２３５で復号化しないと決定されたチャンネルを除いて、同じ経路によって復号化されるチャンネルの有無を判断して、復号化レベルの数を計算する。ここで、復号化レベルは、各マルチチャンネルでマルチチャンネル信号を出力するために経ねばならないＯＴＴモジュールまたはＴＴＴモジュールのような復号化を行うモジュールの数を称す。

第１計算部２５０は、経路判断部２５２、レベル低下部２５４及び第２計算部２５６を備えてなる。

経路判断部２５２は、復号化決定部２４０で復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断する。ここで、経路判断部２５２は、復号化決定部２４０で設定された行列

で所定の整数ｊとｋとが同一でない場合、

とが同一か否かを判断することによって、同じ経路に復号化されるマルチチャンネルの有無を判断する。

例えば、図４に示されたツリー構造で説明すれば、

とが同一でないので、復号化決定部２４０で生成された行列

で、第１チャンネル及び第３チャンネルが同じ経路によって復号化されるマルチチャンネルがないことを経路判断部２５２で判断する。図４に示されたツリー構造で説明すれば、

とが同一であるので、復号化決定部２４０で生成された行列

で、第１チャンネル及び第３チャンネルが同じ経路によって復号化されるマルチチャンネルがあることを経路判断部２５２で判断する。

レベル低下部２５４は、経路判断部２５２で同じ経路によって復号化されないマルチチャンネルと判断されたマルチチャンネルに対して復号化レベルを低下させる。ここで、復号化レベルは、各マルチチャンネルで信号を出力するために経ねばならないＯＴＴモジュールまたはＴＴＴモジュールのような復号化を行うモジュールまたはボックスの数を称す。経路判断部２５２で同じ経路によって復号化されないマルチチャンネルと判断されたチャンネルに対して、最後に判断した復号化レベルをｎ／ａで表示する。

例えば、図４に示されたツリー構造で、第１チャンネル及び第３チャンネルが同じ経路によって復号化されるマルチチャンネルがないことを経路判断部２５２で判断したので、第１チャンネルに対応する１列及び第３チャンネルに対応する３列の最後の行を、次に記載されたように、ｎ／ａに設定する。

経路判断部２５２及びレベル低下部２５４は、復号化レベルを１レベルずつ低下させつつ反復的に行う。これにより、経路判断部２５２及びレベル低下部２５４では、

に対して、最後の行から最初の行まで１行ずつ上げつつ反復的に行う。

レベル計算部２３５は、図９に示された擬似コードによって各サブツリーに対して

を設定する。

第２計算部２５６は、レベル低下部２５４で低下した結果を利用して、各マルチチャンネルに対して復号化レベルの数を計算する。ここで、第２計算部２５６は、復号化レベルの数を、次に記載された数式によって計算する。

例えば、図４に示されたツリー構造に対して、レベル低下部２５４で設定された行列

の復号化レベルの数を求めれば、次に記載された行列のように計算される。

これは、ｎ／ａは、絶対値を０と仮定し、何れもｎ／ａである列は、−１と仮定したので、行列

で１列に対する絶対値の和は２であり、何れもｎ／ａである列に該当する２列は、−１に設定する。

このような方式によって計算されたＤＬを利用して、図４に示された点線以前のモジュールまで復号化を行ってスケーラブルに復号化させうる。

制御部２６０は、第２計算部２５６で求められた復号化レベルを利用して、不要なモジュールは行わないように行列Ｒ_１、Ｒ_２及びＲ_３を生成することを制御する。

スムージング部２０２は、ビットストリーム復号器２００から抽出された空間情報を利用して、低ビット率で空間情報が急変することを防止するために、選択的に空間情報をスムージングする。

マトリックスコンポーネント計算部２０４は、既存のマトリックスサラウンド方式との互換性を維持するために、追加的なチャンネル別に利得値を計算する。

プリベクトル計算部２０６は、プリベクトルを計算する。

アービトラリダウンミックス利得値抽出部２０８は、復号器で外部ダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出する。

マトリックス生成部２１２は、マトリックスコンポーネント計算部２０４、プリベクトル計算部２０６及びアービトラリダウンミックス利得値抽出部２０８から出力される結果を利用して、行列Ｒ_１を生成する。ここで、Ｒ_１は、デコリレーションするためにデコリレータに入力するための信号の生成に利用される。

例えば、図５に示された５−１−５_１ツリー構造及び図６に示された５−１−５_２ツリー構造が、次に記載された行列に設定されていると仮定する。

この場合、５−１−５_１ツリー構造で、マトリックス生成部２１２では、Ｒ_１を次に記載されたように計算する。

この場合、５−１−５_２ツリー構造で、マトリックス生成部２１２では、Ｒ_１を次に記載されたように計算する。

補間処理部２１４は、マトリックス生成部２１２で生成された行列Ｒ_１に対して補間を行って行列Ｍ_１を生成する。

ミックスベクトル計算部２１０は、デコリレーションされた信号とダイレクト信号とをミックスするための行列Ｒ_２を生成する。ミックスベクトル計算部２１０で生成された行列Ｒ_２は、レベル計算部２３５で不要なモジュールと判断されたモジュールで復号化を行わないために、図１０に示された擬似コードによって、不要なモジュールに対応する行列の元素またはベクトルの元素を除去する。

補間処理部３１６は、ミックスベクトル計算部２１０で生成された行列Ｒ_２に対して補間を行って行列Ｍ_２を生成する。

５−１−５_１ツリー構造及び５−１−５_２ツリー構造に適用した例を、以下で説明する。

第一に、図５は、５−１−５_１ツリー構造で４チャンネルのみが出力可能な場合を示した図である。この場合、レベル計算部２３５によって、次に記載された

とが生成される。

このように生成された

によって点線で表示された部分以前のモジュールで復号化が中断される。これにより、ＯＴＴ２及びＯＴＴ４が復号化を行わないので、ステップ１２６で次に記載された行列Ｒ_２を生成する。

第二に、図６は、５−１−５_２ツリー構造で、４チャンネルのみが出力可能な場合を示す図である。この場合、レベル計算部２３５によって、次に記載された

とが生成される。

このように生成された

によって点線で表示された部分以前のモジュールで復号化が中断される。

図７は、５−１−５_１ツリー構造で、３チャンネルのみが出力可能な場合を示す図である。この場合、レベル計算部２３５によって、次に記載された

とが生成される。

このように生成された

によって点線で表示された部分以前のモジュールで復号化が中断される。

図８は、５−１−５_２ツリー構造で、３チャンネルのみが出力可能な場合を示す図である。この場合、レベル計算部２３５によって、

とが生成される。

このように生成された

によって点線で表示された部分以前のモジュールで復号化が中断される。

また、５−２−５ツリー構造、７−２−７_１ツリー構造、７−２−７_２ツリー構造でも適用するために

を定義する。

第一に、５−２−５ツリー構造で、及びＲ_１は、次に記載されたように定義される。

第二に、７−２−７_１ツリー構造で、

及びＲ_１は、次に記載されたように定義される。

第三に、７−２−７_２ツリー構造で、

及びＲ_１は、次に記載されたように定義される。

５−２−５ツリー構造及び７−２−７ツリー構造は、３個のサブツリーに分離される。したがって、前述された５−１−５ツリー構造で適用された方式と同じ方式で、ミックスベクトル生成部２１０で行列Ｒ_２を求めうる。

ＡＡＣ復号器２１６は、符号器でダウンミックスされた信号と原信号との差をＡＣＣで符号化して、レジデュアルコーディングされた信号を復号化する。

ＭＤＣＴ変換部２１８は、ＡＡＣ復号器２１６で復号化されたＭＤＣＴ係数をＱＭＦドメインに変換する。

オーバーラップアッド部２２０は、ＭＤＣＴ変換部２１８から出力された信号に対してフレーム間オーバーラップアッドを行う。

ハイブリッド分析部２２２は、低周波帯域信号がＱＭＦフィルタバンクに周波数分解能が足りないので、追加的なフィルタリングを通じて周波数分解能を向上させる。

ハイブリッド分析部２７０は、ＱＭＦハイブリッド分析フィルタバンクでもって、入力信号を周波数バンド別に分解する。

プリマトリックス適用部２７３は、補間処理部２１４で生成された行列Ｍ_１を利用して、ダイレクト信号及びデコリレーションする信号を生成する。

デコリレーション部２７６は、プリマトリックス適用部２７３で生成されたデコリレーションする信号に対して空間感を有しうるように再構成するデコリレーションを行う。

ミックスマトリックス適用部２７９は、デコリレーション部２７６でデコリレーションされた信号及びプリマトリックス適用部２７３で生成されたダイレクト信号に対して、それぞれ補間処理部２１５で生成された行列Ｍ_２を適用する。

ＴＥＳ（Ｔｅｍｐｏｒａｌ Ｅｎｖｅｌｏｐｅ Ｓｈａｐｉｎｇ）適用部２８８は、ミックスマトリックス適用部２７９で行列Ｍ_２が適用された信号にＴＥＳを適用する。

ＱＭＦハイブリッド合成部２８５は、ＴＥＳ適用部２８８でＴＥＳが適用された信号にＱＭＦハイブリッド分析フィルタバンクを利用して時間ドメインに変換する。

ＴＰ（Ｔｅｍｐｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ）適用部２８８は、ＱＭＦハイブリッド合成部２８５で変換された信号にＴＰを適用する。

ここで、ＴＥＳ適用部２８２及びＴＰ適用部２８８は、アプローズのようにテンポラル構造が重要な信号に対して音質を向上させるためのものであって、選択的に利用でき、必須的に適用せねばならないものではない。

ミキシング部２９０は、ダイレクト信号とデコリレーションされた信号とをミックスする。

また、アービトラリツリー構造にも、次に記載された数式によってＲ_３を計算して適用しうる。

前記実施形態以外にも、本発明の実施形態は、その実施形態の具現のための少なくとも一つのプロセッシング要素を制御するためのコード／インストラクションを保存した記録媒体、例えば、コンピュータで読み取り可能な記録媒体として具現される。その記録媒体は、コンピュータ可読コードの保存及び／または伝送を許容する媒体／メディアに対応しうる。

コンピュータ可読コードは、多様な媒体、例えば、マグネチック記録媒体（例えば、ＲＯＭ（リードオンリメモリ）、フロッピー（登録商標）ディスク、ハードディスク）、光学的記録媒体(例えば、ＣＤ−ＲＯＭ、ＤＶＤ)及びキャリアウェーブのような保存／伝送媒体を含む媒体の多様な例に保存／伝送される。ここで、媒体は、本発明の実施形態による信号（例えば、結果信号、ビットストリーム）でありうる。媒体は、コンピュータ可読コードが分配形式で保存／伝送され、かつ実行されるように分配ネットワークでもある。また、そのプロセッシング要素は、プロセッサまたはコンピュータプロセッサを含み、プロセッシング要素は、単一デバイスに含まれるか、または分配される。

本発明によるスケーラブルチャンネル復号化方法及びシステムによれば、復号器に設けられたチャンネルまたはスピーカの設定を認識して、各マルチチャンネル信号に対して復号化するレベルの数を計算し、そのレベルの数によって復号化してアップミキシングする。

これにより、復号器で出力チャンネルの数を減らせると同時に、復号化を行う複雑度を容易に軽減しうる。また、各ユーザの有している多様なスピーカの設定によって、適応的に最適の音質を提供しうる。

以上、本発明の実施例が様々な形態とともに記載されたが、明細書に記載された本発明の内容は、特許請求の範囲に記載された発明思想とその均等の範囲を逸脱しない範囲内で当業者によって様々に変形可能である。以下、開示される発明の実施形態を例示的に列挙する。

（第１項）
一つ以上の符号化されたマルチチャンネル信号に対して復号化するレベルの数を設定するステップと、
前記設定されたレベルの数によって、前記一つ以上の符号化されたマルチチャンネル信号の復号化及びアップミキシングを選択的に行うステップと、を含むことを特徴とするスケーラブルチャンネル復号化方法。

（第２項）
前記スケーラブルチャンネル復号化方法は、
チャンネルまたはスピーカの設定を認識し、前記認識された設定を考慮して、前記復号化するレベルの数を設定するステップをさらに含むことを特徴とする第１項に記載のスケーラブルチャンネル復号化方法。

（第３項）
前記マルチチャンネルの設定は、
符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できるチャンネルに関する情報であることを特徴とする第２項に記載のスケーラブルチャンネル復号化方法。

（第４項）
前記情報は、
復号器に設けられたマルチチャンネルの数、復号器でスピーカが設けられた位置、符号器で符号化されたチャンネルに対して、復号器に設けられたマルチチャンネルで利用されるか否かを表すベクトル及び各マルチチャンネル信号が経ねばならないモジュールの数のうち少なくとも何れか一つであることを特徴とする第３項に記載のスケーラブルチャンネル復号化方法。

（第５項）
前記計算するステップは、
符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルを復号化しないと決定するステップと、
前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断して復号化するレベルの数を計算するステップと、を含むことを特徴とする第１項に記載のスケーラブルチャンネル復号化方法。

（第６項）
前記判断して復号化するレベルの数を計算するステップは、
前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断するステップと、
同じ経路によって復号化されないマルチチャンネル信号に対して復号化するレベルを低下させるステップと、
前記低下した結果を利用して、前記各マルチチャンネルに対して復号化するレベルの数を計算するステップと、を含むことを特徴とする第５項に記載のスケーラブルチャンネル復号化方法。

（第７項）
前記決定するステップは、
前記各マルチチャンネルに対して復号化する経路及び符号化されたチャンネルのうち、前記マルチチャンネルで利用をできるか否かを表す行列で、前記利用できないチャンネルに対して復号化する経路を表す行または列を符号化されたチャンネルのうち、復号器で利用できないチャンネルを表示する識別子に何れも変換することを特徴とする第５項に記載のスケーラブルチャンネル復号化方法。

（第８項）
前記判断するステップは、
前記行列で前記識別子に何れも変換された行または列を除いて、同じ経路によって復号化するチャンネルを表す行または列の有無を判断することを特徴とする第７項に記載のスケーラブルチャンネル復号化方法。

（第９項）
前記低下させるステップは、
前記判断するステップで、行または列がないと判断されたチャンネルに対して、最後に判断した復号化するレベルを表す前記行列の要素を前記識別子に変化させ、
前記判断するステップは、

復号化するレベルを１レベルずつ低下させつつ反復して判断することを特徴とする第８項に記載のスケーラブルチャンネル復号化方法。

（第１０項）
前記利用して復号化するレベルの数を計算するステップは、
前記識別子で表示された前記行列の要素を除外して、各チャンネルに対して復号化するレベルの数を計算することを特徴とする第９項に記載のスケーラブルチャンネル復号化方法。

（第１１項）
第１項に記載の発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

（第１２項）
一つ以上の符号化されたマルチチャンネル信号に対して復号化するレベルの数を設定するレベル設定部と、
前記設定されたレベルの数によって、前記一つ以上の符号化されたマルチチャンネル信号の復号化及びアップミキシングを選択的に行うアップミキシング部と、を備えることを特徴とするスケーラブルチャンネル復号化システム。

（第１３項）
前記スケーラブルチャンネル復号化システムは、
チャンネルまたはスピーカの設定を認識する設定認識部をさらに備え、
前記レベル設定部は、前記認識された設定を考慮して前記復号化するレベルの数を設定することを特徴とする第１２項に記載のスケーラブルチャンネル復号化システム。

（第１４項）
前記マルチチャンネルの設定は、
符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できるチャンネルに関する情報であることを特徴とする第１３項に記載のスケーラブルチャンネル復号化システム。

（第１５項）
前記情報は、
復号器に設けられたマルチチャンネルの数、復号器でスピーカが設けられた位置、符号器で符号化されたチャンネルに対して復号器に設けられたマルチチャンネルで利用できるか否かを表すベクトル及び各マルチチャンネル信号が経ねばならないモジュールの数のうち少なくとも何れか一つであることを特徴とする第１４項に記載のスケーラブルチャンネル復号化システム。

（第１６項）
前記レベル計算部は、
符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルを復号化しないと決定する復号化決定部と、
前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断して復号化するレベルの数を計算する第１計算部と、を備えることを特徴とする第１２項に記載のスケーラブルチャンネル復号化システム。

（第１７項）
前記計算部は、
前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断する経路判断部と、
同じ経路によって復号化されないマルチチャンネル信号に対して復号化するレベルを低下させるレベル低下部と、
前記低下した結果を利用して、前記各マルチチャンネルに対して復号化するレベルの数を第２計算部と、を備えることを特徴とする第１６項に記載のスケーラブルチャンネル復号化システム。

（第１８項）
前記復号化決定部は、
前記各マルチチャンネルに対して復号化する経路及び符号化されたチャンネルのうち、前記マルチチャンネルで利用できるか否かを表す行列で、前記利用できないチャンネルに対して復号化する経路を表す行または列を符号化されたチャンネルのうち、復号器で利用できないチャンネルを表示する識別子に何れも変換することを特徴とする第１６項に記載のスケーラブルチャンネル復号化システム。

（第１９項）
前記経路判断部は、
前記行列で前記識別子に何れも変換された行または列を除いて、同じ経路によって復号化するチャンネルを表す行または列の有無を判断することを特徴とする第１８項に記載のスケーラブルチャンネル復号化システム。

（第２０項）
前記レベル低下部は、
前記経路判断部で行または列がないと判断されたチャンネルに対して、最後に判断した復号化するレベルを表す前記行列の要素を前記識別子に変化させ、
前記経路判断部は、
復号化するレベルを１レベルずつ低下させつつ反復して判断することを特徴とする第１９項に記載のスケーラブルチャンネル復号化システム。

（第２１項）
前記第２計算部は、
前記識別子で表示された前記行列の要素を除外して、各チャンネルに対して復号化するレベルの数を計算することを特徴とする第２０項に記載のスケーラブルチャンネル復号化システム。

（第２２項）
チャンネルまたはスピーカの設定を認識するステップと、
符号器でマルチチャンネルからダウンミックスされた信号を前記認識されたチャンネルまたはスピーカの設定に対応するマルチチャンネル信号にアップミキシングするステップと、を含むことを特徴とするスケーラブルチャンネル復号化方法。

（第２３項）
チャンネルまたはスピーカの設定を認識するステップと、
前記認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、
前記計算されたモジュールの数によって復号化してアップミキシングするステップと、を含むことを特徴とするスケーラブルチャンネル復号化方法。

（第２４項）
チャンネルまたはスピーカの設定を認識するステップと、
符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルを復号化しないと決定するステップと、
前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断するステップと、
前記判断された結果によって、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、
前記計算されたモジュールの数によって復号化してアップミキシングするステップと、を含むことを特徴とするスケーラブルチャンネル復号化方法。

Claims (2)

1. チャンネルまたはスピーカの設定を認識するステップと、
   前記認識されたチャンネルまたはスピーカの設定を利用して、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、
   前記計算されたモジュールの数によって復号化してアップミキシングするステップと、
   を含むことを特徴とするスケーラブルチャンネル復号化方法。
2. チャンネルまたはスピーカの設定を認識するステップと、
   符号器で符号化されたチャンネルのうち、復号器に設けられたマルチチャンネルで利用できないチャンネルを復号化しないと決定するステップと、
   前記復号化しないと決定されたマルチチャンネルを除いて、同じ経路によって復号化されるマルチチャンネルの有無を判断するステップと、
   前記判断された結果によって、各マルチチャンネル信号に対して経ねばならないモジュールの数を計算するステップと、
   前記計算されたモジュールの数によって復号化してアップミキシングするステップと、
   を含むことを特徴とするスケーラブルチャンネル復号化方法。

Images