JP2012238034A - マルチチャンネルオーディオ信号復号化方法 - Google Patents

Abstract

【課題】 ＭＰＥＧ標準化に符合しつつ、多チャンネルＢＳＡＣの性能を向上させる。
【解決手段】 オーディオデータを復号化する段階と、オーディオデータのペイロードの終結を示す識別コードを検出する段階と、拡張データのペイロードの開始を示す識別コードを検出する段階と、拡張データのタイプを検出する段階と、検出されたタイプが、オーディオデータのチャンネルをマルチチャンネルに拡張する拡張データを示しているか否かを判断する段階と、判断段階で示していると判断されれば、オーディオデータのチャンネルをマルチチャンネルに拡張する拡張データを復号化する段階と、を含み、拡張データは、少なくともオーディオチャンネルの構成を表し、チャンネルをスピーカにマッピングするときのチャンネルの数を規定するチャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含む。
【選択図】 図３

Description

本発明は、マルチチャンネルオーディオデータ符号化方法、マルチチャンネルオーディオデータ復号化方法、マルチチャンネルオーディオデータ符号化装置、マルチチャンネルオーディオデータ復号化装置、マルチチャンネルオーディオデータを符号化するためのプログラムを記録した媒体及びマルチチャンネルオーディオデータを復号化するためのプログラムを記録した記録媒体に関する。

地上波ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）では２００３年オーディオコーデックとしてＭＰＥＧ−４ ＢＳＡＣ（Ｂｉｔ Ｓｌｉｃｅｄ Ａｒｉｔｈｍａｔｉｃ Ｃｏｄｉｎｇ）を採択した。現在ではステレオのみをサービスしているが、今後はマルチチャンネルサービスに拡張することが予想される。ＭＰＥＧ−４ ＢＳＡＣは、圧縮効率に加えて、帯域幅拡大や空間的なオーディオなどを改良する必要がある。

既存のＢＳＡＣマルチチャンネルでは、中央、前左右、後左右チャンネルなどのチャンネルが、一つの階層に交互にコード化される。図１は、既存のマルチチャンネルＢＳＡＣ構造を示すものであって、各チャンネルがインターリーブされている。ＢＳＡＣ構造は、微細階層機能を提供する。すなわち、一つの階層に５チャンネルがそれぞれ存在して、最後の階層からそれぞれの階層のデータを断絶することができる。そして、チャンネルについてのツール付加情報が、ジェネラルヘッダ（ｇｅｎｅｒａｌ＿ｈｅａｄｅｒ）に定義されている。チャンネルごとに信号特性を考慮した個別的な付加情報があって初めて、高性能圧縮が可能である。

図２は、従来のオーディオ符号化装置の機能モジュールを示すブロック図である。従来のオーディオ符号化装置は、心理音響モデル部２００、時間／周波数マッピング部２１０、ＴＮＳ（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｓｈａｐｉｎｇ、時間領域ノイズ形象化）部２２０、強度（Ｉｎｔｅｎｓｉｔｙ）ステレオ処理部２３０、知覚ノイズ代替部２４０、Ｍ／Ｓ（Ｍｉｄ／Ｓｉｄｅ）ステレオ処理部２５０、量子化部２６０及びビットパッキング部２７０から構成される。

時間／周波数マッピング部２１０は、時間領域のオーディオ信号を周波数領域の信号に変換する役割を担う。時間に関しては人間が認知する信号の特性の差はそれほど大きくないが、そのように変換された周波数領域の信号は、人間の音響心理モデルによって、各帯域で人間が感じられる信号と感じられない信号との差が大きいため、各周波数帯域による割当てられるビット数を異ならせることで、圧縮の効率を向上させることが可能である。

心理音響モデル部２００は、時間／周波数マッピング部２１０により、時間領域から周波数領域の成分に変換されたオーディオ信号を適当な帯域の信号に結合して、各信号の相互作用により発生するマスキング現象を利用して、各帯域でのマスキング閾値を計算する。ＴＮＳ部２２０は、変換の各ウィンドウ内で量子化ノイズの時間的な模様を制御するために使われる。

周波数データをフィルタリングすることにより、時間領域ノイズの形成が可能である。ＴＮＳ部２２０は、符号化器で使用するか否かを選択できる。強度ステレオ処理部２３０は、ステレオ信号を更に効率的に処理するためのもののうちの一つである。二つのチャンネルのうち、一つのチャンネルに対するスケールファクターバンド（ｓｃａｌｅｆａｃｔｏｒ ｂａｎｄ）についての量子化された情報のみを符号化し、残りのチャンネルは、ｓｃａｌｅｆａｃｔｏｒのみを伝送する技法である。強度ステレオ処理部２３０は、必ずしも符号化器で使用しなければならない部分ではなく、符号化器で多様な事項を考慮して、各スケールファクターバンド単位で使用するか否かを判断できる。

知覚ノイズ代替部２４０は、現在フレームでノイズ特性の強い信号の場合、周波数係数値をコーディングせずに、スケールファクターバンドに該当する周波数成分のエネルギー値を符号化することで、使われるビット発生量を減らすことが可能である。知覚ノイズ代替部２４０は、スケールファクターバンド単位で使用するか否かを判断できる。Ｍ／Ｓステレオ処理部２５０は、ステレオ信号をさらに効率的に処理するためのもののうちの一つである。

Ｍ／Ｓステレオ処理部２５０における効率的な処理方法は、左側チャンネルの信号と右側チャンネルの信号とを、それぞれ足した信号と、引いた信号とに変換した後、この信号を処理する。Ｍ／Ｓステレオ処理部２５０も、必ずしも符号化器で使用しなければならない部分ではなく、符号化器で多様な事項を考慮して、各スケールファクターバンド単位で使用するか否かを判断できる。量子化部２６０では、人間が聞いても感じられないように、各帯域の量子化ノイズのサイズがマスキング閾値より小さくなるように、各帯域の周波数信号をスカラー量子化する。ビットパッキング部２７０は、符号化装置の各モジュールで作られた情報を集めて、スケーラブルコーデック（ｓｃａｌａｂｌｅ ｃｏｄｅｃ）に適するように作られたシンタックス（ｓｙｎｔａｘ）によってビットストリームを構成する。

ところが、図１に示した既存のＢＳＡＣマルチチャンネル構造は、Ｍ／Ｓ（Ｍｉｄ／Ｓｉｄｅ）ステレオ使用ができない。なぜならば、既存の符号化及び復号化シンタックス上では、チャンネル数が２つ以上である場合には、Ｍ／Ｓステレオ機能を使用できないためである。したがって、コーディングの効率が低下する。また、ｗｉｎｄｏｗ ｓｗｉｔｃｈｉｎｇ、ＰＮＳ（Ｐｅｒｃｅｐｔｕａｌ Ｎｏｉｓｅ Ｓｕｂｓｔｉｔｕｔｉｏｎ）は、あらゆるチャンネルに同じ付加情報を使用せねばならないため、コーディングの効率が低下する。また、５つのチャンネルが何れもインターリーブされるため、モノタイプオーディオに比べて５倍のメモリが必要である。

本発明が達成しようとする技術的課題は、ＭＰＥＧ標準化に符合しつつ、多チャンネルＢＳＡＣの性能を向上させることが可能なマルチチャンネルオーディオデータ符号化方法及びマルチチャンネルオーディオデータ符号化装置を提供するところにある。

本発明が達成しようとする技術的課題は、ＭＰＥＧ標準化に符合しつつ、多チャンネルＢＳＡＣの性能を向上させることが可能なマルチチャンネルオーディオデータ復号化方法及びマルチチャンネルオーディオデータ復号化装置を提供するところにある。

本発明が達成しようとする技術的課題は、ＭＰＥＧ標準化に符合しつつ、多チャンネルＢＳＡＣの性能を向上させることが可能なプログラムを記録した記録媒体を提供するところにある。

前記技術的課題を解決するための本発明によるマルチチャンネルオーディオ信号の符号化方法は、（ａ）モノオーディオデータまたはステレオオーディオデータを符号化するステップと、（ｂ）前記モノオーディオデータ及び前記ステレオオーディオデータ以外のマルチチャンネルオーディオ拡張データを符号化するステップと、を含むことを特徴とする。前記モノオーディオデータ及び前記ステレオオーディオデータは、階層的なビット率を有することが好ましい。

前記マルチチャンネルオーディオ拡張データは、少なくともオーディオチャンネルの構成を表し、チャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含むことが好ましい。

前記（ｂ）ステップは、前記マルチチャンネルオーディオ拡張データの開始を表す所定の開始コードを符号化するステップと、前記マルチチャンネル拡張オーディオデータをチャンネル別に符号化するステップと、を含むことが好ましい。前記開始コードは、３２ビットの連続した０値からなるｚｅｒｏ＿ｃｏｄｅと、８ビットの連続した１値からなるｓｙｎｃｗｏｒｄと、から構成されることが好ましい。前記マルチチャンネル拡張オーディオデータをチャンネル別に符号化するステップは、オーディオチャンネルの構成を表す拡張チャンネルのタイプを符号化するステップと、マルチチャンネル拡張オーディオデータを符号化するステップと、を含むことが好ましい。

前記拡張チャンネルのタイプは、チャンネル構成インデックスからなることが好ましい。拡張データ長を符号化するステップと、付加情報を符号化するステップと、を更に含むことが好ましい。

前記拡張チャンネルオーディオデータを符号化するステップは、ビット率の最も低い基本階層を符号化するステップと、階層が複数である場合、前記基本階層のビット率より高く、かつ階層が高くなるほどビット率が高まる上位階層を符号化するステップと、を含むことが好ましい。

前記技術的課題を解決するための本発明によるマルチチャンネルオーディオ信号符号化装置は、モノオーディオデータまたはステレオオーディオデータを符号化するモノ／ステレオ符号化部と、前記モノオーディオデータ及び前記ステレオオーディオデータ以外のマルチチャンネルオーディオ拡張データを符号化する拡張データ符号化部と、を備えることを特徴とする。前記モノ／ステレオ符号化部は、階層的なビット率を有するモノオーディオデータまたはステレオオーディオデータを符号化することが好ましい。

前記マルチチャンネルオーディオ拡張データは、少なくともオーディオチャンネルの構成を表し、チャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含むことが好ましい。

前記拡張データ符号化部は、前記マルチチャンネルオーディオ拡張データの開始を表す所定の開始コードを符号化する開始コード符号化部と、拡張オーディオデータをチャンネル別に符号化するチャンネル符号化部と、を備えることが好ましい。

前記開始コードは、３２ビットの連続した０値からなるｚｅｒｏ＿ｃｏｄｅと、８ビットの連続した１値からなるｓｙｎｃｗｏｒｄと、から構成されることが好ましい。

前記チャンネル符号化部は、オーディオチャンネルの構成を表す拡張チャンネルのタイプを符号化する拡張チャンネルタイプ符号化部と、拡張チャンネルオーディオデータを符号化する拡張オーディオ符号化部と、を備えることが好ましい。

前記拡張チャンネルのタイプは、チャンネル構成インデックスからなることが好ましい。前記チャンネル符号化部は、拡張データ長を符号化する拡張データ長符号化部と、付加情報を符号化する付加情報符号化部と、を更に備えることが好ましい。

前記拡張オーディオ符号化部は、ビット率の最も低い基本階層を符号化する基本階層符号化部と、階層が複数である場合、前記基本階層のビット率より高く、かつ階層が高くなるほどビット率が高まる上位階層を符号化する上位階層符号化部と、を備えることが好ましい。

前記他の技術的課題を解決するための本発明によるマルチチャンネルオーディオ信号の復号化方法は、（ａ）モノオーディオデータまたはステレオオーディオデータを復号化するステップと、（ｂ）前記モノオーディオデータ及び前記ステレオオーディオデータ以外に復号化するマルチチャンネルオーディオ拡張データがあるかを検査するステップと、（ｃ）復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データを復号化するステップと、を含むことが好ましい。

前記モノオーディオデータ及び前記ステレオオーディオデータは、階層的なビット率を有することが好ましい。前記マルチチャンネルオーディオ拡張データは、少なくともオーディオチャンネルの構成を表し、チャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含むことが好ましい。

前記（ｂ）ステップは、マルチチャンネルオーディオ拡張データの開始を表す所定の開始コードの存在を検査して、この開始コードが存在する場合には、前記マルチチャンネルオーディオ拡張データが存在すると判断することが好ましい。前記開始コードは、３２ビットの連続した０値からなるｚｅｒｏ＿ｃｏｄｅと、８ビットの連続した１値からなるｓｙｎｃｗｏｒｄと、から構成されることが好ましい。

前記（ｃ）ステップは、復号化するマルチチャンネルオーディオ拡張データがある場合には、チャンネル別に前記マルチチャンネルオーディオ拡張データを復号化することが好ましい。前記チャンネル別のマルチチャンネルオーディオ拡張データの復号化は、オーディオチャンネルの構成を表す拡張チャンネルのタイプを復号化するステップと、マルチチャンネルオーディオ拡張データを復号化するステップと、を含むことが好ましい。

前記拡張チャンネルのタイプは、チャンネル構成インデックスからなることが好ましい。前記（ｃ）ステップは、拡張データ長を復号化するステップと、付加情報を復号化するステップと、を含むことが好ましい。

前記拡張チャンネルオーディオデータを復号化するステップは、ビット率の最も低い基本階層を復号化するステップと、階層が複数である場合、前記基本階層のビット率より高く、かつ階層が高くなるほどビット率が高まる上位階層を復号化するステップと、を含むことが好ましい。

前記他の技術的課題を解決するための本発明によるマルチチャンネルオーディオ信号復号化装置は、モノオーディオデータまたはステレオオーディオデータを復号化するモノ／ステレオ復号化部と、前記モノオーディオデータ及び前記ステレオオーディオデータ以外に復号化するマルチチャンネルオーディオ拡張データがあるかを検査する拡張データ検査部と、復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データを復号化する拡張データ復号化部と、を備えることを特徴とする。
前記モノオーディオデー及び前記ステレオオーディオデータは、階層的なビット率を有することが好ましい。

前記拡張データ検査部は、前記マルチチャンネルオーディオ拡張データの開始を表す所定の開始コードの存在を検査して、前記開始コードが存在する場合には、このマルチチャンネルオーディオ拡張データが存在すると判断することが好ましい。

前記開始コードは、３２ビットの連続した０値からなるｚｅｒｏ＿ｃｏｄｅと、８ビットの連続した１値からなるｓｙｎｃｗｏｒｄと、から構成されることが好ましい。

前記拡張データ復号化部は、復号化するマルチチャンネルオーディオ拡張データがある場合には、チャンネル別に前記マルチチャンネルオーディオ拡張データを復号化することが好ましい。

前記拡張データ復号化部は、オーディオチャンネルの構成を表す拡張チャンネルのタイプを復号化する拡張チャンネルタイプ復号化部と、マルチチャンネルオーディオ拡張データを復号化する拡張チャンネルオーディオ復号化部と、を備えることが好ましい。前記拡張チャンネルのタイプは、チャンネル構成インデックスからなることが好ましい。

前記拡張データ復号化部は、拡張データ長を復号化する拡張データ長復号化部と、付加情報を復号化する付加情報復号化部と、を更に備えることが好ましい。

前記拡張チャンネルオーディオ復号化部は、ビット率の最も低い基本階層を復号化する基本階層復号化部と、階層が複数である場合、前記基本階層のビット率より高く、かつ階層が高くなるほどビット率が高まる上位階層を復号化する上位階層復号化部と、を備えることが好ましい。

前記技術的課題を解決するための本発明によるマルチチャンネルオーディオ信号符号化方法は、（ａ）モノオーディオデータまたはステレオオーディオデータの基本階層を符号化するステップと、（ｂ）前記モノオーディオデータまたは前記ステレオオーディオデータの上位階層を符号化するステップと、（ｃ）前記モノオーディオデータ及び前記ステレオオーディオデータ以外のマルチチャンネルオーディオ拡張データの開始を表すｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄを符号化するステップと、（ｄ）前記拡張マルチチャンネルオーディオデータを構成する少なくとも一つのチャンネルデータに対し、基本階層を符号化し、かつ上位階層を符号化するステップと、を含むことを特徴とする。

前記（ｄ）ステップは、前記チャンネルデータの長さを符号化するステップと、前記チャンネルのタイプを表すチャンネル構成インデックスを符号化するステップと、ｂｓａｃヘッダ、ジェネラルヘッダを符号化するステップと、前記基本階層のオーディオデータを符号化するステップと、を含むことが好ましい。

前記技術的課題を解決するための本発明によるマルチチャンネルオーディオ信号復号化方法は、（ａ）モノオーディオデータまたはステレオオーディオデータの基本階層を復号化するステップと、（ｂ）前記モノオーディオデータまたは前記ステレオオーディオデータの上位階層を復号化するステップと、（ｃ）前記モノオーディオデータ及び前記ステレオオーディオデータ以外に、復号化するマルチチャンネルオーディオ拡張データがあるか否かを検査するステップと、（ｄ）復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データの開始を表すｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄを復号化するステップと、（ｅ）前記マルチチャンネルオーディオ拡張オーディオデータを構成する少なくとも一つのチャンネルデータに対し、基本階層を復号化し、かつ上位階層を復号化するステップと、を含むことを特徴とする。

前記（ｄ）ステップは、前記チャンネルデータの長さを復号化するステップと、前記チャンネルのタイプを表すチャンネル構成インデックスを復号化するステップと、ｂｓａｃヘッダ、ジェネラルヘッダを復号化するステップと、前記基本階層のオーディオデータを復号化するステップと、を含むことが好ましい。

そして、前記方法をコンピュータに実行させるためのプログラムを記録したコンピュータで読み取り可能な記録を提供する。

本発明によれば、本発明による方式が、既存のＢＳＡＣ方式を利用してマルチチャンネルデータをインターリーブすることより、メモリの容量を約２０％少なくすることができる。これは、既存のマルチチャンネル方式では、マルチチャンネル全体についてのデータを何れもメモリにロードしなければならないことに対し、本発明によるマルチチャンネル方式を使用する場合、追加されるチャンネル要素が順に処理されるため、同時に使用するメモリの使用量が相対的に少ない。

本発明に係るマルチチャンネルオーディオ信号符号化方法、マルチチャンネルオーディオ信号復号化方法、マルチチャンネルオーディオ信号符号化装置及びマルチチャンネルオーディオ信号復号化装置を利用して音質測定を行った結果は、図１７の通りである。聴き取り実験の条件は、次の通りである。ツールは、Ｗｉｎｄｏｗ ｓｗｉｔｃｈｉｎｇ＆Ｍ／Ｓｓｔｅｒｏ ｔｏｏｌが使われ、ビット量の割当て方式は、前方及び後方のチャンネル要素別にビット率を制御し、４人のオーディオ専門家を実験参加者とし、既存のＢＳＡＣに対する相対的な音質（−２〜＋２）を測定した。そして、テストの項目は、ＭＰＥＧ−２ＮＢＣに使われた総４６個の項目の中で選定した。

従って、本発明に係るマルチチャンネルオーディオ信号符号化方法、マルチチャンネルオーディオ信号復号化方法、マルチチャンネルオーディオ信号符号化装置及びマルチチャンネルオーディオ信号復号化装置によれば、一つのビットストリームでユーザー環境によって、モノ、ステレオ、及びマルチチャンネルを提供できる。マルチチャンネルでも、ユーザーの端末及びネットワークの状態によって、ＦＧＳ（Ｆｉｎｅ Ｇｒａｉｎ Ｓｃａｌａｂｉｌｉｔｙ）機能を提供する。また、マルチチャンネルＢＳＡＣの性能の向上、例えば、高音質、低い複雑度、拡張性の確保を可能にする。特に、ＭＰＥＧ標準化のための多様な要求事項（既存のＢＳＡＣとの互換性、ＦＧＳ機能の維持、最小の修正）を満たすことが可能である。

そして、高現実感のデジタルマルチメディア放送、モバイル及びホームシアター基盤のサービスで有効に使用される。

既存のＢＳＡＣマルチチャンネル構造を示す図面である。 既存方式のオーディオ符号化装置の機能モジュールを示すブロック図である。 本実施形態に係るマルチチャンネルオーディオデータ符号化装置の構成を示すブロック図である。 拡張データ符号化部の更に詳細な構成を示すブロック図である。 拡張オーディオ符号化部の細部構成を示すブロック図である。 本実施形態に係るマルチチャンネルオーディオデータ符号化についての基本的なデータ構造の一例を示す図面である。 本実施形態に係るマルチチャンネルオーディオデータ符号化方法を示すフローチャートである。 拡張チャンネルについてのオーディオデータ符号化を更に詳細に説明したフローチャートである。 マルチチャンネルオーディオ復号化装置の構成を示すブロック図である。 拡張データ復号化部９４０の構成を示すブロック図である。 拡張チャンネルオーディオ復号化部の構成を示すブロック図である。 本実施形態に係るマルチチャンネルオーディオデータ復号化方法を示すフローチャートである。 １２３０ステップの拡張チャンネルについてのオーディオデータ復号化を更に詳細に説明したフローチャートである。 １２００ステップないし１２４０ステップの全過程についての一実施形態を示すＢｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（）のｓｙｎｔａｘを示す図面である。 各拡張オーディオチャンネル復号化についての一実施形態を示すｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（）のｓｙｎｔａｘを示す図面である。 １１００ステップについてのｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｂａｓｅ＿ｅｌｅｍｅｎｔ（）の一例についてのｓｙｎｔａｘを示す図面である。 本発明に係るマルチチャンネルオーディオ信号符号化方法、マルチチャンネルオーディオ信号符号化装置、マルチチャンネルオーディオ信号復号化方法及びマルチチャンネルオーディオ信号復号化装置を利用して音質測定を行ったテスト結果を示す図面である。

以下、添付された図面を参照して、発明を実施するための最良の形態に係るマルチチャンネルオーディオ符号化装置、マルチチャンネルオーディオ復号化装置、マルチチャンネルオーディオ符号化方法及びマルチチャンネルオーディオ復号化方法について詳細に説明する。

まず、マルチチャンネルオーディオ符号化装置及びマルチチャンネルオーディオ復号化方法を説明する。図３は、本実施形態に係るマルチチャンネルオーディオデータ符号化装置の構成を示すブロック図である。本発明によるマルチチャンネルオーディオデータ符号化装置は、モノ／ステレオ符号化部３００及び拡張データ符号化部３５０を備える。

モノ／ステレオ符号化部３００は、モノオーディオデータまたはステレオオーディオデータを符号化する。モノ／ステレオ符号化部３００は、階層的なビット率を有するモノオーディオデータまたはステレオオーディオデータを符号化することが好ましい。特に、モノオーディオデータまたはステレオオーディオデータは、ＩＳＯ／ＩＥＣ １４４９６−３によるＢＳＡＣ方式で符号化されることが好ましい。ＢＳＡＣ方式のオーディオ符号化は、既に公知された技術であるため、ここではその説明を省略する。

拡張データ符号化部３５０は、モノオーディオデータ及びステレオオーディオデータ以外のマルチチャンネルオーディオ拡張データを符号化する。マルチチャンネルオーディオ拡張データは、少なくともオーディオチャンネルの構成を表す拡張チャンネルのタイプ情報を含み、拡張チャンネルタイプ情報は、チャンネル構成インデックス（ｃｈａｎｎｅｌ＿ｃｏｎｆｉｇｕｒａｔｉｏｎ＿ｉｎｄｅｘ）で表現されることが好ましい。チャンネル構成インデックスは、表２に示すように、オーディオ出力チャンネル構成を表す３ビットフィールドを有することが好ましい。チャンネル構成インデックスは、チャンネルをスピーカーにマッピングするとき、チャンネルの数を規定する。

図４は、拡張データ符号化部３５０の更に詳細な構成を示すブロック図である。拡張データ符号化部３５０は、開始コード符号化部４００及びチャンネル符号化部４５０を備える。開始コード符号化部４００は、マルチチャンネルオーディオ拡張データの開始を表す所定の開始コードを符号化する。開始コードは、ｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄからなる。

ｚｅｒｏ＿ｃｏｄｅは、ステレオオーディオデータの復号化が終わったことを知らせるための３２ビットの連続した０値からなる。ｓｙｎｃｗｏｒｄは、拡張されたマルチチャンネルオーディオデータの開始を表すために、８ビットの連続した１値からなる。ビットストリングは、１１１１ １１１１である。

チャンネル符号化部４５０は、拡張オーディオデータをチャンネル別に符号化するものであって、拡張チャンネル長符号化部４５２、拡張チャンネルタイプ符号化部４５４、付加情報符号化部４５６及び拡張オーディオ符号化部４５８を備える。

拡張チャンネル長符号化部４５２は、拡張データ長を符号化する。拡張データ長情報は、復号化するときに使われる。

拡張チャンネルタイプ符号化部４５４は、オーディオチャンネルの構成を表す拡張チャンネルのタイプを符号化する。付加情報符号化部４５６は、付加情報（ｂｓａｃ＿ｈｅａｄｅｒ、ｇｅｎｅｒａｌ＿ｈｅａｄｅｒ）を符号化する。付加情報（ｂｓａｃ＿ｈｅａｄｅｒ、ｇｅｎｅｒａｌ＿ｈｅａｄｅｒ）は、ＢＳＡＣ方式のモノオーディオデータまたはステレオオーディオデータを符号化するときに使用する付加情報と同じである。拡張オーディオ符号化部４５８は、拡張チャンネルオーディオデータを符号化する。

図５は、拡張オーディオ符号化部４５８の細部構成を示すブロック図である。拡張オーディオ符号化部４５８は、基本階層符号化部５００及び上位階層符号化部５５０を備える。基本階層符号化部５００は、ビット率の最も低い基本階層を符号化する。上位階層符号化部５５０は、基本階層のビット率より高く、階層が複数である場合、階層が高くなるほどビット率が高まる上位階層を符号化する。

本実施形態では、既存ステレオビットストリームにチャンネルを拡張する方式を使用している。各チャンネル要素にチャンネル構成インデックスを付与する。オーディオ符号化時に使用できる各ツールについての付加情報の修正可能性を表す。ｗｉｎｄｏｗ、Ｍ／Ｓ、ＰＮＳ情報は、ジェネラルヘッダ（ｇｅｎａｒａｌ ｈｅａｄｅｒ）がチャンネル要素ごとにあるため、修正の必要なあらゆるツールを修正できる。

図６は、本実施形態に係るマルチチャンネルオーディオデータ符号化についての基本的なデータ構造を示す図面である。そして、図７は、本実施形態に係るマルチチャンネルオーディオデータ符号化方法を示すフローチャートである。図６及び図７を参照して、本実施形態に係るマルチチャンネルオーディオデータ符号化方法及びマルチチャンネルオーディオデータ符号化装置の動作を説明する。

まず、モノ／ステレオ符号化部３００が、モノオーディオデータまたはステレオオーディオデータを符号化する（７００ステップ）。その後、拡張データ符号化部３５０が、モノオーディオデータまたはステレオオーディオデータ以外のマルチチャンネルオーディオ拡張データを符号化する。モノオーディオデータまたはステレオオーディオデータは、上記したように、階層的なビット率を有することが好ましい。また、マルチチャンネルオーディオ拡張データは、少なくともオーディオチャンネルの構成を表し、チャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含む。

マルチチャンネルオーディオ拡張データの符号化を更に詳細に説明すれば、次の通りである。モノオーディオデータまたはステレオオーディオデータが符号化された後、拡張データ符号化部３５０が符号化するデータがあるかをチェックする（７１０ステップ）。

符号化するデータが存在すれば（７１０ステップで「はい」）、開始コード符号化部４００がマルチチャンネルオーディオ拡張データの開始を表す所定の開始コード（ｚｅｒｏ＿ｃｏｄｅ、ｓｙｎｃｗｏｒｄ）を符号化する（７２０ステップ）。開始コードは、前記した通りである。

その後、チャンネル符号化部４５０が、各チャンネルに対して拡張オーディオデータを符号化する。それは、まず、チャンネル符号化部４５０が、一つのチャンネルに対して拡張オーディオデータを符号化した後（７３０ステップ）、チャンネルに対する符号化が完了すれば、他のチャンネルに対する符号化するオーディオデータがあるかを検査する（７４０ステップ）。チャンネル符号化部４５０が他のチャンネルに対する符号化するオーディオデータが存在すれば（７４０ステップで「はい」）、チャンネル符号化部４５０が、チャンネルに対するオーディオデータを符号化する。前記過程をあらゆる拡張チャンネルに対して行って、あらゆる拡張チャンネルオーディオデータに対して符号化する。

図８は、前記７３０ステップの拡張チャンネルに対するオーディオデータ符号化を更に詳細に説明したフローチャートである。拡張チャンネル長符号化部４５２が、拡張データ長を符号化する（８００ステップ）。

また、拡張チャンネルタイプ符号化部４５４が、オーディオチャンネルの構成を表す拡張チャンネルのタイプを符号化する（８２０ステップ）。付加情報符号化部４５６が、付加情報（ｂｓａｃヘッダ、ジェネラルヘッダ）を符号化する（８４０ステップ）。その後、拡張オーディオ符号化部４５８が、拡張チャンネルオーディオデータを符号化する（８６０ステップ）。

８６０ステップにおける拡張チャンネルオーディオデータ符号化は、まず、基本階層符号化部５００が、ビット率の最も低い基本階層のオーディオデータを符号化し、上位階層符号化部５５０が、上位階層のオーディオデータを符号化する。上位階層は、基本階層のビット率より高く、階層が複数である場合、階層が高くなるほどビット率が高まる。

次に、本実施形態に係るマルチチャンネルオーディオ復号化装置及びマルチチャンネルオーディオ復号化方法を説明する。基本的にマルチチャンネルオーディオ復号化は、マルチチャンネルオーディオ符号化とは逆の順序により行われる。

図９は、マルチチャンネルオーディオ復号化装置の構成を示すブロック図である。マルチチャンネルオーディオ復号化装置は、モノ／ステレオ復号化部９００、拡張データ検査部９２０及び拡張データ復号化部９４０を備える。

モノ／ステレオ復号化部９００は、モノオーディオデータまたはステレオオーディオデータを復号化する。モノオーディオデータまたはステレオオーディオデータは、階層的なビット率を有し、ＩＳＯ／ＩＥＣ １４４９６−３によるＢＳＡＣ方式で復号化されることが好ましい。

拡張データ検査部９２０は、モノオーディオデータまたはステレオオーディオデータ以外に復号化するマルチチャンネルオーディオ拡張データがあるか否かを検査する。拡張データ検査部９２０は、マルチチャンネルオーディオ拡張データの開始を表す所定の開始コード（ｚｅｒｏ＿ｃｏｄｅ、ｓｙｎｃｗｏｒｄ）の存在を検査して、開始コードが存在すれば、マルチチャンネルオーディオ拡張データが存在すると判断する。開始コードは、ｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄからなる。ｚｅｒｏ＿ｃｏｄｅは、ステレオオーディオデータの復号化が終わったことを知らせるための３２ビットの連続した０値からなる。ｓｙｎｃｗｏｒｄは、拡張されたマルチチャンネルオーディオデータの開始を表すために、８ビットの連続した１値からなり、ビットストリングは、１１１１ １１１１である。

拡張データ復号化部９４０は、復号化するマルチチャンネルオーディオ拡張データがあれば、マルチチャンネルオーディオ拡張データを復号化する。また、拡張データ復号化部９４０は、復号化するときにチャンネル別にマルチチャンネルオーディオ拡張データを復号化することが好ましい。

図１０は、拡張データ復号化部の構成を示すブロック図である。拡張データ復号化部９４０は、拡張データ長復号化部１０００、拡張チャンネルタイプ復号化部１０２０、付加情報復号化部１０４０及び拡張チャンネルオーディオ復号化部１０６０を備える。

拡張データ長復号化部１０００は、拡張データ長情報を復号化する。拡張チャンネルタイプ復号化部１０２０は、オーディオチャンネルの構成を表す拡張チャンネルのタイプを復号化する。拡張チャンネルタイプ情報は、チャンネル構成インデックス（ｃｈａｎｎｅｌ＿ｃｏｎｆｉｇｕｒａｔｉｏｎ＿ｉｎｄｅｘ）で表現されることが好ましい。チャンネル構成インデックスは、チャンネルをスピーカーにマッピングするときにチャンネルの数を規定し、表２に示したように、オーディオ出力チャンネル構成を表す３ビットフィールドを有する。

付加情報復号化部１０４０は、付加情報を復号化する。付加情報は、ｂｓａｃヘッダやジェネラルヘッダなどのオーディオデータを復号化するときのオーディオデータ以外の必要な情報である。基本的に付加情報（ｂｓａｃ＿ｈｅａｄｅｒ、ｇｅｎｅｒａｌ＿ｈｅａｄｅｒ）は、ＢＳＡＣ方式のモノオーディオデータまたはステレオオーディオデータを復号化するときに必要な付加情報と同じである。

拡張チャンネルオーディオ復号化部１０６０は、拡張チャンネルオーディオデータを復号化する。図１１は、拡張チャンネルオーディオ復号化部の構成を示すブロック図である。拡張チャンネルオーディオ復号化部１０６０は、基本階層復号化部１１００及び上位階層復号化部１１５０を備える。基本階層復号化部１１００は、ビット率の最も低い基本階層を復号化する。上位階層復号化部１１５０は、上位階層を復号化し、上位階層は、基本階層のビット率より高く、階層が複数である場合、階層が高くなるほどビット率が高まる。

そして、図１２は、本実施形態に係るマルチチャンネルオーディオデータ復号化方法を示すフローチャートである。図１２を参照して、本実施形態に係るマルチチャンネルオーディオデータ復号化方法及びマルチチャンネルオーディオデータ復号化装置の動作を説明する。

まず、モノ／ステレオ復号化部９００が、モノオーディオデータまたはステレオオーディオデータを復号化する（１２００ステップ）。その後、拡張データ検査部９２０が、モノオーディオデータ及びステレオオーディオデータ以外に復号化するマルチチャンネルオーディオ拡張データがあるかを検査する（１２１０ステップ）。

マルチチャンネルオーディオ拡張データの存否は、拡張データ検査部９２０が、マルチチャンネルオーディオ拡張データの開始を表す所定の開始コード（ｚｅｒｏ＿ｃｏｄｅ、ｓｙｎｃｗｏｒｄ）を復号化して、開始コードの存在を検査して判断する（１２２０ステップ）。もし、開始コードが存在すれば、拡張データが存在すると判断する。すなわち、ｚｅｒｏ＿ｃｏｄｅが存在すれば、モノオーディオデータの復号化またはステレオオーディオデータの復号化が終了したことを知らせ、次いで、ｓｙｎｃｗｏｒｄが存在すれば、復号化するマルチチャンネルオーディオデータが存在することを表す。

開始コードを通じて、復号化するマルチチャンネルオーディオ拡張データがあると判断されれば、拡張データ復号化部９４０がマルチチャンネルオーディオ拡張データを復号化する（１２３０ステップ）。１２００〜１２３０ステップについての一例をｓｙｎｔａｘ（Ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（））で表せば、図１４の通りである。

図１４で、Ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（）は、符号化されたオーディオデータ、関連情報及び他のデータを含んでいるｒａｗデータブロックであって、基本的にｂｓａｃ＿ｂａｓｅ＿ｅｌｅｍｅｎｔ（）と、幾つかのｂｓａｃ＿ｌａｙｅｒ＿ｅｌｅｍｅｎｔ（）とから構成される。ＢＳＡＣビットストリームが拡張されたｐａｒｔを有するかを決定するモジュールが存在する。

モノステレオオーディオデータまたはステレオオーディオデータは、上記したように、階層的なビット率を有することが好ましい。また、マルチチャンネルオーディオ拡張データは、少なくともオーディオチャンネルの構成を表し、チャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含む。

一つのチャンネルに対して拡張オーディオデータを復号化した後（１２３０ステップ）、チャンネルに対する復号化が完了すれば、拡張データ復号化部９４０が他のチャンネルに対する復号化するオーディオデータがあるかを検査する（１２４０ステップ）。他のチャンネルに対する復号化するオーディオデータが存在すれば、チャンネルに対するオーディオデータを復号化する。前記過程をあらゆる拡張チャンネルに対して行って、あらゆる拡張チャンネルオーディオデータに対して復号化する。

各拡張オーディオチャンネル復号化についての一例を表すｓｙｎｔａｘ（ｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（））は、図１５の通りである。

図１５で、ｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（）は、マルチチャンネルの拡張データに対するコーディングされたオーディオデータ、オーディオデータと関連した情報を含んでいるｒａｗデータブロックである。ｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（）は、基本的にｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｂａｓｅ＿ｅｌｅｍｅｎｔ（）と、幾つかのｂｓａｃ＿ｌａｙｅｒ＿ｅｌｅｍｅｎｔ（）とから構成される。

図１３は、１２３０ステップの拡張チャンネルに対するオーディオデータ復号化を更に詳細に説明したフローチャートである。拡張データ長復号化部１０００が拡張データ長を復号化する（１３００ステップ）。

また、拡張チャンネルタイプ復号化部１０２０が、オーディオチャンネルの構成を表す拡張チャンネルのタイプを復号化する（１３２０ステップ）。付加情報復号化部１０４０が付加情報（ｂｓａｃヘッダ、ジェネラルヘッダ）を復号化する（１３４０ステップ）。１３００〜１３４０ステップの復号化は、順序が変わってもよい。その後、拡張チャンネルオーディオ復号化部１０６０が拡張チャンネルオーディオデータを復号化する（１３６０ステップ）。

１３６０ステップの拡張チャンネルオーディオデータの復号化は、まず、基本階層復号化部１１００が、ビット率の最も低い基本階層のオーディオデータを復号化し、上位階層復号化部１１５０が、上位階層のオーディオデータを復号化する。上位階層は、基本階層のビット率より高く、階層が複数である場合、階層が高くなるほどビット率が高まる。１２３０ステップに対するシンタックス（ｓｙｎｔａｘ ｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｒａｗ＿ｄａｔａ＿ｂｌｏｃｋ（））の一例を挙げれば、図１５の通りである。

図１６におけるｅｘｔｅｎｄｅｄ＿ｂｓａｃ＿ｂａｓｅ＿ｅｌｅｍｅｎｔ（）は、ＢＳＡＣの拡張されたパートに対するコーディングされたオーディオデータ、オーディオデータと関連した情報を含んでいるｂａｓｅｌａｙｅｒビットストリームの構文上の要素である。

また、マルチチャンネルオーディオ信号復号化方法は、モノオーディオデータまたはステレオオーディオデータの基本階層を復号化するステップと、モノオーディオデータまたはステレオオーディオデータの上位階層を復号化するステップと、モノオーディオデータ及びステレオオーディオデータ以外に、復号化するマルチチャンネルオーディオ拡張データがあるか否かを検査するステップと、復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データの開始を表すｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄを符号化するステップと、マルチチャンネルオーディオ拡張オーディオデータを構成する少なくとも一つのチャンネルデータに対し、基本階層を復号化し、かつ上位階層を符号化するステップと、からなっていても良い。

復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データの開始を表すｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄを符号化するステップは、チャンネルデータの長さを復号化するステップと、チャンネルのタイプを表すチャンネル構成インデックスを復号化するステップと、ｂｓａｃヘッダ、ジェネラルヘッダを復号化するステップと、基本階層のオーディオデータを復号化するステップと、からなっていても良い。

また、マルチチャンネルオーディオ信号復号化方法は、モノオーディオデータまたはステレオオーディオデータの基本階層を復号化するステップと、モノオーディオデータまたはステレオオーディオデータの上位階層を復号化するステップと、モノオーディオデータ及びステレオオーディオデータ以外に、復号化するマルチチャンネルオーディオ拡張データがあるか否かを検査するステップと、復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データの開始を表すｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄを符号化するステップと、マルチチャンネルオーディオ拡張オーディオデータを構成する少なくとも一つのチャンネルデータに対し、基本階層を復号化し、かつ上位階層を符号化するステップと、からなっていても良い。

復号化するマルチチャンネルオーディオ拡張データがある場合には、このマルチチャンネルオーディオ拡張データの開始を表すｚｅｒｏ＿ｃｏｄｅ及びｓｙｎｃｗｏｒｄを符号化するステップは、チャンネルデータの長さを復号化するステップと、チャンネルのタイプを表すチャンネル構成インデックスを復号化するステップと、ｂｓａｃヘッダ、ジェネラルヘッダを復号化するステップと、基本階層のオーディオデータを復号化するステップと、からなっていても良い。

本発明は、コンピュータで読み取り可能な記録媒体にコンピュータ（情報処理機能を有する装置を何れも含む）で読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られ得るデータが保存されるあらゆる種類の記録装置を含む。コンピュータ可読記録装置の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ保存装置などがある。

本発明は、実施形態を参考に説明したが、これは例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるということが理解できるであろう。したがって、本発明の真の技術的範囲は、特許請求の範囲により決まらねばならない。

３００ ステレオ符号化部
３５０ 拡張データ符号化部
４００ 開始コード符号化部
４５０ チャンネル符号化部
４５２ 拡張チャンネル長符号化部
４５４ 拡張チャンネルタイプ符号化部
４５６ 付加情報符号化部
４５８ 拡張オーディオ符号化部
５００ 基本階層符号化部
５５０ 上位階層符号化部
９００ ステレオ復号化部
９２０ 拡張データ検査部
９４０ 拡張データ復号化部
１０００ 拡張データ長復号化部
１０２０ 拡張チャンネルタイプ復号化部
１０４０ 付加情報復号化部
１０６０ 拡張チャンネルオーディオ復号化部
１１００ 基本階層復号化部
１１５０ 上位階層復号化部

Claims (2)

1. オーディオデータを復号化する段階と、
   前記オーディオデータのペイロードの終結を示す識別コードを検出する段階と、
   拡張データのペイロードの開始を示す識別コードを検出する段階と、
   拡張データのタイプを検出する段階と、
   前記検出されたタイプが、オーディオデータのチャンネルをマルチチャンネルに拡張する拡張データを示しているか否かを判断する段階と、
   前記判断段階で示していると判断されれば、前記オーディオデータのチャンネルをマルチチャンネルに拡張する拡張データを復号化する段階と、を含み、
   前記拡張データは、
   少なくともオーディオチャンネルの構成を表し、チャンネルをスピーカにマッピングするときのチャンネルの数を規定するチャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含むことを特徴とするマルチチャンネルオーディオ信号復号化方法。
2. オーディオデータを復号化する段階と、
   まだ復号化されていないデータの有無を判断する段階と、
   もし、まだ復号化されていないデータがあると判断されれば、前記オーディオデータのペイロードの終結を示す識別コードを検出する段階と、
   拡張データのペイロードの開始を示す識別コードを検出する段階と、
   拡張データのタイプを検出する段階と、
   前記検出されたタイプがオーディオデータのチャンネルをマルチチャンネルに拡張する拡張データを示しているか否かを判断する段階と、
   前記判断段階で示していると判断されれば、前記オーディオデータのチャンネルをマルチチャンネルに拡張する拡張データを復号化する段階と、を含み、
   前記拡張データは、
   少なくともオーディオチャンネルの構成を表し、チャンネルをスピーカにマッピングするときのチャンネルの数を規定するチャンネル構成インデックスで表現される拡張チャンネルのタイプ情報を含むことを特徴とするマルチチャンネルオーディオ信号復号化方法。

Images