JP2005157390A - 付加情報の挿入されたｍｐｅｇ−４ｂｓａｃオーディオビットストリームの符号化方法および復号化方法ならびに符号化装置および復号化装置 - Google Patents

Abstract

【課題】 付加情報の挿入されたＭＰＥＧ−４オーディオＢＳＡＣ符号化／復号化方法および装置を提供する。
【解決手段】 符号化装置では、時間領域のオーディオ信号を周波数領域信号に変えて量子化してデータビット数をカウントし、階層当りの可用ビット数を求め、付加情報の大きさを考慮して階層当りの可用ビット数を修正する。そして、階層単位で符号化し、ビットストリームに付加情報を追加する。また、復号装置においては、ヘッダを復号化し、ビットストリーム階層構造を求め、最上位階層までのデータサイズとフレームサイズとの差を付加情報の大きさに決め、付加情報の大きさだけ付加情報を抽出し、オーディオデータを復号化する。
【選択図】図７

Description

本発明はＭＰＥＧオーディオ符号化／復号（化）に係り、特に、付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣ（Bit Sliced Arithmetic Coding）オーディオビットストリームの符号化／復号化方法および装置に関する。

情報を含む信号の波形は、時間的に連続的な信号（連続時間信号）、すなわちアナログ信号である。したがって、その波形を離散（時間）信号で表現するためには、Ａ／Ｄ（Analog-to-Digital）変換が必要である。Ａ／Ｄ変換を行うために２種の過程を必要とする。１つは連続時間信号を離散時間信号に変えるサンプリング過程であり、他の１つはとり得る振幅の値の数を有限個に制限するための振幅量子化過程である。振幅量子化過程とは、時間ｎにおける入力振幅ｘ（ｎ）を振幅（そのとり得る値）の有限集合中の一つの元であるｙ（ｎ）に変換する過程である。

オーディオ（音声）信号の保存／復元方式においても、最近のデジタル信号処理技術の発達により、典型的なアナログ信号である音声信号をサンプリングと量子化過程とを経てデジタル信号であるＰＣＭ（Pulse Code Modulation）データに変換してＣＤ（Compact Disc）やＤＡＴ（Digital Audio Tape）のような記録／記憶媒体に保存しておき、ユーザが必要に応じて保存された信号を再生して聞くことができるようにする技術が開発され、一般化している。このようなデジタル方式による保存／復元方式は、かつて主流であったＬＰ（Long-Playing Record）やカセットテープなどによるアナログ方式に比べて、音質の向上を達成し、経年劣化の問題を克服したが、大量のデジタルデータを保存するための記憶領域の確保および限られた帯域幅での転送速度に問題を残した。

このような問題を解決するために、デジタル音声信号を圧縮するために開発されたＤＰＣＭ（Differential Pulse Code Modulation）やＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）等の方法を使用してデータの量を減らそうとする努力はあったが、信号の種類によって効率性に大きく差が出てしまうという問題があった。最近ＩＳＯ（International Standard Organization）により標準化作業がなされたＭＰＥＧ（Moving Pictures Expert Group）／ａｕｄｉｏ技法やドルビー研究所（Dolby Laboratories, Inc.）により開発されたＡＣ−２／ＡＣ−３技法では、人間の音響心理モデル（Psychoacoustic Model）を用いてデータの量を減らす方法を採用している。これらの方法は信号の特性に関係なく効率よくデータの量を減らすのに大きく寄与した。

ＭＰＥＧ−１／ａｕｄｉｏ、ＭＰＥＧ−２／ａｕｄｉｏやＡＣ−２／ＡＣ−３のような既存のオーディオ信号圧縮技法では時間領域（time domain）の信号を一定した大きさのブロックに束ねて周波数領域（frequency domain）の信号に変換する。そして、その変換された信号を人間の音響心理モデルを用いてスカラー量子化を行う。このような量子化技法は単純ではあるが、入力サンプルが統計的に独立的であるとしても最適ではない。もちろん、入力サンプルが統計的に従属的であれば、さらに不十分である。このような問題に対処するためにエントロピー符号化などの無損失符号化やある種の適応量子化を含む符号化を行う。したがって、単純なＰＣＭデータを保存するだけの方式に比べて相当複雑な過程を経て符号化されたビットストリームは、量子化されたＰＣＭデータだけでなく、信号を圧縮するための付加的な情報を含むものとして構成されることになる。

ＭＰＥＧ／ａｕｄｉｏ標準やＡＣ−２／ＡＣ−３方式は既存のデジタル符号化に比べて１／６ないし１／８に減少させた６４Ｋｂｐｓ−３８４ＫｂｐｓのビットレートでＣＤ音質とほぼ同じ程度の音質を提供する。そのため、ＭＰＥＧ／ａｕｄｉｏ標準は、ＤＡＢ（Digital Audio Broadcasting）、インターネット・フォン（internet phone）、ＡＯＤ（Audio On Demand）、マルチメディアシステムなどにおけるオーディオ信号の保存と転送に重要な役割をする。

このような既存の技法は、符号化器で一定のビットレートが与えられ、その与えられたビットレートに最適の状態を特定してそのための量子化と符号化のプロセスを実行するものなので、一定のビットレートを使用する場合には、相当良いソリューションを提供するものといえる。しかし、マルチメディア時代の到来につれて、従来の低いビットレートによる符号化を達成するだけでは十分ではなく、多様な機能性を有する符号化器／復号化器が求められるようになっている。その１つがビットレートの調節が可能なオーディオ符号化／復号化器である。ビットレートの調節が可能なオーディオ符号化器は、高いビットレートで符号化されたビットストリームを低いビットレートのビットストリームにすることもでき、その一部のビットストリームだけで復元できるよう構成される。したがって、ネットワークで過負荷がかかるような場合や、復号化器の性能がよくない場合や、ユーザの要求によりビットレートが低く設定された場合などには、ビットストリームの一部を利用して符号化するため、ビットレートの低くなった分だけ再生される音質の劣化を免れないものの、それでもある程度の音質を確保しつつ信号を復元しなければならない。

ＭＰＥＧ−２／４ＡＡＣ（ＩＳＯ／ＩＥＣ １３８１８−７、ＩＳＯ／ＩＥＣ １４４９６−３）では、data＿stream＿element()、fill＿element()などの付加情報の保存を可能にするシンタクス（syntax）が定義されている。ＭＰＥＧ−１ ｌａｙｅｒ−ＩＩＩ（ｍｐ３）では、"ancillary data"（「付加データ」）というものが定義されていてフレーム情報の中に付加情報を挿入することによって、オーディオに関する付加情報を保存することができる。ＩＤ３ｖ１がその代表的な例である。図１１に、ＩＤ３ｖ１のビットストリーム構造を示す。

しかし、現在標準化されているＭＰＥＧ−４ＢＳＡＣ（Bit Sliced Arithmetic Coding）オーディオフォーマットのシンタクスには、付加情報の提供を可能にするシンタクスが定義されていない。図１２および図１３に、ＢＳＡＣシンタクスのフレームヘッダに関する定義を示す。ＢＳＡＣでは、フレームヘッダにこのように付加情報の挿入を可能にするシンタクスが定義されていないために、標準規格によれば付加情報を挿入することが不可能であるということになる。

本発明が解決しようとする技術的課題は、現在標準化されているＭＰＥＧ−４ＢＳＡＣオーディオフォーマットのビットストリームに付加情報を挿入してオーディオコンテンツに関するメタデータや音質を改善して差別化されたサービスを可能にする、付加情報の挿入されたＭＰＥＧ−４オーディオＢＳＡＣ符号化／復号化方法および装置を提供することである。

本発明が解決しようとする他の技術的課題は、ＭＰＥＧ−４ＢＳＡＣにより符号化されたオーディオデータに付加情報が挿入されているか否かの判別方法を提供することである。

前記技術的課題を達成するための本発明による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化方法は、ＭＰＥＧ−４オーディオＢＳＡＣ符号化方法において、時間領域のオーディオ信号を周波数領域信号に変換して人間の音響心理モデルを用いて量子化する段階と、ビットレートの制御されたオーディオデータのビット数をカウントする段階と、前記カウントされたビット数と使用される（所定の）階層の数を用いて階層当りの可用ビット数を求める段階と、付加情報の大きさを求めて階層当りの利用可能なデータのビット数（以下、可用ビット数という）を修正する段階と、実際のオーディオデータを階層単位で符号化する段階と、符号化されたビットストリームに前記付加情報を追加する段階と、を含むことを特徴とする。前記付加情報は音質改善に関する情報であることが望ましい。また、前記付加情報は音楽の曲に関する情報であることが望ましい。また、前記付加情報は、マルチチャンネルデータに関する情報であることが望ましい。

前記技術的課題を達成するための本発明による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置は、ＭＰＥＧ−４オーディオＢＳＡＣ符号化装置において、時間領域のオーディオ信号を周波数領域信号に変換して人間の音響心理モデルを用いて量子化する量子化処理部と、オーディオデータのビット数と階層数とを用いて階層当りの可用ビット数を求める可用ビット計算部と、付加情報の大きさを求めて前記可用ビット計算部で計算された階層当りの可用ビット数を修正する可用ビット修正部と、実際のオーディオデータを前記可用ビット修正部で修正された階層当りの可用ビット数によって階層単位で符号化し、該符号化されたビットストリームに前記付加情報を追加するビットパッキング部と、を含むことを特徴とする。前記可用ビット計算部は、ビットレートの制御されたオーディオデータのビット数をカウントするビットカウント部と、前記ビットカウント部でカウントされたオーディオデータのビット数と使用される（所定の）階層の数を用いて階層当りの可用ビット数を求める階層別可用ビット計算部と、を備えることが望ましい。

前記技術的課題を達成するための本発明による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法は、オーディオビットストリームのヘッダを復号化する段階と、前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する段階と、前記階層構造から最上位階層までのデータサイズと前記フレームサイズとを求めて前記最上位階層までのデータサイズと前記フレームサイズとの差を付加情報の大きさに決定する段階と、前記付加情報の大きさに相当するビット数だけ前記ビットストリームから付加情報を抽出する段階と、前記計算されたビットストリームの階層構造によって最上位階層までオーディオデータを復号化する段階と、を含むことを特徴とする。

前記技術的課題を達成するための本発明による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法は、ビットストリームのヘッダを復号化する段階と、前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する段階と、前記ビットストリームの階層構造から最上位階層までのオーディオデータのサイズに相当するオーディオデータを復号化する段階と、復号化されていない残りのビットストリームを付加情報として抽出して復号化する段階と、を含むことを特徴とする。

前記抽出された付加情報はオーディオ音質改善に関する情報であることが望ましい。前記抽出された付加情報はオーディオデータユーザのためのオーディオに関するメタデータであることが望ましい。

前記技術的課題を達成するための本発明によるＭＰＥＧ−４ＢＳＡＣオーディオデータの付加情報挿入判別方法は、ビットストリームのヘッダを復号化する段階と、前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する段階と、前記階層構造から最上位階層のデータサイズと前記フレームサイズとを求めて前記最上位階層までのデータサイズと前記フレームサイズとの差により付加情報の有無を判別する段階と、を含むことを特徴とする。

前記技術的課題を達成するための本発明による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化装置は、オーディオビットストリームのヘッダを復号化するビットアンパッキング部と、前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する階層構造計算部と、前記階層構造から最上位階層までのデータサイズとフレームサイズとを求め、その差を付加情報の大きさに決定する付加情報計算部と、前記付加情報の大きさに相当するビット数だけ前記ビットストリームから付加情報を抽出する付加情報抽出部と、前記計算された前記ビットストリームの階層構造によって最上位階層までオーディオデータを復号化するオーディオ復号化部と、を含むことを特徴とする。

そして、本発明は、前述した方法を情報機器（コンピュータなど）で実行させるためのプログラム、およびそれを記録した情報機器可読記録媒体を提供する。

本発明による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化方法および装置によれば、ＢＳＡＣで符号化されたオーディオビットストリームに付加データ（付加情報）を挿入することによって、オーディオコンテンツに対するメタデータや音質を改善するための追加データを提供して差別化されたサービスが可能となる。

そして、ＭＰＥＧ−４ＢＳＡＣシンタクス上の不可能であった付加情報の挿入を可能にすることによって、オーディオメタデータを挿入してユーザが再生する時にメディアに関する情報を追加的に取得させることができる。

また、ＭＰＥＧ−４ＢＳＡＣシンタクス上の不可能であった付加情報の挿入を可能にすることによって、オーディオ後処理のための付加情報を挿入して低いビットレートで高音質を提供することができるようになる。

また、本発明によりオーディオビットストリームに付加情報を挿入して符号化した場合でも既存の復号化器を使用して復号が可能なので、既存の復号化器と相互に互換可能であり、付加情報を処理することによって付加情報による付加的ないし改善されたサービスが提供できる復号化器（復号化装置）は、そうでない既存の復号化器に比べて競争力が向上する。

以下、添付された図面を参照して、本発明による付加情報の挿入されたＭＰＥＧ−４オーディオビットストリームのＢＳＡＣ符号化／復号化方法および装置の実施例を詳細に説明する。

図１は、ＭＰＥＧ−４オーディオＢＳＡＣ符号化装置の構成例を示すブロック図である。このＭＰＥＧ−４オーディオＢＳＡＣ符号化装置は、時間／周波数変換部１００と、音響心理モデル部１１０と、量子化／ビットレート制御部１２０と、ビットパッキング部１３０と、を含んでなる。

前記時間／周波数変換部１００は、時間領域の入力オーディオ信号（ＰＣＭデータ）を周波数領域の信号に変換する。時間上で人間が認知する信号の特性差はあまり大きくないが、このように変換された周波数領域の信号は、人間の音響心理モデルによれば各帯域で人間が感じられる信号と感じられない信号との差が大きいために、各周波数帯域によって異なる量子化ビットを割当てることができるので、圧縮の効率を高めることができる。

音響心理モデル部１１０は、前記時間／周波数変換部１００により周波数成分に変換された入力オーディオ信号を所定の帯域信号単位に束ね、各帯域信号の相互作用により発生するマスキング効果を用いて各帯域でのマスキングスレショルド値（閾値）を計算する。

量子化／ビットレート制御部１２０は、各帯域の量子化ノイズがマスキングスレショルド値より小さくなるように所定の符号化帯域別に信号を量子化する。すなわち、人間が聞きとれないように各帯域の量子化ノイズの大きさが前記マスキングスレショルド値より小さくなるよう帯域の周波数信号に対してスカラー量子化を使用する。音響心理モデル部１１０で計算したマスキングスレショルド値と各帯域で発生するノイズの比率であるＮＭＲ（Noise-to-Mask Ratio）を用いて、全帯域のＮＭＲ値が０ｄＢ以下になるように量子化を行う。ＮＭＲ値が０ｄＢを下回ると、量子化ノイズに比べてマスキングスレショルド値が高いということになるが、これは量子化ノイズを人が聞きとる可能性がないという意味である。

前記ビットパッキング部１３０は、ビットレートの最も低い基本階層に対応する量子化されたデータを符号化し、前記基本階層に対する符号化が終了すれば、その一階層上の階層に対応する量子化されたデータを符号化し、これを順次あらゆる階層に対して行ってビットストリームを形成する。前記ビットパッキング部１３０における各階層での量子化されたデータの符号化は、前記量子化されたデータそれぞれを所定の同一数のビットよりなる２進データで表現してビット単位で分割し、前記分割されたビットから重要度の最も高い最上位ビットよりなる最上位ビットシーケンスから最下位ビットシーケンスへ順に符号化することによって実行される。

図２は、本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置の構成を示すブロック図である。この符号化装置は、量子化処理部２００と、可用ビット計算部２２０と、可用ビット修正部２４０と、ビットパッキング部２６０と、を含んでなる。

前記量子化処理部２００は、時間領域のオーディオ信号を周波数領域の信号に変換して人間の音響心理モデルを用いて量子化するものであり、時間／周波数変換部２０と、音響心理モデル部２２と、量子化／ビットレート制御部２４とよりなる。前記時間／周波数変換部２０、音響心理モデル部２２および量子化／ビットレート制御部２４は、前述した図１の時間／周波数変換部１００、音響心理モデル部１１０および量子化／ビットレート制御部１２０に各々対応するものであってその機能は同一である。

前記可用ビット計算部２２０は、前記量子化されたオーディオデータのビット数と階層数を用いて階層当りの可用ビット数を求めるものであり、ビットカウント部２６および階層別可用ビット計算部２８よりなる。前記ビットカウント部２６は、ビットレートの制御されたオーディオデータのビット数をカウントする。前記階層別可用ビット計算部２８は、前記ビットカウント部２６でカウントされたオーディオデータのビット数と使用される（所定の）階層の数とを用いて階層当りの可用ビット数を求める。

前記可用ビット修正部２４０は、挿入しようとする付加情報の大きさを求めて前記可用ビット計算部２２０で計算された階層当りの可用ビット数を修正する。

前記ビットパッキング部２６０は、実際のオーディオデータを前記可用ビット修正部２４０で修正された階層当りの可用ビット数によって階層単位で符号化し、ＭＰＥＧ−４ＢＳＡＣシンタクスを違反せずに符号化されたビットストリームに付加情報を追加する。

図３は、ＭＰＥＧ−４オーディオＢＳＡＣ符号化装置の動作を示すフローチャートであって、入力されたオーディオ信号がすべて符号化されると、最終的にビットストリームに変換されてファイルとして保存される。このために、まず、入力信号は時間／周波数変換部１００でＭＤＣＴ（Modified Discrete Cosine Transform）や帯域分割フィルターなどにより周波数領域の信号に変換される。そして、音響心理モデル部１１０で前記周波数信号を適当な帯域で束ねてマスキングスレショルド値を求める。ここで、使われる帯域は主に量子化過程に使われるために量子化帯域とも呼ばれる。量子化／ビットレート制御部１２０では人間が聞きとれないように各量子化帯域の量子化ノイズの大きさをマスキングスレショルド値より小さくスカラー量子化する（３００段階）。

前記量子化／ビットレート制御部１２０で量子化されたデータはビットパッキング部１３０により基本階層と複数のenhancement layerとよりなる階層的なビットストリームに符号化される。前記基本階層はビットレートの最も低い階層であり、前記enhancement layerは前記基本階層よりビットレートが高く、前記enhancement layerが進行する（enhanceされる）ほどビットレートは高くなる。このために、まず、ＢＳＡＣビット数をカウントし（３１０段階）、使用されるビット数を考慮して階層構造を計算して階層当りの可用ビット数を算出する（３２０段階）。オーディオデータの使用されるビット数をカウントするというのは、１フレーム当り割当てられるビット数を計算することを意味する。ここで、オーディオ信号の符号化はフレーム単位で行われる。ビットレート制御は１フレーム当り割当てられたビット数に合わせて量子化を制御することを言う。例えば、１フレームに１０００ビットが割当てられれば、これに合わせて量子化レベルを決定すべきであり、１フレーム当り１００００ビットが割当てられれば、量子化レベルをさらに細かく分けることができる。

このように階層構造が計算され、階層当りの可用ビット数が算出されると、前記階層構造に従って基本階層（Base layer）から最上位階層（Top layer）まで符号化した後（３３０段階）、符号化されたビットストリームをファイルとして保存する（３４０段階）。

図４は、本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置の動作を示すフローチャートであって、変換／量子化過程（４００段階）、ＢＳＡＣビットカウント過程（４１０段階）、使われるビット数を考慮して階層構造を計算する階層当りの可用ビット数算出過程（４２０段階）および符号化されたビットストリームをファイルとして保存する段階（４６０段階）は、前述した図３の変換／量子化過程（３００段階）、ＢＳＡＣビットカウント過程（３１０段階）、使われるビット数考慮して階層構造を計算する階層当りの可用ビット数算出過程（３２０段階）および符号化されたビットストリームをファイルとして保存する段階（３４０段階）と同一である。

従って、以下、本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置の特徴的な動作に焦点を絞って説明する。前記可用ビット計算部２２０のビットカウント部２６によりビットレートの制御されたオーディオデータのＢＳＡＣビット数をカウントした後（４１０段階）、階層別可用ビット計算部２８により使われるビット数と階層数を用いて階層当りの可用ビット数を求める（４２０段階）。次いで、可用ビット修正部２４０により付加情報の大きさを求めて階層当りの可用ビット数を修正する（４３０段階）。これにより、前記計算された階層構造によってビットパッキング部２６０により基本階層から最上位階層まで符号化され（４４０段階）、符号化されたビットストリームの最後の部分に付加情報を追加する（４５０段階）。

前記付加情報は、音楽の曲に関する情報、例えば、音楽のタイトル、歌詞、作曲家、歌手名などＩＤ３ｖ１の付加情報のようなユーザのためのメタデータとすることができる。そして、前記付加情報はマルチチャンネルデータに関する情報とすることができる。また、音質を向上させるためのオーディオ後処理情報とすることもできる。

図５は、ＭＰＥＧ−４オーディオＢＳＡＣ復号化装置の構成を示すブロック図である。このＭＰＥＧ−４オーディオＢＳＡＣ復号化装置は、ビットアンパッキング部５００と、逆量子化部５１０と、逆変換部５２０と、を含んでなる。

前記ビットアンパッキング部５００は、階層的構造を有するビットストリームにおける階層が生成された順序で量子化されたデータを復号化する。すなわち、前記ビットストリームを構成しているビットの重要度を分析し、重要度の高いビットから重要度の低いビットへ（最上位階層から基本階層へ）順に前記階層別に復号化する。前記逆量子化部５１０は、復号化された量子化データを元の大きさの信号に復元する。前記逆変換部５２０は、周波数領域のオーディオ信号を再び時間領域の信号（ＰＣＭデータ）に変換してユーザがオーディオ信号を再生可能にする。

図６は、本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化装置の構成を示すブロック図である。この復号化装置は、ビットアンパッキング部６００と、オーディオ復号化部６１０と、階層構造計算部６３０と、付加情報計算部６４０と、付加情報抽出部６５０と、を含んでなる。

前記ビットアンパッキング部６００は、オーディオビットストリームのヘッダを復号化する。前記階層構造計算部６３０は、前記ヘッダ情報からフレームサイズを取得してビットストリームの階層構造を計算する。前記付加情報計算部６４０は、前記階層構造から前記最上位階層までのデータサイズとフレームサイズとを求め、その差を付加情報の大きさとして決定する。前記付加情報抽出部６５０は、前記付加情報の大きさに相当するビット数だけビットストリームから付加情報を抽出する。前記オーディオ復号化部６１０は、前記計算されたビットストリームの階層構造によって最上位階層までオーディオデータを復号化するものであり、逆量子化部６０および逆変換部６５よりなる。前記逆量子化部６０および逆変換部６５は前述した図５の逆量子化部５１０および逆変換部５２０と同じ機能を有する。

図７は、本発明の一実施例によるＭＰＥＧ−４オーディオＢＳＡＣ復号化装置の動作を示すフローチャートである。図７を参照して本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法を説明する。

ビットストリームの復号化過程は符号化過程の逆順である。まず、ビットストリームのヘッダ情報を復号化する（７００段階）。前記ヘッダ情報からフレームサイズを求めて復号化に必要なオーディオデータの階層構造を計算する（７１０段階）。

前記フレームサイズを考慮して階層構造を計算するということは、フレームサイズが１０００ビットであり、階層数が１０という情報が転送されれば、１階層当り１００ビットずつ割当てられることを意味する。前記階層構造から最上位階層のデータサイズとフレームサイズとを求めて前記最上位階層までのデータサイズとフレームサイズとの差を付加情報の大きさとして決定する（７４０段階）。また、前記７００段階、７１０段階および７４０段階を行った後には、ＭＰＥＧ−４オーディオの付加情報が挿入されているか否かを判別することができる。すなわち、フレームサイズが最上位階層までのデータサイズより大きければ、付加情報が挿入されたと判断し、フレームサイズが最上位階層までのデータサイズより大きくなければ、付加情報が挿入されていないと判断することができる。

そして、前記７４０段階で最上位階層までのデータサイズとフレームサイズとの差を求めて付加情報の大きさを求めるということは、最上位階層までのビット数が７１０段階によって１階層当り１００ビットずつ１０００ビットであり、転送されたフレーム長情報が１０５０ビットであれば、付加情報は５０ビットになるということを意味する。したがって、最後の５０ビットを付加情報として抽出すればよい。

すなわち、前記付加情報の大きさに相当するビット数だけビットストリームから付加情報を抽出する（７５０段階）。

一方、前記計算されたビットストリームの階層構造によって最上位階層までオーディオデータを復号化する（７２０段階）。前記オーディオ信号の復号化は基本階層に関する情報を復号化する。基本階層に割当てられたデータサイズのビットストリームに対する復号化が終わると、その次の階層に対する付加情報とオーディオデータの量子化値を復号化する。このような方法ですべての階層のデータを復号化することができる。このように復号化過程を経て量子化されたデータは、図６に示す逆量子化部６０と逆変換部６５とを経て復元された信号を作ることができる。それから逆量子化および逆変換を経て復元された信号を生成する（７３０段階）。

一方、図８は本発明による前記付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化のさらに他の方法を示すフローチャートであって、これを説明すれば次の通りである。まず、ビットストリームのヘッダを復号化し（８００段階）、前記ヘッダ情報からフレームサイズを求めてビットストリームの階層構造を計算する（８１０段階）。次いで、前記ビットストリームの階層構造から最上位階層のオーディオデータのサイズに相当するオーディオデータを復号化する（８２０段階）。前記復号化されていない残りのビットストリームを付加情報として抽出して復号化する（８３０段階）。

ＭＰＥＧ−４ＢＳＡＣは階層構造を用いればＦＧＳ（Fine Grain Scalability）が可能である。階層構造に関する情報は、ＢＳＡＣシンタクスにより定義されて前記７００段階で情報を抽出し、前記７１０段階でこの情報を用いて実際階層データを計算する。階層当りの可用ビット数を計算するためのpseudo codeは次の通りである。前記過程は復号化装置および符号化装置で同一に適用される。Pseudo codeに使われる変数名はＩＳＯ／ＩＥＣ １４４９６−３標準文書の４．５．２．６．２節に現れている。

前述したように階層当りの使用可能なビット数に相当するlayer＿bit＿offsetを求めた後、これによりオーディオ情報を階層別に符号化する。

図９はＢＳＡＣのビットストリーム構造であり、図１０はＢＳＡＣビットストリームに付加情報が挿入される位置を示す。

本発明は次のように使用することができる。第１は、ＭＰＥＧ−４ＢＳＡＣオーディオ符号化装置を用いて４８ｋｂｐｓの容量で圧縮する時、周波数帯域を０〜７ｋＨｚだけカバーするように符号化した後、７〜１６ｋＨｚに関する情報はＳＢＲ（Spectral Band Replication）を用いてビットストリームを生成した後、付加情報としてＳＢＲビットストリームを挿入し、ファイルとして保存する方法がある。かかる場合には、ＳＢＲ付加情報を認識可能な復号化装置では０〜１６ｋＨｚのサウンドを復号化でき、低いビットレートでも良い音質を提供できる。しかし、既存のＭＰＥＧ−４ＢＳＡＣ復号化装置では、ＳＢＲ情報抽出が不可能なので０〜７ｋＨＺの帯域のサウンドだけを聞け、ＳＢＲデータはダミーデータと見なすようになる。

第２は、ＭＰＥＧ−４ＢＳＡＣオーディオ符号化装置を用いて１２８ｋｂｐｓの音楽を圧縮する時、歌詞を挿入しようとすれば、歌詞と音楽との時間情報を整列してその時間に合う歌詞情報をオーディオビットストリーム内に付加情報として符号化することによって、さらなる時間情報なしに歌詞を出力することができる。既存のＭＰＥＧ−４ＢＳＡＣでは歌詞に関する情報を受けずにサウンドだけ復号化することができる。

本発明はコンピュータをはじめとする情報機器可読記録媒体にコンピュータをはじめとする情報機器可読（プログラム）コードとして具現することが可能である。コンピュータをはじめとする情報機器可読記録媒体は、コンピュータをはじめとする情報機器システムによって読取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータをはじめとする情報機器可読記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがある。

本発明は図面に示された実施例に基づいて説明されたが、これは例示的なものに過ぎず、当業者ならばこれより多様な変形および均等な他の実施例が可能であるという点を理解できるであろう。したがって、本発明の真の技術的範囲は特許請求の範囲の技術的思想によって決まるべきである。

本発明はＭＰＥＧオーディオ符号化／復号化に有用に適用され、特に付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化／復号化に有用である。

ＭＰＥＧ−４ＢＳＡＣオーディオ符号化装置の構成を示すブロック図である。 本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置の構成を示すブロック図である。 ＭＰＥＧ−４オーディオＢＳＡＣ符号化装置の動作を示すフローチャートである。 本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置の動作を示すフローチャートである。 ＭＰＥＧ−４オーディオＢＳＡＣ復号化装置の構成を示すブロック図である。 本発明の一実施例による付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化装置の構成を示すブロック図である。 本発明の一実施例によるＭＰＥＧ−４オーディオＢＳＡＣ復号化装置の動作を示すフローチャートである。 本発明による前記付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化の他の方法を示すフローチャートである。 ＢＳＡＣのビットストリーム構造を示す図面である。 ＢＳＡＣビットストリームに付加情報が挿入される位置を示す図面である。 ＩＤ３ｖ１のビットストリーム構造を示す図面である。 ＭＰＥＧ−４ＢＳＡＣシンタクスのうちｂｓａｃ＿ｈｅａｄｅｒ（）を示す図面である。 ＭＰＥＧ−４ＢＳＡＣシンタクスのうちｇｅｎｅｒａｌ＿ｈｅａｄｅｒ（）を示す図面である。

Claims (15)

1. ＭＰＥＧ−４オーディオＢＳＡＣ符号化方法において、
   時間領域のオーディオ信号を周波数領域信号に変換し、人間の音響心理モデルを用いて量子化する段階と、
   ビットレートの制御されたオーディオデータのビット数をカウントする段階と、
   前記カウントされたビット数と使用される階層の数を用いて階層当りの可用ビット数を求める段階と、
   付加情報の大きさを求めて階層当りの可用ビット数を修正する段階と、
   実際のオーディオデータを階層単位で符号化して、符号化されたビットストリームを生成する段階と、
   前記符号化されたビットストリームに前記付加情報を追加する段階と、
   を含むことを特徴とする付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化方法。
2. 前記付加情報は、
   音質改善に関する情報であることを特徴とする請求項１に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化方法。
3. 前記付加情報は、
   音楽の曲に関する情報であることを特徴とする請求項１に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化方法。
4. 前記付加情報は、
   マルチチャンネルデータに関する情報であることを特徴とする請求項１に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化方法。
5. ＭＰＥＧ−４オーディオＢＳＡＣ符号化装置において、
   時間領域のオーディオ信号を周波数領域信号に変換し、人間の音響心理モデルを用いて量子化する量子化処理部と、
   オーディオデータのビット数と階層数とを用いて階層当りの可用ビット数を求める可用ビット計算部と、
   付加情報の大きさを求めて前記可用ビット計算部で計算された階層当りの可用ビット数を修正する可用ビット修正部と、
   実際のオーディオデータを前記可用ビット修正部で修正された階層当りの可用ビット数によって階層単位で符号化して符号化されたビットストリームを生成し、該符号化されたビットストリームに前記付加情報を追加するビットパッキング部と、を含むことを特徴とする付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置。
6. 前記可用ビット計算部は、
   ビットレートの制御されたオーディオデータのビット数をカウントするビットカウント部と、
   前記ビットカウント部でカウントされたオーディオデータのビット数と使用される階層の数を用いて階層当りの可用ビット数を求める階層別可用ビット計算部と、を備えることを特徴とする請求項５に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの符号化装置。
7. オーディオビットストリームのヘッダを復号化する段階と、
   前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する段階と、
   前記階層構造から最上位階層までのデータサイズと前記フレームサイズとを求めて前記最上位階層までのデータサイズと前記フレームサイズとの差を付加情報の大きさに決定する段階と、
   前記付加情報の大きさに相当するビット数だけ前記ビットストリームから付加情報を抽出する段階と、
   前記計算されたビットストリームの階層構造によって最上位階層までオーディオデータを復号化する段階と、を含むことを特徴とする付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法。
8. 前記抽出された付加情報は、
   オーディオ音質改善に関する情報であることを特徴とする請求項７に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法。
9. 前記抽出された付加情報は、
   オーディオデータユーザのためのオーディオに関するメタデータであることを特徴とする請求項７に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法。
10. ビットストリームのヘッダを復号化する段階と、
    前記ヘッダ情報からフレームサイズを求めてビットストリームの階層構造を計算する段階と、
    前記ビットストリームの階層構造から最上位階層までのオーディオデータの大きさに相当するオーディオデータを復号化する段階と、
    復号化されていない残りのビットストリームを付加情報として抽出して復号化する段階と、を含むことを特徴とする付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法。
11. 前記抽出された付加情報は、
    オーディオ音質改善に関する情報であることを特徴とする請求項１０に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法。
12. 前記抽出された付加情報は、
    オーディオデータユーザのためのオーディオに関するメタデータであることを特徴とする請求項１０に記載の付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化方法。
13. ビットストリームのヘッダを復号化する段階と、
    前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する段階と、
    前記階層構造から最上位階層のサイズと前記フレームサイズとを求めて前記最上位階層までのデータサイズと前記フレームサイズとの差により付加情報の有無を判別する段階と、を含むことを特徴とするＭＰＥＧ−４ＢＳＡＣオーディオデータの付加情報挿入判別方法。
14. オーディオビットストリームのヘッダを復号化するビットアンパッキング部と、
    前記ヘッダの情報からフレームサイズを求めてビットストリームの階層構造を計算する階層構造計算部と、
    前記階層構造から最上位階層までのデータサイズとフレームサイズとを求め、その差を付加情報の大きさに決定する付加情報計算部と、
    前記付加情報の大きさに相当するビット数だけ前記ビットストリームから付加情報を抽出する付加情報抽出部と、
    前記計算されたビットストリームの階層構造によって前記最上位階層までオーディオデータを復号化するオーディオ復号化部と、を含むことを特徴とする付加情報の挿入されたＭＰＥＧ−４ＢＳＡＣオーディオビットストリームの復号化装置。
15. 請求項１ないし４、７ないし１３のうち何れか１項に記載の方法を情報機器で実行させるためのプログラムを記録した情報機器可読記録媒体。

Images