JP2010033084A - オーディオデータ符号化及び復号化装置、並びにオーディオデータ符号化及び復号化方法 - Google Patents

Abstract

【課題】 オーディオデータ符号化装置を提供する。
【解決手段】 オーディオデータを分割して複数の階層を生成し、生成された階層ごとにオーディオデータを所定数のビットで表現し、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化することによってオーディオデータを符号化する階層的符号化部１１０と、所定周波数以上のオーディオデータに関する情報を持つスペクトル帯域複製データを生成し、生成されたスペクトル帯域複製データを符号化するスペクトル帯域複製符号化部１２０と、符号化されたスペクトル帯域複製データ及び所定ビット率に相応する符号化されたオーディオデータを利用してビットストリームを生成するビットストリーム生成部１３０とを備えるオーディオデータ符号化装置。
【選択図】 図１

Description

本発明は、オーディオデータの処理に係り、より詳細には、符号化されたオーディオデータのビット率の調節が可能であり、復号化しようとするビットストリームに含まれたオーディオデータが一部階層の符号化されたオーディオデータであっても、あらゆる階層のオーディオデータを復元するオーディオデータ符号化及び復号化装置、並びにオーディオデータ符号化及び復号化方法に関する。

本出願人が提案したＢＳＡＣ（Bit Sliced Arithmetic Coding）は、ＡＡＣ(Advanced Audio Coding）と異なり、ＦＧＳ（Fine Grain Scalability）を提供可能な階層的符号化方法であり、ＭＰＥＧ（Moving Picture Experts Group）−４に、標準として採択されたオーディオ圧縮方法である。このＢＳＡＣの詳細な説明は特許文献１に開示されている。

オーディオデータを、ＡＡＣを利用して符号化する符号化器は、オーディオデータの符号化に当って、オーディオデータのうち一部周波数帯域のオーディオデータのみを符号化して復号化器に伝送できる。

この場合、ＡＡＣを利用して一部周波数帯域のみ符号化されたオーディオデータから、全体周波数帯域のオーディオデータを復元するために、スペクトル帯域複製（ＳＢＲ：Spectral Band Replication）が検討される。すなわち、その符号化器は、その一部周波数帯域以外の周波数帯域でのオーディオデータに関する情報を持つＳＢＲデータを生成及び符号化し、その符号化されたＳＢＲデータをその一部周波数帯域のみが符号化されたオーディオデータとともに復号化器に伝送する。これにより、復号化器はその一部周波数帯域以外の周波数帯域でのオーディオデータを推測して復元できる。このように、ＡＡＣとＳＢＲとは組み合わせることが可能である。

一方、オーディオデータを、ＢＳＡＣを利用して符号化する符号化器は、オーディオデータを、ＡＡＣを利用して符号化する符号化器と異なり、オーディオデータの符号化に当って、そのオーディオデータを周波数帯域別に分割して基本階層及び１以上の拡張階層を生成し、あらゆる階層のオーディオデータを符号化し、その符号化された階層のうち基本階層を含む一部階層の符号化されたオーディオデータのみを復号化器に伝送できる。このとき、その一部階層は可変的であるため、ＢＳＡＣで符号化されたオーディオデータのビット率は調節可能である。

ＡＡＣとＳＢＲとは組み合わせることが容易であることに対し、ＢＳＡＣとＳＢＲとは組み合わせることが困難である。これは、符号化されたオーディオデータのうち復号化器に伝送される一部階層が、そのたびごとに異なり、そのたびごとにＳＢＲデータを別途用意する必要があるからである。

これにより、階層的構造を持つ符号化されたオーディオデータのうち復号化器に伝送される一部階層がいかなる階層であるかに関係なく、同じＳＢＲデータを利用してあらゆる階層のオーディオデータを復元できる手法が要求されている。

韓国特許第２６１２５３号明細書

したがって、本発明が解決しようとする第１の技術的課題は、符号化されたＳＢＲデータ及び複数の階層を持ってビット率調節が可能な符号化されたオーディオデータからなるビットストリームを生成するオーディオデータ符号化装置を提供するところにある。

また、本発明が解決しようとする第２の技術的課題は、復号化しようとするビットストリームに含まれたオーディオデータを復号化して、その含まれたオーディオデータの周波数帯域のオーディオデータを復元し、その含まれたオーディオデータがいかなる階層であるかに関係なく同一であり、そのビットストリームに含まれたＳＢＲデータを利用して、その含まれたオーディオデータの最大周波数以上の周波数帯域のオーディオデータを推測して復元するオーディオデータ復号化装置を提供するところにある。

また、本発明が解決しようとする第３の技術的課題は、符号化されたＳＢＲデータ及び複数の階層を持ってビット率調節が可能な符号化されたオーディオデータからなるビットストリームを生成するオーディオデータ符号化方法を提供するところにある。

また、本発明が解決しようとする第４の技術的課題は、復号化しようとするビットストリームに含まれたオーディオデータを復号化して、その含まれたオーディオデータの周波数帯域のオーディオデータを復元し、その含まれたオーディオデータがいかなる階層であるかに関係なく同一であり、そのビットストリームに含まれたＳＢＲデータを利用して、その含まれたオーディオデータの最大周波数以上の周波数帯域のオーディオデータを推測して復元するオーディオデータ復号化方法を提供するところにある。

また、本発明が解決しようとする第５の技術的課題は、符号化されたＳＢＲデータ及び複数の階層を持ってビット率調節が可能な符号化されたオーディオデータからなるビットストリームを生成するコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体を提供するところにある。

さらに、本発明が解決しようとする第６の技術的課題は、復号化しようとするビットストリームに含まれたオーディオデータを復号化して、その含まれたオーディオデータの周波数帯域のオーディオデータを復元し、その含まれたオーディオデータがいかなる階層であるかに関係なく同一であり、そのビットストリームに含まれたＳＢＲデータを利用して、その含まれたオーディオデータの最大周波数以上の周波数帯域のオーディオデータを推測して復元するコンピュータプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

第１の技術的課題を解決するために、本発明によるオーディオデータ符号化装置は、オーディオデータを分割して複数の階層を生成し、生成された階層ごとにオーディオデータを所定数のビットで表し、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化することによってオーディオデータを符号化する階層的符号化部と、所定周波数以上のオーディオデータに関する情報を持つスペクトル帯域複製データを生成し、生成されたスペクトル帯域複製データを符号化するスペクトル帯域複製符号化部と、符号化されたスペクトル帯域複製データ及び所定ビット率に符号化されたオーディオデータを利用してビットストリームを生成するビットストリーム生成部とを備える。

第２の技術的課題を解決するために、本発明によるオーディオデータ復号化装置は、符号化されたスペクトル帯域複製データ及び１以上の階層を持ち、階層ごとに所定数のビットで表されて符号化されたオーディオデータを与えられたビットストリームから抽出するビットストリーム分析部と、符号化されたオーディオデータにおいて、下位階層を上位階層より先に復号化し、上位ビットを下位ビットより先に復号化することによって復号化する階層的復号化部と、符号化されたスペクトル帯域複製データを復号化し、復号化されたスペクトル帯域複製データ及び復号化されたオーディオデータを利用して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータを推測するスペクトル帯域複製復号化部と、復号化されたオーディオデータ及び推測されたオーディオデータを利用して合成データを生成し、生成された合成データを第２所定周波数以下のオーディオデータとして出力するデータ合成部とを備え、第２所定周波数は１以上の階層の最大周波数以上であり、スペクトル帯域複製データは第１所定周波数以上かつ第２所定周波数以下のオーディオデータに関する情報を持っている。

第３の技術的課題を解決するために、本発明によるオーディオデータ符号化方法は、オーディオデータを分割して複数の階層を生成し、生成された階層ごとにオーディオデータを所定数のビットで表し、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化することによってオーディオデータを符号化する（ａ）ステップと、所定周波数以上のオーディオデータに関する情報を持つスペクトル帯域複製データを生成し、生成されたスペクトル帯域複製データを符号化する（ｂ）ステップと、符号化されたスペクトル帯域複製データ及び所定ビット率に符号化されたオーディオデータを利用してビットストリームを生成する（ｃ）ステップとを含む。

第４の技術的課題を解決するために、本発明によるオーディオデータ復号化方法は、符号化されたスペクトル帯域複製データ及び１以上の階層を持ち、階層ごとに所定数のビットで表現されて符号化されたオーディオデータを与えられたビットストリームから抽出する（ａ）ステップと、符号化されたオーディオデータを、下位階層を上位階層より先に復号化し、上位ビットを下位ビットより先に復号化することによって復号化する（ｂ）ステップと、符号化されたスペクトル帯域複製データを復号化し、復号化されたスペクトル帯域複製データ及び復号化されたオーディオデータを利用して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータを推測する（ｃ）ステップと、復号化されたオーディオデータ及び推測されたオーディオデータを利用して合成データを生成し、生成された合成データを第２所定周波数以下のオーディオデータとして決定する（ｄ）ステップとを含み、第２所定周波数は、１以上の階層の最大周波数以上であり、スペクトル帯域複製データは、第１所定周波数以上かつ第２所定周波数以下のオーディオデータに関する情報を持っている。

第５の技術的課題を解決するために、本発明によるコンピュータで読み取り可能な記録媒体に保存された１以上のコンピュータプログラムは、オーディオデータを分割して複数の階層を生成し、生成された階層ごとにオーディオデータを所定数のビットで表し、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化することによってオーディオデータを符号化する（ａ）ステップと、所定周波数以上のオーディオデータに関する情報を持つスペクトル帯域複製データを生成し、生成されたスペクトル帯域複製データを符号化する（ｂ）ステップと、符号化されたスペクトル帯域複製データ及び所定ビット率に符号化されたオーディオデータを利用してビットストリームを生成する（ｃ）ステップとを含む。

第６の技術的課題を解決するために、本発明によるコンピュータで読み取り可能な記録媒体に保存された１以上のコンピュータプログラムは、符号化されたスペクトル帯域複製データ及び１以上の階層を持ち、階層ごとに所定数のビットで表現されて符号化されたオーディオデータを与えられたビットストリームから抽出する（ａ）ステップと、符号化されたオーディオデータを、下位階層を上位階層より先に復号化し、上位ビットを下位ビットより先に復号化することによって復号化する（ｂ）ステップと、符号化されたスペクトル帯域複製データを復号化し、復号化されたスペクトル帯域複製データ及び復号化されたオーディオデータを利用して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータを推測する（ｃ）ステップと、復号化されたオーディオデータ及び推測されたオーディオデータを利用して合成データを生成し、生成された合成データを第２所定周波数以下のオーディオデータとして決定する（ｄ）ステップとを含む。

本発明によるオーディオデータ符号化装置、オーディオデータ復号化装置、オーディオデータ符号化方法及びオーディオデータ復号化方法は、復号化しようとするビットストリームに含まれたオーディオデータを復号化して、その含まれたオーディオデータの周波数帯域のオーディオデータを復元し、そのビットストリームに含まれたスペクトル帯域複製データを利用して、その含まれたオーディオデータの最大周波数以上の周波数帯域のオーディオデータを推測して復元するので、その含まれたオーディオデータが一部階層の符号化されたオーディオデータであるとしても、あらゆる階層のオーディオデータを復元できる。さらに、本発明によれば、その含まれたスペクトル帯域複製データが、その含まれたオーディオデータがいかなる階層であるかに関係なく同一であるので、ＢＳＡＣとＳＢＲとを容易に組み合わせることができる。

オーディオデータ符号化装置を説明するためのブロック図である。 基本階層及び１以上の拡張階層を説明するための説明図である。 ＳＢＲデータの周波数帯域と、オーディオデータ復号化装置に伝送される一部階層の周波数帯域とを比較した説明図である。 オーディオデータ符号化装置により生成されたビットストリームの構造を示す図面である。 図１に示した階層的符号化部の一実施形態のブロック図である。 オーディオデータ符号化装置が符号化するデータのシンタックスを示す図面である。 オーディオデータ符号化装置により生成されたＳＢＲデータのシンタックスを示す図面である。 オーディオデータ復号化装置を説明するためのブロック図である。 オーディオデータ復号化装置により合成データが生成される原理を説明するための説明図である。 オーディオデータ復号化装置により合成データが生成される原理を説明するための説明図である。 オーディオデータ復号化装置により合成データが生成される原理を説明するための説明図である。 オーディオデータ復号化装置により合成データが生成される原理を説明するための説明図である。 図８に示した階層的復号化部の一実施形態のブロック図である。 図８に示したＳＢＲ復号化部の一実施形態のブロック図である。 図８に示したデータ合成部の一実施形態のブロック図である。 オーディオデータ符号化方法を説明するためのフローチャートである。 オーディオデータ復号化方法を説明するためのフローチャートである。 図１４に示した第１４３０ステップの一実施形態の詳細なフローチャートである。

以下、本発明に係るオーディオデータ符号化装置、オーディオデータ復号化装置、オーディオデータ符号化方法及びオーディオデータ復号化方法の好適な実施形態を、添付した図面を参照しつつ、詳細に説明する。

［オーディオデータ符号化装置］
図１は、本実施形態によるオーディオデータ符号化装置を説明するブロック図であって、階層的符号化部１１０、ＳＢＲ符号化部１２０及びビットストリーム生成部１３０から構成される。以下、図１に示したオーディオデータ符号化装置の動作を、図２ないし図４を参照して説明する。

階層的符号化部１１０は、入力端子ＩＮ１を通じて入力されたオーディオデータを分割して複数の階層を生成し、生成された階層ごとにそのオーディオデータを所定数のビットで表し、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化することによってそのオーディオデータを符号化する。

具体的に、階層的符号化部１１０は、時間領域のオーディオデータを周波数領域のオーディオデータに変換する。例えば、階層的符号化部１１０は、変形離散余弦変換（ＭＤＣＴ：Modified Discrete Cosine Transform）を利用して、かかる変換を行うことができる。

また、階層的符号化部１１０は、その変換されたオーディオデータを分割して複数の階層を生成する。ここで、複数の階層は、基本階層及び１以上の拡張階層を意味する。このような複数の階層は、周波数帯域によって区分される。図２は、基本階層（２１０−０）及び１以上の拡張階層（２１０−１、２１０−２、・・・、２１０−Ｎ−１）を説明するための説明図である。図２に示すように、複数の階層（２１０−０、２１０−１、２１０−２、・・・、２１０−Ｎ−１）は、Ｎ（ただし、Ｎは２以上の整数）個の階層であり、１以上の拡張階層（２１０−１、２１０−２、…、２１０−Ｎ−１）は、第１拡張階層（２１０−１）ないし第（Ｎ−１）拡張階層（２１０−Ｎ−１）であり、オーディオデータ２００の周波数帯域は０［ｋＨｚ］〜ｆＮ［ｋＨｚ］であり、参照符号２０５は、オーディオデータ２００が示す包絡線を意味する。つまり、その複数の階層で最下位階層は基本階層（２１０−０）であり、最上位階層は第（Ｎ−１）拡張階層（２１０−Ｎ−１）である。

そして、階層的符号化部１１０は、その分割されたオーディオデータを量子化する。例えば、階層的符号化部１１０は、図２の包絡線２０５上に点で示されたそれぞれのオーディオデータ２００を量子化する。

次に、階層的符号化部１１０は、その量子化されたオーディオデータを所定数のビットで表す。このとき、その所定数は階層ごとに異なって設定される。
そして、階層的符号化部１１０は、その量子化されたオーディオデータを階層的に符号化する。例えば、階層的符号化部１１０は、その量子化されたオーディオデータを前記したＢＳＡＣを利用して符号化できる。

その符号化されたあらゆる階層のオーディオデータのうち、本実施形態によるオーディオデータ復号化装置に伝送されるオーディオデータは、一部階層のオーディオデータであっても、すべての階層のオーディオデータであってもよい。このとき、一部階層とは、基本階層（２１０−０）を含む１以上の階層を意味する。本実施形態によるオーディオデータ復号化装置に伝送されるオーディオデータが、符号化されたすべての階層のオーディオデータのうち、一部階層のオーディオデータである場合、その一部階層のオーディオデータは、残りの階層のオーディオデータより先に符号化されることが望ましい。

このために、階層的符号化部１１０は、量子化されたオーディオデータの符号化に当って、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化する。これにより、階層的符号化部１１０は、その複数の階層（２１０−０、２１０−１、２１０−２、・・・、２１０−Ｎ−１）のうち、最下位階層（２１０−０）に属するオーディオデータを最初に符号化し、最上位階層（２１０−Ｎ−１）に属するオーディオデータを最後に符号化する。また、階層的符号化部１１０は、それぞれの階層（２１０−０、２１０−１、２１０−２、…、２１０−Ｎ−１のうち１つ）ごとにその階層に属するオーディオデータのうち１以上の最上位ビット（ＭＳＢ：Most Significant Bit）を最初に符号化し、１以上の最下位ビット（ＬＳＢ：Least Significant Bit）を最後に符号化する。このような符号化順序は、オーディオデータで重要な情報は、上位階層よりは下位階層に、下位ビットよりは上位ビットに多く分布することが一般的であるという事実に基づいて導出された順序である。

次に、ＳＢＲ符号化部１２０は、ＳＢＲデータを生成し、生成されたＳＢＲデータを符号化する。本実施形態によるＳＢＲデータは、第１所定周波数以上かつ第２所定周波数以下のオーディオデータに関する情報を持つデータを意味する。このとき、第１所定周波数は、基本階層（２１０−０）の最大周波数ｆ１以上であってもよいが、基本階層の最大周波数ｆ１であることが望ましい。また、第２所定周波数は、その符号化されたあらゆる階層のうち、本実施形態によるオーディオデータ復号化装置に伝送される一部階層のうち最上位階層の最大周波数以上であることが望ましく、その符号化されたあらゆる階層の最大周波数ｆＮであることがさらに望ましい。図３は、ＳＢＲデータの周波数帯域ｆ１〜ｆＮと、本実施形態による復号化装置に伝送される一部階層の周波数帯域０〜ｆｋとを比較するための説明図である。図３に示すように、ｋは２以上Ｎ以下の整数であるが、本実施形態によるオーディオデータ復号化装置に伝送される一部階層が、基本階層（２１０−０）だけの場合は、ｋは１となる。

なお、オーディオデータに関する情報とは、そのオーディオデータのノイズに関する情報を意味することもあり、包絡線２０５（図２参照）に関する情報を意味することもある。例えば、ＳＢＲデータ１２０は、第１所定周波数以上かつ第２所定周波数以下に属するオーディオデータの包絡線２０５に関する情報を利用してＳＢＲデータを生成し、その生成されたＳＢＲデータを無損失符号化できる。このとき、無損失復号化は、エントロピー復号化でもよく、ハフマン復号化でもよい。

次に、ビットストリーム生成部１３０は、符号化されたＳＢＲデータ及び所定ビット率に符号化されたオーディオデータを利用してビットストリームを生成し、生成されたビットストリームを、出力端子ＯＵＴ１を通じて出力する。
ここで、図４は、本実施形態によるオーディオデータ符号化装置により生成されたビットストリームの構造を示す図面である。図４に示すように、ビットストリーム４１０は、ヘッダ４２０、基本階層（２１０−０）に属するそれぞれのオーディオデータを表すビットの数に関する情報（４３０−０）、基本階層に属する符号化されたオーディオデータ及び基本階層での量子化ステップサイズに関する情報４４０−０、第ｎ拡張階層（２１０−ｎ：ただし、ｎは１≦ｎ≦Ｎ−１の整数）に属するそれぞれのオーディオデータを表すビットの数に関する情報（４３０−ｎ）、第ｎ拡張階層に属する符号化されたオーディオデータ及び第ｎ拡張階層での量子化ステップサイズに関する情報（４４０−ｎ）、及びＳＢＲデータ４５０を含む。図４に示すように、符号化されたオーディオデータ（４３０−０、４３０−１、・・・、４３０−Ｎ−１）は、ビットストリーム４１０に１以上の階層（２１０−０、２１０−１、・・・、２１０−Ｎ−１）それぞれに設けられるが、符号化されたＳＢＲデータ４５０は、ビットストリーム４１０に階層別に設けられていない。

なお、所定ビット率とは、符号化されたあらゆる階層のオーディオデータのうち、本実施形態によるオーディオデータ復号化装置に伝送しようとする一部階層のオーディオデータが持つビット率を意味する。すなわち、所定ビット率は、基本階層（２１０−０）のビット率以上の値を有する。

次に、図５は、図１に示したオーディオデータ符号化装置の階層的符号化部１１０を説明するための望ましい一実施形態である階層的符号化部１１０Ａのブロック図であって、時間／周波数マッピング部５１０、心理音響部５２０、量子化部５３０、及びダウンサンプリング部５４０から構成される。

時間／周波数マッピング部５１０は、入力端子ＩＮ２に入力された時間領域のオーディオデータを周波数領域のオーディオデータに変換する。ここで、入力端子ＩＮ２は、前記した入力端子ＩＮ１と同一である。また、時間領域のオーディオデータの周波数は、所定のサンプリング周波数Ｆｓを有する。加えて、オーディオデータは離散的であることが望ましい。

心理音響部５２０は、時間／周波数マッピング部５１０により変換されたオーディオデータを周波数帯域別にグループ化して複数の階層を生成する。
量子化部５３０は、そのそれぞれの階層ごとにオーディオデータを量子化し、あらゆる階層に属するあらゆる量子化されたオーディオデータを符号化するが、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化する。量子化部５３０は、その符号化された結果を出力端子ＯＵＴ２を通じてビットストリーム生成部１３０に出力する。

さらに、本実施形態による階層的符号化部１１０Ａには、ダウンサンプリング部５４０を設けることができる。ダウンサンプリング部５４０は、時間領域のオーディオデータを所定サンプリング周波数Ｆｓ未満のサンプリング周波数、例えば、Ｆｓ／２でサンプリングし、サンプリングされた結果を時間／周波数マッピング部５１０及び心理音響部５２０に出力する。

図６は、本実施形態によるオーディオデータ符号化装置が符号化するデータのシンタックスを示す図面である。図６に示したシンタックスにおいて、参照符号６１０は、ＢＳＡＣにより符号化されるオーディオデータを意味し、参照符号６２０は、ＢＳＡＣにより符号化されるオーディオデータ６１０と結合可能なデータを意味する。
マルチチャンネル拡張データ（ＥＸＴ＿ＢＳＡＣ＿ＣＨＡＮＮＥＬ）６５０、ＳＢＲデータ（ＥＸＴ＿ＢＳＡＣ＿ＳＢＲ＿ＤＡＴＡ）６６０、及びエラー検出データ及びＳＢＲデータ（ＥＸＴ＿ＢＳＡＣ＿ＳＢＲ＿ＤＡＴＡ＿ＣＲＣ）６７０は、かかる結合可能なデータの一例である。

ここで、マルチチャンネル拡張データ（ＥＸＴ＿ＢＳＡＣ＿ＣＨＡＮＮＥＬ）６５０は、第３チャンネルないし第Ｍチャンネル（ただし、Ｍは３以上の整数）それぞれのオーディオデータを意味する。

本明細書上で、第３チャンネルないし第Ｍチャンネルは、本実施形態によるオーディオデータ符号化装置に与えられるオーディオデータが３以上のチャンネルを通じて与えられるオーディオデータである場合、モノ方式のチャンネル（第１チャンネル）及びステレオ方式のチャンネル（第１チャンネル及び第２チャンネル）を除外した残りのチャンネルを意味する。このように、オーディオデータが３以上のチャンネルを通じて与えられると、本実施形態による階層的符号化部１１０は、モノ／ステレオ符号化部（図示せず）及びマルチチャンネル拡張符号化部（図示せず）を備えることが望ましい。
ここで、モノ／ステレオ符号化部（図示せず）は、第１チャンネルまたは第２チャンネルのオーディオデータを符号化する。また、マルチチャンネル拡張符号化部（図示せず）は、第３チャンネルないし第Ｍチャンネルそれぞれのオーディオデータを符号化する。

また、エラー検出データは、ＳＢＲデータ（ＥＸＴ＿ＢＳＡＣ＿ＳＢＲ＿ＤＡＴＡ）６６０のエラー検出に使われるデータを意味し、（ＥＸＴ＿ＢＳＡＣ＿ＳＢＲ＿ＤＡＴＡ＿ＣＲＣ）６７０は、エラー検出データ及びＳＢＲデータを意味する。

一方、本実施形態によるオーディオデータ符号化装置が符号化するデータには、ＢＳＡＣにより符号化されるオーディオデータ６１０、及びその結合可能なデータ６２０だけでなく、結合可能なデータ６２０の開始を知らせる開始コード６３０、６４０も含まれることが望ましい。ここで、開始コード６３０、６４０は、第１開始コード、第２開始コード、及び第３開始コードのうちの１つのコードであることが望ましい。

第１開始コードは、ＳＢＲデータ（ＥＸＴ＿ＢＳＡＣ＿ＳＢＲ＿ＤＡＴＡ）６６０の開始を示す開始コードを意味する。具体的に、第１開始コードは、３２ビットの連続した０からなるゼロコード（ｚｅｒｏ＿ｃｏｄｅ）６３０及び‘１１１１ ００００’からなる拡張コード（ｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅ）６４０で構成される。本実施形態によるＳＢＲ符号化部１２０は、このような第１開始コードを符号化する第１開始コード符号化部（図示せず）を備えてもよい。

第２開始コードは、エラー検出データ及びＳＢＲデータ（ＥＸＴ＿ＢＳＡＣ＿ＳＢＲ＿ＤＡＴＡ＿ＣＲＣ）６７０の開始を示す開始コードを意味する。具体的に、第２開始コードは、３２ビットの０からなるゼロコード（ｚｅｒｏ＿ｃｏｄｅ）６３０及び‘１１１１ ０００１’からなる拡張コード（ｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅ）６４０で構成される。本実施形態によるＳＢＲ符号化部１２０は、このような第２開始コードを符号化する第２開始コード符号化部（図示せず）を備えてもよい。

第３開始コードは、第３チャンネルないし第Ｍチャンネル（ただし、Ｍは３以上の整数）のオーディオデータの開始を示す開始コードを意味する。具体的に、第３開始コードは、３２ビットの０からなるゼロコード（ｚｅｒｏ＿ｃｏｄｅ）６３０及び‘１１１１ １１１１’からなる拡張コード（ｅｘｔｅｎｓｉｏｎ＿ｔｙｐｅ）６４０で構成できる。本実施形態によるマルチチャンネル拡張符号化部（図示せず）は、このような第３開始コードを符号化する第３開始コード符号化部（図示せず）を備えてもよい。

図７は、本実施形態によるオーディオデータ符号化装置により生成されたＳＢＲデータのシンタックスを示す図面である。本実施形態によるオーディオデータ符号化装置に与えられるオーディオデータは、第１チャンネルまたは第２チャンネルを通じて与えられ、図７のシンタックスに示すように、ｂｓａｃ＿ｓｂｒ＿ｄａｔａ（ｎｃｈ，ｂｓ＿ａｍｐ＿ｒｅｓ）７１０は、‘ＳＢＲ符号化部１２０はチャンネル別にＳＢＲデータを符号化する’ことを意味する。

［オーディオデータ復号化装置］
図８は、本実施形態によるオーディオデータ復号化装置を説明するブロック図であって、ビットストリーム分析部８１０、階層的復号化部８２０、ＳＢＲ復号化部８３０、及びデータ合成部８４０から構成される。

ビットストリーム分析部８１０は、入力端子ＩＮ３を通じて入力されたビットストリームから、‘符号化されたＳＢＲデータ’及び‘１以上の階層を持ち、各階層ごとに所定数のビットで表現されて符号化されたオーディオデータ’を抽出する。ここで、入力端子ＩＮ３を通じて入力されたビットストリームは、図１に示したオーディオデータ符号化装置の出力端子ＯＵＴ１を通じて出力されたビットストリームであることが望ましい。すなわち、ビットストリーム分析部８１０は、入力端子ＩＮ３を通じて入力されたビットストリームから、‘ＳＢＲ符号化部１２０により生成されたＳＢＲデータ’及び‘階層的符号化部１１０により生成されたあらゆる階層の符号化されたオーディオデータのうち１以上の階層のオーディオデータ’を抽出する。

そして、階層的復号化部８２０は、ビットストリーム分析部８１０において抽出されたオーディオデータを、下位階層を上位階層より先に復号化し、上位ビットを下位ビットより先に復号化することによって復号化する。ただし、階層的復号化部８２０は、その抽出されたオーディオデータを、所定ビット率内に復号化できる。例えば、階層的符号化部１１０で符号化されたオーディオデータのうち、ビットストリーム生成部１３０によりビットストリームに含まれたオーディオデータは、基本階層（２１０−０）、第１拡張階層２（１０−１）及び第２拡張階層（２１０−２）に属するオーディオデータのみである場合、階層的復号化部８２０は、基本階層（２１０−０）、第１拡張階層（２１０−１）及び第２拡張階層（２１０−２）に属するオーディオデータいずれも復号化してもよく、基本階層（２１０−０）、及び第１拡張階層（２１０−１）に属するオーディオデータいずれも復号化してもよく、基本階層（２１０−０）に属するオーディオデータのみを復号化してもよい。その所定ビット率は、基本階層（２１０−０）のビット率以上であることが望ましい。

また、符号化されたオーディオデータが、その入力されたビットストリームに第１チャンネルないし第Ｍチャンネルそれぞれに設けられる場合に備えて、階層的復号化部８２０は、モノ／ステレオ復号化部（図示せず）、マルチチャンネル拡張復号化部（図示せず）及び第３開始コード復号化部（図示せず）を備えることが望ましい。ここで、モノ／ステレオ復号化部（図示せず）は、第１チャンネルまたは第２チャンネルの符号化されたオーディオデータを復号化し、マルチチャンネル拡張復号化部（図示せず）は、第３チャンネルないし第Ｍチャンネルそれぞれの符号化されたオーディオデータを復号化し、第３開始コード復号化部（図示せず）は、符号化された第３開始コードを復号化する。

このように、階層的復号化部８２０にマルチチャンネル拡張復号化部（図示せず）が含まれると、ビットストリーム分析部８１０は、符号化された第３開始コードがその入力されたビットストリームでの存否を判定する。もし、符号化された第３開始コードがその入力されたビットストリームに存在すると判定されれば、ビットストリーム分析部８１０は、その符号化された第３開始コードをその入力されたビットストリームから抽出し、第３開始コード復号化部（図示せず）は、その抽出された第３開始コードを復号化してマルチチャンネル拡張復号化部（図示せず）の動作を指示する。

ＳＢＲ復号化部８３０は、‘抽出されたＳＢＲデータ’を復号化する。また、ＳＢＲ復号化部８３０は、‘階層的復号化部８２０から入力されたオーディオデータ’及び‘復号化されたＳＢＲデータ’を利用して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータを推測する。

なお、本実施形態によるオーディオデータ復号化装置には、第１開始コード復号化部（図示せず）及び第２開始コード復号化部（図示せず）を設けることもできる。この場合、ビットストリーム分析部８１０は、符号化された第１開始コード及び符号化された第２開始コードがその入力されたビットストリームに存在するかどうかを判定する。もし、符号化された第１開始コード及び符号化された第２開始コードがその入力されたビットストリームに存在すると判定されれば、ビットストリーム分析部８１０は、その符号化された第１開始コード及びその符号化された第２開始コードをその入力されたビットストリームから抽出し、第１開始コード復号化部（図示せず）は、その符号化された第１開始コードを復号化し、第２開始コード復号化部（図示せず）は、その符号化された第２開始コードを復号化する。この後、第１開始コード復号化部（図示せず）及び第２開始コード復号化部（図示せず）は、ＳＢＲ復号化部８３０の動作を指示する。

そして、データ合成部８４０は、‘階層的復号化部８２０から入力されたオーディオデータ’及び‘ＳＢＲ復号化部８３０で推測されたオーディオデータ’を利用して、合成データを生成する。また、データ合成部８４０は、生成した合成データが周波数領域のデータであるため、その合成データを時間領域に変換し、変換された合成データを、出力端子ＯＵＴ３を通じて‘０以上かつ第２所定周波数以下のオーディオデータ’として出力する。すなわち、本実施形態によるオーディオデータ符号化装置により符号化されたオーディオデータの最大周波数が第２所定周波数ならば、データ合成部８４０は、ビットストリームに含まれたオーディオデータがその符号化されたオーディオデータのうち一部階層のオーディオデータであったとしても、あらゆる階層のオーディオデータを復元することができる。

図９Ａないし図９Ｄは、図８に示したオーディオデータ復号化装置のデータ合成部８４０の動作をさらに具体的に説明するための説明図である。具体的に、図９Ａは、本実施形態において、図１に示したオーディオデータ符号化装置の階層的符号化部１１０に入力されたオーディオデータ９１０を示し、図９Ｂは、本実施形態において、図８に示したオーディオデータ復号化装置の階層的復号化部８２０により復号化されたオーディオデータ９２０を示し、図９Ｃは、オーディオデータ復号化装置のＳＢＲ復号化部８３０により推測されたオーディオデータ９３０を示し、図９Ｄは、オーディオデータ復号化装置のデータ合成部８４０により生成された合成データであるオーディオデータ９４０、すなわち、０以上かつ第２所定周波数以下の符号化されたオーディオデータを復元した結果であるオーディオデータ９４０を示す。

図９Ａないし図９Ｄに示すように、オーディオデータ（９１０、９２０、９３０、９４０）は、連続的に存在するように示されているが、これは説明の便宜のためのものであり、実際のオーディオデータ（９１０、９２０、９３０、９４０）は離散的に存在する。
図９Ａに示すように、階層的符号化部１１０に入力されたオーディオデータ９１０は、０〜ｆ１０［ｋＨｚ］の周波数帯域に存在する。一方、図９Ｂに示すように、階層的復号化部８２０により復号化されたオーディオデータ９２０は、０〜ｆ３［ｋＨｚ］の周波数帯域に存在する。ビットストリームには、その符号化されたオーディオデータのうち、すべての階層のオーディオデータが含まれてもよく、一部階層のオーディオデータのみ含まれてもよく、図９Ｂに示すように、ビットストリームには一部階層０〜ｆ３［ｋＨｚ］のオーディオデータのみ含まれてもよい。一方、その一部階層に基本階層０〜ｆ１［ｋＨｚ］は常に含まれることが望ましい。

図９Ｃに示すように、ＳＢＲ復号化部８３０により推測されたオーディオデータ９３０は、ｆ１〜ｆ１０［ｋＨｚ］の周波数帯域に存在する。一方、図９Ｄに示すように、データ合成部８４０により生成されたオーディオデータ９４０は、０〜ｆ１０［ｋＨｚ］の周波数帯域に存在する。すなわち、図９Ｄに示したオーディオデータ９４０は、図９Ａに示したオーディオデータ９１０を復元した結果である。両者はある程度異なってもよいが、同じであることが望ましい。

データ合成部８４０は‘階層的復号化部８２０により復号化されたオーディオデータ９２０が存在する周波数帯域（０〜ｆ３［ｋＨｚ］）’の場合、その復号化されたオーディオデータ９２０を合成データとして出力する。
また、データ合成部８４０は、‘階層的復号化部８２０により復号化されたオーディオデータ９２０が存在しない周波数帯域ｆ３〜ｆ１０［ｋＨｚ］’の場合、推測されたオーディオデータ９３０を合成データとして出力する。
結局、‘復号化されたオーディオデータ９２０’と‘推測されたオーディオデータ９３０’とがいずれも存在する周波数帯域ｆ１〜ｆ３［ｋＨｚ］の場合、データ合成部８４０は、その復号化されたオーディオデータ９２０が合成データであると決定する。

次に、図１０は、図８に示したオーディオデータ復号化装置の階層的復号化部８２０を説明するための望ましい一実施形態である階層的復号化部８２０Ａのブロック図であって、逆量子化部１０１０及び周波数／時間マッピング部１０２０を備える。

逆量子化部１０１０は、入力端子ＩＮ４を通じて入力された‘抽出されたオーディオデータ’を復号化し、復号化されたオーディオデータを逆量子化する。一方、周波数／時間マッピング部１０２０は、周波数領域のその逆量子化されたオーディオデータを時間領域のオーディオデータに変換し、変換されたオーディオデータを、出力端子ＯＵＴ４を通じて出力する。

次に、図１１は、図８に示したオーディオデータ復号化装置のＳＢＲ復号化部８３０を説明するための望ましい一実施形態であるＳＢＲ復号化部８３０Ａのブロック図であって、無損失復号化部１１１０、高周波発生部１１２０、分析バンク（Analysis QMF Bank）１１３０、及び包絡線調整部１１４０から形成される。

無損失復号化部１１１０は、入力端子ＩＮ５を通じて入力された‘抽出されたＳＢＲデータ’を無損失復号化する。このとき、無損失復号化は、エントロピー復号化でもよく、ハフマン復号化でもよい。これにより、無損失復号化部１１１０は、抽出されたＳＢＲデータに含まれた‘第１所定周波数以上かつ第２所定周波数以下のオーディオデータに関する情報’を獲得する。例えば、無損失復号化部１１１０は、第１所定周波数以上かつ第２所定周波数以下のオーディオデータの包絡線に関する情報を取得する。

高周波発生部１１２０は、‘階層的復号化部８２０により復号化されたオーディオデータ９２０’を、‘階層的復号化部８２０により復号化されたオーディオデータ９２０’の最大周波数（図９Ｂで、ｆ３）以上の周波数帯域（図９Ｂで、ｆ３〜ｆ６、ｆ６〜ｆ９、ｆ９〜ｆ１０）に発生させる。ただし、その復号化されたオーディオデータは時間領域のオーディオデータであるため、その復号化されたオーディオデータを、その復号化されたオーディオデータの最大周波数以上の周波数帯域に発生させるためには、その復号化されたオーディオデータを周波数領域に変換することが望ましい。このために、本実施形態によるＳＢＲ復号化部８３０には分析バンク１１３０を設けることもできる。

分析バンク１１３０は、入力端子ＩＮ６を通じて入力された‘復号化されたオーディオデータ’を、周波数領域のオーディオデータに変換し、変換されたオーディオデータを出力端子ＯＵＴ６を通じて出力する。

包絡線調整部１１４０は、高周波発生部１１２０で発生したオーディオデータの包絡線を、無損失復号化部１１１０が獲得した情報を利用して調整する。すなわち、包絡線調整部１１４０は、高周波発生部１１２０で発生したオーディオデータの包絡線が、本実施形態による階層的符号化部１１０により符号化されたオーディオデータの包絡線と一致するように、その発生したオーディオデータを調整する。その調整されたオーディオデータは出力端子ＯＵＴ５を通じて出力され、階層的符号化部１１０に入力された第１所定周波数以上かつ第２所定周波数以下のオーディオデータは、その調整されたオーディオデータであると推測される。

次に、図１２は、図８に示したオーディオデータ復号化装置のデータ合成部８４０を説明するための望ましい一実施形態であるデータ合成部８４０Ａのブロック図であって、オーバーラッピング部１２１０及び合成バンク（Synthesis QMF Bank）１２２０から形成される。

オーバーラッピング部１２１０は、入力端子ＩＮ７を通じて入力された‘階層的復号化部８２０により復号化されたオーディオデータ９２０’、及び入力端子ＩＮ８を通じて入力された‘ＳＢＲ復号化部８３０により推測されたオーディオデータ９３０’を利用して合成データを生成する。

具体的に、オーバーラッピング部１２１０は、‘復号化されたオーディオデータ９２０が存在する周波数帯域（図９Ｂで、０〜ｆ３［ｋＨｚ］）’では、その復号化されたオーディオデータ９２０を合成データとして出力し、‘推測されたオーディオデータ９３０のみ存在する周波数帯域（図９Ｂで、ｆ３〜ｆ１０）’では、その推測されたオーディオデータ９３０を合成データとして出力する。

一方、入力端子ＩＮ７を通じて入力された‘階層的復号化部８２０により復号化されたオーディオデータ９２０’及び入力端子ＩＮ８を通じて入力された‘ＳＢＲ復号化部８３０により推測されたオーディオデータ９３０’いずれも、周波数領域のオーディオデータである。したがって、その復号化されたオーディオデータが時間領域のオーディオデータならば、その復号化されたオーディオデータは、分析バンク１１３０を経て入力端子ＩＮ７に入力されることが望ましい。

そして、合成バンク１２２０は、周波数領域の合成データを時間領域の合成データに変換し、変換された結果を、出力端子ＯＵＴ７を通じて出力する。

［オーディオデータ符号化方法］
次に、図１３は、前記したオーディオ符号化装置を用いたオーディオデータ符号化方法を説明するフローチャートであって、オーディオデータを、ＢＳＡＣを利用して符号化し、ＳＢＲデータを符号化し、その符号化されたオーディオデータ及び符号化されたＳＢＲデータを利用してビットストリームを生成するステップ（第１３１０〜１３３０ステップ）からなる。

図１を参照してオーディオ符号化装置の階層的符号化部１１０は、オーディオデータを分割して複数の階層を生成し、生成された階層ごとにそのオーディオデータを所定数のビットで表し、すべての階層のオーディオデータを符号化する。このとき、下位階層を上位階層より先に符号化し、上位ビットを下位ビットより先に符号化する（第１３１０ステップ）。
そして、ＳＢＲ符号化部１２０は、第１所定周波数以上かつ第２所定周波数以下のオーディオデータに関する情報を持つＳＢＲデータを生成し、生成されたＳＢＲデータを無損失符号化する（第１３２０ステップ）。

ここで、第１３２０ステップは、図１３に示すように第１３１０ステップの後に行われてもよく、図１３とは異なり、第１３１０ステップより先または、第１３１０ステップと同時に行われてもよい。

次に、第１３１０ステップ及び第１３２０ステップ後に、ビットストリーム生成部１３０は、第１３１０ステップで符号化されたオーディオデータ及び第１３２０ステップで符号化されたＳＢＲデータを利用して、ビットストリームを生成する（第１３３０ステップ）。

［オーディオデータ復号化方法］
次に、図１４は、前記したオーディオ復号化装置を用いたオーディオデータ復号化方法を説明するフローチャートであって、ビットストリームに含まれたオーディオデータを復号化して、そのオーディオデータの周波数帯域のオーディオデータを復元し、ビットストリームに含まれ、その含まれたオーディオデータがいかなる階層であるかに関係なく同一のＳＢＲデータを利用して、その含まれたオーディオデータの最大周波数以上の周波数帯域のオーディオデータを推測して復元するステップ（第１４１０〜１４４０ステップ）からなる。

ビットストリーム分析部８１０は、与えられたビットストリームから第１３１０ステップ（図１３参照）で符号化されたＳＢＲデータ及び第１３２０ステップ（図１３参照）で符号化されたオーディオデータを抽出する（第１４１０ステップ）。
そして、階層的復号化部８２０は、第１３１０ステップで符号化されたオーディオデータを、下位階層を上位階層より先に復号化し、上位ビットを下位ビットより先に復号化することによって復号化する（第１４２０ステップ）。

次に、ＳＢＲ復号化部８３０は、第１３２０ステップで符号化されたＳＢＲデータを復号化する。また、ＳＢＲ復号化部８３０は、その復号化されたＳＢＲデータ及び第１４２０ステップで復号化されたオーディオデータを利用して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータを推測する（第１４３０ステップ）。

次に、データ合成部８４０は、第１４２０ステップで復号化されたオーディオデータ及び第１４３０ステップで推測されたオーディオデータを利用して合成データを生成し、生成された合成データを０以上かつ第２所定周波数以下のオーディオデータとして決定する（第１４４０ステップ）。

次に、図１５は、図１４に示にしたオーディオデータ復号化方法の第１４３０ステップの望ましい一実施形態である第１４３０Ａステップの詳細なフローチャートであって、第１４２０ステップで復号化されたオーディオデータ及び第１３２０ステップで符号化されたＳＢＲデータを利用して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータを推測するステップ（第１５１０〜１５３０ステップ）からなる。

無損失復号化部１１１０は、復号化しようとするビットストリームに含まれた符号化されたＳＢＲデータを無損失復号化して、第１所定周波数以上かつ第２所定周波数以下のオーディオデータが示す包絡線に関する情報を獲得する（第１５１０ステップ）。
そして、第１５１０ステップ後に、高周波発生部１１２０は、第１４２０ステップで復号化されたオーディオデータを、その第１４２０ステップで復号化されたオーディオデータが存在する最大周波数以上の周波数帯域に発生させる（第１５２０ステップ）。
そして、第１５２０ステップ後に、包絡線調整部１１４０は、第１５２０ステップで発生したオーディオデータの包絡線を第１５１０ステップで獲得された情報を利用して調整し、第１４４０ステップに進む（第１５３０ステップ）。

［記録媒体］
本実施形態に係るオーディオデータ符号化方法及びオーディオデータ復号化方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＤ（Compact Disc）−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記録装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに接続されたコンピュータシステムに分散されて、分散方式で、コンピュータが読み取り可能なコードが保存されて実行することもできる。

以上、図面及び明細書に基づいて本発明の好適な実施形態を開示した。この説明の中で特定の用語が使われたが、これは単に本発明を説明する目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想により定められる。

本発明は、オーディオデータ符号化及び復号化に関連する技術分野に好適に用いられる。

１１０ 階層的符号化部
１２０ ＳＢＲ符号化部
１３０ ビットストリーム生成部
５１０ 時間／周波数マッピング部
５２０ 心理音響部
５３０ 量子化部
５４０ ダウンサンプリング部
８１０ ビットストリーム分析部
８２０ 階層的復号化部
８３０ ＳＢＲ復号化部
８４０ データ合成部
１０１０ 逆量子化部
１０２０ 周波数／時間マッピング部
１１１０ 無損失復号化部
１１２０ 高周波発生部
１１３０ 分析バンク
１１４０ 包絡線調整部
１２１０ オーバーラッピング部
１２２０ 合成バンク

Claims (2)

1. 階層的に符号化されたオーディオデータを復号化するステップと、
   前記オーディオデータのペイロードの終結を示すコードを検出するステップと、
   拡張データのペイロードの開始を示すコードを検出するステップと、
   拡張データのタイプを検出するステップと、
   前記検出されたタイプが帯域幅拡張データを示しているか否かを判断するステップと、
   前記判断するステップで帯域幅拡張データを示すと判断されれば、前記帯域幅拡張データを復号化するステップと、を含むことを特徴とするオーディオデータ復号化方法。
2. 階層的に符号化されたオーディオデータを復号化するステップと、
   ‘zero_code’を検出するステップと、
   ‘extension_type’を検出するステップと、
   前記検出された‘extension_type’が帯域幅拡張データを示しているか否かを判断するステップと、
   前記判断ステップで、帯域幅拡張データを示すと判断されれば、前記帯域幅拡張データを復号化するステップと、を含むことを特徴とするオーディオデータ復号化方法。

Images