JP2014523548A - 帯域幅拡張信号生成装置及びその方法 - Google Patents

Abstract

低周波数帯域のスペクトルに対して、反希薄性処理を行う反希薄性処理部と、反希薄性処理が行われた低周波数帯域のスペクトルを利用して、周波数ドメインで高周波数帯域の拡張復号化を行うＦＤ高周波数拡張復号化部と、を備える帯域幅拡張信号生成装置である。

Description

本発明は、オーディオ符号化／復号化に係り、より詳しくは、高帯域のための帯域幅拡張信号に存在するメタリックノイズを減少させる帯域幅拡張信号生成装置及びその方法に関する。

高周波数領域に該当する信号は、低周波数領域に該当する信号に比べて、周波数の微細構造に敏感性が低い。したがって、オーディオ信号を符号化する時に使用可能なビットの制約を克服するために、符号化効率を向上させる場合、低周波数領域に該当する信号に、多くのビットを割り当てて符号化する一方、高周波数領域に該当する信号に、相対的に少ないビットを割り当てて符号化する。

かかる方式が適用された技術がＳＢＲ(Spectral Band Replication)である。ＳＢＲは、スペクトルの低帯域またはコア帯域のような下部帯域を符号化する一方、高帯域のような上部帯域は、包絡線のようなパラメータを利用して符号化する。ＳＢＲは、下部帯域の特徴を抽出して、上部帯域を予測するように、下部帯域と上部帯域の相関関係を利用する。

かかるＳＢＲ技術において、高帯域のための帯域幅拡張信号を生成するためのさらに改善された方法が要求される。

本発明が解決しようとする課題は、高帯域のための帯域幅拡張信号に存在するメタリックノイズを減少させる帯域幅拡張信号生成装置及び方法を提供することにある。

前記課題を解決するための本発明の一実施形態による帯域幅拡張信号生成方法は、低周波数帯域のスペクトルに対して、反希薄性処理を行うステップと、前記反希薄性処理が行われた低周波数帯域のスペクトルを利用して、周波数ドメインで高周波数帯域の拡張符号化を行うステップと、を含む。

前記課題を解決するための本発明の他の実施形態による帯域幅拡張信号生成装置は、低周波数帯域のスペクトルに対して、反希薄性処理を行う反希薄性処理部と、前記反希薄性処理が行われた低周波数帯域のスペクトルを利用して、周波数ドメインで高周波数帯域の拡張復号化を行うＦＤ高周波数拡張復号化部と、を備える。

本発明の一実施形態によるオーディオ符号化装置の構成を示すブロック図である。 図１に示したＦＤ符号化部の一実施形態による構成を示すブロック図である。 図１に示したＦＤ符号化部の他の実施形態による構成を示すブロック図である。 本発明の一実施形態による反希薄性処理部の構成を示すブロック図である。 本発明の一実施形態によるＦＤ高周波数拡張符号化部の構成を示すブロック図である。 図１に示したＦＤ符号化モジュールで拡張符号化が行われる領域を示す図面である。 図１に示したＦＤ符号化モジュールで拡張符号化が行われる領域を示す図面である。 本発明の他の実施形態によるオーディオ符号化装置の構成を示すブロック図である。 本発明のさらに他の実施形態によるオーディオ符号化装置の構成を示すブロック図である。 本発明の一実施形態によるオーディオ復号化装置の構成を示すブロック図である。 図９に示したＦＤ復号化部の一実施形態による構成を示すブロック図である。 図１０に示したＦＤ高周波数拡張復号化部の一実施形態による構成を示すブロック図である。 本発明の他の実施形態によるオーディオ復号化装置の構成を示すブロック図である。 本発明のさらに他の実施形態によるオーディオ復号化装置の構成を示すブロック図である。 本発明の一実施形態によるコードブック共有方法を説明する図面である。 本発明の一実施形態による符号化モードシグナリング方法を説明する図面である。

本発明は、多様な変換が可能であり、色々な実施形態を有するところ、特定の実施形態を図面に例示し、詳細な説明に具体的に説明する。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の技術的思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものと理解される。本発明を説明するにあたって、関連した公知技術についての具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。

第１、第２などの用語は、多様な構成要素を説明するのに使われるが、構成要素が用語によって限定されるものではない。用語は、一つの構成要素を、他の構成要素から区別する目的で使われる。

本発明において使用した用語は、単に特定の実施形態を説明するために使われたものであって、本発明を限定しようとする意図ではない。本発明において使用した用語は、本発明における機能を考慮しつつ、可能な限り現在広く使われる一般的な用語を選択したが、それは、当業者の意図、判例、または新たな技術の出現などによって変わるものである。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、該当する発明の説明部分で詳細にその意味を記載する。したがって、本発明において使われる用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般的な内容に基づいて定義されなければならない。

単数の表現は、文脈上明白に取り立てて意味しない限り、複数の表現を含む。本発明において、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものの存在または付加の可能性を予め排除しないものと理解されなければならない。

以下、本発明の実施形態を、添付図面を参照して詳細に説明する。ここで、同一のまたは対応する構成要素は、同一な図面番号を付与し、それについての重複説明は省略する。

図１は、本発明の一実施形態によるオーディオ符号化装置の構成を示すブロック図である。図１に示したオーディオ符号化装置は、マルチメディア機器を構成し、電話、モバイルフォンなどを含む音声通信専用端末機、ＴＶ、ＭＰ３プレーヤなどを含む放送あるいは音楽専用端末機、あるいは音声通信専用端末機と、放送あるいは音楽専用端末機との融合端末機が含まれるが、それらに限定されるものではない。また、オーディオ符号化装置は、クライアント、サーバー、あるいはクライアントとサーバーとの間に配置される変換機として使われる。

図１に示したオーディオ符号化装置１００は、符号化モード決定部１１０、スイッチング部１３０、ＣＥＬＰ(Code Excited Linear Prediction)符号化モジュール１５０、及びＦＤ(Frequency Domain)符号化モジュール１７０を備える。ＣＥＬＰ符号化モジュール１５０は、ＣＥＬＰ符号化部１５１と、ＴＤ(Time Domain)拡張符号化部１５３とを備え、ＦＤ符号化モジュール１７０は、変換部１７１と、ＦＤ符号化部１７３とを備える。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、少なくとも一つ以上のプロセッサ（図示せず）により具現される。

図１を参照すれば、符号化モード決定部１１０は、信号の特性を参照して、入力信号の符号化モードを決定する。符号化モード決定部１１０は、信号の特性によって、現在のフレームが音声モードであるか音楽モードであるかを決定し、また、現在のフレームに効率的な符号化モードが、ＴＤモードであるかＦＤモードであるかを決定する。その時、フレームの短区間特性、あるいは複数のフレームの長区間特性などを利用して、信号の特性を把握できるが、それらに限定されるものではない。符号化モード決定部１１０は、信号の特性が音声モードあるいはＴＤモードに該当する場合には、ＣＥＬＰモードに決定し、信号の特性が音楽モードあるいはＦＤモードに該当する場合には、ＦＤモードに決定する。

一実施形態によれば、符号化モード決定部１１０の入力信号は、ダウンサンプリング部（図示せず）によりダウンサンプリングされた信号となる。例えば、入力信号は、３２ｋＨｚまたは４８ｋＨｚのサンプリングレートを有する信号をリサンプリングあるいはダウンサンプリングして得られる１２．８ｋＨｚまたは１６ｋＨｚのサンプリングレートを有する信号となる。ここで、３２ｋＨｚのサンプリングレートを有する信号は、ＳＷＢ(Super Wide Band)信号であって、ＦＢ(Full Band)信号といい、１６ｋＨｚのサンプリングレートを有する信号は、ＷＢ(Wide Band)信号という。

他の実施形態によれば、符号化モード決定部１１０は、リサンプリングあるいはダウンサンプリングの動作が行われてもよい。

これによれば、符号化モード決定部１１０は、リサンプリングあるいはダウンサンプリングされた信号に対して、符号化モードを決定する。

符号化モード決定部１１０により決定された符号化モードは、スイッチング部１３０に提供される一方、フレーム単位でビットストリームに含まれて保存あるいは伝送される。

スイッチング部１３０は、符号化モード決定部１１０から提供される符号化モードによって、入力信号を、ＣＥＬＰ符号化モジュール１５０及びＦＤ符号化モジュール１７０のうち一つに提供する。ここで、入力信号は、リサンプリングあるいはダウンサンプリングされた信号であって、１２．８ｋＨｚまたは１６ｋＨｚのサンプリングレートを有する低周波数帯域信号となる。具体的には、スイッチング部１３０は、符号化モードがＣＥＬＰモードである場合、入力信号をＣＥＬＰ符号化モジュール１５０に提供し、符号化モードがＦＤモードである場合、入力信号をＦＤ符号化モジュール１７０に提供する。

ＣＥＬＰ符号化モジュール１５０は、符号化モードがＣＥＬＰモードである場合に動作し、ＣＥＬＰ符号化部１５１は、入力信号に対して、ＣＥＬＰ符号化を行う。一実施形態によれば、ＣＥＬＰ符号化部１５１は、リサンプリングあるいはダウンサンプリングされた信号から、励起信号を抽出し、抽出された励起信号を、ピッチ情報に該当するフィルタリングされた適応コードベクトル（すなわち、adaptive codebook contribution）、及びフィルタリングされた固定コードベクトル（すなわち、fixed or innovation codebook contribution）それぞれを考慮して量子化する。他の実施形態によれば、ＣＥＬＰ符号化部１５１は、線形予測係数(Linear Prediction Coefficient: LPC)を抽出し、抽出された線形予測係数を量子化し、量子化された線形予測係数を利用して励起信号を抽出し、抽出された励起信号を、ピッチ情報に該当するフィルタリングされた適応コードベクトル（すなわち、adaptive codebook contribution）、及びフィルタリングされた固定コードベクトル（すなわち、fixed or innovation codebook contribution）それぞれを考慮して量子化する。

一方、ＣＥＬＰ符号化部１５１は、信号の特性によって、異なる符号化モードを適用できる。適用される符号化モードとしては、有声音符号化モード、無声音符号化モード、トランジェント符号化モード、及び一般の符号化モードを有するが、それらに限定されるものではない。

ＣＥＬＰ符号化部１５１の符号化結果として得られる低周波数帯域の励起信号、すなわち、ＣＥＬＰ情報は、ＴＤ拡張符号化部１５３に提供される一方、ビットストリームに含まれて保存あるいは伝送される。

ＣＥＬＰ符号化モジュール１５０において、ＴＤ拡張符号化部１５３は、ＣＥＬＰ符号化部１５１から提供される低周波数帯域の励起信号をフォールディングあるいは複製して、高周波数帯域の拡張符号化を行う。ＴＤ拡張符号化部１５３の拡張符号化結果として得られる高周波数帯域の拡張情報は、ビットストリームに含まれて保存あるいは伝送される。ＴＤ拡張符号化部１５３は、入力信号の高周波数帯域に対応する線形予測係数を量子化する。その時、ＴＤ拡張符号化部１５３は、入力信号の高周波信号の線形予測係数を抽出し、抽出された線形予測係数を量子化することもできる。また、ＴＤ拡張符号化部１５３は、入力信号の低周波数帯域の励起信号を使用して、入力信号の高周波数帯域の線形予測係数を生成することもできる。ここで、高周波数帯域の線形予測係数は、高周波数帯域の包絡線情報を表すのに使われる。

一方、ＦＤ符号化モジュール１７０は、符号化モードがＦＤモードである場合に動作し、変換部１７１は、リサンプリングあるいはダウンサンプリングされた信号を、ＴＤからＦＤに変換する。この時、ＭＤＣＴ(Modified Discrete Cosine Transform)を使用できるが、それに限定されるものではない。ＦＤ符号化モジュール１７０において、ＦＤ符号化部１７３は、変換部１７１から提供されるリサンプリングあるいはダウンサンプリングされたスペクトルに対して、ＦＤ符号化を行う。ＦＤ符号化の一例としては、ＡＡＣ(Advanced Audio Codec)に適用されたアルゴリズムがあるが、それに限定されるものではない。ＦＤ符号化部１７３のＦＤ符号化結果として得られるＦＤ情報は、ビットストリームに含まれて保存あるいは伝送される。一方、隣接するフレーム間の符号化モードが、ＣＥＬＰモードからＦＤモードに変更される場合、ＦＤ符号化部１７３のＦＤ符号化結果として得られるビットストリームに、予測データがさらに含まれる。具体的には、Ｎ番目のフレームに対して、ＣＥＬＰモードによる符号化が行われ、Ｎ＋１番目のフレームに対して、ＦＤモードによる符号化が行われれば、ＦＤモードによる符号化結果のみで、Ｎ＋１番目のフレームについての復号化を行うことができないので、復号化時に参照するための予測データをさらに含む必要がある。

図１に示したオーディオ符号化装置１００によれば、符号化モード決定部１１０により決定された符号化モードによって、二つの形態のビットストリームが生成される。ここで、ビットストリームは、ヘッダ及びペイロードを含む。

具体的には、符号化モードがＣＥＬＰモードである場合、ビットストリームは、ヘッダに、符号化モードについての情報を含み、ペイロードに、ＣＥＬＰ情報及びＴＤ拡張情報を含む。一方、符号化モードがＦＤモードである場合、ビットストリームは、ヘッダに、符号化モードについての情報を含み、ペイロードに、ＦＤ情報及び予測データを含む。ここで、ＦＤ情報は、ＦＤ高周波数拡張情報をさらに含む。

一方、各ビットストリームは、フレームエラーが発生する場合に備えるために、ヘッダに、以前のフレームの符号化モードについての情報をさらに含む。例えば、ビットストリームのヘッダは、現在のフレームの符号化モードがＦＤモードとして決定された場合、以前のフレームの符号化モードについての情報をさらに含む。

図１に示したオーディオ符号化装置１００は、信号の特性によって、ＣＥＬＰモードまたはＦＤモードのうちいずれか一つに動作するようにスイッチングされることによって、信号の特性に適応的に効率的な符号化を行う。一方、図１のスイッチング構造は、望ましくは、高ビット率環境に適用される。

図２は、図１に示したＦＤ符号化部の一実施形態による構成を示すブロック図である。

図２を参照すれば、ＦＤ符号化部２００は、Ｎｏｒｍ符号化部２１０、ＦＰＣ(Factorial Pulse Coding)符号化部２３０、ＦＤ低周波数拡張符号化部２４０、ノイズ付加情報生成部２５０、反希薄性処理部２７０、及びＦＤ高周波数拡張符号化部２９０を備える。

Ｎｏｒｍ符号化部２１０は、変換部１７１（図１）から提供される周波数スペクトルに対して、周波数帯域、例えば、サブバンド別にＮｏｒｍ値を推定あるいは算出し、推定あるいは算出されたＮｏｒｍ値を量子化する。ここで、Ｎｏｒｍ値は、サブバンド単位で求められた平均スペクトルエネルギーを意味するものであって、パワーで代替してもよい。Ｎｏｒｍ値は、サブバンド単位で周波数スペクトルを正規化するのに使用する。また、ターゲットビット率による全体のビット数に対して、各サブバンド単位でＮｏｒｍ値を利用してマスキング閾値を計算し、マスキング閾値を利用して、各サブバンドの知覚的符号化に必要な割り当てビット数を、整数単位あるいは小数点単位で決定する。Ｎｏｒｍ符号化部２１０により量子化されたＮｏｒｍ値は、ＦＰＣ符号化部２３０に提供される一方、ビットストリームに含まれて保存あるいは伝送される。

ＦＰＣ符号化部２３０は、正規化されたスペクトルに対して、各サブバンドの割り当てビット数を利用して量子化を行い、量子化された結果に対して、ＦＰＣ符号化を行う。ＦＰＣ符号化によれば、割り当てられたビット数の範囲内で、パルスの位置、パルスの大きさ、及びパルスの符号のような情報が階乗形式で表現される。ＦＰＣ符号化部２３０により得られるＦＰＣ情報は、ビットストリームに含まれて保存あるいは伝送される。

ノイズ付加情報生成部２５０は、ＦＰＣ符号化結果によって、ノイズ付加情報、すなわち、サブバンド単位のノイズレベルを生成する。具体的には、ＦＰＣ符号化部２３０により符号化された周波数スペクトルは、ビット数の不足によって、サブバンド単位に符号化されない部分、すなわち、ホールが発生する。一実施形態によれば、符号化されないスペクトル係数のレベルの平均を利用して、ノイズレベルを生成する。ノイズ付加情報生成部２５０により生成されたノイズレベルは、ビットストリームに含まれて保存あるいは伝送される。また、フレーム単位でノイズレベルを生成する。

反希薄性処理部２７０は、低周波数帯域についての復元スペクトルから、ノイズの付加位置及びノイズの大きさを決定し、ノイズレベルを利用して、ノイズフィリングが行われた周波数スペクトルに対して、決定されたノイズの付加位置及びノイズの大きさによる反希薄性処理を行って、ＦＤ高周波数拡張符号化部２９０に提供する。一実施形態によれば、低周波数帯域についての復元スペクトルは、ＦＰＣ復号化結果に対して、低周波数帯域を拡張し、ノイズフィリングを行った後、反希薄性処理を行った結果物を意味する。

ＦＤ高周波数拡張符号化部２９０は、反希薄性処理部２７０から提供される低周波数帯域のスペクトルを利用して、高周波数帯域の拡張符号化を行う。その時、本来の高周波数帯域のスペクトルも、ＦＤ高周波数拡張符号化部２９０に提供される。一実施形態によれば、ＦＤ高周波数拡張符号化部２９０は、低周波数帯域のスペクトルをフォールディングあるいは複製して、拡張された高周波数帯域のスペクトルが得られ、本来の高周波数帯域のスペクトルに対して、サブバンド単位でエネルギーを抽出し、抽出されたエネルギーを調節し、調節されたエネルギーを量子化する。

エネルギーの調節は、一実施形態によれば、本来の高周波数帯域のスペクトルに対して、サブバンド単位で第１トナリティを算出し、低周波数帯域のスペクトルを利用して拡張された高周波数帯域の励起信号に対して、サブバンド単位で第２トナリティを算出して、第１トナリティと第２トナリティの割合に対応して行われる。または、エネルギーの制御は、他の実施形態によれば、本来の高周波数帯域のスペクトルに対して、サブバンド単位で第１トナリティを算出して、信号にノイズ成分が含まれた程度を表す第１ノイジネスファクタを求め、低周波数帯域のスペクトルを利用して、拡張された高周波数帯域の励起信号に対して、サブバンド単位で第２トナリティを算出して、第２ノイジネスファクタを求めて、第１ノイジネスファクタと第２ノイジネスファクタの割合に対応して行われる。それによれば、第２トナリティが第１トナリティよりも大きい場合、あるいは第１ノイジネスファクタが第２ノイジネスファクタよりも大きい場合、当該サブバンドのエネルギーを減少させることによって、復元時にノイズが増加する現象を防止できる。一方、逆の場合、当該サブバンドのエネルギーを増加させる。

一方、エネルギーの量子化には、ＭＳＶＱ(Multistage Vector Quantization)方式が適用されるが、それに限定されるものではない。具体的には、ＦＤ高周波数拡張符号化部２９０は、現在のステージで、所定の個数のサブバンドのうち、奇数番目のサブバンドのエネルギーを集めてベクトル量子化を行い、奇数番目のサブバンドについてのベクトル量子化結果を利用して、偶数番目のサブバンドの予測エラーを獲得し、獲得された予測エラーについてのベクトル量子化を、次のステージで行う。一方、それとは逆の場合も可能である。すなわち、ＦＤ高周波数拡張符号化部２９０は、第ｎ番目のサブバンドについてのベクトル量子化結果と、第ｎ＋２番目のサブバンドについてのベクトル量子化結果とを利用して、第ｎ＋１番目のサブバンドについての予測エラーを獲得する。

一方、エネルギーについてのベクトル量子化時、エネルギーベクトルそれぞれに対して平均値を差し引いた信号、あるいはエネルギーベクトルそれぞれの重要度についての加重値を計算する。その時、重要度についての加重値は、合成音の音質を最大化する方向に計算される。重要度についての加重値が計算された場合、加重値が適用されたＷＭＳＥ(Weighted Mean Square Error)を利用して、エネルギーベクトルについての最適化された量子化インデックスを求める。

ＦＤ高周波数拡張符号化部２９０は、高周波数信号の特性によって、多様な励起信号生成方式を使用するマルチモード帯域幅拡張方式を適用できる。マルチモード帯域幅拡張方式は、高周波数信号の特性によって、トランジェントモード、ノーマルモード、ハーモニックモード、ノイズモードなどで動作する。ＦＤ高周波数拡張符号化部２９０は、静的なフレームに対して適用されるので、高周波数信号の特性によって、フレーム別にノーマルモード、ハーモニックモードまたはノイズモードのうち一つのモードを使用して、励起信号を生成する。

また、ＦＤ高周波数拡張符号化部２９０は、ビット率によって異なる高周波数帯域についての信号を生成する。すなわち、ＦＤ高周波数拡張符号化部２９０で拡張符号化が行われる高周波数帯域は、ビット率によって異なって設定される。例えば、ＦＤ高周波数拡張符号化部２９０は、１６ｋｂｐｓのビット率では、約６．４ないし１４．４ｋＨｚの周波数帯域に対して拡張符号化を行い、１６ｋｂｐｓ以上のビット率では、約８ないし１６ｋＨｚの周波数帯域に対して拡張符号化を行う。

このために、一実施形態によれば、ＦＤ高周波数拡張符号化部２９０は、異なるビット率に対して、同一なコードブックを共有して、エネルギー量子化を行う。

一方、ＦＤ符号化部２００は、静的なフレームが入力される場合、Ｎｏｒｍ符号化部２１０、ＦＰＣ符号化部２３０、ノイズ付加情報生成部２５０、反希薄性処理部２７０及びＦＤ拡張符号化部２９０が動作する。特に、反希薄性処理部２７０は、静的なフレームのうち、ノーマルモードに対して動作することが望ましい。一方、非静的なフレーム、すなわち、トランジェントフレームが入力される場合、ノイズ付加情報生成部２５０、反希薄性処理部２７０及びＦＤ拡張符号化部２９０は動作しない。その場合、ＦＰＣ符号化部２３０は、静的なフレームが入力される場合と比較して、ＦＰＣを行うように割り当てられた上位周波数帯域Ｆ_ｃｏｒｅをさらに高く、例えば、Ｆ_ｅｎｄまで適用できる。

図３は、図１に示したＦＤ符号化部の他の実施形態による構成を示すブロック図である。図３を参照すれば、ＦＤ符号化部３００は、Ｎｏｒｍ符号化部３１０、ＦＰＣ符号化部３３０、ＦＤ低周波数拡張符号化部３４０、反希薄性処理部３７０、及びＦＤ高周波数拡張符号化部３９０を備える。ここで、Ｎｏｒｍ符号化部３１０、ＦＰＣ符号化部３３０及びＦＤ高周波数拡張符号化部３９０の動作は、図２のＮｏｒｍ符号化部２１０、ＦＰＣ符号化部２３０及びＦＤ高周波数拡張符号化部２９０の動作と同様であるので、詳細な説明は省略する。

図２との相違点は、反希薄性処理部３７０が別途のノイズレベルを使用せず、Ｎｏｒｍ符号化部３１０からサブバンド単位で得られるＮｏｒｍ値を利用するものである。すなわち、反希薄性処理部３７０は、低周波数帯域についての復元スペクトルから、ノイズの付加位置及びノイズの大きさを決定し、Ｎｏｒｍ値を利用してノイズフィリングが行われた周波数スペクトルに対して、決定されたノイズの付加位置及びノイズの大きさによる反希薄性処理を行い、ＦＤ高周波数拡張符号化部２９０に提供する。具体的には、０に逆量子化された部分を含むサブバンドに対して、ノイズ成分を生成し、ノイズ成分のエネルギーと、逆量子化されたＮｏｒｍ値、すなわち、スペクトルエネルギーとの比を利用して、ノイズ成分のエネルギーを調節する。他の実施形態によれば、０に逆量子化された部分を含むサブバンドに対して、ノイズ成分を生成し、ノイズ成分の平均エネルギーが１となるように調節する。

図４は、本発明の一実施形態による反希薄性処理部の構成を示すブロック図である。図４を参照すれば、反希薄性処理部４００は、復元スペクトル生成部４１０、ノイズ位置決定部４３０、ノイズ大きさ決定部４４０、及びノイズ付加部４５０を備える。

復元スペクトル生成部４１０は、ＦＰＣ符号化部２３０（図２）あるいはＦＰＣ符号化部３３０（図３）から提供されるＦＰＣ情報と、ノイズレベルあるいはＮｏｒｍ値のようなノイズフィリング情報とを利用して、低周波数帯域の復元スペクトルを生成する。その時、Ｆ_ｃｏｒｅとＦ_ｆｐｃとが異なる場合、ＦＤ低周波数拡張符号化をさらに行い、低周波数帯域の復元スペクトルを生成する。

ノイズ位置決定部４３０は、低周波数帯域の復元スペクトルから、０に復元されるスペクトルを、ノイズ位置として決定する。他の実施形態によれば、０に復元されるスペクトルのうち、周辺スペクトルの大きさを考慮して、ノイズ位置を決定する。例えば、０に復元されるスペクトルに隣接した周辺スペクトルの大きさが所定の値以上である場合、当該０に復元されるスペクトルを、ノイズ位置として決定する。ここで、所定の値は、シミュレーションを通じて、あるいは実験的に０に復元されるスペクトルに隣接した周辺スペクトルの情報損失が最小化されるように、予め最適の値に設定される。

ノイズ大きさ決定部４４０は、決定されたノイズ位置に付加するノイズの大きさを決定する。一実施形態によれば、ノイズレベルに基づいて、ノイズの大きさを決定する。例えば、所定の割合ほどノイズレベルを可変させて、ノイズの大きさを決定する。具体的には、（０．５＊ノイズレベル）のような方式により決定できるが、それに限定されるものではない。他の実施形態によれば、決定されたノイズ位置の周辺スペクトルの大きさを考慮して適応的に可変させて、ノイズの大きさを決定する。周辺スペクトルの大きさが、付加されるノイズの大きさよりも小さい場合、ノイズの大きさを、周辺スペクトルの大きさよりもさらに小さい値に変更する。

ノイズ付加部４５０は、ランダムノイズを使用して、決定されたノイズ位置と、決定されたノイズ大きさに基づいて、ノイズを付加する。一実施形態によれば、ランダム符号を適用できる。ノイズの大きさは、固定された値を使用し、ランダムシードを通じて発生したランダム信号が奇数であるか偶数であるかによって、符号を可変させる。例えば、ランダム信号が偶数である場合には、＋符号を付加し、奇数である場合には、−符号を付加する。ノイズ付加部４５０によりノイズが付加された低周波数帯域のスペクトルは、ＦＤ高周波数拡張符号化部２９０（図２）に提供される。

図５は、本発明の一実施形態によるＦＤ高周波数拡張符号化部の構成を示すブロック図である。図５を参照すれば、ＦＤ高周波数拡張符号化部５００は、スペクトルコピー部５１０、第１トナリティ算出部５２０、第２トナリティ算出部５３０、励起信号生成方式決定部５４０、エネルギー調節部５５０、及びエネルギー量子化部５６０を備える。一方、符号化装置において高周波数帯域の復元スペクトルを必要とする場合、高周波数復元スペクトル生成モジュール５７０をさらに備える。高周波数復元スペクトル生成モジュール５７０は、高周波励起信号生成部５７１と、高周波数スペクトル生成部５７３とを備える。特に、ＦＤ符号化部１７３（図１）において以前のフレームとオーバーラップ・アドを通じて復元が可能な変換、例えば、ＭＤＣＴを使用し、フレーム間にＣＥＬＰモードとＦＤモードとの間にスイッチングが存在する場合、高周波数復元スペクトル生成モジュール５７０を追加する必要がある。

スペクトルコピー部５１０は、反希薄性処理部２７０（図２）あるいは反希薄性処理部３７０（図３）から提供される低周波数帯域スペクトルをフォールディングあるいは複製して、高周波数帯域に拡張する。例えば、０ないし８ｋＨｚの低周波数帯域スペクトルを利用して、８ないし１６ｋＨｚの高周波数帯域に拡張する。一実施形態によれば、反希薄性処理部２７０（図２）あるいは反希薄性処理部３７０（図３）から提供される低周波数帯域スペクトルの代わりに、本来の低周波数スペクトルをフォールディングあるいは複製して、高周波数帯域に拡張する。

第１トナリティ算出部５２０は、所定のサブバンド単位で、本来の高周波数帯域のスペクトルに対して、第１トナリティを算出する。

第２トナリティ算出部５３０は、スペクトルコピー部５１０により低周波数帯域のスペクトルを利用して拡張された高周波数帯域のスペクトルに対して、サブバンド単位で第２トナリティを算出する。

第１及び第２トナリティは、サブバンドのスペクトルの平均大きさと最大大きさの割合に基づいたスペクトル平坦度を利用して算出される。具体的には、スペクトル平坦度は、周波数スペクトルの幾何平均と算術平均の関係を通じて測定される。すなわち、第１及び第２トナリティは、スペクトルがピーキーな(peaky)特性を有したか平坦な特性を有したかを表す尺度である。第１トナリティ算出部５２０と第２トナリティ算出部５３０は、同一な方式及び同一なサブバンド単位で動作することが望ましい。

励起信号生成方式決定部５４０は、第１トナリティと第２トナリティとを比較して、高周波励起信号生成方式を決定する。高周波励起信号を生成する方式は、低周波数帯域のスペクトルを変形して生成された高周波数帯域のスペクトルと、ランダムノイズの適応的加重値とを通じて決定する。その時、適応的加重値に該当する値が励起信号のタイプ情報であり、励起信号のタイプ情報がビットストリームに含まれて保存あるいは伝送される。一実施形態によれば、励起信号のタイプ情報を、２ビットで構成する。ここで、２ビットは、ランダムノイズに付加される加重値を基準として、４ステップで構成する。励起信号のタイプ情報は、フレーム当たり１回伝送される。また、複数個のサブバンドを一つのグループに形成し、各グループに対して励起信号のタイプ情報を定義して、グループ別に伝送する。

一実施形態によれば、励起信号生成方式決定部５４０は、本来の高周波数帯域の信号特性のみを考慮して、高周波励起信号を生成する方式を決定する。具体的には、サブバンド別に求められた第１トナリティの平均が属する領域を区分し、励起信号のタイプ情報の個数を基準として、第１トナリティの値がどの領域に該当するかによって、励起信号を生成する方式を決定する。かかる方式によれば、トナリティの値が高い場合、すなわち、スペクトルのピーキーな特性が大きい場合には、ランダムノイズに付加する加重値を小さく設定する。

他の実施形態によれば、励起信号生成方式決定部５４０は、本来の高周波数帯域の信号特性と、帯域拡張を通じて生成される高周波数信号特性とを同時に考慮して、高周波励起信号を生成する方式を決定する。例えば、本来の高周波数帯域の信号特性と、帯域拡張を通じて生成される高周波数信号特性とが類似していれば、ランダムノイズの加重値を小さく設定し、本来の高周波数帯域の信号特性と、帯域拡張を通じて生成される高周波数信号特性とが異なれば、ランダムノイズの加重値を大きく設定する。一方、第１トナリティと第２トナリティのサブバンド別の差値の平均を基準として設定される。第１トナリティと第２トナリティのサブバンド別の差値の平均が大きければ、ランダムノイズの加重値を大きく設定し、第１トナリティと第２トナリティのサブバンド別の差値の平均が小さければ、ランダムノイズの加重値を小さく設定する。一方、励起信号のタイプ情報をグループ別に伝送する場合には、第１トナリティと第２トナリティのサブバンド別の差値の平均は、一つのグループに属するサブバンドの平均を利用して求められる。

エネルギー調節部５５０は、本来の高周波数帯域のスペクトルに対して、サブバンド単位でエネルギーを求め、第１トナリティと第２トナリティとを利用して、エネルギー調節を行う。例えば、第１トナリティが大きく、第２トナリティが小さい場合、すなわち、本来の高周波数帯域のスペクトルがピーキーであり、反希薄性処理部２７０，３７０の出力スペクトルが平坦であれば、第１及び第２トナリティの割合に基づいて、エネルギーを調節する。

エネルギー量子化部５６０は、調節されたエネルギーをベクトル量子化し、ベクトル量子化結果として生成される量子化インデックスを、ビットストリームに含めて保存あるいは伝送する。

一方、高周波数復元スペクトル生成モジュール５７０において、高周波励起信号生成部５７１、及び高周波数スペクトル生成部５７３の動作は、図１１の高周波励起信号生成部１１３０、及び高周波数スペクトル生成部１１７０の動作と実質的に同様であるので、詳細な説明は省略する。

図６Ａ及び図６Ｂは、図１に示したＦＤ符号化モジュール１７０により拡張符号化が行われる領域を示すものである。図６Ａは、実際にＦＰＣが行われた上位周波数帯域Ｆ_ｆｐｃが、ＦＰＣを行うように割り当てられた低周波数帯域、すなわち、コア周波数帯域Ｆ_ｃｏｒｅと同一な場合を表し、その場合、Ｆ_ｃｏｒｅまでの低周波数帯域に対しては、ＦＰＣ及びノイズフィリングが行われ、Ｆ_ｅｎｄ−Ｆ_ｃｏｒｅに該当する高周波数帯域に対しては、低周波数帯域の信号を利用して、拡張符号化が行われる。ここで、Ｆ_ｅｎｄは、高周波数拡張により得られる最大周波数となる。

一方、図６Ｂは、実際にＦＰＣが行われた上位周波数帯域Ｆ_ｆｐｃが、コア周波数帯域Ｆ_ｃｏｒｅよりも小さい場合を表し、Ｆ_ｆｐｃまでの低周波数帯域に対しては、ＦＰＣ及びノイズフィリングが行われ、Ｆ_ｃｏｒｅ−Ｆ_ｆｐｃに該当する低周波数帯域に対して、ＦＰＣ及びノイズフィリングが行われた低周波数帯域の信号を利用して、拡張符号化が行われ、Ｆ_ｅｎｄ−Ｆ_ｃｏｒｅに該当する高周波数帯域に対しては、低周波数帯域の全体の信号を利用して、拡張符号化が行われる。同様に、Ｆ_ｅｎｄは、高周波数拡張により得られる最大周波数となる。

ここで、Ｆ_ｃｏｒｅとＦ_ｅｎｄは、ビット率によって可変的に設定できる。例えば、ビット率によって、Ｆ_ｃｏｒｅは、６．４ｋＨｚ，８ｋＨｚ，９．６ｋＨｚに制限されるが、それらに限定されず、Ｆ_ｅｎｄは、１４ｋＨｚ，１４．４ｋＨｚ，１６ｋＨｚまで拡張されるが、それらに限定されない。一方、実際にＦＰＣが行われた上位周波数帯域Ｆ_ｆｐｃまでが、ノイズフィリングを行う周波数帯域に該当する。

図７は、本発明の他の実施形態によるオーディオ符号化装置の構成を示すブロック図である。図７に示したオーディオ符号化装置７００は、符号化モード決定部７１０、ＬＰＣ符号化部７０５、スイッチング部７３０、ＣＥＬＰ符号化モジュール７５０、及びオーディオ符号化モジュール７７０を備える。ＣＥＬＰ符号化モジュール７５０は、ＣＥＬＰ符号化部７５１と、ＴＤ拡張符号化部７５３とを備え、オーディオ符号化モジュール７７０は、オーディオ符号化部７７１と、ＦＤ拡張符号化部７７３とを備える。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、少なくとも一つ以上のプロセッサ（図示せず）により具現される。

図７を参照すれば、ＬＰＣ符号化部７０５は、入力信号から線形予測係数を抽出し、抽出された線形予測係数を量子化する。例えば、ＬＰＣ符号化部７０５は、ＴＣＱ(Trellis Coded Quantization)方式、ＭＳＶＱ(Multi-stage Vector Quantization)方式、ＬＶＱ(Lattice Vector Quantization)方式などを使用して、線形予測係数を量子化するが、それらに限定されるものではない。ＬＰＣ符号化部７０５により量子化された線形予測係数は、ビットストリームに含まれて保存あるいは伝送される。

具体的には、ＬＰＣ符号化部７０５は、３２ｋＨｚまたは４８ｋＨｚのサンプリングレートを有する入力信号をリサンプリングあるいはダウンサンプリングして、１２．８ｋＨｚまたは１６ｋＨｚのサンプリングレートを有する信号から、線形予測係数を抽出する。

符号化モード決定部７１０は、図１の符号化モード決定部１１０と同様に、信号の特性を参照して、入力信号の符号化モードを決定する。符号化モード決定部７１０は、信号の特性によって、現在のフレームが音声モードであるか音楽モードであるかを決定し、また、現在のフレームに効率的な符号化モードがＴＤモードであるかＦＤモードであるかについて決定する。

一実施形態によれば、符号化モード決定部７１０の入力信号は、ダウンサンプリング部（図示せず）によりダウンサンプリングされた信号となる。例えば、入力信号は、３２ｋＨｚまたは４８ｋＨｚのサンプリングレートを有する信号をリサンプリングあるいはダウンサンプリングして得られる１２．８ｋＨｚまたは１６ｋＨｚのサンプリングレートを有する信号となる。ここで、３２ｋＨｚのサンプリングレートを有する信号は、ＳＷＢ信号であって、ＦＢ信号といい、１６ｋＨｚのサンプリングレートを有する信号は、ＷＢ信号という。

他の実施形態によれば、符号化モード決定部７１０により、リサンプリングあるいはダウンサンプリング動作が行われてもよい。

これによれば、符号化モード決定部７１０は、リサンプリングあるいはダウンサンプリングされた信号に対して、符号化モードを決定する。

符号化モード決定部７１０により決定された符号化モードは、スイッチング部７３０に提供される一方、フレーム単位でビットストリームに含まれて保存あるいは伝送される。

スイッチング部７３０は、符号化モード決定部７１０から提供される符号化モードによって、ＬＰＣ符号化部７０５から提供される低周波数帯域の線形予測係数を、ＣＥＬＰ符号化モジュール７５０及びオーディオ符号化モジュール７７０のうち一つに提供する。具体的には、スイッチング部７３０は、符号化モードがＣＥＬＰモードである場合、低周波数帯域の線形予測係数を、ＣＥＬＰ符号化モジュール７５０に提供し、符号化モードがオーディオモードである場合、低周波数帯域の線形予測係数を、オーディオ符号化モジュール７７０に提供する。

ＣＥＬＰ符号化モジュール７５０は、符号化モードがＣＥＬＰモードである場合に動作し、ＣＥＬＰ符号化部７５１は、低周波数帯域の線形予測係数から得られる励起信号に対して、ＣＥＬＰ符号化を行う。一実施形態によれば、ＣＥＬＰ符号化部７５１は、ＬＰＣ励起信号を、ピッチ情報に該当するフィルタリングされた適応コードベクトル（すなわち、adaptive codebook contribution）、及びフィルタリングされた固定コードベクトル（すなわち、fixed or innovation codebook contribution）それぞれを考慮して量子化する。ここで、励起信号は、ＬＰＣ符号化部７０５により生成されて、ＣＥＬＰ符号化部７５１に提供されるか、またはＣＥＬＰ符号化部７５１により生成される。

一方、ＣＥＬＰ符号化部７５１は、信号の特性によって、異なる符号化モードを適用できる。適用される符号化モードとしては、有声音符号化モード、無声音符号化モード、トランジェント符号化モード、及び一般の符号化モードを有するが、それらに限定されるものではない。

ＣＥＬＰ符号化部７５１の符号化結果として得られる低周波数帯域の励起信号、すなわち、ＣＥＬＰ情報は、ＴＤ拡張符号化部７５３に提供される一方、ビットストリームに含まれる。

ＣＥＬＰ符号化モジュール７５０において、ＴＤ拡張符号化部７５３は、ＣＥＬＰ符号化部７５１から提供される低周波数帯域の励起信号をフォールディングあるいは複製して、高周波数帯域の拡張符号化を行う。ＴＤ拡張符号化部１５１の拡張符号化結果として得られる高周波数帯域の拡張情報は、ビットストリームに含まれる。

一方、オーディオ符号化モジュール７７０は、符号化モードがオーディオモードである場合に動作し、オーディオ符号化部７７１は、低周波数帯域の線形予測係数から得られる励起信号をＦＤに変換して、オーディオ符号化を行う。一実施形態によれば、オーディオ符号化部７７１は、ＤＣＴ(Discrete Cosine Transform)のように、フレーム間に重畳される領域が存在しない変換方式を使用する。また、オーディオ符号化部７７１は、ＦＤに変換された励起信号に対して、ＬＶＱ及びＦＰＣ符号化を行う。さらに、オーディオ符号化部７７１は、励起信号の量子化を行う時にビットの余裕がある場合、フィルタリングされた適応コードベクトル（すなわち、adaptive codebook contribution）、及びフィルタリングされた固定コードベクトル（fixed or innovation codebook contribution）のようなＴＤ情報をさらに考慮して量子化することもできる。

オーディオ符号化モジュール７７０において、ＦＤ拡張符号化部７７３は、オーディオ符号化部７７１から提供される低周波数帯域の励起信号を利用して、高周波数帯域の拡張符号化を行う。ＦＤ拡張符号化部７７３の動作は、入力信号が異なるのみ、ＦＤ高周波数拡張符号化部２９０（図２）あるいはＦＤ高周波数拡張符号化部３９０（図３）の動作と同様であるので、詳細な説明は省略する。

図７に示したオーディオ符号化装置７００によれば、符号化モード決定部７１０により決定された符号化モードによって、二つの形態のビットストリームが生成される。ここで、ビットストリームは、ヘッダ及びペイロードを含む。

具体的には、符号化モードがＣＥＬＰモードである場合、ビットストリームは、ヘッダに、符号化モードについての情報を含み、ペイロードに、ＣＥＬＰ情報と、ＴＤ高周波数拡張情報とを含む。一方、符号化モードがオーディオモードである場合、ビットストリームは、ヘッダに、符号化モードについての情報を含み、ペイロードに、オーディオ符号化についての情報、すなわち、オーディオ情報と、ＦＤ高周波数拡張情報とを含む。

図７に示したオーディオ符号化装置７００は、信号の特性によって、ＣＥＬＰモードまたはオーディオモードのうちいずれか一つに動作するようにスイッチングされることによって、信号の特性に適応的に効率的な符号化を行う。一方、図１のスイッチング構造は、望ましくは、低ビット率環境に適用される。

図８は、本発明のさらに他の実施形態によるオーディオ符号化装置の構成を示すブロック図である。図８に示したオーディオ符号化装置８００は、符号化モード決定部８１０、スイッチング部８３０、ＣＥＬＰ符号化モジュール８５０、ＦＤ符号化モジュール８７０、及びオーディオ符号化モジュール８９０を備える。ＣＥＬＰ符号化モジュール８５０は、ＣＥＬＰ符号化部８５１と、ＴＤ拡張符号化部８５３とを備え、ＦＤ符号化モジュール８７０は、変換部８７１と、ＦＤ符号化部８７３とを備え、オーディオ符号化モジュール８９０は、オーディオ符号化部８９１と、ＦＤ拡張符号化部８９３とを備える。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、少なくとも一つ以上のプロセッサ（図示せず）により具現される。

図８を参照すれば、符号化モード決定部８１０は、信号の特性及びビット率を参照して、入力信号の符号化モードを決定する。符号化モード決定部８１０は、信号の特性によって、現在のフレームが音声モードであるか音楽モードであるかによって、また、現在のフレームに効率的な符号化モードがＴＤモードであるかＦＤモードであるかによって、ＣＥＬＰモードと、その他のモードに決定する。信号の特性が音声モードである場合には、ＣＥＬＰモードに決定し、音楽モードであり、かつ高ビット率である場合、ＦＤモードに決定し、音楽モードであり、かつ低ビット率である場合、オーディオモードに決定する。

スイッチング部８３０は、符号化モード決定部８１０から提供される符号化モードによって、入力信号を、ＣＥＬＰ符号化モジュール８５０、ＦＤ符号化モジュール８７０及びオーディオ符号化モジュール８９０のうち一つに提供する。

一方、図８のオーディオ符号化装置８００は、ＣＥＬＰ符号化部８５１が、入力信号から線形予測係数を抽出し、オーディオ符号化部８９１が、入力信号から線形予測係数を抽出する点を除いては、図１のオーディオ符号化装置１００と、図７のオーディオ符号化装置７００とを結合したものと類似している。

図８に示したオーディオ符号化装置８００は、信号の特性によって、ＣＥＬＰモード、ＦＤモードあるいはオーディオモードのうちいずれか一つに動作するようにスイッチングされることによって、信号の特性に適応的に効率的な符号化を行う。一方、図８のスイッチング構造は、ビット率に関係なく適用される。

図９は、本発明の一実施形態によるオーディオ復号化装置の構成を示すブロック図である。図９に示したオーディオ復号化装置は、単独で、あるいは図１に示したオーディオ符号化装置と共に、マルチメディア機器を構成し、電話、モバイルフォンなどを含む音声通信専用端末機、ＴＶ、ＭＰ３プレーヤなどを含む放送あるいは音楽専用端末機、あるいは音声通信専用端末機と、放送あるいは音楽専用端末機との融合端末機が含まれるが、それらに限定されるものではない。また、オーディオ復号化装置は、クライアント、サーバー、あるいはクライアントとサーバーとの間に配置される変換機として使われる。

図９に示したオーディオ復号化装置９００は、スイッチング部９１０、ＣＥＬＰ復号化モジュール９３０、及びＦＤ復号化モジュール９５０を備える。ＣＥＬＰ復号化モジュール９３０は、ＣＥＬＰ復号化部９３１と、ＴＤ拡張復号化部９３３とを備え、ＦＤ復号化モジュール９５０は、ＦＤ復号化部９５１と、逆変換部９５３とを備える。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、少なくとも一つ以上のプロセッサ（図示せず）により具現される。

図９を参照すれば、スイッチング部９１０は、ビットストリームに含まれた符号化モードについての情報を参照して、ビットストリームを、ＣＥＬＰ復号化モジュール９３０及びＦＤ復号化モジュール９５０のうち一つに提供する。具体的には、符号化モードがＣＥＬＰモードである場合、ビットストリームを、ＣＥＬＰ復号化モジュール９３０に提供し、ＦＤモードである場合、ＦＤ復号化モジュール９５０に提供する。

ＣＥＬＰ復号化モジュール９３０において、ＣＥＬＰ復号化部９３１は、ビットストリームに含まれた線形予測係数を復号化し、フィルタリングされた適応コードベクトル、及びフィルタリングされた固定コードベクトルについての復号化を行い、復号化結果を合成して、低周波数帯域についての復元信号を生成する。

ＴＤ拡張復号化部９３３は、ＣＥＬＰ復号化結果、及び低周波数帯域の励起信号のうち少なくとも一つを利用して、高周波数帯域についての拡張復号化を行い、高周波数帯域の復元信号を生成する。その時、低周波数帯域の励起信号は、ビットストリームに含まれる。また、ＴＤ拡張復号化部９３３は、高周波数帯域についての復元信号を生成するために、ビットストリームに含まれた低周波数帯域についての線形予測係数情報を活用する。

一方、ＴＤ拡張復号化部９３３は、生成された高周波数帯域についての復元信号を、ＣＥＬＰ復号化部９３１により生成された低周波数帯域の復元信号と合成して、復元されたＳＷＢ信号を生成する。その時、ＴＤ拡張復号化部９３３は、復元されたＳＷＢ信号を生成するために、低周波数帯域の復元信号と、高周波数帯域の復元信号とのサンプリングレートを同一であるように変換する作業をさらに行う。

ＦＤ復号化モジュール９５０において、ＦＤ復号化部９５１は、ＦＤ符号化されたフレームに対して、ＦＤ復号化を行う。ＦＤ復号化部９５１は、ビットストリームを復号化して、周波数スペクトルを生成する。また、ＦＤ復号化部９５１は、ビットストリームに含まれた以前のフレームのモード情報を参照して、復号化を行うこともできるということが分かる。すなわち、ＦＤ復号化部９５１は、ＦＤ符号化されたフレームに対して、ビットストリームに含まれた以前のフレームのモード情報を参照して、ＦＤ復号化を行う。

逆変換部９５３は、ＦＤ復号化結果をＴＤに逆変換する。逆変換部９５３は、ＦＤ復号化された周波数スペクトルに対して逆変換を行い、復元信号を生成する。例えば、逆変換部９５３は、ＩＭＤＣＴ(Inverse MDCT)を行うが、それに限定されるものではない。

これによって、オーディオ復号化装置９００は、フレーム単位で符号化モードを参照して、ビットストリームについての復号化を行う。

図１０は、図９に示したＦＤ復号化部の一実施形態による構成を示すブロック図である。図１０に示したＦＤ復号化部１０００は、Ｎｏｒｍ復号化部１０１０、ＦＰＣ復号化部１０２０、ノイズフィリング部１０３０、ＦＤ低周波数拡張復号化部１０４０、反希薄性処理部１０５０、ＦＤ高周波数拡張復号化部１０６０、及び結合部１０７０を備える。

Ｎｏｒｍ復号化部１０１０は、ビットストリームに含まれたＮｏｒｍ値を復号化して、復元されたＮｏｒｍ値を求める。

ＦＰＣ復号化部１０２０は、復元されたＮｏｒｍ値を利用して、割り当てビット数を決定し、ＦＰＣ符号化されたスペクトルに対して、割り当てビット数を利用してＦＰＣ復号化を行う。ここで、割り当てビット数は、ＦＰＣ符号化部２３０（図２）あるいはＦＰＣ符号化部３３０（図３）と同様に決定される。

ノイズフィリング部１０３０は、ＦＰＣ復号化部１０２０のＦＰＣ復号化結果を参照して、オーディオ符号化装置から別途に生成されて提供されるノイズレベルを利用して、ノイズフィリングを行うか、または復元されたＮｏｒｍ値を利用して、ノイズフィリングを行う。

ＦＤ低周波数拡張復号化部１０４０は、実際にＦＰＣ復号化が行われた上位周波数帯域Ｆ_ｆｐｃが、コア周波数帯域Ｆ_ｃｏｒｅよりも小さい場合、Ｆ_ｆｐｃまでの低周波数帯域に対しては、ＦＰＣ復号化及びノイズフィリングが行われ、Ｆ_ｃｏｒｅ−Ｆ_ｆｐｃに該当する低周波数帯域に対して、ＦＰＣ及びノイズフィリングが行われた低周波数帯域の信号を利用して、拡張復号化を行う。

反希薄性処理部１０５０は、ＦＤ低周波数拡張復号化部１０４０から提供される低周波数帯域のスペクトルから、ノイズの付加位置及びノイズの大きさを決定し、低周波数帯域のスペクトルに対して、決定されたノイズの付加位置及びノイズの大きさによる反希薄性処理を行い、ＦＤ高周波数拡張復号化部１０６０に提供する。反希薄性処理部１０５０は、図４に示した復元スペクトル生成部４１０を除き、ノイズ位置決定部４３０、ノイズ大きさ決定部４４０及びノイズ付加部４５０を備える。

ＦＤ高周波数拡張復号化部１０６０は、反希薄性処理部１０５０によりノイズが付加された低周波数帯域のスペクトルを利用して、高周波数帯域についての拡張符号化を行う。一実施形態によれば、ＦＤ高周波数拡張復号化部１０６０は、異なるビット率に対して、同一なコードブックを共有して、エネルギー逆量子化を行う。

結合部１０７０は、ＦＤ低周波数拡張復号化部１０４０から提供される低周波数帯域のスペクトルと、ＦＤ高周波数拡張復号化部１０６０から提供される高周波数帯域のスペクトルとを結合して、ＳＷＢの復元スペクトルを生成する。

図１１は、図１０に示したＦＤ高周波数拡張復号化部の一実施形態による構成を示すブロック図である。図１１に示したＦＤ高周波数拡張符号化部１１００は、スペクトルコピー部１１１０、高周波励起信号生成部１１３０、エネルギー逆量子化部１１５０、及び高周波数スペクトル生成部１１７０を備える。

スペクトルコピー部１１１０は、図５のスペクトルコピー部５１０と同様に、反希薄性処理部１０５０（図１０）から提供される低周波数帯域スペクトルをフォールディングあるいは複製して、高周波数帯域に拡張する。

高周波励起信号生成部１１３０は、スペクトルコピー部１１１０から提供される拡張された高周波数帯域スペクトルと、ビットストリームから抽出された励起信号タイプ情報とを利用して、高周波励起信号を生成する。

高周波励起信号生成部１１３０は、スペクトルコピー部１１１０から提供される拡張された高周波数帯域スペクトルを変形したスペクトルＧ（ｎ）と、ランダムノイズＲ（ｎ）との加重値を通じて、高周波励起信号を生成する。ここで、変形されたスペクトルは、スペクトルコピー部１１１０の出力を、既存のサブバンドの代わりに、新たに定義したサブバンドにより、サブバンド単位で平均大きさを求め、当該平均大きさにスペクトルを正規化する過程を通じて求められる。このように生成された変形されたスペクトルは、ランダムノイズとレベルを合わせるために、さらに予め設定されたサブバンド単位でレベルを整合させる過程を経る。レベル整合は、サブバンド別に平均大きさが、ランダムノイズと変形されたスペクトルとを同一にする過程である。一実施形態によれば、変形された信号の大きさを若干大きく設定することもできる。最終的に生成された高周波励起信号は、下記の数式（１）のように求められる。

E(n)=G(n)*(1-w(n))+R(n)*w(n) （１）
ここで、ｗ（ｎ）は、励起信号のタイプ情報によって決定された値を表し、ｎは、スペクトルビンのインデックスを表す。ｗ（ｎ）は、定数値であってもよく、サブバンド別に伝送される場合には、サブバンド別に同一な値として定義される。また、隣接したサブバンド間のスムージングを考慮して設定されてもよい。

ｗ（ｎ）は、励起信号のタイプ情報が０，１，２，３の２ビットで定義される時、０である場合に最大値、３である場合に最小値となるように割り当てる。

エネルギー逆量子化部１１５０は、ビットストリームに含まれた量子化インデックスを逆量子化して、エネルギーを復元する。

高周波数スペクトル生成部１１７０は、高周波励起信号のエネルギーが、復元されたエネルギーにマッチングされるように、高周波励起信号のエネルギーと、復元されたエネルギーの割合に基づいて、高周波励起信号から、高周波数帯域スペクトルを復元する。

一方、高周波数スペクトル生成部１１７０は、本来の高周波数帯域スペクトルがピーキーであるか、またはハーモニック成分を含んで強い音調特性を有する場合、反希薄性処理部１０５０（図１０）から提供される低周波数帯域スペクトルの代わりに、入力信号をスペクトルコピー部１１１０の入力に活用して、高周波スペクトルを生成する。

図１２は、本発明の他の実施形態によるオーディオ復号化装置の構成を示すブロック図である。図１２に示したオーディオ復号化装置１２００は、ＬＰＣ復号化部１２０５、スイッチング部１２１０、ＣＥＬＰ復号化モジュール１２３０、及びオーディオ復号化モジュール１２５０を備える。ＣＥＬＰ復号化モジュール１２３０は、ＣＥＬＰ復号化部１２３１と、ＴＤ拡張復号化部１２３３とを備え、オーディオ復号化モジュール１２５０は、オーディオ復号化部１２５１と、ＦＤ拡張復号化部１２５３とを備える。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、少なくとも一つ以上のプロセッサ（図示せず）により具現される。

図１２を参照すれば、ＬＰＣ復号化部１２０５は、ビットストリームに対して、フレーム単位でＬＰＣ復号化を行う。

スイッチング部１２１０は、ビットストリームに含まれた符号化モードについての情報を参照して、ＬＰＣ復号化部１２０５の出力を、ＣＥＬＰ復号化モジュール１２３０、及びオーディオ復号化モジュール１２５０のうち一つに提供する。具体的には、符号化モードがＣＥＬＰモードである場合、ＬＰＣ復号化部１２０５の出力を、ＣＥＬＰ復号化モジュール１２３０に提供し、オーディオモードである場合、オーディオ復号化モジュール１２５０に提供する。

ＣＥＬＰ復号化モジュール１２３０において、ＣＥＬＰ復号化部１２３１は、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う。例えば、ＣＥＬＰ復号化部１２３１は、フィルタリングされた適応コードベクトル、及びフィルタリングされた固定コードベクトルについての復号化を行い、復号化結果を合成して、低周波数帯域についての復元信号を生成する。

ＴＤ拡張復号化部１２３３は、ＣＥＬＰ復号化結果、及び低周波数帯域の励起信号のうち少なくとも一つを利用して、高周波数帯域についての拡張復号化を行い、高周波数帯域の復元信号を生成する。その時、低周波数帯域の励起信号は、ビットストリームに含まれる。また、ＴＤ拡張復号化部１２３３は、高周波数帯域についての復元信号を生成するために、ビットストリームに含まれた低周波数帯域についての線形予測係数情報を活用する。

一方、ＴＤ拡張復号化部１２３３は、生成された高周波数帯域についての復元信号を、ＣＥＬＰ復号化部１２３１により生成された低周波数帯域の復元信号と合成して、復元されたＳＷＢ信号を生成する。その時、ＴＤ拡張復号化部１２３３は、復元されたＳＷＢ信号を生成するために、低周波数帯域の復元信号と、高周波数帯域の復元信号のサンプリングレートを同一であるように変換する作業をさらに行う。

オーディオ復号化モジュール１２５０において、オーディオ復号化部１２５１は、オーディオ符号化されたフレームに対して、オーディオ復号化を行う。例えば、オーディオ復号化部１２５１は、ビットストリームを参照して、ＴＤ寄与分(contribution)が存在する場合、ＴＤ寄与分及びＦＤ寄与分を考慮して復号化を行い、ＴＤ寄与分が存在しない場合、ＦＤ寄与分を考慮して復号化を行う。

また、オーディオ復号化部１２５１は、ＦＰＣまたはＬＶＱ量子化された信号に対して、ＩＤＣＴ(Inverse DCT)などを利用した周波数逆変換を行い、復号化された低周波数帯域の励起信号を生成し、生成された励起信号を、逆量子化されたＬＰＣ係数と合成して、低周波数帯域の復元信号を生成する。

ＦＤ拡張復号化部１２５３は、オーディオ復号化が行われた結果を利用して、拡張復号化を行う。例えば、ＦＤ拡張復号化部１２５３は、復号化された低周波数帯域の信号を、高周波数拡張復号化に好適なサンプリングレートに変換し、変換された信号に、ＭＤＣＴのような周波数変換を行う。ＦＤ拡張復号化部１２５３は、量子化された高周波数帯域のエネルギーを逆量子化し、高周波帯域幅拡張の多様なモードによって、低周波数帯域の信号を利用して、高周波数帯域の励起信号を生成し、生成された励起信号のエネルギーが、逆量子化されたエネルギーにマッチングされるようにゲインを適用することによって、高周波数帯域の復元信号を生成する。例えば、高周波帯域幅拡張の多様なモードは、ノーマルモード、トランジェントモード、ハーモニックモード、またはノイズモードのうちいずれか一つのモードとなる。

また、ＦＤ拡張復号化部１２５３は、生成された高周波数帯域の復元信号、及び低周波数帯域の復元信号に対して、ＩＭＤＣＴのような周波数逆変換を行って、最終の復元信号を生成する。

さらに、ＦＤ拡張復号化部１２５３は、帯域幅拡張にトランジェントモードが適用された場合、周波数逆変換が行われた後に復号化された信号が、復号化された時間的な包絡線にマッチングされるように、ＴＤで求めたゲインを適用し、ゲインが適用された信号を合成することもできる。

これにより、オーディオ復号化装置は、ビットストリームに対して、フレーム単位で符号化モードを参照して、ビットストリームについての復号化を行う。

図１３は、本発明のさらに他の実施形態によるオーディオ復号化装置の構成を示すブロック図である。図１３に示したオーディオ復号化装置１３００は、スイッチング部１３１０、ＣＥＬＰ復号化モジュール１３３０、ＦＤ復号化モジュール１３５０及びオーディオ復号化モジュール１３７０を備える。ＣＥＬＰ復号化モジュール１３３０は、ＣＥＬＰ復号化部１３３１と、ＴＤ拡張復号化部１３３３とを備え、ＦＤ復号化モジュール１３５０は、ＦＤ復号化部１３５１と、逆変換部１３５３とを備え、オーディオ復号化モジュール１３７０は、オーディオ復号化部１３７１と、ＦＤ拡張復号化部１３７３とを備える。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、少なくとも一つ以上のプロセッサ（図示せず）により具現される。

図１３を参照すれば、スイッチング部１３１０は、ビットストリームに含まれた符号化モードについての情報を参照して、ビットストリームを、ＣＥＬＰ復号化モジュール１３３０、ＦＤ復号化モジュール１３５０及びオーディオ復号化モジュール１３７０のうち一つに提供する。具体的には、符号化モードがＣＥＬＰモードである場合、ビットストリームを、ＣＥＬＰ復号化モジュール１３３０に提供し、ＦＤモードである場合、ＦＤ復号化モジュール１３５０に提供し、オーディオモードである場合、オーディオ復号化モジュール１３７０に提供する。

ここで、ＣＥＬＰ復号化モジュール１３３０、ＦＤ復号化モジュール１３５０、及びオーディオ復号化モジュール１３７０は、図８のＣＥＬＰ符号化モジュール８５０、ＦＤ符号化モジュール８７０、及びオーディオ符号化モジュール８９０と可逆的な動作を行うので、詳細な説明は省略する。

図１４は、本発明の一実施形態によるコードブック共有方法を説明する図面である。図７に示したＦＤ拡張符号化部７７３、または図８に示したＦＤ拡張符号化部８９３は、異なるビット率に対して、同一なコードブックを共有して、エネルギー量子化を行う。それによって、ＦＤ拡張符号化部７７３、またはＦＤ拡張符号化部８９３は、入力信号に対応する周波数スペクトルを、所定の個数のサブバンドに分割するにあたって、異なるビット率に対して、同一なサブバンド別の帯域幅を有させる。

１６ｋｂｐｓのビット率で、約６．４ないし１４．４ｋＨｚの周波数帯域を分割する場合１４１０と、１６ｋｂｐｓ以上のビット率で、約８ないし１６ｋＨｚの周波数帯域を分割する場合１４２０とを例として説明すれば、下記の通りである。

具体的には、最初のサブバンドについての帯域幅１４３０は、１６ｋｂｐｓのビット率及び１６ｋｂｐｓ以上のビット率の両方で０．４ｋＨｚであり、二番目のサブバンドについての帯域幅１４４０は、１６ｋｂｐｓのビット率及び１６ｋｂｐｓ以上のビット率の両方で０．６ｋＨｚである。

かかる方式によって、異なるビット率に対して、同一なサブバンド別の帯域幅を有させることによって、ＦＤ拡張符号化部７７３、またはＦＤ拡張符号化部８９３は、異なるビット率に対して、同一なコードブックを共有して、エネルギー量子化を行う。

その結果、ＣＥＬＰモードとＦＤモードとがスイッチングされる設定(configuration)、ＣＥＬＰモードとオーディオモードとがスイッチングされる設定、またはＣＥＬＰモード、ＦＤモード及びオーディオモードがスイッチングされる設定において、マルチモード帯域幅拡張技法を適用し、その時、多様なビット率を支援できるコードブックの共有を行うことによって、メモリ（例えば、ＲＯＭ）のサイズを減少させ、具現の複雑度を減少させる。

図１５は、本発明の一実施形態による符号化モードシグナリング方法を説明する図面である。図１５を参照すれば、ステップ１５１０において、入力信号がトランジェント成分に該当するか否かを判断する。トランジェント成分の検出は、公知の多様な方法を使用して行う。

ステップ１５２０では、ステップ１５１０での判断結果、トランジェント成分に該当する場合、小数点単位のビット割り当てを行う。

ステップ１５３０では、入力信号に対して、トランジェントモードで符号化を行い、１ビットのトランジェント指示子を利用して、トランジェントモードで符号化されたことをシグナリングする。

一方、ステップ１５４０では、ステップ１５１０での判断結果、トランジェント成分に該当しない場合、ハーモニック成分に該当するか否かを判断する。ハーモニック成分の検出は、公知の多様な方法を使用して行う。

ステップ１５５０では、ステップ１５４０での判断結果、ハーモニック成分に該当する場合、入力信号に対して、ハーモニックモードで符号化を行い、１ビットのトランジェント指示子と共に、１ビットのハーモニック指示子を利用して、ハーモニックモードで符号化されたことをシグナリングする。

一方、ステップ１５６０では、ステップ１５４０での判断結果、ハーモニック成分に該当しない場合、小数点単位のビット割り当てを行う。

ステップ１５７０では、入力信号に対して、ノーマルモードで符号化を行い、１ビットのトランジェント指示子と共に、１ビットのハーモニック指示子を利用して、ノーマルモードで符号化されたことをシグナリングする。

すなわち、２ビットの指示子を利用して、三つのモード、すなわち、トランジェントモード、ハーモニックモード、及びノーマルモードをシグナリングする。

前記実施形態による装置から導出される方法は、コンピュータで実行可能なプログラムとして作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用のデジタルコンピュータで具現される。また、前述した本発明の実施形態において使用可能なデータ構造、プログラム命令、あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を通じて記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存される全ての種類の保存装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体；フロプティカルディスクのような磁気−光媒体；並びにＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して行うように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体であってもよい。プログラム命令の例としては、コンパイラーにより作られるような機械語コードだけでなく、インタープリタなどを使用して、コンピュータにより実行される高級言語コードを含む。

以上のように、本発明の一実施形態は、たとえ限定された実施形態と図面により説明されたとしても、本発明の一実施形態は、前述した実施形態に限定されるものではなく、それは、当業者ならば、当該記載から多様な修正及び変形が可能である。したがって、本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それらの均等または等価的変形は、いずれも本発明の技術的思想の範疇に属するといえるであろう。

Claims (21)

1. 符号化された低周波数帯域のスペクトルに対して、反希薄性処理を行うステップと、
   前記反希薄性処理が行われた低周波数帯域のスペクトルを利用して、周波数ドメインで高周波数帯域の拡張符号化を行うステップと、を含むことを特徴とする帯域幅拡張信号の符号化方法。
2. 前記方法は、
   入力信号の低周波数帯域のスペクトルに対して、周波数バンドの単位で、スペクトルエネルギーに基づいてビット数を割り当て、割り当てられたビット数を利用して量子化を行い、前記符号化された低周波数帯域のスペクトルを生成するステップをさらに含み、
   前記反希薄性処理を行うステップは、前記量子化の実行結果、０に量子化されたスペクトルにノイズを付加することを特徴とする請求項１に記載の帯域幅拡張信号の符号化方法。
3. 前記反希薄性処理を行うステップは、前記低周波数帯域の復元スペクトルを利用して、付加するノイズの大きさを決定することを特徴とする請求項２に記載の帯域幅拡張信号の符号化方法。
4. 前記反希薄性処理を行うステップは、
   前記量子化の実行結果に対応して、前記周波数バンドの単位でノイズレベルを生成するステップをさらに含むことを特徴とする請求項２に記載の帯域幅拡張信号の符号化方法。
5. 前記スペクトルエネルギーは、Ｎｏｒｍであることを特徴とする請求項２に記載の帯域幅拡張信号の符号化方法。
6. 前記量子化を行うステップは、階乗パルスコーディングを利用することを特徴とする請求項２に記載の帯域幅拡張信号の符号化方法。
7. 前記方法は、
   前記階乗パルスコーディングを行うように割り当てられた上位周波数帯域と、実際に階乗パルスコーディングが行われた上位周波数帯域とが異なる場合、低周波数帯域の拡張符号化を行うステップをさらに含み、
   前記符号化された低周波数帯域のスペクトルと共に、前記拡張符号化が行われた低周波数帯域に対して、反希薄性処理を行うことを特徴とする請求項６に記載の帯域幅拡張信号の符号化方法。
8. 前記高周波数帯域の拡張符号化を行うステップは、
   前記反希薄性処理が行われた低周波数帯域のスペクトルを利用して、前記高周波数帯域のスペクトルを生成するステップと、
   本来の高周波数帯域のスペクトルと、前記生成された高周波数帯域のスペクトルからそれぞれ得られるトナリティを利用して、前記生成された高周波数帯域のスペクトルのエネルギーを調節するステップと、
   前記調節されたエネルギーを量子化するステップと、を含むことを特徴とする請求項１に記載の帯域幅拡張信号の符号化方法。
9. 前記高周波数帯域の拡張符号化を行うステップは、ビット率によって異なる帯域の信号を生成することを特徴とする請求項１に記載の帯域幅拡張信号の符号化方法。
10. 前記高周波数帯域の拡張符号化を行うステップは、異なるビット率に対する同一なコードブックを共有して、エネルギー量子化を行うことを特徴とする請求項１に記載の帯域幅拡張信号の符号化方法。
11. 復号化された低周波数帯域のスペクトルに対して、反希薄性処理を行うステップと、
    前記反希薄性処理が行われた低周波数帯域のスペクトルを利用して、周波数ドメインで高周波数帯域の拡張復号化を行うステップと、を含むことを特徴とする帯域幅拡張信号の復号化方法。
12. 前記方法は、
    符号化された低周波数帯域のスペクトルに対して、周波数バンドの単位で、スペクトルエネルギーに基づいてビット数を割り当て、割り当てられたビット数を利用して逆量子化を行い、前記復号化された低周波数帯域のスペクトルを生成するステップと、
    前記逆量子化の結果に対応して、ノイズレベルに基づいてノイズフィリングを行うステップと、をさらに含むことを特徴とする請求項１１に記載の帯域幅拡張信号の復号化方法。
13. 前記ノイズフィリングを行うステップは、全てのスペクトルが０に逆量子化された周波数バンドに対して、ノイズを付加することを特徴とする請求項１２に記載の帯域幅拡張信号の復号化方法。
14. 前記反希薄性処理を行うステップは、０に逆量子化されたスペクトルを含み、かつ前記ノイズフィリングが行われていない周波数バンドに対して、ノイズを付加することを特徴とする請求項１２に記載の帯域幅拡張信号の復号化方法。
15. 前記反希薄性処理を行うステップは、前記ノイズレベルに基づいて、付加されるノイズの大きさを決定することを特徴とする請求項１４に記載の帯域幅拡張信号の復号化方法。
16. 前記逆量子化は、階乗パルスデコーディングを利用することを特徴とする請求項１２に記載の帯域幅拡張信号の復号化方法。
17. 前記方法は、
    階乗パルスデコーディングを行うように割り当てられた上位周波数帯域と、実際に階乗パルスデコーディングが行われた上位周波数帯域とが異なる場合、低周波数帯域の拡張復号化を行うステップをさらに含み、
    前記復号化された低周波数帯域のスペクトルと共に、前記拡張復号化が行われた低周波数帯域に対して、前記反希薄性処理を行うことを特徴とする請求項１２ないし１６のうちいずれか一項に記載の帯域幅拡張信号の復号化方法。
18. 前記拡張復号化が行われた低周波数帯域のうち、０に逆量子化されたスペクトルを含む周波数バンドに対して、前記反希薄性処理を行うことを特徴とする請求項１７に記載の帯域幅拡張信号の復号化方法。
19. 前記高周波数帯域の拡張復号化を行うステップは、ビット率によって異なる帯域の信号を生成することを特徴とする請求項１１に記載の帯域幅拡張信号の復号化方法。
20. 前記高周波数帯域の拡張復号化を行うステップは、
    受信されたエネルギーを逆量子化するステップと、
    前記反希薄性処理が行われた低周波数帯域のスペクトルを利用して、励起信号タイプ情報に対応して、前記高周波数帯域の励起信号を生成するステップと、
    前記逆量子化されたエネルギーに基づいて、前記高周波数帯域の励起信号のエネルギーを調節して、高周波数拡張信号を生成するステップと、を含むことを特徴とする請求項１１に記載の帯域幅拡張信号の復号化方法。
21. 前記高周波数帯域の拡張復号化を行うステップは、異なるビット率に対する同一なコードブックを共有して、エネルギー逆量子化を行うことを特徴とする請求項２０に記載の帯域幅拡張信号の復号化方法。

Images