JP2014508322A

JP2014508322A - 帯域拡張方法及び装置

Info

Publication number: JP2014508322A
Application number: JP2013553355A
Authority: JP
Inventors: ギュヒョクジョン; ヨンハンリ; ヒェジョンジョン; ホンクックキム; インギュカン; ラグヨンキム
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2011-02-08
Filing date: 2012-02-08
Publication date: 2014-04-03
Anticipated expiration: 2032-02-08
Also published as: EP2674942B1; EP2674942A4; US9589568B2; CN103460286A; WO2012108680A2; US20130317812A1; EP2674942A2; KR20140027091A; CN103460286B; JP5833675B2; WO2012108680A3

Abstract

【課題】音声又はオーディオ信号の信号帯域を拡張する方法及び装置に関する。
【解決手段】本発明による帯域拡張方法は、入力信号をＭＤＣＴ(ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ)して第１の変換信号を生成するステップ、前記第１の変換信号に基づいて第２の変換信号及び第３の変換信号を生成するステップ、前記第１の変換信号、第２の変換信号、第３の変換信号から各々の正規成分及びエネルギー成分を生成するステップ、前記各々の正規信号から拡張正規成分を生成し、前記各々のエネルギー成分から拡張エネルギー成分を生成するステップ、前記拡張正規成分と前記拡張エネルギー成分に基づいて拡張変換信号を生成するステップ、及び前記拡張変換信号をＩＭＤＣＴ(ＩｎｖｅｒｓｅＭＤＣＴ)するステップを含む。
【選択図】図５

Description

本発明は、音声信号の符号化及び復号化に関し、より具体的には信号帯域変換技術に関する。

ユビキタス(Ｕｂｉｑｕｉｔｏｕｓ)時代の渡来と共にこれに基づいた高品質音声及びオーディオサービスに対する需要が増加している。増加する要求を満たすために、効率的な音声及び/又はオーディオコーデックが要求される実情である。

ネットワークの発達と共に、音声及びオーディオサービスに提供される帯域幅が拡張されることによって、高いビット率では高品質のオーディオを提供し、低いビット率では音声又は中低品質のオーディオを提供するスケーラブル(ｓｃａｌａｂｌｅ)音声及びオーディオ符号化/復号化方法が考慮されている。

そのとき、スケーラブル符号化/復号化において、ビット率だけでなく、帯域幅を可変的に提供することによってサービスの品質を向上させ、符号化/復号化の効率を増加させることができる。例えば、入力信号が超広帯域(Ｓｕｐｅｒ−Ｗｉｄｅｂａｎｄ：ＳＷＢ)信号である場合、これに基づいて広帯域(Ｗｉｄｅｂａｎｄ：ＷＢ)信号を再生し、又は入力信号が広帯域信号である場合、これに基づいて超広帯域信号を再生するようにすることによって、サービスの向上を図ることができる。

したがって、広帯域信号から超広帯域信号を生成する方法に対する議論が行われている。

本発明の技術的目的は、オーディオ/音声信号の符号化及び復号化において、効果的な帯域拡張方法及び装置を提供することである。

本発明の技術的目的は、オーディオ/音声信号の符号化及び復号化において、広帯域信号に基づいて超広帯域信号を復元する方法及び装置を提供することである。

本発明の技術的目的は、オーディオ/音声信号の符号化及び復号化において、符号化段からの追加情報送信なく復号化段で帯域拡張を実行する方法及び装置を提供することである。

本発明の技術的目的は、オーディオ/音声信号の符号化及び復号化において、処理帯域の増加にもかかわらず性能劣化が発生しない帯域拡張方法及び装置を提供することである。

本発明の技術的目的は、オーディオ/音声信号の符号化及び復号化において、下位帯域と拡張された上位帯域との間の境界で発生することができる雑音を効果的に防止する帯域拡張方法及び装置を提供することである。

本発明の一実施形態は、帯域拡張方法であって、入力信号をＭＤＣＴ(ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ)して第１の変換信号を生成するステップ、前記第１の変換信号に基づいて第２の変換信号及び第３の変換信号を生成するステップ、前記第１の変換信号、第２の変換信号、第３の変換信号から各々の正規成分及びエネルギー成分を生成するステップ、前記各々の正規信号から拡張正規成分を生成し、前記各々のエネルギー成分から拡張エネルギー成分を生成するステップ、前記拡張正規成分と前記拡張エネルギー成分に基づいて拡張変換信号を生成するステップ、及び前記拡張変換信号をＩＭＤＣＴ(ＩｎｖｅｒｓｅＭＤＣＴ)するステップを含む。そのとき、前記第２の変換信号は、前記第１の変換信号を上位の周波数帯域にスペクトル拡張した信号であり、前記第３の変換信号は、前記第１の変換信号を第１の基準周波数帯域に対して反転させた信号である。

具体的に、前記第２の変換信号は、前記第１の変換信号の信号帯域を上位帯域に２倍拡張した信号である。

また、前記第３の変換信号は、前記第１の変換信号の最上段の周波数に対して前記第１の変換信号を反転させた信号であり、前記第３の変換信号は、前記第１の変換信号の最上段の周波数を中心にした重複帯域幅内で定義される。そのとき、前記第３の変換信号は、前記重複帯域幅内で前記第１の変換信号と合成される。

前記第１の変換信号のエネルギー成分は、第１の周波数区間に対する前記第１の変換信号の平均絶対値であり、前記第２の変換信号のエネルギー成分は、第２の周波数区間に対する前記第２の変換信号の平均絶対値であり、前記第３の変換信号のエネルギー成分は、第３の周波数区間に対する前記第３の変換信号の平均絶対値であり、前記第１の周波数区間は、前記第１の変換信号が定義される周波数区間内に存在し、前記第２の周波数区間は、前記第２の変換信号が定義される周波数区間内に存在し、前記第３の周波数区間は、前記第３の変換信号が定義される周波数区間内に存在する。

前記第１乃至第３の周波数区間の大きさは、前記第１乃至第３の変換信号が定義される周波数帯域のうち連続する１０個の周波数帯域に該当し、前記第１の変換信号が定義される周波数区間は、前記第１の変換信号が定義される最低周波数帯域から連続する２８０個の上位の周波数帯域に該当し、前記第２の変換信号が定義される周波数区間は、前記第１の変換信号が定義される最低周波数帯域から連続する５６０個の上位の周波数帯域に該当する。

そして、前記第３の変換信号が定義される周波数区間は、前記第１の変換信号が定義される最上周波数帯域を中心に連続する１４０個の周波数帯域に該当する。

一方、前記第１の変換信号の正規信号は、前記第１の変換信号のエネルギー成分に対する前記第１の変換信号であり、前記第２の変換信号の正規信号は、前記第２の変換信号のエネルギー成分に対する前記第２の変換信号であり、前記第３の変換信号の正規信号は、前記第３の変換信号のエネルギー成分に対する前記第３の変換信号である。

また、前記拡張エネルギー成分は、前記第１の変換信号が定義される周波数帯域幅Ｋの第１のエネルギー区間内で、前記第１の変換信号のエネルギー成分であり、前記第１のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第２のエネルギー区間では前記第２の変換信号のエネルギー成分及び前記第３の変換信号のエネルギー成分の重複であり、前記第２のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第３のエネルギー区間では前記第２の変換信号のエネルギー成分である。そのとき、前記第２のエネルギー区間の前半では前記第３の変換信号のエネルギー成分に加重値を付加し、前記第２のエネルギー区間の後半では前記第２の変換信号のエネルギー成分に加重値を付加する。

また、前記拡張正規成分は、第２の基準周波数帯域を基準に、前記第２の基準周波数帯域より低い周波数帯域では前記第１の変換信号の正規成分であり、前記第２の基準周波数帯域より高い周波数帯域では前記第２の変換信号の正規成分であり、前記第２の基準周波数帯域は、前記第１の変換信号と前記第２の変換信号との間の相互相関度が最大となる周波数帯域である。

前記拡張正規成分及び拡張エネルギー成分の生成ステップでは、前記拡張エネルギー成分が定義される最上位の周波数帯域で前記拡張エネルギー成分に対するスムージングを実行する。

本発明の他の実施形態は、帯域拡張装置であって、入力信号をＭＤＣＴ(ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ)変換して第１の変換信号を生成する変換部、前記第１の変換信号に基づいて信号を生成する信号生成部、前記第１の変換信号及び前記信号生成部で生成された信号を合成して拡張帯域信号を生成する信号合成部、及び前記拡張帯域信号をＩＭＤＣＴ(ＩｎｖｅｒｓｅＭＤＣＴ)変換する逆変換部を含む。前記信号生成部は、前記第１の変換信号を上位の周波数帯域にスペクトル拡張して第２の変換信号を生成し、前記第１の変換信号を第１の基準周波数に対して反転して第３の変換信号を生成し、前記第１乃至第３の変換信号から正規成分とエネルギー成分を抽出し、前記信号合成部は、前記第１の変換信号及び第２の変換信号の正規成分に基づいて拡張正規成分を合成し、前記第１の変換信号乃至第３の変換信号のエネルギー成分に基づいて拡張エネルギー成分を合成し、前記拡張正規成分と前記拡張エネルギー成分に基づいて拡張帯域信号を生成する。

前記第１の変換信号のエネルギー成分は、第１の周波数区間に対する前記第１の変換信号の平均絶対値であり、前記第２の変換信号のエネルギー成分は、第２の周波数区間に対する前記第２の変換信号の平均絶対値であり、前記第３の変換信号のエネルギー成分は、第３の周波数区間に対する前記第３の変換信号の平均絶対値である。

前記第１の変換信号の正規信号は、前記第１の変換信号のエネルギー成分に対する前記第１の変換信号であり、前記第２の変換信号の正規信号は、前記第２の変換信号のエネルギー成分に対する前記第２の変換信号であり、前記第３の変換信号の正規信号は、前記第３の変換信号のエネルギー成分に対する前記第３の変換信号である。

前記拡張エネルギー成分は、前記第１の変換信号が定義される周波数帯域幅Ｋの第１のエネルギー区間内で、前記第１の変換信号のエネルギー成分であり、前記第１のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第２のエネルギー区間では前記第２の変換信号のエネルギー成分及び前記第３の変換信号のエネルギー成分の重複であり、前記第２のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第３のエネルギー区間では前記第２の変換信号のエネルギー成分である。

前記第２のエネルギー区間の前半では前記第３の変換信号のエネルギー成分に加重値を付加し、前記第２のエネルギー区間の後半では前記第２の変換信号のエネルギー成分に加重値を付加する。

一方、前記拡張正規成分は、第２の基準周波数帯域を基準に、前記第２の基準周波数帯域より低い周波数帯域では前記第１の変換信号の正規成分であり、前記第２の基準周波数帯域より高い周波数帯域では前記第２の変換信号の正規成分であり、前記第２の基準周波数帯域は、前記第１の変換信号と前記第２の変換信号との間の相互相関度が最大となる周波数帯域である。

本発明によると、オーディオ/音声信号の符号化及び復号化において、効果的に帯域幅を拡張することができる。

本発明によると、オーディオ/音声信号の符号化及び復号化において、入力された広帯域信号の帯域を拡張して超広帯域信号を復元することができる。

本発明によると、オーディオ/音声信号の符号化及び復号化において、符号化段からの追加情報送信なく復号化段で帯域幅を拡張することができる。

本発明によると、オーディオ/音声信号の符号化及び復号化において、処理帯域の増加にもかかわらず性能劣化なく帯域幅を拡張することができる。

本発明によると、オーディオ/音声信号の符号化及び復号化において、下位帯域と拡張された上位帯域との間の境界で発生することができる雑音を効果的に防止することができる。

本発明による音声符号化器に対する構成の一例を概略的に説明する図面である。本発明の実施例に係る音声復号化器を示す概念図である。ＡＢＥ方法によりコードブックベースのスペクトル包絡線予測及び分割帯域励起信号予測が適用される一例を概略的に説明する図面である。帯域拡張技法に基づいてＡＢＥが適用される一例を概略的に説明する図面である。本発明によって帯域拡張を実行する方法を概略的に説明する順序図である。本発明による帯域拡張装置で実行する帯域拡張方法の他の例を概略的に説明する順序図である。本発明によって超広帯域信号のエネルギー成分を合成する方法を概略的に説明する図面である。

以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合にはその詳細な説明は省略する。

本明細書において、第１の構成要素が第２の構成要素に「連結されている」又は「接続されている」と記載された場合には、第２の構成要素に直接的に連結されている、又は接続されていることもあるが、第３構成要素を媒介して第２の構成要素に連結されている、又は接続されていることもある。

「第１」、「第２」などの用語は、一つの技術的構成を他の技術的構成から区別するために使われることができる。例えば、本発明の技術的思想の範囲内で第１の構成要素と命名された構成要素は、第２の構成要素と命名されて同様な機能を遂行することもできる。

図１は、本発明による音声符号化器に対する構成の一例を概略的に説明する図面である。

図１を参照すると、音声符号化器１００は、帯域幅確認部１０５、サンプリング変換部１２５、前処理部１３０、帯域分割部１１０、線形予測分析部１１５、１３５、線形予測量子化部１４０、１５０、１７５、変換部１４５、逆変換部１５５、１８０、ピッチ検出部１６０、適応(ａｄａｐｔｉｖｅ)コードブック検索部１６５、固定コードブック検索部１７０、モード選択部１８５、帯域予測部１９０、補償利得予測部１９５を含むことができる。

帯域幅確認部１０５は、入力される音声信号の帯域幅情報を判断することができる。音声信号は、帯域幅によって、約４ｋＨｚの帯域幅を有してＰＳＴＮ(ＰｕｂｌｉｃＳｗｉｔｃｈｅｄＴｅｌｅｐｈｏｎｅＮｅｔｗｏｒｋ)で多く使われる狭帯域信号(Ｎａｒｒｏｗｂａｎｄ)、約７ｋＨｚの帯域幅を有して狭帯域の音声信号より自然な高音質スピーチやＡＭラジオで多く使われる広帯域信号(Ｗｉｄｅｂａｎｄ)、及び約１４ｋＨｚの帯域幅を有して音楽、デジタル放送と共に音質が重要視される分野で多く使われる超広帯域信号(Ｓｕｐｅｒｗｉｄｅｂａｎｄ)に分類されることができる。帯域幅確認部１０５では入力された音声信号を周波数領域に変換して現在音声信号の帯域幅が狭帯域信号か、広帯域信号か、超広帯域信号かを判断することができる。帯域幅確認部１０５は、入力された音声信号を周波数領域に変換し、スペクトラムの上位帯域ビン(ｂｉｎ)の有無及び/又は成分を分析して判別することもできる。帯域幅確認部１０５は、具現によって入力される音声信号の帯域幅が固定されている場合、別に備えられないこともある。

帯域幅確認部１０５は、入力された音声信号の帯域幅によって、超広帯域信号は、帯域分割部１１０に送信し、狭帯域信号又は広帯域信号は、サンプリング変換部１２５に送信することができる。

帯域分割部１１０は、入力された信号のサンプリングレートを変換し、上位帯域と下位帯域に分割することができる。例えば、３２ｋＨｚの音声信号を２５.６ｋＨｚのサンプリング周波数に変換し、上位帯域と下位帯域に１２.８ｋＨｚずつ分割することができる。帯域分割部１１０は、分割された帯域のうち、下位帯域信号を前処理部１３０に送信し、上位帯域信号を線形予測分析部１１５に送信する。

サンプリング変換部１２５は、入力された狭帯域信号又は広帯域信号の入力を受けて一定のサンプリングレートを変更することができる。例えば、入力された狭帯域音声信号のサンプリングレートが８ｋＨｚである場合、１２.８ｋＨｚにアップサンプリングして上位帯域信号を生成することができ、入力された広帯域音声信号が１６ｋＨｚである場合、１２.８ｋＨｚにダウンサンプリングを実行して下位帯域信号を生成することができる。サンプリング変換部１２５は、サンプリング変換された下位帯域信号を出力する。内部サンプリング周波数(ｉｎｔｅｒｎａｌｓａｍｐｌｉｎｇｆｒｅｑｕｅｎｃｙ)は、１２.８ｋＨｚでない異なるサンプリング周波数を有してもよい。

前処理部１３０は、サンプリング変換部１２５及び帯域分割部１１０で出力された下位帯域信号に対して前処理を実行する。前処理部１３０では音声パラメータを生成することができる。例えば、ハイパスフィルタリング又はプリエンファシス(Ｐｒｅ−ｅｍｐｈａｓｉｓ)フィルタリングのようなフィルタリングを使用して重要領域の周波数成分を抽出することができる。音声帯域幅によって遮断周波数(ｃｕｔｏｆｆｆｒｅｑｕｅｎｃｙ)を異なるように設定し、相対的に重要度が少ない情報が集まっている周波数帯域である超低周波数(ｖｅｒｙｌｏｗｆｒｅｑｕｅｎｃｙ)をハイパスフィルタリングすることで、パラメータ抽出時に必要な重要帯域に集中することができる。他の例として、プリエンファシス(ｐｒｅ−ｅｍｐｈａｓｉｓ)フィルタリングを使用して入力信号の高い周波数帯域をブーストすることによって、低周波数領域と高周波数領域のエネルギーをスケーリングすることができる。したがって、線形予測分析時、解像度を増加させることができる。

線形予測分析部１１５、１３５は、ＬＰＣ(ＬｉｎｅａｒＰｒｅｄｉｃｔｉｏｎＣｏｅｆｆｉｃｉｅｎｔ)を算出することができる。線形予測分析部１１５、１３５では音声信号の周波数スペクトラムの全体形状を示すフォルマント(Ｆｏｒｍａｎｔ)をモデリングすることができる。線形予測分析部１１５、１３５では元来の音声信号と線形予測分析部１３５で算出された線形予測係数を利用して生成した予測音声信号との差であるエラー(ｅｒｒｏｒ)値のＭＳＥ(ｍｅａｎｓｑｕａｒｅｅｒｒｏｒ)が最も小さくなるようにＬＰＣ値を算出することができる。ＬＰＣを算出する自己相関(ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ)方法又は共分散(ｃｏｖａｒｉａｎｃｅ)方法など、多様な方法が使われることができる。

線形予測分析部１１５は、下位帯域信号に対する線形予測分析部１３５と違って、高い次数のＬＰＣを抽出することができる。

線形予測量子化部１２０、１４０では抽出されたＬＰＣを変換してＬＳＰ(ＬｉｎｅａｒＳｐｅｃｔｒａｌＰａｉｒ)やＬＳＦ(ＬｉｎｅａｒＳｐｅｃｔｒａｌＦｒｅｑｕｅｎｃｙ)のような周波数領域の変換係数を生成し、生成された周波数領域の変換係数を量子化することができる。ＬＰＣは、大きい動的範囲(ＤｙｎａｍｉｃＲａｎｇｅ)を有するため、このようなＬＰＣをそのまま送信する場合、圧縮率が落ちるようになる。したがって、周波数領域に変換し、変換係数を量子化することで、少ない情報量でＬＰＣ情報を生成することができる。

線形予測量子化部１２０、１４０では量子化されたＬＰＣを逆量子化して時間領域に変換されたＬＰＣを利用して線形予測残余信号を生成することができる。線形予測残余信号は、音声信号で予測されたフォルマント成分が除外された信号であり、ピッチ(ｐｉｔｃｈ)情報とランダム信号を含むことができる。

線形予測量子化部１２０では量子化されたＬＰＣを利用し、元来の上位帯域信号とのフィルタリングを介して線形予測残余信号を生成する。生成された線形予測残余信号は、上位帯域予測励起信号との補償利得を求めるために補償利得予測部１９５に送信される。

線形予測量子化部１４０では量子化されたＬＰＣを利用し、元来の下位帯域信号とのフィルタリングを介して線形予測残余信号を生成する。生成された線形予測残余信号は、変換部１４５及びピッチ検出部１６０に入力される。

図１において、変換部１４５、量子化部１５０、逆変換部１５５は、ＴＣＸ(ＴｒａｎｓｆｏｒｍＣｏｄｅｄＥｘｃｉｔａｔｉｏｎ)モードを実行するＲＣＸモード実行部として動作することができる。また、ピッチ検出部１６０、適応コードブック検索部１６５、固定コードブック検索部１７０は、ＣＥＬＰ(ＣｏｄｅＥｘｃｉｔｅｄＬｉｎｅａｒＰｒｅｄｉｃｔｉｏｎ)モードを実行するＣＥＬＰモード実行部として動作することができる。

変換部１４５ではＤＦＴ(ＤｉｓｃｒｅｔｅＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ)又はＦＦＴ(ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ)のような変換関数に基づいて、入力された線形予測残余信号を周波数ドメインに変換させることができる。変換部１４５は、変換係数情報を量子化部１５０に送信することができる。

量子化部１５０では変換部１４５で生成された変換係数に対して量子化を実行することができる。量子化部１５０では多様な方法に量子化を実行することができる。量子化部１５０は、選択的に周波数帯域によって量子化を実行することができ、また、ＡｂＳ(ＡｎａｌｙｓｉｓｂｙＳｙｎｔｈｅｓｉｓ)を利用して最適の周波数組合せを算出することもできる。

逆変換部１５５は、量子化された情報に基づいて逆変換を実行して時間ドメインで線形予測残余信号の復元された励起信号を生成することができる。

量子化後に逆変換された線形予測残余信号、即ち、復元された励起信号は、線形予測を介して音声信号として復元される。復元された音声信号は、モード選択部１８５に送信される。このようにＴＣＸモードに復元された音声信号は、後述するＣＥＬＰモードに量子化され、復元された音声信号と比較されることができる。

一方、ＣＥＬＰモードで、ピッチ検出部１６０は、自己相関(ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ)方法のようなオープンループ(ｏｐｅｎ−ｌｏｏｐ)方式を利用して線形予測残余信号に対するピッチを算出することができる。例えば、ピッチ検出部１６０は、合成された音声信号と実際の音声信号を比較してピッチ周期とピーク値などを算出することができ、そのとき、ＡｂＳ(ＡｎａｌｙｓｉｓｂｙＳｙｎｔｈｅｓｉｓ)などの方法を利用することができる。

適応コードブック検索部１６５は、ピッチ検出部で算出されたピッチ情報に基づいて適応コードブックインデックスとゲインを抽出する。適応コードブック検索部１６５は、ＡｂＳなどを利用して適応コードブックインデックスとゲイン情報に基づいて線形予測残余信号でピッチ構造(ｐｉｔｃｈｓｔｒｕｃｔｕｒｅ)を算出することができる。適応コードブック検索部１６５は、適応コードブックの寄与分、例えば、ピッチ構造に対する情報が除外された線形予測残余信号を固定コードブック検索部１７０に送信する。

固定コードブック検索部１７０は、適応コードブック検索部１６５から受信した線形予測残余信号に基づいて固定コードブックインデックスとゲインを抽出して符号化することができる。

量子化部１７５は、ピッチ検出部１６０で出力されたピッチ情報、適応コードブック検索部１６５で出力された適応コードブックインデックス及びゲイン、そして固定コードブック検索部１７０で出力された固定コードブックインデックス及びゲインなどのパラメータを量子化する。

逆変換部１８０は、量子化部１７５で量子化された情報を利用して復元された線形予測残余信号である励起信号を生成することができる。励起信号に基づいて線形予測の逆過程を介して音声信号を復元することができる。

逆変換部１８０は、ＣＥＬＰモードに復元された音声信号をモード選択部１８５に送信する。

モード選択部１８５ではＴＣＸモードを介して復元されたＴＣＸ励起信号とＣＥＬＰモードを介して復元されたＣＥＬＰ励起信号を比較し、元来の線形予測残余信号と類似の信号を選択することができる。モード選択部１８５は、選択した励起信号がどのようなモードを介して復元されたかに対する情報も符号化することができる。モード選択部１８５は、復元された音声信号の選択に対する選択情報と励起信号をビットストリームで帯域予測部１９０に送信することができる。

帯域予測部１９０は、モード選択部１８５で送信された選択情報と復元された励起信号を利用して上位帯域の予測励起信号を生成することができる。

補償利得予測部１９５は、帯域予測部１９０で送信された上位帯域予測励起信号と線形予測量子化部１２０で送信された上位帯域予測残余信号を比較してスペクトラム上のゲインを補償することができる。

一方、図１の例において、各構成部は、各々、別途のモジュールとして動作することもでき、複数の構成部が一つのモジュールを形成して動作することもできる。例えば、量子化部１２０、１４０、１５０、１７５は、一つのモジュールとして各動作を実行することもでき、量子化部１２０、１４０、１５０、１７５の各々が別途のモジュールとしてプロセス上必要な位置に備えられることもできる。

図２は、本発明の実施例に係る音声復号化器を示す概念図である。

図２を参照すると、音声復号化器２００は、逆量子化部２０５、２１０、帯域予測部２２０、利得補償部２２５、逆変換部２１５、線形予測合成部２３０、２３５、サンプリング変換部２４０、帯域合成部２５０、後処理フィルタリング部２４５、２５５を含むことができる。

逆量子化部２０５、２１０は、量子化されたパラメータ情報を音声符号化器から受信し、これを逆量子化する。

逆変換部２１５は、ＴＣＸモード又はＣＥＬＰモードに符号化された音声情報を逆変換して励起信号を復元することができる。逆変換部２１５は、符号化器から受信したパラメータに基づいて復元された励起信号を生成することができる。そのとき、逆変換部２１５は、音声符号化器から選択された一部帯域に対してのみ逆変換を実行することもできる。逆変換部２１５は、復元された励起信号を線形予測合成部２３５と帯域予測部２２０に送信することができる。

線形予測合成部２３５は、逆変換部２１５から送信された励起信号と音声符号化器から送信された線形予測係数を利用して下位帯域信号を復元することができる。線形予測合成部２３５は、復元された下位帯域信号をサンプリング変換部２４０と帯域合成部２５０に送信することができる。

帯域予測部２２０は、逆変換部２１５から受信した復元された励起信号値に基づいて上位帯域の予測励起信号を生成することができる。

利得補償部２２５は、帯域予測部２２０から受信した上位帯域予測励起信号と符号化器で送信された補償利得値に基づいて超広帯域音声信号に対するスペクトラム上のゲインを補償することができる。

線形予測合成部２３０は、補償された上位帯域予測励起信号値を利得補償部２２５から受信し、補償された上位帯域予測励起信号値と音声符号化器から受信した線形予測係数値に基づいて上位帯域信号を復元することができる。

帯域合成部２５０は、復元された下位帯域の信号を線形予測合成部２３５から受信し、復元された上位帯域信号を線形予測合成部２３５から受信し、受信した上位帯域信号と下位帯域信号に対する帯域合成を実行することができる。

サンプリング変換部２４０は、内部サンプリング周波数値を再び元来のサンプリング周波数値に変換させることができる。

後処理部２４５、２５５では信号復元のために必要な後処理を実行することができる。例えば、後処理部２４５、２５５は、前処理部でプリエンファシス(ｐｒｅ−ｅｍｐｈａｓｉｓ)フィルタを逆フィルタリングすることができるディエンファシス(ｄｅ−ｅｍｐｈａｓｉｓ)フィルタが含まれることができる。後処理部２４５、２５５は、フィルタリングだけでなく、量子化エラーを最小化したり、スペクトラムのハーモニックピークを生かしてバレー(ｖａｌｌｅｙ)を殺す等、様々な後処理動作を実行することもできる。後処理部２４５は、復元された狭帯域又は広帯域信号を出力し、後処理部２５５は、復元された超広帯域信号を出力することができる。

前述したように、図１及び図２で開示した音声符号化器は、本発明で開示された発明が使われる一つの例示として本発明による技術的思想の範囲内で多様な応用が可能である。

一方、効果的な音声及び/又はオーディオサービスを提供するためにスケーラブル(ｓｃａｌａｂｌｅ)符号化/復号化方法が考慮されている。

一般的にスケーラブル音声及びオーディオ符号化器/復号化器は、ビット率だけでなく、帯域幅も可変的に提供することができる。例えば、入力される音声/オーディオ信号が超広帯域(Ｓｕｐｅｒ−Ｗｉｄｅｂａｎｄ：ＳＷＢ)である信号である場合には、これに基づいて広帯域(Ｗｉｄｅｂａｎｄ：ＷＢ)信号を再生し、入力される音声/オーディオ信号が広帯域信号である場合には、これに基づいて超広帯域信号を再生する方式に帯域幅を可変的に提供する。

広帯域信号を超広帯域信号に変換する過程は、リサンプリング(ｒｅ−ｓａｍｐｌｉｎｇ)過程を介して実行されることができる。

しかし、広帯域信号を超広帯域信号に変換するために単純にアップサンプリング(ｕｐ−ｓａｍｐｌｉｎｇ)過程を使用する場合、生成された超広帯域信号は、サンプリングレート(ｓａｍｐｌｉｎｇｒａｔｅ)が超広帯域信号のサンプリングレートであるとしても、実際信号が存在する帯域(ｂａｎｄｗｉｄｔｈ)は、単純に広帯域信号と同じである。結局、アップサンプリングにより情報量(例えば、データレート(ｄａｔａｒａｔｅ))は、増加するようになるが、音質に対しては利得がない。

これと関連し、ビット率(ｂｉｔｒａｔｅ)の増加なく広帯域信号又は狭帯域信号(Ｎａｒｒｏｗｂａｎｄ：ＮＢ)から超広帯域信号を復元する方法を人工的帯域拡張(ＡｒｔｉｆｉｃｉａｌＢａｎｄｗｉｄｔｈＥｘｔｅｎｓｉｏｎ：ＡＢＥ、以下「ＡＢＥ」という)という。

以下、本明細書ではビット率増加なく広帯域信号又は低帯域信号の入力を受けて超広帯域信号に復元する帯域拡張方法、例えば、広帯域−超広帯域(ＷＢ−ｔｏ−ＳＷＢ)リサンプリング方法に対して具体的に説明する。

本発明ではスケーラブル音声及びオーディオ符号化器の処理領域であるＭＤＣＴ(ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ)領域で広帯域信号の反射帯域情報と予測帯域情報を活用して超広帯域信号を復元する。

初期の音声コーデックの場合、ネットワークの帯域幅とアルゴリズム処理速度の制約のため、低い計算量を有しながら狭帯域を処理するコーデック、例えば、Ｇ.７１１のようなコーデックを主に開発してきた。つまり、複雑で高いビット率を処理する方法を介して良い音質を提供するコーデックより、計算量が低くビット率も低い方法を利用して音声通話に適した音質を提供するための方法を適用してきた。

以後、信号処理技術とネットワークが発達するにつれて、複雑度も高くて音声品質も高いコーデック技術が開発されてきた。例えば、３.４ｋＨｚ以下の帯域幅のみを考慮した狭帯域音声コーデックと７ｋＨｚまでの帯域幅を処理する広帯域音声コーデックなどが開発されてきた。

しかし、前述したように、高品質音声サービスに対する需要が増加することを考慮する時、超広帯域音声信号に対する高品質サービスを提供するために、広帯域音声コーデックに基づいて広帯域以上の帯域幅をサポートすることができるスケーラブルコーデックを使用する方法を考慮することができる。そのとき、広帯域音声コーデックとしてＧ７２９.１、Ｇ７１８などを利用することができる。

広帯域音声コーデックに基づいて超広帯域をサポートするスケーラブルコーデックは、多様な場合に利用されることができる。例えば、通話サービスを利用して互いに通話中である二人のユーザのうち、一人のユーザの端末は、広帯域信号のみを処理することができる端末であり、他の一人のユーザの端末は、超広帯域信号を処理することができる端末である場合を仮定する。その場合、二人のユーザ間の通話を維持するために、超広帯域信号を処理することができる端末を利用するユーザに超広帯域信号でない広帯域信号に基づいた音声信号が提供される問題が発生するおそれがある。そのとき、広帯域信号に基づいて超広帯域信号をリサンプリングして復元可能であれば問題を解決することができる。

本発明による音声コーデックは、広帯域信号と超広帯域信号の両方ともを処理することができ、広帯域信号に基づいてリサンプリングを介して超広帯域信号を復元することができる。

現在までリサンプリング技術に使われるＡＢＥ技術は、一般的に狭帯域信号に基づいて広帯域信号を復元する方式に研究されてきた。

ＡＢＥ技術は、大きくスペクトル包絡線(ＳｐｅｃｔｒａｌＥｎｖｅｌｏｐｅ)予測技術と励起信号(ＥｘｃｉｔａｔｉｏｎＳｉｇｎａｌ)予測技術に分けることができる。励起信号は、変調(ｍｏｄｕｌａｔｉｏｎ)等を介して予測されることができる。スペクトル包絡線は、パターン認識技法を利用して予測されることができる。スペクトル包絡線の予測に利用されることができるパターン認識技法として、例えば、ＧＭＭ(ＧａｕｓｓＭｉｘｔｕｒｅＭｏｄｅｌ)、ＨＭＭ(ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ)などがある。

広帯域(ＷＢ)信号を予測するＡＢＥ方法に対しては音声認識特徴ベクトルを主に使用するＭＦＣＣ(Ｍｅｌ−ＦｒｅｑｕｅｎｃｙＣｅｐｓｔｒａｌＣｏｅｆｆｉｃｉｅｎｔ)やこれを量子化するＶＱ(ＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ)のインデックスを活用する方法などが研究されてきた。

図３は、ＡＢＥ方法によりコードブックベースのスペクトル包絡線予測及び分割帯域励起信号予測が適用される一例を概略的に説明する図面である。

図３を参照すると、周波数拡張に対して狭帯域(ｔｅｌｅｐｈｏｎｅ−ｂａｎｄ)コードブックに基づいて広帯域コードブックを予測する。同時に、励起信号に対しては低帯域拡張と高帯域拡張を分けて進行した後、合成段で線形予測コーディング(ＬｉｎｅａｒＰｒｅｄｉｃｔｉｖｅＣｏｄｉｎｇ：ＬＰＣ)を介してこれを合成する。線形予測コーディングの結果は、周波数拡張の結果と統合される。

一方、図３の例に係る方式は、計算量が多いため、音声符号化器の要素技術として利用しにくい。例えば、処理帯域が増えるにつれて増加した特徴ベクトルのため、性能の劣化が発生しやすい。また、訓練データベースの特性によって性能の偏差が大きくなることができる。このように、図３の例に係る方式をＭＤＣＴドメインで処理される超広帯域信号を予測するために適用することは無理がある。

図４は、帯域拡張技法に基づいてＡＢＥが適用される一例を概略的に説明する図面である。スペクトル包絡線予測技法及び励起信号予測技法に基づいたＡＢＥと図４のＡＢＥ技法は、既存の帯域拡張技法に基づいて適用される。

図４を参照すると、周波数ドメインでの包絡線情報と共に時間軸を沿って時間ドメインでの包絡線情報を予測する。例えば、高帯域信号の合成に必要なパラメータを予測するために低帯域信号で抽出したＭＦＣＣを特徴ベクトルにしてＧＭＭを適用している。

図４の例で説明する方式によると、既存の帯域拡張方法で定義するパラメータのみ予測し、残りの予測に必要な構造は、既存の方法を再使用してＡＢＥを実行することができる。

ただし、図４の方法も、汎用性が落ちるという短所が存在する。例えば、励起信号に該当する部分を予め予測して活用するため、相対的に予測しなければならない情報が限定的である。

また、図４の帯域拡張方法は、帯域別特性を無視したままで適用しにくい。即ち、図４の帯域拡張方法は、広帯域への帯域拡張のために開発された方法であるため、広帯域に基づいた超広帯域信号の復元に適用しにくい。特に、この方法は、ベースライン帯域の信号が充実に復元された時、性能が保障される方法であるため、ベースライン帯域の信号が符号化器でのみ復元されることができる場合には所望の効果を得にくい。

したがって、多くの計算量を伴わずにデータベースの特性に大きく左右されず、汎用性を維持することができる帯域拡張技法が考慮される必要がある。

本発明では追加的なビットなしに帯域拡張を実行する。即ち、追加的なビットなしに広帯域入力信号(例えば、１６ｋＨｚの標本化周波数で入力された信号)を超広帯域信号(３２ｋＨｚの標本化周波数を有する信号)に出力することができる。

また、本発明による帯域拡張方法は、(移動、無線)通信にも適用されることができ、ＭＤＣＴ変換を除外した追加的な遅延なく帯域拡張が実行されることができる。

本発明による帯域拡張方法は、汎用性を考慮してベースライン(ｂａｓｅｌｉｎｅ)符号化器/復号化器のフレームと同じ長さのフレームを使用することができる。例えば、ベースライン符号化器にＧ.７１８を使用する場合、フレームの長さを２０ｍｓに設定することができる。その場合、２０ｍｓは、３２ｋＨｚ信号を基準にする時、６４０サンプルに該当する。

表１は、本発明による帯域拡張方法を利用する場合の仕様に対する一例を概略的に示す。

図５は、本発明によって帯域拡張を実行する方法を概略的に説明する順序図である。図５の方法では広帯域信号の入力を受けて超広帯域信号を出力するリサンプリング方法を説明している。

図５で説明する各ステップは、符号化器及び/又は復号化器で実行されることができる。図５では説明の便宜のために、各ステップが符号化器及び/又は復号化器内の帯域拡張装置から実行されることを説明する。帯域拡張装置は、復号化器の帯域予測部又は帯域合成部に位置してもよく、別途のユニットに復号化器内に位置してもよい。

また、図５の各ステップは、帯域拡張装置で実行されてもよく、各ステップに対応する機械的ユニットで実行されてもよい。

図５で説明する帯域拡張方法は、大きく四つのステップに分けられることができる。例えば、(１)入力信号をＭＤＣＴドメインに変換するステップ、(２)低帯域(広帯域)入力信号を利用して高帯域信号を生成するために、拡張信号及び反転信号を生成するステップ、(３)高帯域信号を生成するために、エネルギー成分と正規化されたスペクトルビン成分を生成するステップ、(４)入力信号の拡張された信号を生成し、これを出力するステップに分けられることができる。

図５を参照すると、帯域拡張装置は、広帯域信号(ＷＢｓｉｇｎａｌ)を受信してＭＤＣＴ(ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ)を実行する(Ｓ５１０)。

入力される広帯域信号は、３２ｋＨｚに標本化されたモノ信号であり、ＭＤＣＴにより時間/周波数(Ｔｉｍｅ/Ｆｒｅｑｕｅｎｃｙ：Ｔ/Ｆ)変換される。ここでは、ＭＤＣＴを使用することを説明したが、時間/周波数変換を実行する他の変換方法を利用してもよい。

３２ｋＨｚに標本化される場合、入力信号の一フレームは３２０サンプルで構成されることができる。ＭＤＣＴは、重複合算(ｏｖｅｒｌａｐ−ａｎｄ−ａｄｄ)構造を有するため、現在フレームの以前フレームを構成する３２０サンプルを含む６４０サンプルで時間/周波数(Ｔ/Ｆ)変換を実行することができる。

入力信号をＭＤＣＴ処理し、スペクトルビン、Ｘ_WB(ｋ)を生成することができる。Ｘ_WB(ｋ)は、ｋ番目のスペクトルビンを示し、ｋは、サンプリング周波数又は周波数成分を指示することができる。スペクトルビンは、ＭＤＣＴを実行して得たＭＤＣＴ係数と解析されることもある。入力信号が３２ｋＨｚに標本化された場合、スペクトルビンは３２０個(１≦ｋ≦３２０)個が生成されることができる。

３２０個のスペクトルビンは、０〜８ｋＨｚに対応するが、このうち、広帯域(７ｋＨｚ帯域)に対応する２８０個のスペクトルビンを利用して帯域拡張を実行することができる。したがって、本発明による帯域拡張の結果として、５６０個のスペクトルビンで構成された復元信号として超広帯域信号Ｘ_SWB(ｋ)を生成することができる。

帯域拡張装置は、ＭＤＣＴにより生成されたスペクトルビンを所定個数ずつサブバンドでグルーピング(ｇｒｏｕｐｉｎｇ)する(Ｓ５２０)。例えば、各サブバンド当たりスペクトルビンの個数を１０個に設定することができる。したがって、帯域拡張装置は、入力信号から２８個のサブバンドを構成し、これに基づいて５６個のサブバンドで構成された出力信号を生成することができる。

帯域拡張装置は、入力信号から構成された２８個のサブバンドを拡張及び反転し、拡張バンド信号(ｅｘｔｅｎｄｅｄｂａｎｄｓｉｇｎａｌ)Ｘ_Ext(ｋ)と反転バンド信号(ｒｅｆｌｅｃｔｅｄｂａｎｄｓｉｇｎａｌ)Ｘ_Ref(ｋ)を生成する(Ｓ５３０)。拡張バンド信号は、スペクトル内挿法(ｓｐｅｃｔｒａｌｉｎｔｅｒｐｏｌａｔｉｏｎ)により生成されることができ、反転バンド信号は、低帯域スペクトルフォールディング(ｌｏｗｂａｎｄｓｐｅｃｔｒａｌｆｏｌｄｉｎｇ)により生成されることができる。これに対しては後述する。

帯域拡張装置は、各エネルギー成分Ｇ_WB(ｊ)、Ｇ_Ext(ｊ)、Ｇ_Ref(ｊ)に基づいて超広帯域信号に対するエネルギー成分Ｇ_SWB(ｊ)を生成する(Ｓ５５０)。超広帯域信号に対するエネルギー成分を合成して生成する方法に対しては後述する。

帯域拡張装置は、超広帯域信号のエネルギー成分Ｇ_SWB(ｊ)と超広帯域信号の正規化されたスペクトルビン成分ＸＸＸを利用して超広帯域信号Ｘ_SWB(ｋ)を生成する(Ｓ５７０)。

超広帯域信号Ｘ_SWB(ｋ)の具体的な生成方法は後述する。

その後、帯域拡張装置は、ＩＭＤＣＴ(ＩｎｖｅｒｓｅＭＤＣＴ)を実行することで、復元された超広帯域信号を出力する(Ｓ５８０)。

前述したように、帯域拡張装置は、前記各ステップ(Ｓ５１０〜Ｓ５８０)に対応する機械的ユニットを含むことができる。例えば、帯域拡張装置は、ＭＤＣＴ部、グルーピング部、拡張及び反転部、エネルギー抽出及び正規化部、ＳＷＢエネルギー生成部、スペクトル係数予測部、ＳＷＢ信号生成部、ＩＭＤＣＴ部を含むことができる。そのとき、各機械的ユニットが実行する動作は、対応する各ステップに対して説明した通りである。

図６は、本発明による帯域拡張装置で実行する帯域拡張方法の他の例を概略的に説明する順序図である。図６の実施例では図５の実施例のように、Ｓ５００と同様なＭＤＣＴ実行ステップ(Ｓ６００)、Ｓ５１０と同様なグルーピングステップ(Ｓ６１０)、Ｓ５２０と同様な拡張及び反転ステップ(Ｓ６２０)、Ｓ５４０に対応するエネルギー抽出/正規化ステップ(Ｓ６３０)、Ｓ５５０に対応するＳＷＢ拡張ステップ(Ｓ６４０、Ｓ６５０、Ｓ６６０)、Ｓ５６０と同様なスペクトル係数予測ステップ(Ｓ６７０)、Ｓ５７０と同様なＳＷＢ信号生成ステップ(Ｓ６８０)、Ｓ５８０と同様なＩＭＤＣＴステップ(Ｓ６９０)を含む。

図６の場合には図５の場合と違って、エネルギー抽出/正規化ステップで入力信号のエネルギー成分Ｇ_WB(ｊ)のみを抽出し、これに基づいて反転バンド信号のエネルギー成分Ｇ_Ref(ｊ)を抽出するステップ(Ｓ６４０)と拡張バンド信号のエネルギー成分Ｇ_Ext(ｊ)を抽出するステップ(Ｓ６５０)は、ＳＷＢ拡張ステップで実行される。ＳＷＢ拡張ステップでは生成されたＧ_Ref(ｊ)とＧ_Ext(ｊ)、そして入力信号のエネルギー成分Ｇ_WB(ｊ)に基づいて超広帯域信号のエネルギー成分Ｇ_SWB(ｊ)を生成する(Ｓ６６０)。

図６の場合にも、帯域拡張装置は、前記各ステップ(Ｓ６００〜Ｓ６９０)に対応する機械的ユニットを含むことができる。例えば、帯域拡張装置は、ＭＤＣＴ部、グルーピング部、拡張及び反転部、エネルギー成分抽出及び正規化部、ＳＷＢ拡張部(反転バンド信号エネルギー成分抽出部、拡張バンド信号エネルギー成分抽出部、超広帯域信号エネルギー成分生成部)、スペクトル係数予測部、ＳＷＢ信号生成部、ＩＭＤＣＴ部を含むことができる。そのとき、各機械的ユニットが実行する動作は、対応する各ステップに対して説明した通りである。

図５及び図６の各ステップを前述した４個の大きいステップに分けると、(１)入力信号をＭＤＣＴドメインに変換するステップにはＭＤＣＴステップ(Ｓ５１０、Ｓ６００)が含まれることができ、(２)低帯域(広帯域)入力信号を利用して高帯域信号を生成するために拡張信号及び反転信号を生成するステップにはグルーピングステップ(Ｓ５２０、Ｓ６１０)と拡張及び反転ステップ(Ｓ５３０、Ｓ６２０)が含まれることができ、(３)高帯域信号を生成するために、エネルギー成分と正規化されたスペクトルビン成分を生成するステップにはエネルギー抽出及び正規化ステップ(Ｓ５４０、Ｓ６３０、Ｓ６４０、Ｓ６５０)、ＭＤＣＴ係数予測ステップ(Ｓ５６０、Ｓ６７０)、高帯域エネルギー合成ステップ(Ｓ５５０、Ｓ６６０)が含まれることができ、(４)入力信号の拡張された信号を生成し、これを出力するステップには超高帯域信号合成ステップ(Ｓ５７０、Ｓ６８０)とＩＭＤＣＴステップ(Ｓ５８０、Ｓ６９０)が含まれることができる。

図５及び図６に示す構成を有する帯域拡張装置は、復号化器内の独自のモジュールとして動作することができる。また、帯域拡張装置は、復号化器内の帯域予測部又は帯域合成部の一構成として動作することもできる。

一方、レイヤ構造を採用して、符号化器で以前レイヤの信号に基づいて高帯域信号を復元して処理する場合には、符号化器も本発明による帯域拡張装置を含むことができる。

以下、本発明によって拡張バンド信号及び反転バンド信号を構成する方法、エネルギー成分を抽出し、正規化成分を生成する方法、超広帯域信号のエネルギー成分を合成する方法、フェッチインデックスを算出し、これに基づいて超広帯域信号の正規化成分を生成する方法、エネルギー成分に対するスムージングを実行する方法、超広帯域信号を合成する方法に対して説明する。

<拡張バンド信号の構成/反転バンド信号の構成>

本発明による帯域拡張方法では入力信号(広帯域信号)より高帯域の信号を処理して超広帯域信号を出力する。

入力信号が約５０Ｈｚ〜７ｋＨｚの広帯域信号である場合、追加に処理する帯域は、７ｋＨｚ〜１４ｋＨｚの７ｋＨｚ帯域幅になる。そのとき、追加処理する帯域は、ベースライン符号化器として使われる符号化器の処理帯域幅と同じ帯域幅になる。即ち、ベースライン符号化器の処理帯域幅が７ｋＨｚである場合、ベースライン符号化器をそのまま使用しながら超広帯域信号を復元するために、７ｋＨｚの帯域幅が処理される。

そのとき、低帯域(広帯域)入力信号の帯域拡張のために低帯域信号をフェッチ(ｆｅｔｃｈ)する場合、いくつかの問題が発生することができる。例えば、７ｋＨｚの入力信号に対応する１〜２８０番目のスペクトルビンを７ｋＨｚ〜１４ｋＨｚの帯域に対応する２８１〜５６０番目のスペクトルビンとして使用するために、フェッチインデックスは２８０の値を有さなければならず、その場合、フェッチインデックスが固定されることによってフェッチインデックスを多様に選択/算出しにくい。また、ハーモニック性質が強い低帯域成分が７〜８ｋＨｚの拡張帯域信号として使われるため、音質劣化が発生する恐れがある。

しかし、このような問題を解決するために低帯域信号の一部を活用しない場合には、７ｋＨｚの帯域幅を拡張して超広帯域信号を復元することができない。

したがって、帯域拡張の以前に帯域幅を変化する必要がある。

本発明による帯域拡張方法では、低帯域信号を利用して帯域拡張をする前に、まず、拡張バンド信号(ＥｘｔｅｎｄｅｄＢａｎｄＳｉｇｎａｌ)Ｘ_Ext(ｋ)を構成する。これによって、フェッチのための選択(フェッチインデックス選択)の幅を広めることができ、ハーモニック性質が強い低帯域成分を超広帯域信号を生成するためにフェッチする帯域(区間)として処理しなくても７ｋＨｚの帯域幅を拡張することができる。

拡張バンド信号Ｘ_Ext(ｋ)は、入力信号Ｘ_WB(ｋ)のスペクトラムを２倍に増える２倍のスペクトルストレッチングを介して生成することができる。これを数式に表示すると、数式１の通りである。

ここで、Ｎは、入力信号のサンプリング個数の２倍に該当する個数を指示する。例えば、入力信号Ｘ_WB(ｋ)でｋが１≦ｋ≦２８０の場合、Ｎは５６０である。

一方、数式１を介して帯域拡張をする場合、既存の低帯域信号Ｘ_WB(ｋ)と拡張された信号Ｘ_Ext(ｋ)との間のエネルギー成分の差と位相成分の差によって最終的に復元された超広帯域信号に雑音が発生することができる。これを解決するために、エネルギーマッチング過程を介して低帯域信号Ｘ_WB(ｋ)と拡張された信号Ｘ_Ext(ｋ)の境界でエネルギーの差を補償することもできるが、エネルギー補償は、フレーム単位に行われるため、時間/周波数変換解像度の限界を招くようになる。

したがって、本発明では前記雑音が発生することを防止するために、反転バンド信号(ＲｅｆｌｅｃｔｅｄＢａｎｄＳｉｇｎａｌ)Ｘ_Ref(ｋ)を生成し、反転バンド信号と拡張バンド信号を共に利用して帯域拡張を実行する。

反転バンド信号Ｘ_Ref(ｋ)は、低帯域(広帯域)入力信号を高帯域信号に反転することによって生成することができる。これを数式に表示すると、数式２の通りである。

数式２では入力信号が２８０個のサンプルで構成された広帯域信号である場合を例として説明している。数式２において、Ｎ_wは、反転バンド信号を合成する時に使用する重複合算ウィンドウ(Ｏｖｅｒｌａｐ−ａｎｄ−ａｄｄＷｉｎｄｏｗ)の長さを示す。これに対してはエネルギー成分の合成に対する部分で再び説明する。

<エネルギー成分の抽出及び正規化>

本発明による帯域拡張方法では復元しようとする超広帯域信号のエネルギー成分と正規化されたスペクトルビンを互いに独立的な方法により予測する。

まず、各信号からエネルギー成分を抽出する。例えば、低帯域(広帯域)入力信号Ｘ_WB(ｋ)に対するエネルギー成分Ｇ_WB(ｊ)を抽出し、拡張バンド信号Ｘ_Ext(ｋ)に対するエネルギー成分Ｇ_Ext(ｊ)を抽出し、反転バンド信号Ｘ_Ref(ｋ)に対するエネルギー成分Ｇ_Ref(ｊ)を抽出する。

各信号に対するサブバンド別エネルギー成分は、該当サブバンド内の信号のゲイン(ｇａｉｎ)に対する平均値に抽出されることができる。これを数式に表示すると、数式３の通りである。

数式３において、ＸＸは、ＷＢ、Ｅｘｔ、Ｒｅｆのうちいずれか一つである。例えば、低帯域(広帯域)入力信号Ｘ_WB(ｋ)に対するエネルギー成分である場合、Ｇ_XX(ｊ)はＧ_WB(ｊ)であり、拡張バンド信号Ｘ_Ext(ｋ)に対するエネルギー成分である場合、Ｇ_XX(ｊ)はＧ_Ext(ｊ)であり、反転バンド信号Ｘ_Ref(ｋ)に対するエネルギー成分である場合、Ｇ_XX(ｊ)はＧ_Ref(ｊ)である。

また、数式３において、Ｍ_xxは、各信号に対するサブバンドの個数を示す。例えば、Ｍ_WBは、低帯域(広帯域)入力信号に属するサブバンドの個数を示し、Ｍ_Extは、拡張バンド信号に属するサブバンドの個数を示し、Ｍ_Refは、反転バンド信号に属するサブバンドの個数を示す。本発明の実施例のように、２８０個のスペクトルビンで構成される入力信号のエネルギー成分Ｇ_WB(ｊ)に対するＭ_WBは２８であり、５６０個のスペクトルビンで構成される拡張バンド信号のエネルギー成分Ｇ_Ext(ｊ)に対するＭ_Extは５６であり、１４０個のスペクトルビンで構成される反転バンド信号のエネルギー成分Ｇ_Ref(ｊ)に対するＭ_Refは１４である。反転バンド信号を構成するスペクトルビンの個数に対しては後述する。

各信号に対するスペクトルビンは、各信号に対するエネルギー成分に基づいて正規化されることができる。例えば、正規化されたスペクトルビンは、エネルギー成分に対するスペクトルビンの比になる。具体的に、正規化されたスペクトルビンは、該当スペクトルビンが属するサブバンド信号のエネルギー成分に対する該当スペクトルビンの比で定義されることができる。これを数式に表示すると、数式４の通りである。

数式４において、Ｋ_XXは、スペクトルビンの個数を示す。したがって、Ｋ_XXは、１０Ｍ_XXとなる。例えば、本発明の実施例のように、２８０個のスペクトルビンで構成される入力信号Ｘ_WB(ｋ)に対するＫ_WBは２８０であり、５６０個のスペクトルビンで構成される拡張バンド信号Ｘ_Ext(ｋ)に対するＫ_Extは５６０であり、１４０個のスペクトルビンで構成される反転バンド信号Ｘ_Ref(ｋ)に対するＫ_Refは１４０である。

したがって、周波数成分に対応する正規化されたスペクトルビンを得ることができる。

<超広帯域信号のエネルギー成分合成>

本発明による帯域拡張方法では、低帯域入力信号Ｘ_WB(ｋ)に基づいて生成された拡張バンド信号のエネルギー成分Ｇ_Ext(ｊ)及び反転バンド信号のエネルギー成分Ｇ_Ref(ｊ)を利用して超広帯域信号の高帯域エネルギー成分を生成する。

具体的に、本発明では拡張バンド信号のエネルギー成分と反転バンド信号のエネルギー成分を重複加重(Ｏｖｅｒｌａｐ−ａｎｄ−Ａｄｄ)して復元しようとする超広帯域信号において低帯域と高帯域の中間帯域に対するエネルギー成分を生成する。拡張バンド信号のエネルギー成分と反転バンド信号のエネルギー成分を重複合算するときに窓関数を利用することができる。例えば、本発明ではハニングウィンドウイング(ＨａｎｎｉｎｇＷｉｎｄｏｗｉｎｇ)を利用して中間帯域に対するエネルギー成分を生成することができる。

また、復元しようとする超広帯域信号の高帯域に対するエネルギー成分を拡張バンド信号を利用して生成することができる。

図７は、本発明によって超広帯域信号のエネルギー成分を合成する方法を概略的に説明する図面である。図７の(ａ)乃至(ｄ)において、縦軸は、信号のゲイン(ｇａｉｎ)又は強度(Ｉｎｔｅｎｓｉｔｙ：Ｉ)を示し、横軸は、信号の帯域、即ち、周波数(ｆｒｅｑｕｅｎｃｙ：ｆ)を示す。

図７(ａ)を参照すると、入力された低帯域(広帯域)の信号のエネルギー成分７００を高帯域までそのまま拡張する場合、図示されているようなエネルギー成分７１０を得るようになる。しかし、前述したように、入力信号をそのまま高帯域信号として使用する場合には、音質に問題が発生する恐れがあるだけでなく、ベースライン符号化器/復号化器との汎用性にも問題を引き起こす。

したがって、本発明では図７(ｂ)のように拡張バンド信号のエネルギー成分７２０を生成し、図７(ｃ)のように反転バンド信号のエネルギー成分７３０を生成して超高帯域信号のエネルギー成分を復元する。即ち、低帯域(広帯域)入力信号と拡張バンド信号の境界では反転バンド信号を利用して超高帯域信号を復元する。

前述したように、拡張バンド信号は、入力信号をスペクトル内挿法、即ち、スペクトルストレッチングして生成するため、入力信号より小さい傾きを有するようになる。したがって、入力信号の終端部分(ｋ＝２８０である部分とその隣接部分)とは一致しない、又は入力信号の終端部分で相互相関度が低くなることができる。

したがって、入力信号の終端部分では、前述したように、入力信号を反転して生成した反転バンド信号のエネルギー部分に加重値を付与して超高帯域信号のエネルギー成分を復元する。

図７(ｄ)は、入力信号のエネルギー成分、拡張バンド信号のエネルギー成分、及び反転バンド信号のエネルギー成分を利用して合成することを概略的に示している。図７(ｄ)を参照すると、入力信号のエネルギー成分と反転バンド信号のエネルギー成分との連結は、入力信号のエネルギー成分と拡張バンド信号のエネルギー成分との間の連結状態より正確である。

したがって、低帯域信号(入力信号)と高帯域信号との間の中間帯域に対するエネルギー成分は、反転バンド信号のエネルギー成分と拡張バンド信号のエネルギー成分に加重値を付与する方式に合成されることができる。そのとき、中間帯域の長さは、数式２で詳述した重複合算ウィンドウの長さになる。

例えば、中間帯域の下位部分(入力信号に近い部分)に対しては反転バンド信号のエネルギー成分に加重値を付与し、中間帯域の上位部分に対しては拡張バンド信号のエネルギー成分に加重値を付与することができる。そのとき、加重値は、窓関数として付与されることができる。

中間帯域以上の高帯域に対しては拡張バンド信号のエネルギー成分を超高帯域信号のエネルギー成分として利用する。

本発明の一実施例として、低帯域(広帯域)入力信号Ｘ_WB(ｋ)が２８個(０≦ｊ≦２７)のサブバンド信号で構成され、所定の帯域(例えば、拡張領域の半分)に対して拡張バンド信号のエネルギー成分と反転バンド信号のエネルギー成分が重複合算されるとする時、復元しようとする超広帯域信号のエネルギー成分は、数式５のように得られることができる。

数式５において、ｗは、ハニングウィンドウを示し、ｗ(ｎ)は、５６個のサンプルで構成されたハニングウィンドウのｎ番目の値を示す。ハニングウィンドウは、数式２で説明した重複合算ウィンドウの一例ということができる。

そのとき、数式５と違って、入力信号の帯域より上位帯域のみを考慮してハニングウィンドウを適用する場合には、数式６のように示すことができる。そのとき、数式６において、Ｇ_SWB(ｊ)はＧ_WB(ｊ)の帯域より高い帯域の信号に対するエネルギー成分のみを意味する。

数式６において、ｗ(ｎ)は、２８個のサンプルで構成されたハニングウィンドウのｎ番目の値を示す。

ハニングウィンドウ(ＨａｎｎｉｎｇＷｉｎｄｏｗ)は、連続する信号の所定部分を特定する時、該当部分の始めと終わりから信号の大きさを０に収束するようにする。

数式７は、本発明によって数式５と数式６に適用されることができるハニングウィンドウの一例を示す。

数式７において、ハニングウィンドウの長さは、数式５の中間帯域(２８≦ｊ≦４１)又は数式６の中間帯域(０≦ｊ≦１３)の長さであり、ハニングウィンドウの長さは、数式２で説明した重複合算ウィンドウの長さになる。数式７のハニングウィンドウを数式５に適用する場合、Ｎの値は、５６になることができる。また、数式７のハニングウィンドウを数式６に適用する場合、Ｎの値は、２８になることができる。

以下、数式５を利用して本発明を説明する。数式７を参照する時、数式５の中間帯域(２８≦ｊ≦４１)の重複合算において、拡張バンド信号のエネルギー成分に対するウィンドウの値は、中間帯域の開始点(ｊ＝２８)で０になり、反転バンド信号のエネルギー成分に対するウィンドウ値は、中間帯域の終了点(ｊ＝４１)で０になる。即ち、中間帯域の下位部分(入力信号に近い部分)に対しては反転バンド信号のエネルギー成分に加重値が付与され、中間帯域の上位部分に対しては拡張バンド信号のエネルギー成分に加重値が付与される。

数式５を参照すると、前述したように、本発明による帯域拡張において、超広帯域信号の低帯域部分に対するエネルギー成分では、入力信号(広帯域信号)のエネルギー成分を利用する。

数式６を利用する場合にも前述した方法と同様に本発明を具現することができ、ただし、その場合にはＮの値を２８にしてハニングウィンドウを適用する。数式６を利用する場合に得られる超広帯域信号のエネルギー成分は、全体超広帯域信号のエネルギー成分で低帯域のエネルギー成分Ｇ_WB(ｊ)が除外されたものであり、全体超広帯域信号のエネルギー成分は、数式６により得られたＧ_SWB(ｊ)とＧ_WB(ｊ)を共に利用して得ることができるという点に留意する。

<正規化されたスペクトルビンに対するフェッチインデックス(ｆｅｔｃｈｉｎｄｅｘ)>

本発明による帯域拡張方法では最適のフェッチインデックスを決定するために相互相関度を利用する。

即ち、超広帯域信号の正規化されたスペクトルビン成分は、入力信号(広帯域信号)の正規化されたスペクトルビン成分と拡張バンド信号の正規化されたスペクトルビン成分で構成されることができる。そのとき、拡張バンド信号の正規化されたスペクトルビン成分と復元しようとする超広帯域信号の正規化されたスペクトルビン成分との間の関係をフェッチインデックスを介して設定することができる。

例えば、入力信号に対する正規化されたスペクトルビン成分と最も相関度が高い拡張バンド信号の正規化されたスペクトルビンを決定する。相関度が最も高い拡張バンド信号の正規化されたスペクトルビンは、周波数ｋ値により特定されることができる。したがって、超広帯域信号において、入力信号の帯域以後の高帯域に対する正規化されたスペクトルビンは、相関度が最も高い拡張バンド信号の正規化されたスペクトルビンを特定する周波数を利用して決定されることができる。

以下、相関度が最も高い拡張バンド信号の正規化されたスペクトルビンを特定する周波数、即ち、フェッチインデックスを決定する方法を具体的に説明する。

相互相関度区間と相互相関度インデックスは、互いにトレードオフ(ｔｒａｄｅ−ｏｆｆ)の関係にある。相互相関度区間は、相互相関度の算出に利用する区間、即ち、相互相関度を判断する帯域を意味する。相互相関度インデックスは、相互相関度区間内で相互相関度を算出する特定周波数を指示する。相互相関度区間が広くなると、選択可能な相互相関度インデックスの個数は減り、相互相関度区間が狭くなると、選択可能な相互相関度インデックスの個数は増える。

入力信号帯域のうち、低帯域は、強い信号を含んでいるという点を考慮し、エラー発生を避けるために、相互相関度区間は、入力信号の帯域のうち、上位一部帯域に設定されることができる。

本発明による帯域拡張方法では、入力信号である広帯域信号が７ｋＨｚ帯域の２８０個サンプルで構成される場合(０≦ｋ≦２７９である場合)、相互相関度区間と相互相関度インデックス個数の和が１４０になるように設定してフェッチインデックス(最大相互相関度インデックス)を決定する。

最大相互相関度インデックスは、相互相関度区間内で入力信号の正規化されたスペクトルビン成分と最も相関度が高い拡張バンド信号の正規化されたスペクトルビン成分を特定する周波数を指示する。

本発明による実施例では、説明の便宜のために、相互相関度区間は、８０個のサンプルに該当する区間に設定し、相互相関度インデックスｉの個数(即ち、サンプルをシフト(ｓｈｉｆｔ)しながら相互相関度を測定する場合、シフト回数)は、６０に設定する場合を説明する。

その場合、最大相互相関度インデックスｍａｘ_ｉｎｄｅｘは、入力信号帯域０≦ｋ≦２７９のうち２０００≦ｋ≦２７９である区間内で、６０個のｋ値のうち入力信号の正規化されたスペクトルビン成分と拡張バンド信号の正規化されたスペクトルビン成分との間の相関度が最も高まるｋ値に決定されることができる。

これを数式に表示すると、数式８の通りである。

ここで、ＣＣ(ｘ(ｍ)ｙ(ｎ))は、相互相関度関数であり、数式９のように定義される。

前述したように、復元しようとする超広帯域信号の高帯域に対する正規化されたスペクトルビン成分は、最大相互相関度インデックスｍａｘ_ｉｎｄｅｘを利用して決定することができる。

例えば、入力信号である広帯域信号が７ｋＨｚ帯域の２８０個サンプルで構成される場合、超広帯域信号で２８０番目のサンプリング周波数以後ｋ番目の周波数成分での正規化されたスペクトルビンは、最大相互相関度インデックスからｋ番目の周波数成分での拡張バンド信号に対する正規化されたスペクトルビン成分になる。これを数式に表示すると、数式１０の通りである。

<エネルギースムージング>

前述したように生成された超広帯域信号のエネルギー成分Ｇ_SWB(ｊ)は、拡張バンド信号のエネルギー成分Ｇ_Ext(ｊ)と反転バンド信号のエネルギー成分Ｇ_Ref(ｊ)とを合成して生成したため、１４ｋＨｚ帯域の成分が大きく予測される恐れがある。

このような予測エラーに起因して高周波成分に雑音が入ることができる。即ち、超広帯域信号の高帯域が高いゲインを有して縦断される場合は、音質の劣化を招く恐れがある。

したがって、本発明では合成した超広帯域信号のエネルギー成分のうち、高帯域の上側一部エネルギー成分をスムージング(Ｓｍｏｏｔｈｉｎｇ)することができる。スムージングは、周波数成分によってエネルギー成分に一定の減殺を付与する。

例えば、高帯域の１０個のエネルギー成分に対してスムージングをする場合、超広帯域信号のエネルギー成分は、数式１１のようにスムージングされることができる。

<超広帯域(ＳＷＢ)信号の合成>

本発明による帯域拡張方法では、生成された超広帯域信号のエネルギー成分Ｇ_SWB(ｊ)と超広帯域信号の正規化されたスペクトルビンに基づいて超広帯域信号を復元することができる。ｋ番目の周波数成分での超広帯域信号は、ｋ番目の周波数成分での超広帯域信号の正規化されたスペクトルビンを時間/周波数変換係数にし、ｋ番目の周波数成分が属するサブバンドｊでのエネルギーを有する信号として示すことができる。

これを数式に表示すると、数式１２の通りである。

前述した例示的なシステムにおいて、方法は、一連のステップ又はブロックで順序図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは前述と異なるステップと異なる順序に又は同時に発生することができる。また、前述した実施例は、多様な態様の例示を含む。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正、及び変更を含む。

以上、本発明に対する説明において、一構成要素が他の構成要素に「連結されている」又は「接続されている」と言及された場合、前記一構成要素が他の構成要素に直接的に連結されている、又は接続されていることもあるが、前記二つの構成要素の間に他の構成要素が存在することもあると理解されなければならない。反面、一構成要素が他の構成要素に「直接連結されている」又は「直接接続されている」と言及された場合、二つの構成要素の間に他の構成要素が存在しないと理解されなければならない。

一方、前記第１の変換信号の正規信号は、前記第１の変換信号のエネルギー成分に対する前記第１の変換信号の比であり、前記第２の変換信号の正規信号は、前記第２の変換信号のエネルギー成分に対する前記第２の変換信号の比であり、前記第３の変換信号の正規信号は、前記第３の変換信号のエネルギー成分に対する前記第３の変換信号の比である。

前記第１の変換信号の正規信号は、前記第１の変換信号のエネルギー成分に対する前記第１の変換信号の比であり、前記第２の変換信号の正規信号は、前記第２の変換信号のエネルギー成分に対する前記第２の変換信号の比であり、前記第３の変換信号の正規信号は、前記第３の変換信号のエネルギー成分に対する前記第３の変換信号の比である。

図５及び図６の各ステップを前述した４個の大きいステップに分けると、(１)入力信号をＭＤＣＴドメインに変換するステップにはＭＤＣＴステップ(Ｓ５１０、Ｓ６００)が含まれることができ、(２)低帯域(広帯域)入力信号を利用して高帯域信号を生成するために拡張信号及び反転信号を生成するステップにはグルーピングステップ(Ｓ５２０、Ｓ６１０)と拡張及び反転ステップ(Ｓ５３０、Ｓ６２０)が含まれることができ、(３)高帯域信号を生成するために、エネルギー成分と正規化されたスペクトルビン成分を生成するステップにはエネルギー抽出及び正規化ステップ(Ｓ５４０、Ｓ６３０、Ｓ６４０、Ｓ６５０)、ＭＤＣＴ係数予測ステップ(Ｓ５６０、Ｓ６７０)、高帯域エネルギー合成ステップ(Ｓ５５０、Ｓ６６０)が含まれることができ、(４)入力信号の拡張された信号を生成し、これを出力するステップには超広帯域信号合成ステップ(Ｓ５７０、Ｓ６８０)とＩＭＤＣＴステップ(Ｓ５８０、Ｓ６９０)が含まれることができる。

したがって、本発明では図７(ｂ)のように拡張バンド信号のエネルギー成分７２０を生成し、図７(ｃ)のように反転バンド信号のエネルギー成分７３０を生成して超広帯域信号のエネルギー成分を復元する。即ち、低帯域(広帯域)入力信号と拡張バンド信号の境界では反転バンド信号を利用して超広帯域信号を復元する。

したがって、入力信号の終端部分では、前述したように、入力信号を反転して生成した反転バンド信号のエネルギー部分に加重値を付与して超広帯域信号のエネルギー成分を復元する。

中間帯域以上の高帯域に対しては拡張バンド信号のエネルギー成分を超広帯域信号のエネルギー成分として利用する。

Claims

入力信号をＭＤＣＴ処理して第１の変換信号を生成するステップと、
前記第１の変換信号に基づいて第２の変換信号及び第３の変換信号を生成するステップと、
前記第１の変換信号、第２の変換信号、第３の変換信号から各々の正規成分及びエネルギー成分を生成するステップと、
前記各々の正規信号から拡張正規成分を生成し、前記各々のエネルギー成分から拡張エネルギー成分を生成するステップと、
前記拡張正規成分と前記拡張エネルギー成分に基づいて拡張変換信号を生成するステップと、
前記拡張変換信号をＩＭＤＣＴ処理するステップと、
を含み、
前記第２の変換信号は、前記第１の変換信号を上位の周波数帯域にスペクトル拡張した信号であり、
前記第３の変換信号は、前記第１の変換信号を第１の基準周波数帯域に対して反転させた信号であることを特徴とする帯域拡張方法。
前記第２の変換信号は、前記第１の変換信号の信号帯域を上位帯域に２倍拡張した信号であることを特徴とする請求項１に記載の帯域拡張方法。
前記第３の変換信号は、前記第１の変換信号の最上段の周波数に対して前記第１の変換信号を反転させた信号であり、前記第３の変換信号は、前記第１の変換信号の最上段の周波数を中心にした重複帯域幅内で定義されることを特徴とする請求項１に記載の帯域拡張方法。
前記第３の変換信号は、前記重複帯域幅内で前記第１の変換信号と合成されることを特徴とする請求項３に記載の帯域拡張方法。
前記第１の変換信号のエネルギー成分は、第１の周波数区間に対する前記第１の変換信号の平均絶対値であり、前記第２の変換信号のエネルギー成分は、第２の周波数区間に対する前記第２の変換信号の平均絶対値であり、前記第３の変換信号のエネルギー成分は、第３の周波数区間に対する前記第３の変換信号の平均絶対値であり、前記第１の周波数区間は、前記第１の変換信号が定義される周波数区間内に存在し、前記第２の周波数区間は、前記第２の変換信号が定義される周波数区間内に存在し、前記第３の周波数区間は、前記第３の変換信号が定義される周波数区間内に存在することを特徴とする請求項１に記載の帯域拡張方法。
前記第１乃至第３の周波数区間の大きさは、前記第１乃至第３の変換信号が定義される周波数帯域のうち連続する１０個の周波数帯域に該当し、前記第１の変換信号が定義される周波数区間は、前記第１の変換信号が定義される最低周波数帯域から連続する２８０個の上位の周波数帯域に該当し、前記第２の変換信号が定義される周波数区間は、前記第１の変換信号が定義される最低周波数帯域から連続する５６０個の上位の周波数帯域に該当し、前記第３の変換信号が定義される周波数区間は、前記第１の変換信号が定義される最上周波数帯域を中心に連続する１４０個の周波数帯域に該当することを特徴とする請求項５に記載の帯域拡張方法。
前記第１の変換信号の正規信号は、前記第１の変換信号のエネルギー成分に対する前記第１の変換信号であり、前記第２の変換信号の正規信号は、前記第２の変換信号のエネルギー成分に対する前記第２の変換信号であり、前記第３の変換信号の正規信号は、前記第３の変換信号のエネルギー成分に対する前記第３の変換信号であることを特徴とする請求項１に記載の帯域拡張方法。
前記拡張エネルギー成分は、前記第１の変換信号が定義される周波数帯域幅Ｋの第１のエネルギー区間内で、前記第１の変換信号のエネルギー成分であり、前記第１のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第２のエネルギー区間では前記第２の変換信号のエネルギー成分及び前記第３の変換信号のエネルギー成分の重複であり、前記第２のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第３のエネルギー区間では前記第２の変換信号のエネルギー成分であることを特徴とする請求項１に記載の帯域拡張方法。
前記第２のエネルギー区間の前半では前記第３の変換信号のエネルギー成分に加重値を付加し、前記第２のエネルギー区間の後半では前記第２の変換信号のエネルギー成分に加重値を付加することを特徴とする請求項８に記載の帯域拡張方法。
前記拡張正規成分は、第２の基準周波数帯域を基準に、前記第２の基準周波数帯域より低い周波数帯域では前記第１の変換信号の正規成分であり、前記第２の基準周波数帯域より高い周波数帯域では前記第２の変換信号の正規成分であり、前記第２の基準周波数帯域は、前記第１の変換信号と前記第２の変換信号との間の相互相関度が最大となる周波数帯域であることを特徴とする請求項１に記載の帯域拡張方法。
前記拡張正規成分及び拡張エネルギー成分の生成ステップでは、前記拡張エネルギー成分が定義される最上位の周波数帯域で前記拡張エネルギー成分に対するスムージングを実行することを特徴とする請求項１に記載の帯域拡張方法。
入力信号をＭＤＣＴ処理して第１の変換信号を生成する変換部、
前記第１の変換信号に基づいて信号を生成する信号生成部、
前記第１の変換信号及び前記信号生成部で生成された信号を合成して拡張帯域信号を生成する信号合成部、及び、
前記拡張帯域信号をＩＭＤＣＴ処理する逆変換部、
を含み、
前記信号生成部は、前記第１の変換信号を上位の周波数帯域にスペクトル拡張して第２の変換信号を生成し、
前記第１の変換信号を第１の基準周波数に対して反転して第３の変換信号を生成し、
前記第１乃至第３の変換信号から正規成分とエネルギー成分を抽出し、
前記信号合成部は、
前記第１の変換信号及び第２の変換信号の正規成分に基づいて拡張正規成分を合成し、
前記第１の変換信号乃至第３の変換信号のエネルギー成分に基づいて拡張エネルギー成分を合成し、
前記拡張正規成分と前記拡張エネルギー成分に基づいて拡張帯域信号を生成することを特徴とする帯域拡張装置。
前記第１の変換信号のエネルギー成分は、第１の周波数区間に対する前記第１の変換信号の平均絶対値であり、前記第２の変換信号のエネルギー成分は、第２の周波数区間に対する前記第２の変換信号の平均絶対値であり、前記第３の変換信号のエネルギー成分は、第３の周波数区間に対する前記第３の変換信号の平均絶対値であることを特徴とする請求項１２に記載の帯域拡張装置。
前記第１の変換信号の正規信号は、前記第１の変換信号のエネルギー成分に対する前記第１の変換信号であり、前記第２の変換信号の正規信号は、前記第２の変換信号のエネルギー成分に対する前記第２の変換信号であり、前記第３の変換信号の正規信号は、前記第３の変換信号のエネルギー成分に対する前記第３の変換信号であることを特徴とする請求項１２に記載の帯域拡張装置。
前記拡張エネルギー成分は、前記第１の変換信号が定義される周波数帯域幅Ｋの第１のエネルギー区間内で、前記第１の変換信号のエネルギー成分であり、前記第１のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第２のエネルギー区間では前記第２の変換信号のエネルギー成分及び前記第３の変換信号のエネルギー成分の重複であり、前記第２のエネルギー区間の最上段の周波数帯域から幅Ｋ/２の上位区間である第３のエネルギー区間では前記第２の変換信号のエネルギー成分であることを特徴とする請求項１２に記載の帯域拡張装置。
前記第２のエネルギー区間の前半では前記第３の変換信号のエネルギー成分に加重値を付加し、前記第２のエネルギー区間の後半では前記第２の変換信号のエネルギー成分に加重値を付加することを特徴とする請求項１５に記載の帯域拡張装置。
前記拡張正規成分は、第２の基準周波数帯域を基準に、前記第２の基準周波数帯域より低い周波数帯域では前記第１の変換信号の正規成分であり、前記第２の基準周波数帯域より高い周波数帯域では前記第２の変換信号の正規成分であり、前記第２の基準周波数帯域は、前記第１の変換信号と前記第２の変換信号との間の相互相関度が最大となる周波数帯域であることを特徴とする請求項１２に記載の帯域拡張装置。