JP2005173607A - 時間的に離散した音声信号のアップサンプリングした信号を発生する方法と装置 - Google Patents

Abstract

【課題】時間的に離散した音声信号のアップサンプリングした信号を発生する方法と装置とを提供する。
【解決手段】該音声信号が第１のサンプリングレートによりサンプリングされ、音声信号の分析された信号を与えられ（２００１，２００３）る。該分析された信号は、Ｌ個のチャネル分析フィルタバンクにより得られたＬ個の分析サブバンド信号を含み、Ｌ個の低域チャネルとＬ（Ｑ−１）個の高域チャネルとを有するＱＬ個のチャネル合成フィルタバンクを使用して音声信号の分析された信号をフィルタリング（２００５，２００７）して、該時間的に離散した音声信号のアップサンプリングした信号を形成する。音声信号のアップサンプリングされた信号は該音声信号と同一の帯域幅を持つようにし、Ｌ個の低域チャネルのサブバンド信号の数を高域チャネルの数にパッチングして、音声信号のアップサンプリングした信号の帯域を拡大する。
【選択図】図２０

Description

原始コーディング装置では、必要なビットレートや記憶容量を減らすためにディジタルデータを圧縮して伝送または記憶する。本発明は、スペクトル帯域複製（ＳＢＲ）により原始コーディング（source coding）を改善する新規な方法と装置に関するものである。同じ知覚品質を保持してビットレートを実質的に下げ、逆に所定のビットレートで知覚品質を高める。これは、エンコーダ側でスペクトル帯域幅を縮小し、デコーダ側で後のスペクトル帯域を複製することにより行う。本発明はスペクトル領域での信号冗長度の新しい概念を活用する。

オーディオ原始コーディング技術は２種類ある。すなわち、自然オーディオコーディングと音声コーディングである。自然オーディオコーディングは中位のビットレートの音楽や任意の信号に共通に用いられており、オーディオ帯域幅は一般に広い。音声コーダは基本的に音声の再生に限られるが、他方では非常に低いビットレートで用いることができる。ただしオーディオ帯域幅は狭い。広帯域音声は狭帯域音声に比べて主な主観的品質が優れている。帯域幅を広くすると、音声の明瞭度と自然さが増すだけでなく、話す人を識別しやすくなる。このように広帯域音声コーディングは次世代電話システムにとって重要な課題である。更に、マルチメディア分野が非常に成長したので、音楽や非音声信号を電話システムにより高品質で伝送することが望ましい。

高忠実度の線形ＰＣＭ信号は、ビットレート対知覚エントロピーに関して非常に効率が悪い。ＣＤの標準は４４．１ｋＨｚのサンプリング周波数と、サンプル当たり１６ビットの分解能と、ステレオである。これは１４１１キロビット／ｓのビットレートに等しい。ビットレートを大幅に下げるため、分割帯域知覚オーディオコーデックを用いて原始コーディングを行うことができる。これらの自然オーディオコーデックは信号内の知覚無関係性と統計的冗長度を用いる。最高のコーデック技術を用いると、標準のＣＤフォーマット信号のデータを約９０％縮小しても実際上は劣化したと感じない。このように、ステレオでは約９６キロビット／ｓ、すなわち約１５：１の圧縮率で、非常に高い音質が得られる。或る知覚コーデックは更に高い圧縮率を用いる。このためには、サンプリングレート（したがってオーディオ帯域幅）を下げるのが普通である。また量子化レベルの数を減らし（量子化歪みが聞こえることがある）、また強化コーディングによるステレオフィールドの劣化を用いるのが普通である。このような方法を余り用いると、耳障りな知覚劣化を生じる。現在のコーデック技術は飽和点に近く、符号化利得が更に進むことは期待できない。符号化性能を高めるには、新しい方式が必要である。

人の声や殆どの楽器は、振動システムから発生する準定常信号を生成する。フーリエ理論によると、周期的信号は周波数ｆ、２ｆ、３ｆ、４ｆ、５ｆなどの正弦波の和で表される。ただし、ｆは基本周波数である。これらの周波数は調波系列を形成する。この信号の帯域幅を制限することは、調波系列を切り捨てることに相当する。切捨てを行うと楽器や音声の音色が変わり、オーディオ信号は「弱い」または「鈍い」音になり、明瞭度が下がる。音質の主観的印象にとって高周波はこのように重要である。

従来の方法は、音声コーデック性能を高めることが主体で、特に音声符号化における問題である高周波再生（ＨＦＲ）を目的としている。従来の方法は広帯域直線周波数シフトや、非線形性や、エイリアシングを用いて［特許文献１］相互変調やその他の非調波周波数成分を生成するので、これを音楽信号に適用するとひどい不協和音を生じた。この不協和音を音声符号化関係の文献では「耳障り」または「調子はずれ」の音と呼ぶ。他の合成音声ＨＦＲ法は基本ピッチ推定に基づく正弦高調波を生成するので、定常音に限られる［特許文献２］。これらの従来の方法は低品質の音声応用には有用であるが、高品質音声または音楽信号には使えない。高品質のオーディオ原始コーデックの性能を高める方法がいくつかある。その１つは、デコーダで生成された合成雑音信号を用いて、以前はエンコーダで捨てられていた音声または音楽内の雑音的信号に代える（非特許文献１）。これは雑音信号があるときに、本来正常に伝送される高帯域内で断続的に行われる。別の方法は、符号化の過程で失われた或る高帯域の高調波を再現する（非特許文献２）。これも音信号とピッチ検出に依存する。この２つの方法は低いデューティサイクルで動作し、比較的限定された符号化または性能の利得が得られる。
米国特許第５，１２７，０５４号 米国特許第４，７７１，４６５号 米国特許第５，０４０，２１７号 米国特許第５，６８４，９２０号 米国特許第５，６８７，１９１号 「雑音代替によるオーディオコーデックの改善(Improving Audio Codecs by Noise Substitution)」、D. Schulz, JAES, Vol. 44, No. 7/8, 1996 「オーディオスペクトルコーダ (Audio Spectral Coder)」、A. J. S. Ferreira, AES Preprint 4201, 100th Convention, May 11-14, 1996, Copenhagen 「音の協和と臨界帯域幅 (Tonal Consonance and Critical Bandwidth)」、R. Plomp, W. J. M. Levelt JASA, Vol. 38, 1965 「音声のパターン探索予測(Pattern Search Prediction of Speech)」、R. Bogner, T. Li, Proc. ICASS, '89, Vol. 1, May 1989 「非線形発振器モデルに基づく音声のタイムスケール修正(Time-Scale Modification of Speech based on a nonlinear Oscillator Model)」、G. Kubin, W. B. Kleijin, IEEE, 1994 「高速フーリエ変換を用いた位相ボコーダの実現 (Implementaion of the Phase Vocoder using the Fast Fourier Transform)」、M. R. Portnoff, IEEE ASSP, Vol. 24, No. 3, 1976 「知覚コーディング入門 (Introduction to Perceptual Coding)、K. Brandenburg, AES, ディジタルオーディオのビットレート減少に関する論文集 (Collected Papers on Digital Audio Bitrate Reduction), 1996 「マルチレートシステムとフィルタバンク(Multirate Systems and Filter Banks)」、P. P. Vaidyanathan, Prentice Hall, Englewood Cliffs, New Jersey, 1993, ISBN 0-13-605718-7 「効率的変換／サブバンド符号化のための重ね合わせ変換 (Lapped Transform for Efficient Transform/Subband Coding)」、H. S. Malvar, IEEE Trans ASSP, vol. 38, no. 6, 1990 Stockham「自動利得制御への一般化された線形性の適用 (Application of Generalized Linearity to Automatic Gain Control)」、T. G. Stockham, Jr, IEEE Trans. on Audio and Electroacoustics, Vol. AU-16, No. 2, June 1968 「ベクトル量子化と信号圧縮 (Vector Qantization and Signal Compression)」、A. Gersho, R. M. Gray, Kluwer Academic Publishers, USA 1992, ISBN 0-7923-9181-0

本発明はディジタル原始コーディング装置を実質的に改善する、より特定するとオーディオコーデックを改善する、新しい方法と装置を提供する。目的は、ビットレートの低下、または知覚品質の向上、またはその両方を含む。本発明は調波冗長度を活用した新しい方法により、伝送または記憶を行う前に信号の通過帯域を廃棄する可能性を提供する。本発明によりデコーダが高品質のスペクトル複製を行う場合は、知覚劣化は起こらない。廃棄ビットは一定の知覚品質における符号化利得を表す。または、一定のビットレートにおいて低帯域情報の符号化に更に多くのビットを割り当てて、より高い知覚品質を得ることができる。

本発明は、廃棄された調波系列は低帯域スペクトル成分と高帯域スペクトル成分の間の直接の関係に基づいて伸張することができると仮定する。この伸張された系列は、次の規則に従っていれば初めの系列と似ていると知覚される。第１に、不協和音に関係する人工音が出ないようにするために、外挿されるスペクトル成分は廃棄された調波系列と調波的に関係していなければならない。本発明はスペクトル複製プロセスの手段として置換を用いる。これは確かにこの判定基準を満たす。しかし優れた動作をするためには低帯域スペクトル成分が調波系列を形成する必要はない。その理由は、低帯域成分と調波的に関係する新しい複製成分は信号の雑音的または過渡的な性質を変えないからである。置換とは、部分音の周波数比を保ちながら部分音を音階上の１つの位置から別の位置に移すことである。第２に、複製された高帯域のスペクトル包絡線（すなわち、粗いスペクトル分布）は初めの信号と十分似ていなければならない。本発明は２つの動作モードＳＢＲ−１とＳＢＲ−２を提供する。この２つは、スペクトル包絡線を調整する方法が異なる。

ＳＢＲ−１は中間品質コーデック応用を改善するシングルエンド形のプロセスであって、デコーダが受ける低帯域信号すなわち低域信号に含まれる情報に完全に依存する。この信号のスペクトル包絡線は、例えば多項式と規則の集合すなわちコードブックを用いて決定され、外挿される。この情報を用いて、複製された高帯域を絶えず調整し等化する。このＳＢＲ−１法は後処理の利点を持つ。すなわちエンコーダ側では修正する必要がない。放送業者はチャンネルの利用度を高め、または知覚品質を高め、またはその両者が得られる。既存のビットストリーム構文と標準を修正せずに用いることができる。

ＳＢＲ−２は高品質コーデック応用を改善するダブルエンド形のプロセスであって、ＳＢＲ−１により伝送される低帯域信号の他に、高帯域のスペクトル包絡線を符号化して伝送する。スペクトル包絡線の変動速度は高帯域信号成分よりかなり低いので、限られた量の情報だけを伝送すればスペクトル包絡線を十分表すことができる。ＳＢＲ−２を用いれば、既存の構文やプロトコルを全くまたは殆ど修正せずに現在のコーデック技術の性能を高めることができるので、今後のコーデックの開発の貴重なツールである。

ＳＢＲ−１もＳＢＲ−２も、音響心理学モデルにより規定されたエンコーダがビット欠乏状態の下で低帯域の小さな通過帯域を停止したとき、これらを複製するのに用いられる。低帯域内のスペクトル複製と低帯域外のスペクトル複製により、知覚品質が高まる。更に、ＳＢＲ−１とＳＢＲ−２はビットレートスケーラビリティを用いるコーデックにも用いることができる。この場合、受信器での信号の知覚品質は伝送チャンネルの状態によって変わる。通常は、これは受信器でのオーディオ帯域幅の厄介な変動を意味する。この状態でＳＢＲ法を用いると常に高い帯域幅を保持するので、やはり知覚品質を高めることができる。

本発明は連続的に動作し、どんな種類の信号内容、すなわち音または非音（雑音的信号や過渡信号）も複製する。更に、本発明のスペクトル複製法はデコーダで利用できる周波数帯域から、廃棄された帯域を知覚的に正確に複製することができる。したがってＳＢＲ法を用いると、従来の方法に比べて実質的に高いレベルで符号化利得が得られ、または知覚品質を高めることができる。本発明を従来のコーデック改善法と組み合わせることはできるが、組み合わせても性能が高まることは期待できない。
ＳＢＲ法は次のステップを含む。
・ 初めの信号から得た信号を符号化し、信号の周波数帯域を廃棄する。廃棄は符号化の前か途中に行い、第１信号を形成する。
・ 第１信号の復号中またはその後で、第１信号の周波数帯域を置換して第２信号を形成する。
・ スペクトル包絡線を調整する。
・ 復号された信号と第２信号を組み合わせて出力信号を形成する。

第２信号の通過帯域は第１信号の通過帯域と重ならないようにまたは部分的に重なるように設定してよく、初めの信号および／または第１信号の時間特性、または伝送チャンネルの状態に従って設定する。スペクトル包絡線の調整は、前記第１信号から初めのスペクトル包絡線を推定したもの、または初めの信号の伝送された包絡線情報に基づいて行う。

本発明は２つの基本型のトランスポーザ（置換装置）を含む。すなわち、多帯域トランスポーザと時変パターン探索予測トランスポーザであって、これらは異なる特性を有する。本発明では基本的な多帯域置換を次のように行う。
・ 置換される信号を、それぞれ周波数［ｆ_１，．．．，ｆ_Ｎ］を含む通過帯域を持つＮ（≧２）個の通過帯域フィルタの集合で濾波して、Ｎ個の帯域信号を形成する。
・ 帯域信号の周波数を周波数Ｍ［ｆ_１，．．．，ｆ_Ｎ］を含む領域にシフトする。ただし、Ｍ≠１は置換係数である。
・ シフトされた帯域信号を結合して置換信号を形成する。
または、本発明ではこの基本的多帯域置換を次のように行う。
・ 置換される信号を、低域型の実数値または複素値サブバンド信号を生成する性質の分析フィルタバンクまたは変換を用いて帯域濾波する。
・ 任意のチャンネル数ｋの前記分析フィルタバンクまたは変換を、合成フィルタバンクまたは変換内のＭｋ（Ｍ≠１）チャンネルに接続する。
・ 合成フィルタバンクまたは変換を用いて、置換された信号を形成する。

本発明の１つの改善された多帯域置換は位相調整を含み、基本的な多帯域置換の性能を強化する。

本発明では時変パターン探索予測置換を次のように行う。
・ 第１信号の過渡検出を行う。
・ 過渡検出の結果に従って、第１信号の一部を複写／廃棄するときに、第１信号のどのセグメントを用いるかを決定する。
・ 過渡検出の結果に従って、状態ベクトルとコードブック特性を調整する。
・ 前の同期点探索で見出された同期点に基づいて、第１信号の選択されたセグメント内の同期点を探す。

本発明のＳＢＲ法は次の特徴を有する。
１． この方法と装置はスペクトル領域内の信号冗長性の新しい概念を活用する。
２． この方法と装置は任意の信号に適用することができる。
３． 各調波集合は個々に作成して制御することができる。
４． 全ての複製された高調波は既存の調波系列の延長を形成するようにして生成する。
５． スペクトル複製プロセスは置換に基づくもので、人工音は全くまたは殆ど知覚されない。
６． スペクトル複製は多数の小帯域および／または広い周波数範囲をカバーすることができる。
７． ＳＢＲ−１法では、処理はデコーダ側だけで行う。すなわち、全ての標準およびプロトコルを修正せずに用いることができる。
８． ＳＢＲ−２法は修正を全くまたは殆どせずに、殆どの標準やプロトコルに従って実現することができる。
９． ＳＢＲ−２法はコーデック設計者に新しい強力な圧縮ツールを提供する。
１０． 符号化利得は顕著である。

最も魅力的な応用は、各種の低ビットレートコーデック、例えば、ＭＰＥＧ１／２層Ｉ／ＩＩ／ＩＩＩ［特許文献３］や、ＭＰＥＧ２／４ ＡＡＣ、Ｄｏｌｂｙ ＡＣ−２／３、ＮＴＴ ＴｗｉｎＶＱ［特許文献４］や、ＡＴ＆Ｔ／Ｌｕｃｅｎｔ ＰＡＣなど、の改善に関する。またこの発明は知覚品質を高めるための、高帯域ＣＥＬＰやＳＢ−ＡＤＰＣＭ Ｇ．７２２などの、高品質音声コーデックにも有用である。上記のコーデックはマルチメディアや、電話産業や、インターネットや、専門的な応用に広く用いられている。Ｔ−ＤＡＢ（地上ディジタルオーディオ放送）システムは低ビットレートプロトコルを用いており、本方法を用いるとチャンネル使用度が上がり、またはＦＭやＡＭ ＤＡＢの品質を高めることができる。衛星Ｓ−ＤＡＢはシステムコストが非常に高いので、本方法を用いてＤＡＢマルチプレクスのプログラムチャンネル数を増やすことにより大きな利益を得る。更に、低ビットレート電話モデムを用いて、インターネットにより初めて全帯域幅オーディオ実時間ストリーミングを達成することができる。
以下に本発明について添付の図面を参照して例を用いて説明するが、これは本発明の範囲や精神を制限するものではない。

実施の形態の説明を通じて、自然オーディオ原始コーディング応用に重点を置いて述べる。しかし理解されるように、本発明はオーディオ信号の符号化や復号の応用の他に広範囲の原始コーディング応用に適用できるものである。

置換の基礎
本発明で述べる置換はスペクトル複製の理想的な方法であって、従来の方法に比べていくつかの大きな利点を持つ。すなわち、ピッチ検出は必要なく、単一ピッチで多音のプログラム材料において同じ高性能が得られ、置換は音信号にも非音信号にも同じように良く適用できる。他の方法とは異なり、本発明の置換は任意の信号の種類において任意のオーディオ原始コーディング装置に用いることができる。

時変振幅を持つコサインの和の形の離散時間信号ｘ（ｎ）の正確な置換係数Ｍは、次の関係で定義される。

ただしＮは正弦波の数（以後は部分音と呼ぶ）、ｆ_ｉとｅ_ｉ（ｎ）とα_ｉはそれぞれ個々の入力周波数と時間包絡線と位相定数、β_ｉは任意の出力位相定数、ｆｓはサンプリング周波数、そして０≦Ｍｆ_ｉ≦ｆ_ｓ／２である。

図２にＭ次高調波の生成を示す。ただし、Ｍは整数≧２である。Ｍ次高調波という語は簡単のために用いた。実際は、このプロセスは或る周波数領域で全ての信号にＭ次高調波を生成するが、多くの場合は次数の分からない高調波である。周波数領域の表現Ｘ（ｆ）を持つ入力信号２０１の帯域は０からｆ_ｍａｘの範囲に限定される。ｆ_ｍａｘ／ＭからＱｆ_ｍａｘ／Ｍ（Ｑは望ましい帯域幅伸張係数で１＜Ｑ≦Ｍ）の範囲内の信号内容を帯域フィルタで取り出して、スペクトルＸ_ＢＰ（ｆ）を持つ帯域信号２０３を形成する。帯域信号を係数Ｍで置換して、ｆｍａｘからＱｆｍａｘの範囲をカバーするスペクトルＸ_Ｔ（ｆ）を持つ第２帯域信号２０５を形成する。この信号のスペクトル包絡線をプログラム制御の等化器で調整して、スペクトルＸ_Ｅ（ｆ）を持つ信号２０７を形成する。次にこの信号と遅延させた入力信号とを結合して、帯域フィルタとトランスポーザにより生じる遅れを補償して、０からＱｆ_ｍａｘの範囲をカバーするスペクトルＹ（ｆ）を持つ出力信号２０９を形成する。または帯域濾波は、遮断周波数ｆ_ｍａｘとＱｆ_ｍａｘを用いて置換Ｍの後で行う。多重トランスポーザを用いて、異なる調波次数を同時に生成することはもちろん可能である。図３に示すように入力信号がｆ_０からＱｆ_０にわたる通過帯域３０１を有する場合、上記の方式を用いて入力信号内の通過帯域を「充填する」こともできる。この場合は通過帯域［ｆ_０／Ｍ，Ｑｆ_０／Ｍ］を取り出し（３０３）、係数Ｍで［ｆ_０，Ｑｆ_０］に置換し（３０５）、包絡線を調整し（３０７）、遅延入力信号と結合してスペクトルＹ（ｆ）を持つ出力信号３０９を形成する。

正確な置換の近似を用いてもよい。本発明では、このような近似の質を不協和音理論を用いて決定する。不協和音の判定基準は Plomp により示されており［非特許文献３］、２つの部分音の周波数の差がそれらが存在する臨界帯域の帯域幅の約５乃至５０％以内である場合は、２つの部分音は不協和と見なされる。例えば、所定の周波数の臨界(critical)帯域幅は次式で近似できる。

ただしｆとｃｂはＨｚで表す。更に Plomp は、２つの部分音の周波数の差がそれが存在する臨界帯域幅の約５％以下である場合は、人の聴覚システムはこの２つを識別することができないと述べている。式２の正確な置換を次式で近似することができる。

ただし、Δｆ_ｉは正確な置換からの偏差である。入力部分音が調波系列を形成する場合は、本発明の仮説によると、置換された部分音の調波系列からの偏差はそれらが存在する臨界帯域幅の５％を超えてはならない。従来の方法が不快な「耳障り」や「調子はずれ」を生じるのは、広帯域直線周波数シフトにより許容できないほど大きな偏差を生じるからである。従来の方法が１入力部分音に対して２以上の部分音を生成するとき、１部分音として知覚されるためには部分音はやはり上述の偏差限界内になければならない。非線形性などを用いる従来の方法は偏差限界内にない相互変調部分音を作るので、良い結果が得られない。

本発明のスペクトル複製法に基づく上記の置換を用いると、次の重要な性質が得られる。
・ 通常は、複製された高調波と既存の部分音の間に周波数領域の重なりが起こらない。
・ 複製された部分音は入力信号の部分音と調波的に関係があり、耳障りな不協和音すなわち人工音を一切生じない。
・ 複製された高調波のスペクトル包絡線は入力信号スペクトル包絡線の滑らかな継続を形成し、初めの包絡線と知覚的に一致する。

時変パターン探索予測に基づく置換
必要なトランスポーザを設計するには種々の方法がある。一般的な時間領域実現では、ピッチ周期に基づいて信号セグメントを複製することにより信号を時間的に伸張する。次にこの信号を異なる速度で読み出す。残念ながらこの方法は、信号セグメントを正確に時間接続するのにピッチ検出に厳密に依存する。更に、ピッチ周期に基づく信号セグメントには制約があるので、過渡信号に敏感になる。検出されたピッチ周期は実際の過渡信号よりかなり長いことがあるので、全過渡信号を単に時間的に伸張するのではなく複写するという危険が大きいことは明らかである。別の種類の時間領域アルゴリズムでは、出力信号のパターン探索予測を用いて音声信号の時間伸張／圧縮を得る［非特許文献４や、非特許文献５］。これは粒状合成(granular synthesis) の１つの形であって、入力信号を小さな部分（細粒）に分割し、これを用いて出力信号を合成する。この合成には通常は信号セグメントの相関を取って、最良の接続点を決定する。これは、出力信号を形成するのに用いるセグメントがピッチ周期に依存しないのでピッチ検出という厄介なタスクを必要としないことを意味する。しかしこの方法にも信号振幅が急速に変わるときの問題がまだあり、高品質の置換のためには高速計算が必要になる。しかし改善された時間領域のピッチシフタ／トランスポーザをここに提示する。この方式は過渡検出と動的システムパラメータを用いることにより、定常音（音または非音）でも過渡音でも、高い置換係数の一層正確な置換を低い計算コストで行うことができる。

次に図面を参照する。各図面の同じ要素は同じ番号で示す。図４に９個の別個のモジュールを示す。すなわち、過渡検出器４０１と、窓位置調整器４０３と、コードブック発生器４０５と、同期信号選択器４０７と、同期位置メモリ４０９と、最小差推定器４１１と、出力セグメントメモリ４１３と、混合ユニット４１５と、ダウンサンプラ４１７である。入力信号はコードブック発生器４０５と過渡検出器４０１に入る。過渡信号を検出すると、その位置を窓位置モジュール４０３に送る。このモジュールは窓の大きさと位置を規定し、コードブックを作るとき入力信号と掛け算する。別のトランスポーザに接続している場合は、コードブック発生器４０５は同期選択モジュール４０７から同期位置を受ける。この同期位置がコードブック内にある場合は、これを用いて出力セグメントを生成する。ない場合は、コードブックを最小差推定器４１１に送り、最小差推定器４１１は新しい同期位置を返す。新しい出力セグメントと前の出力セグメントを共に混合モジュール４１５で窓に入れ、モジュール４１７でダウンサンプリングする。

説明を明確にするために状態空間表現を用いる。ここで状態ベクトルすなわち細粒は、入力信号と出力信号を表す。入力信号を次の状態ベクトルｘ（ｎ）で表す。

これは入力信号のＮ個の遅延サンプルから得られる。ただし、Ｎは状態ベクトルの次元、Ｄはベクトルを作るのに用いる入力サンプル間の遅れである。粒状マッピングにより各状態ベクトルｘ（ｎ−１）の後のサンプルｘ（ｎ）が得られる。これを式６で表す。ただし、ａ（＊）はマッピングである。

本方法では、状態遷移コードブックを用いて、粒状マッピングにより前の出力に基づいて次の出力を決定する。長さＬのコードブックは絶えず再構築され、状態ベクトルと各状態ベクトルに続く次のサンプルを含む。各状態ベクトルはその隣接状態ベクトルからＫサンプル離れている。これによりこの装置は、現在処理中の信号の特性に従って時間分解能を調整することができる。ただし、Ｋは最大分解能を表すものに等しい。コードブックを作成するのに用いる入力信号セグメントは、起こり得る過渡信号の位置と前のコードブック内の同期位置に基づいて選択する。

これは理論的には、マッピングａ（＊）はコードブックに含まれる全ての遷移について評価することを意味する。

この遷移コードブックを用いて、現在の状態ベクトルｙ（ｎ−１）に最も近いコードブック内の状態ベクトルを探して新しい出力ｙ（ｎ）を計算する。この最も近い隣接状態ベクトルの探索は最小差を計算することにより行い、新しい出力サンプルを得る。すなわち、

しかしこの装置はサンプル毎に作用するよう制限されているわけではなく、好ましくはセグメント毎に作用する。新しい出力セグメントを窓に入れ、前の出力セグメントと加算し混合した後、ダウンサンプリングする。ピッチ置換係数は、コードブックで表される入力セグメントの長さと、コードブックから読み出される出力セグメントの長さの比で決まる。

図面に戻って、図５と図６はトランスポーザの動作のサイクルを示す流れ図である。５０１に入力データが入り、５０３で入力信号のセグメントの過渡検出を行う。過渡信号の探索は出力セグメントの長さに等しいセグメントの長さについて行う。５０５で過渡信号が見つかると、５０７で過渡信号の位置を記憶し、５０９でパラメータＬ（コードブックの長さを表す）と、Ｋ（サンプル内の各状態ベクトル間の距離を表す）と、Ｄ（各状態ベクトル内のサンプル間の遅れを表す）を調整する。５１１で過渡信号の位置と前の出力セグメントの位置を比較して、過渡信号の処理が済んだかどうか判定する。５１３で処理が済んだ場合は、５１５でコードブックの位置（窓Ｌ）と、パラメータＫとＬとＤを調整する。必要なパラメータ調整が終わると、５１７で過渡検出の結果に基づいて新しい同期点すなわち接続点を探す。この手続きを図６に示す。６０１でまず前の同期点に基づいて、次式により新しい同期点を計算する。

ただし、Ｓｙｎｃ＿ｐｏｓとＳｙｎｃ＿ｐｏｓ＿ｏｌｄはそれぞれ新および旧の同期位置、Ｓは処理した入力セグメントの長さ、Ｍは置換係数である。６０３でこの同期点を用いて新しい接続点の精度と旧い接続点の精度を比較する。６０５でこれが前と同じまたは一層良く一致していて、しかもコードブック内にある場合は、６０７で新しい同期点を返す。一致が良くない場合は、６０９で新しい同期点をループで探す。これは類似性測度（この場合は６１１の最小差関数）を用いて行うが、時間領域または周波数領域の相関を用いることも可能である。６１３で前の位置より良く一致する位置がある場合は、６１５で同期位置を記憶する。６１７で全ての位置を調べる終わると、６１９でこのシステムは図５の流れ図に戻る。得られた新しい同期点を５１９で記憶し、５２１でコードブックから新しいセグメントを、所定の同期点から順番に読み出す。５２３でこのセグメントを窓に入れて前のセグメントと加算し、５２５で置換係数によりダウンサンプリングし、５２７で出力バッファに記憶する。

図７は、コードブックの位置に関して過渡状態にあるシステムの行動を示す。過渡信号の前には、入力セグメント１を表すコードブック１は、セグメント１の「左に」位置する。相関セグメント１は前の出力の一部を表し、これを用いてコードブック１内の同期点１を見つける。過渡信号を検出して過渡信号の点を処理すると、コードブックを図７ａに従って動き、現在処理中の入力セグメントが再びコードブックの「右に」なるまで静止する。このシステムは過渡信号より前の同期点を探すことができないので、これにより過渡信号を複写することは不可能になる。

パターン探索予測に基づく多くのピッチトランスポーザまたは時間エキスパンダは音声および単一ピッチ材料に満足できる結果を与える。しかし音楽のような高度に複雑な信号では、特に置換係数が大きい場合は、その性能は急速に悪化する。本発明は性能を高めるいくつかの解決法を提案するので、どんな種類の信号でも優れた結果が得られる。他の設計とは異なって本システムは時変的であり、システムパラメータは入力信号の性質と前の動作サイクル中に用いられたパラメータに基づく。過渡検出器は、コードブックの大きさと位置だけでなく含まれる状態ベクトルの性質も制御する。したがってこれを用いることは、信号セグメントが急速に変化しているときに、聞こえるほどの劣化を起こさない非常に強くて計算が効率的になる方法である。更に、処理中の信号セグメントの長さを変えると非常に計算が多くなるが、本方法は長さを変える必要がない。また本発明は、前の探索の結果に基づく精密なコードブック探索を用いる。つまり、パターン探索予測に基づいて時間領域システムで通常行われているのは２つの信号セグメントの通常の相関を取る方法であるが、本方法はこれとは異なり、全ての位置を順次にチェックするのではなく、最も可能性のある同期位置をまずチェックするものである。コードブック探索を減らすこの新しい方法により、システムの計算の複雑さは大幅に減る。更に、いくつかのトランスポーザを用いるときは、同期位置情報をトランスポーザの間で共有して計算の複雑さを更に減らすことができる。これについては後の実施例で示す。

すでに述べた時間領域トランスポーザを用いて、以下の例のようにＳＢＲ−１とＳＢＲ−２を実現する。これは例示であって制限するものではない。図８では、３つの時間伸張モジュールを用いて２次、３次、４次の高調波を生成する。この例では各時間領域伸張／トランスポーザは広帯域信号に作用するので、置換の後では手段がないことを考慮して、別の等化器装置を追加せずに置換の前に原始周波数範囲のスペクトル包絡線を調整するとよい。スペクトル包絡線調整器８０１、８０３、８０５はそれぞれいくつかのフィルタバンクチャンネルに作用する。包絡線調整器内の各チャンネルの利得は、置換後に出力での和８１３、８１５、８１７が所望のスペクトル包絡線を生成するように設定しなければならない。トランスポーザ８０７、８０９、８１１は相互に接続され、同期位置情報を共有する。これは、或る条件下では、別個の置換ユニット内で相関中にコードブック内で見出される同期位置の間に高い相関が起こる、という事実に基づいている。やはり例であって本発明の範囲を制限するものではないが、４次の調波トランスポーザは２次の調波トランスポーザに比べて、時間フレームでは半分で動作するがデューティサイクルでは２倍で動作すると仮定する。更に、２つのエキスパンダに用いられるコードブックは同じと仮定し、２つの時間領域エキスパンダの同期位置をそれぞれｓｙｎｃ＿ｐｏｓ４とｓｙｎｃ＿ｐｏｓ２で表すと次の関係がある。

ただし、

またＳはコードブックで表される入力セグメントの長さである。どちらの同期位置ポインタもコードブックの終わりに到達していなければこれは有効である。通常の動作中は、２次調波トランスポーザが処理する時間フレーム毎にｎは１ずつ増加し、ポインタのどちらかが結局コードブックの終わりに到達すると、カウンタｎをｎ＝０に設定し、ｓｙｎｃ＿ｐｏｓ２とｓｙｎｃ＿ｐｏｓ４を個別に計算する。４次の調波トランスポーザに接続すると、３次の調波トランスポーザについても同じ結果が得られる。

上に述べたようにいくつかの相互接続された時間領域トランスポーザを高次の高調波の生成に用いると、計算が大幅に減る。更に、ここに述べたように時間領域トランスポーザを適当なフィルタバンクと共に用いると、生成されたスペクトルの包絡線を調整することができて、しかも時間領域トランスポーザの簡単さと低い計算コストを保つことができる。それは、これらが多少でも固定点計算と加算／減算の演算だけを用いて実現できるからである。

例示であって制限的でないこの発明の他の例は、
・ サブバンドフィルタバンク内の各サブバンド内で時間領域トランスポーザを用いて、各トランスポーザの信号の複雑さを減らす。
・ 時間領域トランスポーザと周波数領域トランスポーザを共に用いて、処理中の入力信号の特性に従ってシステムが異なる置換法を用いることができるようにする。
・ 広帯域音声コーデック内で時間領域トランスポーザを用いて、例えば直線予測の後に得られる残留信号に作用する。
認識すべきことは、上に述べた方法は、サンプルレート変換を単に省略してタイムスケール修正に用いるときだけ優れているということである。更に理解すべきことは、上述の方法はより高いピッチへのピッチ置換（すなわち時間伸張）に焦点を当てているが、当業者に明らかなように、同じ原理はより低いピッチへの置換（すなわち時間圧縮）にも適用できることである。

フィルタバンクを用いた置換
種々の新しい革新的なフィルタバンクを用いた置換技術について以下に説明する。置換される信号を一連のＢＰ信号またはサブバンド信号に分割する。次にサブバンド信号を正確にまたは近似的に置換する。これを行うには、分析サブバンドと合成サブバンドを再接続する（以後、「パッチ」と呼ぶ）とよい。この方法について、まず短時間フーリエ変換（ＳＴＦＴ）を用いて説明する。

離散時間信号ｘ（ｎ）のＮ点ＳＴＦＴを次のように定義する。

ただし、ｋ＝０，１，．．．，Ｎ−１、ω_ｋ＝２πｋ／Ｎ、ｈ（ｎ）は窓である。窓が次の条件、

を満たす場合は逆変換が存在して次式で与えられる。

正変換は分析器と見なしてよく（図９ａ参照）、インパルス応答ｈ（ｎ）ｅｘｐ（ｊω_ｋｎ）９０１を持つＮ個のＢＰフィルタのバンクの後に、キャリヤｅｘｐ（−ｊω_ｋｎ）９０３を持つＮ個の乗算器のバンクがあり、ＢＰ信号を０Ｈｚ付近の領域にシフトダウンして、Ｎ個の分析信号Ｘ_ｋ（ｎ）を形成する。窓はプロトタイプＬＰフィルタとして動作する。Ｘ_ｋ（ｎ）は小さな帯域幅を持ち、通常は９０５でダウンサンプリングされる。したがって式１２はｎ＝ｒＲのときだけ計算すればよい。ただしＲは１０進化係数、ｒは新しい時間変数である。Ｘ_ｋ（ｎ）はアップサンプリングによりＸ_ｋ（ｒＲ）から回復することができる（図９ｂ参照）。すなわち、９０７でゼロを挿入した後、９０９でＬＰ濾波する。逆変換は合成器と見なされ、その構成は、信号Ｘ_ｋ（ｎ）を初めの周波数にまでシフトするキャリヤ（１／Ｎ）ｅｘｐ（ｊω_ｋｎ）９１１を持つＮ個の乗算器のバンクの後に、全てのチャンネルからの貢献ｙ_ｋ（ｎ）を加算する段９１３（図９ｃ参照）がある。ＳＴＦＴおよびＩＳＴＦＴを再配列してＤＦＴおよびＩＤＦＴを用いてよく、これによりＦＦＴアルゴリズムを用いることができる［非特許文献６］。

図９ｃはＮ＝３２を持つ２次高調波（Ｍ＝２）を生成するパッチ９１５を示す。簡単のために、チャンネル０乃至１６だけを示す。ＢＰ１６の中心周波数はナイキスト周波数に等しく、チャンネル１７乃至３１は負の周波数に相当する。Ｐ９１７および利得ブロック９１９で示すブロックについては後で説明するので、とりあえずは除いて考える。この例の入力信号は帯域が制限されており、チャンネル０乃至７だけが信号を含む。分析チャンネル８乃至１６は空であって、合成器にマッピングする必要はない。分析チャンネル０乃至７は、入力信号遅延路に相当する合成チャンネル０乃至７に接続する。また分析チャンネルｋ（４≦ｋ≦７）は合成チャンネルＭｋ（Ｍ＝２）にも接続し、ＢＰフィルタｋの中心周波数の２倍の周波数領域に信号をシフトする。したがって、信号は初めの範囲にアップシフトされるだけでなく、１オクターブ上に置換される。調波生成を実数値フィルタ応答および変調器に関して調べるには、負の周波数も考慮しなければならない（図１０ａの下側の分岐を参照）。したがって、再マッピングｋ→Ｍｋ１００１とＮ−ｋ→Ｎ−Ｍｋ１００３（４≦ｋ≦７）の組合わせ出力を評価しなければならない。
これから次が得られる。

ただし、Ｍ＝２である。式１５は、入力信号のＢＰ濾波の後に、直線周波数シフトすなわち上側波帯（ＵＳＢ）変調、すなわち上側波帯を用いる単側波帯変調（図１０ｂ参照）が続くと考えてよい。ただし１００５と１００７はヒルベルト変成器を形成し、１００９と１０１１はコサインおよびサインキャリヤを持つ乗算器であり、１０１３は上側波帯を選択する差分段である。明らかに、このような多帯域ＢＰおよびＳＳＢ法は明示的に、すなわちフィルタバンクパッチングなしに、時間領域または周波数領域で実現され、個々の通過帯域と発振器周波数を任意に選択することができる。

式１５では、分析チャンネルｋの通過帯域内の周波数ω_ｉを持つ正弦波は周波数Ｍω_ｋ＋（ω_ｉ−ω_ｋ）で調波を生成する。したがって、基本的多帯域置換と呼ぶ方法だけが、周波数ω_ｉ＝ω_ｋ（４≦ｋ≦７）を持つ入力信号の正確な高調波を生成する。しかし、フィルタの数が十分大きい場合は、正確な置換からの偏差は無視できる（式４参照）。更に、各分析チャンネルが最大１部分音を含む場合は、Ｐ９１７（図９ｃ）で示すブロックを挿入することにより任意の周波数の準定常音信号は正確に置換される。この場合、Ｘ_ｋ（ｒＲ）は、部分音周波数ω_iと分析フィルタの中心周波数ω_ｋの差に等しい周波数を持つ複素指数関数である。正確な置換Ｍを得るには、これらの周波数は上の周波数関係を係数Ｍだけ増加させて、ω_ｉ→Ｍω_ｋ＋Ｍ（ω_ｉ−ω_ｋ）＝Ｍω_ｉに修正しなければならない。Ｘ_ｋ（ｒＲ）の周波数はそれぞれの重ならない位相角の時間微分に等しく、連続した位相角の１次差分を用いて推定してよい。周波数の推定にＭを掛けて、これらの新しい周波数を用いて合成位相角を計算する。しかし、位相定数を除いて、分析引数にＭを直接掛けるという簡易法で同じ結果が得られ、周波数を推定する必要がなくなる。これを、ブロック９１７を表す図１１に示す。まず、Ｘ_ｋ（ｒＲ）（この例では４≦ｋ≦７）を直角座標から極座標に変換する。これをブロックＲ→Ｐ，１１０１で示す。１１０３で引数にＭ＝２を掛け、絶対値は変えない。次に１１０５で信号を変換して直角座標に戻して（Ｐ→Ｒ）信号Ｙ_Ｍｋ（ｒＲ）を形成し、図９ｃの合成チャンネルに与える。この改善された多帯域置換法には２つの段がある。基本的方法と同様にパッチにより粗い置換を行い、位相乗算器により微細な周波数訂正を行う。上の多帯域置換法はＳＴＦＴを用いる従来のピッチシフト法とは異なる。ＳＴＦＴでは合成にルックアップテーブル発振器を用いる。またはＩＳＴＦＴを合成に用いる時は信号の時間を伸ばして１０進化する、すなわちパッチを用いない。

図９ｃの調波パッチは、置換係数が２でない場合は容易に修正される。図１２は３次高調波を生成するパッチ１２０３を示す。１２０１は分析チャンネル、１２０５は合成チャンネルである。異なる次数の高調波も図１３に示すように同時に作ることができる（ここでは２次と３次の高調波を用いる）。図１４は、２次と３次と４次の高調波が重ならない組合わせを示す。最低の可能な調波数をできるだけ高い周波数で用いる。調波Ｍの宛先範囲の上限を超えると、調波Ｍ＋１を用いる。図１５は、全ての合成チャンネル（Ｎ＝６４、チャンネル０−３２を示す）にマッピングする方法を示す。非素数指数を持つ全ての高帯域チャンネルは、原始チャンネル番号と宛先チャンネル番号の関係 ｋ_ｄｅｓｔ＝Ｍｋ_{ｓｏｕｒｃｅ}に従ってマッピングする。ただし、Ｍはｋ_{ｓｏｕｒｃｅ}が低帯域にありｋ_ｄｅｓｔが高帯域にあるという条件を満たす最小整数≧２である。したがって、どの合成チャンネルも２つ以上の分析チャンネルから信号を受けない。素数の高帯域チャンネルは
ｋ_{ｓｏｕｒｃｅ}＝１または低帯域チャンネルｋ_{ｓｏｕｒｃｅ}＞１にマッピングしてよく、これは上述の関係のよい近似を作る（図１５にはＭ＝２，３，４，５における非素数接続だけを示す）。

異なる分析チャンネルからの振幅情報と位相情報を組み合わせることも可能である。振幅信号 |Ｘ_ｋ（ｒＲ）| は図１６のように接続してよい。位相信号
ａｒｇ{Ｘ_ｋ (ｒＲ）}は図１６の原理に従って接続する。このようにして、低帯域周波数を置換し、図２の置換から得られる伸張包絡線ではなく原始領域包絡線の周期的繰返しを生成する。「空の」原始チャンネルを増幅しないようにするため、ゲートや他の手段を用いてよい。図１７は別の応用であって、高位のサブバンドから低位のサブバンドへの接続を用いて、高域濾波信号または低音限定信号に分数高調波を生成する。上記の置換を用いるとき、信号の特性に基づいてパッチの適応切替えを用いるとよい。

上の説明では、入力信号に含まれる最高周波数はナイキスト周波数よりかなり低いと仮定した。したがってサンプルレートを増やさずに帯域幅を伸張することができた。しかしこれはいつでもできるわけではなく、事前のアップサンプリングが必要な場合がある。置換にフィルタバンク法を用いるときは、アップサンプリングをプロセスに統合することが可能である。

多くの知覚コーデックは、時間から周波数へのマッピングに最大１０進化フィルタバンクを用いる［非特許文献７］。

図１８ａは知覚エンコーダ装置の基本構造を示す。分析フィルタバンク１８０１は入力信号をいくつかのサブバンド信号に分割する。１８０３で、減らしたビット数を用いてサブバンドサンプルを個別に量子化する。量子化レベル数は、最小マスキングしきい値を推定する知覚モデル１８０７から決定する。サブバンドサンプルを基準化し、任意の冗長度符号化法で符号化し、１８０５で基準化係数やビット割当て情報やその他のコーデック特定データから成る脇情報と組み合わせて、直列ビットストリームを形成する。次にこのビットストリームを記憶しまたは伝送する。図１８ｂのデコーダでは、１８０９で符号化ビットストリームのデマルチプレクシングを行い、復号して、１８１１でサブバンドサンプルを等しい数のビットに再量子化する。１８１３で、合成フィルタバンクはサブバンドサンプルを組み合わせて初めの信号を再生する。最大１０進化フィルタバンクを用いて実現すると計算コストが大幅に減る。以下の説明では、コサイン変調フィルタバンクに焦点を当てる。しかし理解すべきことは、本発明は、ウェーブレット変換のフィルタバンク解釈や、他の不等帯域幅フィルタバンクまたは変換や、多次元フィルタバンクまたは変換などの他の種類のフィルタバンクまたは変換を用いて実現することができることである。

例であって制限するものではないが、以下の説明ではＬチャンネルコサイン変調フィルタバンクは入力信号ｘ（ｎ）をＬ個のサブバンド信号に分割すると仮定する。最大１０進化フィルタバンクの一般構造を図１９に示す。分析フィルタをＨ_ｋ（ｚ）１９０１（ｋ＝０，１，．．．，Ｌ−１）で示す。１９０３でサブバンド信号ｖ_ｋ（ｎ）を最大１０進化する。各サンプル周波数はｆ_ｓ／Ｌである。ただし、ｆ_ｓはｘ（ｎ）のサンプリング周波数である。合成部では１９０５で内挿し１９０７で濾波した後、サブバンド信号を再組立てして

を生成する。合成フィルタをＦ_ｋ（ｚ）で示す。更に、本発明は

にスペクトル複製を行い、強化信号ｙ（ｎ）を生じる。

サブバンド信号をＱＬチャンネルフィルタバンクで合成するときは、Ｌ個の低帯域チャンネルだけを用い、また帯域幅伸張係数ＱはＱＬが整数値になるように選択するが、この合成によりサンプリング周波数Ｑｆ_ｓを持つ出力ビットストリームが得られる。したがって、拡大フィルタバンクはＬチャンネルフィルタバンクの後にアップサンプラがあるかのように動作する。この場合はＬ（Ｑ−１）個の高帯域フィルタは用いない（ゼロを与える）ので、オーディオ帯域幅は変わらない。フィルタバンクは単に

をアップサンプリングしたものを再構築するだけである。しかしＬ個のサブバンド信号を高帯域フィルタにパッチングした場合は、

の帯域幅は係数Ｑだけ増えてｙ（ｎ）を生成する。これは本発明の基本的多帯域トランスポーザの最大１０進化フィルタバンク版である。この方式を用いると、アップサンプリングプロセスは前に説明した合成濾波に統合される。注意したいのは、どんな大きさのフィルタバンクを用いても、出力信号のサンプルレートは異なり、したがって帯域幅伸張係数は異なることである。整数置換係数Ｍを持つ本発明の基本的多帯域置換法を用いて

にスペクトル複製を行うには、次式でサブバンド信号をパッチングする。

ただし、ｋ∈[0,Ｌ−１］であってＭｋ∈［Ｌ，ＱＬ−１］になるように選択され、ｅ_Ｍｋ（ｎ）は包絡線訂正、（−１）^{（Ｍ−１）ｋｎ}はスペクトル反転サブバンドの訂正係数である。スペクトル反転はサブバンド信号の１０進化の結果であり、反転信号はこれらのチャンネル内の１つ置きのサンプルの符号を変えることにより再反転する。図２０は１６チャンネルの合成フィルタバンクであって、２００９で置換係数Ｍ＝２、Ｑ＝２についてパッチングされている。ブロック２００１と２００３はそれぞれ図１９の分析フィルタＨ_ｋ（ｚ）とデシメータである。同様に、２００５と２００７は補間回路と合成フィルタＦ_ｋ（ｚ）である。これにより式１６は、受信データの４つの上位周波数サブバンド信号を、合成フィルタバンク内の８つの最上位チャンネルの１つ置きのチャンネルにパッチングすることに簡単化される。スペクトル反転を行ったので、１つ置きのパッチングされたサブバンド信号は合成する前に周波数を反転しなければならない。更に２０１１で、パッチングされた信号の振幅をＳＢＲ−１またはＳＢＲ−２の原理に従って調整しなければならない。

本発明の基本的多帯域置換法を用いると、生成される高調波は一般に基本波の正確な倍数にならない。各サブバンドの最低周波数を除く全ての周波数は正確な置換とは或る程度異なる。更に、ターゲット間隔は原始間隔より広い周波数範囲をカバーするので、複製スペクトルはゼロを含む。更に、サブバンド信号の周波数はターゲット間隔に分離されるので、コサイン変調フィルタバンクのエイリアス打消し特性はなくなる。すなわち、隣接サブバンド信号は高帯域領域で重ならない。しかし、当業者に知られているエイリアス削減法を用いればこの種の人工音を減らすことができる。この置換法の利点は、実現が容易なことと、計算コストが非常に低いことである。

正弦波を完全に置換するため、改善された多帯域置換法の効果的な最大１０進化フィルタバンクを用いた解決法を以下に提示する。このシステムは追加の修正分析フィルタバンクを用い、合成フィルタバンクは Vaidyanathan により述べられている方法でコサイン変調する［非特許文献８］。最大１０進化フィルタバンクに基づいて、本発明の改善された多帯域置換法を用いた操作のステップを図２１の略図と、図２２の流れ図で以下に示す。
１． Ｌ個の受信サブバンド信号をＱＬチャンネルのフィルタバンク２１０１、２２０１、２２０３で合成して信号ｘ_１（ｎ）を形成する（Ｌ（Ｑ−１）上部チャンネルにはゼロを与える）。したがって、信号ｘ_１（ｎ）は帯域幅伸張係数Ｑでオーバーサンプリングされる。
２． ２１０３、２２０５でｘ_１（ｎ）を係数Ｑでダウンサンプリングして信号ｘ_２（ｎ’）を形成する。すなわち、ｘ_２（ｎ’）＝ｘ_１（Ｑｎ’）である。
３． ２２０７、２２０９、２２１１で、Ｔ＝ＫＭ／Ｑで整数になるように整数値Ｋを合成フィルタバンクの大きさとして選択する。ただし、Ｔは修正された分析フィルタバンクの大きさ、Ｍは置換係数である。好ましくは、Ｋは定常（音）信号では大きく、動的（過渡的）信号では小さくなるように選ぶ。
４． ２１０７、２２１３で、Ｔチャンネルの修正された分析フィルタバンクでｘ_２（ｎ’）を濾波し（Ｔ分析フィルタは指数関数的に変調される）、複素値のサブバンド信号の集合を生成する。サブバンド信号を係数Ｔ／Ｍでダウンサンプリングし、サブバンド信号ｖ_ｋ ^（Ｍ）（ｎ”）（ｋ＝０，１，．．．，Ｔ−１）を生成する。したがって、フィルタバンクは係数Ｍでオーバーサンプリングされる。
５． サンプルｖ_ｋ ^（Ｍ）（ｎ”）を極座標表現（振幅と位相角）に変換する。２１０９、２２１５で、位相角に係数Ｍを掛けて、サンプルを図１１の方法で変換して直角座標表現に戻す。複素値サンプルの実数部を取り、信号ｓ_ｋ ^（Ｍ）（ｎ”）を生成する。この操作の後、信号ｓ_ｋ ^（Ｍ）（ｎ”）を厳密にサンプリングする。
６． ２１１１、２２１７で、ＳＢＲ−１またはＳＢＲ−２の原理に従って信号ｓ_ｋ ^（Ｍ）（ｎ”）の利得を調整する。
７． ２１０５、２２２１で、サブバンド信号ｓ_ｋ ^（Ｍ）（ｎ”）（ただし、ｋ∈［Ｔ／Ｍ，ｍｉｎ（Ｋ，Ｔ）−１］）を通常のコサイン変調Ｋチャンネルフィルタバンクで合成して、チャンネル０乃至Ｔ／Ｍ−１にゼロを与える。これにより、信号ｘ_３ ^（Ｍ）（ｎ）を生成する。
８． ２２２３で、最終的にｘ_３ ^（Ｍ）（ｎ）とｘ_１（ｎ）を加算してｙ（ｎ）を得る。これが所望のスペクトル複製信号である。

置換係数Ｍの異なる値についてステップ３乃至６を繰り返して、ｘ_１（ｎ）に多重高調波を加える。この動作モードを図２１の点線で示し、また図２２の２２１１−２２１９のループの繰り返しで示す。この場合、Ｍの全ての選択値（Ｍは整数値）に対してＴが整数値になるようにＫを選ぶ。好ましくは、Ｋ／Ｑが正の整数になるようにＫを選ぶ。全てのサブバンド信号ｓ_ｋ ^（Ｍｉ）（ｎ”）（ただし、ｉ＝１，２，．．．，ｍ、またｍは置換係数の数）を、式

を用いて全ての適用可能なｋについて加算する。図２２のループの第１繰返しでは、信号ｓ_ｋ（ｎ”）（ただし、ｋ＝０，１，．．．，Ｋ−１）はゼロだけのサブバンドサンプルと考えてよい。全てのループにおいて、２２１９で次式により新しいサンプルをｓ_ｋ（ｎ”）に加える。

ただし、ｋ＝Ｋ／Ｑ，Ｋ／Ｑ＋１，．．．，ｍｉｎ（Ｋ，Ｔ_ｉ）−１。ステップ７に従って、サブバンド信号ｓ_ｋ（ｎ”）をＫチャンネルフィルタバンクで１度に合成する。

ステップ４の修正された分析フィルタバンクは、コサイン変調フィルタバンクの理論から得られる。ここで、変調重ね合わせ変換（ＭＬＴ）［非特許文献９］は特殊なケースである。Ｔチャンネルのコサイン変調フィルタバンク内のフィルタのインパルス応答ｈ_ｋ（ｎ）は次のように書かれる。

ただし、ｋ＝０，１，．．．，Ｔ−１、Ｎは低域プロトタイプフィルタｐ_ｏ（ｎ）の長さ、Ｃは定数、Φ_ｋは隣接チャンネル間のエイリアスを打ち消す位相角である。Φｋの制約は次式で表され、

これを簡単化すると次の閉じた形式表現になる。

Φ_ｋをこのように選ぶと、インパルス応答を持つ合成フィルタバンク

を用いて、完全な再構成システムまたは近似的な再構成システム（疑似ＱＭＦシステム）が得られる。

次のフィルタを考える。

ただし、ｈ’_ｋ（ｎ）はプロトタイプフィルタｐ_ｏ（ｎ）をサイン変調したものである。フィルタＨ’_ｋ（ｚ）とＨ_ｋ（ｚ）は、同じ通過帯域支援を有するが位相応答が異なる。フィルタの通過帯域は実際は相互のヒルベルト変換である（これはω＝０およびω＝πに近い周波数では有効でない）。式１９と式２３を結合すると次式になり、

正の周波数ではＨ_ｋ（ｚ）と同じ形の振幅応答を持ち負の周波数ではゼロであるフィルタを生成する。式２４のインパルス応答を持つフィルタバンクを用いると、式１９のインパルス応答を持つフィルタバンクから得られるサブバンド信号に対応する、分析（複素）信号と見なしてよいサブバンド信号の集合が得られる。複素値サンプルは極座標形式で ｚ（ｎ）＝ｒ（ｎ）＋ｊｉ（ｎ）＝|ｚ（ｎ）|ｅｘｐ{ｊａｒｇ（ｚ（ｎ））} と書くことができるので、分析信号は扱いやすい。しかし置換に複素フィルタバンクを用いると、エイリアス打消し特性を保つためにΦ_ｋの制約を一般化しなければならない。エイリアス打消しと式２２のインパルス応答を持つ合成フィルタバンクを保証するΦ_ｋの新しい制約は

であって、Ｍ＝１のときは式２１のように簡単になる。このように選択すると、置換された部分音はＭ＝１（置換なし）のときと同じ相対位相を有する。
式２４と式２５を結合すると次式が得られる。

これは本発明のステップ４の修正されたフィルタバンクに用いるフィルタである。

ステップ５について少し説明する。係数Ｔ／Ｍで複素値のサブバンド信号をダウンサンプリングするとＭだけオーバーサンプリングされる。これは、後で位相角に置換係数Ｍを掛けるときの重要な判定基準である。オーバーサンプリングにより、ターゲット範囲に置換した後の帯域幅当たりのサブバンドサンプルの数は原始範囲の数に等しくなる。置換されたサブバンド信号の個々の帯域幅は、位相乗算器のために原始範囲内の帯域幅のＭ倍になる。このため、ステップ５の後でサブバンド信号は厳密にサンプリングされ、更に、音信号を置換するときスペクトル内にゼロがなくなる。

三角法計算を避けるために、すなわち新しいサブバンド信号を次式

ただし、|ｖ_ｋ ^（Ｍ）（ｎ”）|はｖ_ｋ ^（Ｍ）（ｎ”）の絶対値、で計算しなければならないので、次の三角法関係を用いる。

ここで

とし、また

および

であって、ステップ５の計算を三角法計算によらずに行うことができるので、計算は簡単になる。

Ｍが偶数のときに置換を用いると、低域プロトタイプフィルタｐ_ｏ（ｎ）の特性によっては位相乗算器に障害が起こることがある。全ての適用可能なプロトタイプフィルタは、ｚ平面内の単位円上にゼロを有する。単位円上のゼロはフィルタの位相応答を１８０°シフトする。Ｍが偶数のとき、位相乗算器はこのシフトを３６０°シフト（すなわち位相シフトが消える）と解釈する。このように位相シフトが消える周波数に位置する部分音は合成信号にエイリアシングを起こす。最悪の場合は、部分音が分析フィルタの第１サイドローブの頂点に対応する周波数の点にあるときである。振幅応答でのこのローブの拒否に従って、エイリアシングの聞こえかたが変わる。一例として、ＩＳＯ／ＭＰＥＧ層１および２標準に用いるプロトタイプフィルタの第１サイドローブは９６ｄＢ拒否されるが、ＩＳＯ／ＭＰＥＧ層３標準のＭＤＣＴ方式に用いるサイン窓の第１サイドローブでは拒否は２３ｄＢに過ぎない。サイン窓を用いると、この種のエイリアシングが聞こえることは明らかである。この問題の解決を以下に示す。これを相対的位相同期と呼ぶ。

フィルタｈ^ａ _ｋ（ｎ）は全て直線位相応答を有する。位相角Φ_ｋは隣接チャンネルの間に相対的位相差を生じさせ、単位円上のゼロはチャンネル間で異なる周波数の位置に１８０°位相シフトを起こす。位相乗算器を活動化する前に隣接サブバンド信号の間の位相差を監視すれば、位相反転情報を含むチャンネルを検出するのは容易である。音信号の場合は式２５から、位相差は非反転信号では約π／２Ｍであり、したがってどちらかの信号が反転している信号では約π（１−１／２Ｍ）である。反転信号の検出は、隣接サブバンド内のサンプルの点乗積

を計算することにより簡単に行うことができる。式３２の積が負の場合は位相差は９０°より大きく、位相反転条件が存在する。ステップ５に従って複素値サブバンド信号の位相角にＭを掛けると、最後に反転と印した信号は打ち消される。このように相対位相同期法を用いると１８０°シフトしたサブバンド信号は位相掛け算を行った後このシフトを保持して、エイリアシング打消し特性を維持する。

スペクトル包絡線調整
非特許文献１０および式１によると、音声や音楽など殆どの音は緩やかに変化する包絡線と急速に変化する一定振幅のキャリヤの積で特徴づけられる。

分割帯域知覚オーディオコーダでは、オーディオ信号をフレームに区切り、サブバンドフィルタすなわち時間周波数領域変換を用いて多数の周波数帯域に分割する。殆どの型のコーデックでは、伝送または記憶のために信号をその後２つの主な信号成分であるスペクトル包絡線表現と基準化サブバンドサンプルまたは係数に分離する。以下の説明を通して「サブバンドサンプル」または「係数」とは、サブバンドフィルタから得られるサンプル値と、時間周波数変換から得られる係数を言う。「スペクトル包絡線」または「換算係数」は時間フレームにおけるサブバンドの値（各サブバンド内の平均または最大振幅など）を表し、サブバンドサンプルの基準化に用いる。しかし、スペクトル包絡線は直線予測ＬＰＣを用いて得ることもできる（特許文献４）。一般的なコーデックでは、基準化されたサブバンドサンプルは、緩やかに変化する時間包絡線、したがって非常に低いビットレート（利用可能なビットレートの約１０％を用いる）で符号化されるスペクトル包絡線、に比べて高いビットレート（利用可能なビットレートの約９０％を用いる）で符号化する必要がある。

初めの信号の音色の質を保存する場合は、複製された帯域幅の正確なスペクトル包絡線が重要である。楽器または音声の知覚される音色は主に聴覚の最高オクターブにある周波数ｆ_ｌｉｍより低いスペクトル分布で決まる。したがってｆ_ｌｉｍより高いスペクトルの詳細は余り重要でないので、上記の置換法により得られる高帯域の微細構造は調整する必要がない。しかし粗構造は一般に調整する必要がある。この調整を行うには、信号のスペクトル表現を濾波して包絡線の粗構造と微細構造を分離するとよい。

本発明のＳＢＲ−１実現では、高帯域の粗いスペクトル包絡線はデコーダで利用可能な低帯域情報から推定する。この推定は、低帯域の包絡線を絶えず監視して、特定の規則に従って高帯域スペクトル包絡線を調整することにより行う。包絡線推定を行う新規な方法は、対数の周波数振幅空間内で漸近線を用いる。これは線形空間内で種々の次数の多項式により曲線の当てはめを行うことに相当する。低帯域スペクトルの上部のレベルと傾斜を推定し、この推定を用いて新しい高帯域包絡線を表す１つまたはいくつかのセグメントのレベルと傾斜を定義する。漸近線の交差点は周波数で固定され、ピボット点の役目をする。しかし必ずしも必要ではないが、制約を設けて高帯域包絡線軌跡を現実的な境界内に保つのは有益である。スペクトル包絡線を推定する別の方法は、多数の代表的スペクトル包絡線のベクトル量子化ＶＱを用いて、これをルックアップテーブルまたはコードブックに記憶することである。ベクトル量子化は大量の訓練データ（この場合はオーディオスペクトル包絡線）上の所望の数のベクトルを訓練することにより行う。この訓練は通常は一般化されたロイド(Lloyd)アルゴリズムで行い［非特許文献１１］、訓練データの内容を最適にカバーするベクトルを生成する。Ｂ包絡線で訓練されたＡスペクトル包絡線（Ｂ＞＞Ａ）から成るＶＱコードブックを考えると、Ａ包絡線は、多くの種類の音のＢ個の観察に基づく、低帯域包絡線から高帯域包絡線へのＡ個の最も可能性のある遷移を表す。これは理論的には、Ｂ個の観察に基づいて包絡線を予測するためのＡ個の最適規則である。新しい高帯域スペクトル包絡線を推定するときは、初めの低帯域包絡線を用いてコードブックを探し、コードブックの最も合致する項目の高帯域部を適用して新しい高帯域スペクトルを作成する。

図２３に、基準化されたサブバンドサンプルを２３０１で表し、スペクトル包絡線を換算係数２３０５で表す。例示のために、デコーダ２３０３への伝送を並列形式で示す。ＳＢＲ−２法の図２４では、図２３と同様にスペクトル包絡線情報を生成して伝送するが、サブバンドサンプルは低帯域だけを伝送する。したがって伝送される換算係数は全周波数範囲にわたるが、サブバンドサンプルは高帯域を除く限られた周波数範囲だけである。デコーダで低帯域サブバンドサンプル２４０１を２４０３のように置換し、受信した高帯域スペクトル包絡線情報２４０５と結合する。このようにすれば、合成高帯域スペクトル包絡線は初めのスペクトル包絡線と同じであるがビットレートは大幅に下がる。

或るコーデックでは、図２４に示すように全スペクトル包絡線の換算係数を伝送し、高帯域サブバンドサンプルは省略することができる。他のコーデック標準では、換算係数とサブバンドサンプルが同じ周波数範囲をカバーするよう規定しなければならない。すなわち、サブバンドサンプルを省略した場合は換算係数を伝送することはできない。この場合はいくつかの解決法がある。例えば、高帯域スペクトル包絡線情報を別のフレームで伝送してよい。このフレームは、自身のヘッダと任意の誤り保護を持ち、その後にデータが続く。本発明を利用しない普通のデコーダはヘッダを認識しないので、余分なフレームは廃棄する。第２の解決法では高帯域スペクトル包絡線情報を、符号化されたビットストリーム内の補助データとして伝送する。しかし利用可能な補助データフィールドは包絡線情報を保持するだけ十分大きくなければならない。この２つの解決法が適用できない場合は、第３の解決法、すなわち高帯域スペクトル包絡線情報をサブバンドサンプルとして隠す方法を適用してよい。サブバンド換算係数は、一般に１００ｄＢを超える大きな動的範囲をカバーする。任意の数のサブバンド換算係数（図２５の２５０５）を非常に低い値に設定して、高帯域換算係数をサブバンドサンプルとして「偽装し」て２５０１のように伝送することができる。このように高帯域換算係数をデコーダ２５０３に伝送することにより、ビットストリーム構文と両立させることができる。任意のデータをこの方法で伝送してよい。これに関連して、情報を符号化してサブバンドサンプルストリームにする方法がある［特許文献５］。図２６に示す第４の解決法は、符号化システムがハフマンまたは他の冗長度符号化２６０３を用いるときに適用することができる。高い冗長度を達成するには、高帯域のサブバンドサンプルをゼロ（２６０１）にまたは一定値に設定する。

過渡応答の改善
過渡信号に関連する人工音はオーディオコーデックの共通の問題であり、同様な人工音は本発明でも発生する。一般に、パッチングを行うと時間領域の前エコーと後エコー（すなわち「真の」過渡信号の前か後の疑似過渡信号）に相当するスペクトル「ゼロ」すなわちノッチを生成する。Ｐブロックはゆっくり変化する音信号の「ゼロを埋める」が、前エコーと後エコーは残る。改善された多帯域法は、正弦波の数がサブバンド当たり１個に制限された離散的正弦波に作用するものである。サブバンド内の過渡信号すなわち雑音は、そのサブバンド内の多数の離散的正弦波と見ることができる。これは相互変調歪みを生成する。これらの人工音は、複製された高帯域チャンネルに過渡期間中に接続された追加の量子化雑音源と考えられる。したがって、知覚オーディオコーダ内の前エコーおよび後エコー人工音を避ける従来の方法（例えば適応窓切替え）を用いえば、改善された多帯域法の主観的品質を高めることができる。コーデックまたは別個の検出器による過渡検出を用い、また過渡状態にあるチャンネル数を減らせば、「量子化雑音」は時間に依存するマスキングしきい値を超えない。過渡信号の通過中は少数のチャンネルを用い、音の通過中は多数のチャンネルを用いる。このような適応的な窓切替えはコーデック内で普通に用いられており、周波数分解能と時間分解能の間で取引する。フィルタバンク大きさが固定されている応用には別の方法を用いてよい。１つの方法は、スペクトル領域内の直線予測により「量子化雑音」を時間で成形することである。次に残留信号に置換を行う。これが直線予測フィルタの出力である。その後で反転予測フィルタを、初めのチャンネルとスペクトル複製チャンネルに同時にかける。別の方法はコンパンダシステム（すなわち、置換または符号化の前の過渡信号の動的振幅圧縮と、置換の後の補足的な伸張）を用いる。また、信号に依存して置換法の間で切り替えることもできる。例えば定常信号に高分解能フィルタバンク置換法を用い、過渡信号に時変パターン探索予測法を用いる。

実際的な応用
標準の信号プロセッサまたは強力ＰＣを用いると、ＳＢＲ強化コーデックを実時間で動作させることができる。ＳＢＲ強化コーデックはカスタムチップにハードで符号化してもよい。また図２７や図２８のように任意のコーデックを用いて種々のシステムでこれを実現して、アナログ信号またはディジタル信号の記憶または伝送に用いてよい。ＳＢＲ−１法は、デコーダに組み込んでも、付加的なハードウエアまたはソフトウエア後処理モジュールとして供給してもよい。ＳＢＲ−２法はエンコーダを更に修正する必要がある。図２７において、アナログ入力信号がＡ／Ｄ変換器２７０１に入り、ディジタル信号を形成して任意のエンコーダ２７０３に与え、ここで原始コーディングを行う。この装置に入る信号は、聴覚範囲内のスペクトル帯域をすでに廃棄した、またはスペクトル帯域を任意のエンコーダ内で廃棄した低域信号でよい。得られる低帯域信号をマルチプレクサ２７０５に与えて直列ビットストリームを形成し、２７０７で伝送または記憶する。デマルチプレクサ２７０９は信号を回復して任意のデコーダ２７１１に与える。スペクトル包絡線情報２７１５をデコーダ２７１１で評価してＳＢＲ−１ユニット２７１３に与える。ユニット２７１３は低帯域信号を高帯域信号に置換して、包絡線を調整した広帯域信号を生成する。最後に、２７１７でディジタル広帯域信号をアナログ出力信号に変換する。

ＳＢＲ−２法はエンコーダを更に修正する必要がある。図２８において、アナログ入力信号がＡ／Ｄ変換器２８０１に入り、ディジタル信号を形成して任意のエンコーダ２８０３に与え、ここで原始コーディングを行う。２８０５でスペクトル包絡線情報を取り出す。得られる信号は低帯域サブバンドサンプルまたは係数と広帯域包絡線情報で、これをマルチプレクサ２８０７に与えて直列ビットストリームを形成し、２８０９で伝送または記憶する。デマルチプレクサ２８１１は信号や低帯域サブバンドサンプルまたは係数や広帯域包絡線情報を回復して、任意のデコーダ２８１５に与える。スペクトル包絡線情報２８１３をデマルチプレクサ２８１１からＳＢＲ−２ユニット２８１７に送り、低帯域信号を高帯域信号に置換して、包絡線を調整した広帯域信号を生成する。最後に、２８１９でディジタル広帯域信号をアナログ出力信号に変換する。

非常に低いビットレートだけしか利用できないときは（インターネットや、遅い電話モデム、ＡＭ放送など）、オーディオプログラム材料のモノコーディングが避けられない。知覚品質を高めて、より快適な音をプログラムするには、タップ付き遅延線２９０１を導入すれば図２９に示す簡単な「疑似ステレオ」発生器が得られる。これは、１０ｍｓと１５ｍｓの遅延信号を２９０３で約−６ｄＢにして各出力チャンネルに与え、２９０５で初めのモノ信号に加える。疑似ステレオ発生器を用いると、低い計算コストで大きな知覚改善が得られる。

上述の実施の形態は、オーディオ原始コーディングを改善するための本発明の原理を示すものに過ぎない。理解されるように、ここに述べた装置や詳細の修正や変更は当業者には明らかである。したがって、課せられる制約は特許請求の範囲だけによるものであって、ここで実施の形態の記述や説明により示した特定の詳細によるものではない。

本発明の符号化装置内に挿入されたＳＢＲである。 本発明の上部高調波のスペクトル複製を示す。 本発明の帯域内高調波のスペクトル複製を示す。 本発明のトランスポーザの時間領域実現のブロック図である。 本発明のパターン探索予測トランスポーザの動作のサイクルを表す流れ図である。 本発明の同期点の探索を表す流れ図である。 図７ａ，図７ｂは、本発明の過渡状態中のコードブック位置決めを示す。 本発明のＳＢＲ動作のための、適当なフィルタバンクに関するいくつかの時間領域トランスポーザの実現のブロック図である。 図９ａ，図９ｃは、２次高調波を生成するよう構成された本発明のＳＴＦＴ分析および合成用の装置を表すブロック図である。 図１０ａ，図１０ｂは、本発明のＳＴＦＴ装置内の直線周波数シフトを持つ１つのサブバンドのブロック図である。 本発明の位相乗算器を用いる１つのサブバンドを示す。 本発明の３次高調波を生成する方法を示す。 本発明の２次および３次高調波を同時に生成する方法を示す。 本発明のいくつかの次数の高調波の重ならない組合わせの生成を示す。 本発明のいくつかの次数の高調波の交互配置組合わせの生成を示す。 高帯域の直線周波数シフトの生成を示す。 本発明の分数調波を生成する方法を示す。 図１８ａ，図１８ｂは、知覚コーデックのブロック図である。 最大１０進化フィルタバンクの基本構造を示す。 本発明の最大１０進化フィルタバンクの２次高調波の生成を示す。 本発明のサブバンド信号上で動作する最大１０進化フィルタバンク内の改善された多帯域置換のブロック図である。 本発明のサブバンド信号上で動作する最大１０進化フィルタバンク内の改善された多帯域置換を表す流れ図である。 一般的なコーデックのサブバンドサンプルと換算係数を示す。 本発明のＳＢＲ−２用のサブバンドサンプルと包絡線情報を示す。 本発明のＳＢＲ−２内の包絡線の隠された伝送を示す。 本発明のＳＢＲ−２内の冗長度符号化を示す。 本発明のＳＢＲ−１法を用いたコーデックの実現を示す。 本発明のＳＢＲ−２法を用いたコーデックの実現を示す。 本発明の「疑似ステレオ」発生器のブロック図である。

符号の説明

１０３ エンコーダ
１０７ デコーダ
２００１ 分析フィルタ
２００３ デシメータ
２００５ 補間回路
２００７ 合成フィルタ

Claims (9)

1. 時間的に離散した音声信号のアップサンプリングした信号を発生する方法であって、該音声信号が第１のサンプリングレートによりサンプリングされる方法において、前記方法は、
   音声信号の分析された信号を与えるステップであって、該分析された信号は、Ｌ個のチャネル分析フィルタバンクにより得られたＬ個の分析サブバンド信号を含み、該ＬはＬ個のチャネル分析フィルタバンクのフィルタバンクチャネルの個数を表している前記与えるステップと、
   Ｌ個の低域チャネルとＬ（Ｑ−１）個の高域チャネルとを有するＱＬ個のチャネル合成フィルタバンクを使用して音声信号の分析された信号をフィルタリングして、該時間的に離散した音声信号のアップサンプリングした信号を得るステップであって、該アップサンプリングした信号が前記第１のサンプリングレートにＱ（Ｑは係数）を乗じた値である第２のサンプリングレートを有する前記フィルタリングするステップとを有し、
   前記フィルタリングのステップにおいて、前記合成フィルタバンクのＬ個の低域チャネルのみを使用することによって、音声信号のアップサンプリングされた信号は該音声信号と同一の帯域幅を持つようにし、
   前記フィルタリングのステップの前に、Ｌ個の低域チャネルのサブバンド信号の数を高域チャネルの数にパッチングして、音声信号のアップサンプリングした信号の帯域を拡大する
   ことを特徴とする前記方法。
2. 請求項１に記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、前記与えるステップにおいて、
   時間的に離散した音声信号をＬ個のチャネル分析フィルタバンクに供給し、Ｌ個のチャネルの１つがバンドパスフィルタとそれの後に接続されるデシメータとを含み、該デシメータがＬに等しいデシメーション係数を有することを特徴とする前記方法。
3. 請求項１に記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、前記与えるステップは、
   量子化サブバンドサンプルをビットストリームでデマルチプレクシングするステップと、
   量子化サブバンドサンプルを再量子化して音声信号の分析された信号を得るステップと
   を含むことを特徴とする前記方法。
4. 請求項１から３のいずれかに記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、前記フィルタリングのステップは、Ｌ個の低域チャネルのチャネルについて、
   ＱＬ個の補間係数によりチャネル信号を補間して補間チャネル信号を得るステップと、
   補間チャネル信号をチャネルのバンドパスフィルタによりフィルタリングするステップと
   を含む前記方法。
5. 請求項１から４のいずれかに記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、前記フィルタリングのステップは、Ｌ（Ｑ−１）個の高域チャネルのチャネルについて、
   チャネルのバンドパスフィルタにゼロを与えるステップを含むことを特徴とする前記方法。
6. 請求項４に記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、前記フィルタリングのステップは、Ｌ個の低域チャネルのフィルタ出力を合成するステップを含むことを特徴とする前記方法。
7. 請求項１から６のいずれかに記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、係数Ｑは、ＱとＬの積が整数値となるような条件から選択されることを特徴とする前記方法。
8. 請求項１から７のいずれかに記載の時間的に離散した音声信号のアップサンプリングした信号を発生する方法において、前記ＱＬチャネル合成フィルタバンクは、フィルタバンクとしてＱＬ個の周波数係数入力を有する周波数／時間変換により実施することを特徴とする前記方法。
9. 時間的に離散した音声信号のアップサンプリングした信号を発生する装置であって、該音声信号が第１のサンプリングレートによりサンプリングされる装置において、前記装置は、
   音声信号の分析された信号を与えるステップであって、該分析された信号は、Ｌ個のチャネル分析フィルタバンクにより得られたＬ個の分析サブバンド信号を含み、該ＬはＬ個のチャネル分析フィルタバンクのフィルタバンクチャネルの個数を表している前記与える手段と、
   音声信号の分析された信号をフィルタリングして、該時間的に離散した音声信号のアップサンプリングした信号を得るＬ個の低域チャネルとＬ（Ｑ−１）個の高域チャネルとを有するＱＬ個のチャネル合成フィルタバンクであって、該アップサンプリングした信号が前記第１のサンプリングレートにＱ（Ｑは係数）を乗じた値である第２のサンプリングレートを有する前記フィルタリングするＱＬ個のチャネル合成フィルタバンクとを有し、
   前記合成フィルタバンクのＬ個の低域チャネルのみを使用することによって、音声信号のアップサンプリングされた信号は該音声信号と同一の帯域幅を持つようにし、
   Ｌ個の低域チャネルのサブバンド信号の数を高域チャネルの数にパッチングして、音声信号のアップサンプリングした信号の帯域を拡大する
   ことを特徴とする前記装置。

Images