JP2004252477A - 広帯域音声復元装置 - Google Patents

Abstract

【課題】 狭帯域音声または狭帯域音声符号から、話者の違いや雑音の影響を余り受けずにより正しい振幅で安定な広帯域音源を推定し、高品質な広帯域音声信号を復元する広帯域音声復元装置を得る。
【解決手段】 狭帯域音声符号を用いて狭帯域合成音を生成する狭帯域音源復号手段と、狭帯域音声符号から分離された狭帯域スペクトル符号を用いて広帯域スペクトルパラメータを推定するスペクトル復号手段と、狭帯域音声符号から分離された狭帯域音源符号を用いて広帯域音源信号を推定する広帯域音源復号手段と、これら生成された狭帯域合成音と上記推定された広帯域スペクトルパラメータと広帯域音源信号とから広帯域音声信号を生成する合成手段を備えた。
【選択図】 図１８

Description

この発明は、帯域制限された狭帯域音声信号や、狭帯域音声信号を符号化した狭帯域音声符号から広帯域の音声信号を復元する広帯域音声復元装置に関するものである。

狭帯域音声信号の一例として、現在の電話音声がある。電話システムでは音声信号は約３００Ｈｚから３．４ＫＨｚの帯域に制限されて伝送されており、帯域制限がない場合に比べると、貧弱で籠った感じの音質となっている。高品質化するためには広帯域の音声信号を伝送できる電話システムを構築することが考えられるが、多くの時間と経費が必要である。

電話帯域に制限された狭帯域音声から広帯域音声信号を復元する広帯域音声復元方法として考えられた従来のものに、特開平６−１１８９９５号がある。

特開平６−１１８９９５号は、狭帯域音声信号をＬＰＣ分析してスペクトルパラメータを算出し、このスペクトルパラメータを狭帯域符号帳を用いてベクトル量子化する。そして、狭帯域符号帳と対応づけて学習した広帯域符号帳を用いて広帯域のスペクトルパラメータを復号する。このスペクトルパラメータを用いてＬＰＣ合成処理を行い、仮の広帯域音声信号を得る。狭帯域音声信号をアップサンプリングしたものに、仮の広帯域音声信号から狭帯域音声信号以外の帯域成分を抽出して加算することで、最終的な広帯域音声信号を生成する。なお、広帯域のＬＰＣ合成処理を行う場合には、広帯域の音源信号が必要となるが、この音源信号の生成方法については具体的に開示されていない。

特開平６−１１８９９５号と同じ構成を持ち、広帯域の音源信号生成について開示されている文献として、文献１「コードブックマッピングによる狭帯域音声から広帯域音声の復元」電子情報通信学会、信学技報SP93-61 (1993-08) がある。

この文献１では、広帯域の音源生成方法として２つの方法が開示されている。

第１の方法は、狭帯域音声を分析して得られたピッチとパワーを用いて、同業者間では一般的な方法によって音源生成を行う。すなわち、有声音ではピッチ周期で繰り返すインパルス列、無声音では白色雑音を生成し、パワーによってその振幅を決定する。

なお文献１では、音質改善のために幾つかの後処理を行っている。３００Ｈｚ以下の低域を復元する場合には、復元帯域のパワー不足を補うために低域復元音のパワーを低数倍する。３．４Ｈｚから７．３ＫＨｚの高域を復元する場合には、インパルス列を音源としたことによって発生するパルス的な音を軽減するためにパルスをつぶすようにｃｏｓｉｎｅ関数をかける。

第２の方法は、狭帯域音声信号のスペクトルパラメータをベクトル量子化し、得られた符号に対応する狭帯域の代表波形素片と高域の代表波形素片を選択する。そして、この２つの波形素片に対して以下の処理を行う。波形素片の有声無声を判定し、有声音の場合には狭帯域音声信号を分析して得られたピッチに同期して前記波形素片を重ね合わせる。無声音の場合には、波形素片のランダムな位置から必要な長さの信号を切り出す。狭帯域波形素片から上記処理によって生成された信号と狭帯域スペクトルパラメータを用いて合成された合成音と狭帯域音声のパワー比を算出する。そして、高域波形素片から上記処理によって生成された信号と広帯域のスペクトルパラメータを用いて合成音を生成し、これに前記パワー比を乗ずることで高域の復元信号を得る。

利用分野が異なるが、音源信号の帯域を広げる別の方法として、文献２「 A 2.4Kbps High−Qaulity Speech Coder 」IEEE International Conference on Acoustics, Speech, and Signal Processing vol.1, S9.5, pp. 589-592 (1991.5) に開示されているものがある。

文献２は、電話帯域音声を高能率に符号化し、復号化する方式に関するもので、符号化する際の音源の情報量を削減するために、０Ｈｚから３．４ＫＨｚの音源信号を長周期予測分析し、長周期予測係数と長周期予測残差信号に分離する。０Ｈｚから３．４ＫＨｚの長周期予測残差信号を０Ｈｚから１ＫＨｚに帯域制限して符号化を行う。そして、復号化する際に帯域制限された長周期予測残差信号から３．４ＫＨｚまでの電話帯域の長周期予測残差信号を生成した後、長周期合成処理を行って音源信号を復元するものである。長周期予測残差信号の復元は、０Ｈｚから１ＫＨｚの成分を持つ信号を８ＫＨｚのサンプリング周波数にアップサンプリングした後、４サンプル間隔で残し、それ以外を零にすることで行っている。
特開平０６−１１８９９５号公報 特開昭６３−０３４６００号公報 特開平０５−２９７８９８号公報

上記の従来法には、以下に述べる課題がある。

特開平６−１１８９９５号と、別の文献ではあるが、その具体的実用例を開示している文献１では、大別して次の４つの課題、つまり音源振幅推定、音源生成方法、スペクトルパラメータ推定法、通信系への適用に関する課題がある。

まず、第１の音源振幅推定に関して説明する。

文献１の第１の音源生成方法を用いる場合、復元音の合成に用いるパワーについては、狭帯域音声を分析して得られたパワー値をそのまま、もしくは定数倍して用いているが、狭帯域のスペクトルパラメータと推定された広帯域のスペクトルパラメータでは合成フィルタの利得が異なるので、同一の音源振幅を与えても得られる合成音の振幅が異なって来る。この差異がフレーム毎に変化するため、音源振幅、つまりパワー値を定数倍する事では、正しい振幅を持った広帯域音声は復元されない課題がある。

また、文献１の第２の音源生成方法を用いる場合、狭帯域合成音を生成して狭帯域音声とのパワー比を算出して、高域合成音に乗じているが、２つの波形素片に対して複雑な処理を実行する事が必要となる課題がある。

つぎに、第２の音源生成方法に関して説明する。

文献１の第１の音源生成方法を用いる場合、ピッチとパワーという僅かな情報だけで広帯域音源信号の生成を行うので、様々に変化する本来の広帯域音源を十分に推定する事はできない。この結果、ｃｏｓｉｎｅ関数によってパルス的な音の軽減を行っているが、完全にパルス的な音の抑圧はできず、音質が不自然となる課題がある。また、話者毎に大きく性質が異なる有声音源を１つの固定音源で表現する事に無理があるため、話者によって音質が劣化する課題がある。

文献１の第２の音源生成方法を用いる場合、スペクトルパラメータのベクトル量子化結果の符号に対応する代表波形素片を用いているが、本来スペクトルパラメータは声道の形状に依存し、音源波形は声帯の振動の仕方に依存するものであるので、両者の間に強い対応関係は無い。音源波形は、むしろ話者に依存する所が大きい。従って、適切な音源が選択されない課題がある。

文献１中に記載されている様に、この第２の音源生成法を用いた場合には、有声音であるにもかかわらず無声音の波形素片を選択したり、逆に無声音であるにもかかわらず有声音の波形素片を選択してしまう場合があり、そのまま合成を行うと品質劣化を起こす課題がある。この事を回避するために、その部分でのパワー比を強制的に０としているが、この結果、復元された高域の振幅が部分的に０となってしまい別の品質劣化を起こす課題がある。

更に、どちらの音源生成法においても、有声無声判定、ピッチ抽出誤りが起こった場合の品質劣化が避けられないという課題がある。特に、雑音が重畳した狭帯域音声信号に対して適用した場合に、判定誤り、抽出誤りが増大し、大きな劣化が起こる課題がある。

また、有声音と無声音の２つのモードしかないため、中間的な性質を持つ音源が十分表現できず、有声音と無声音の境界部分において品質劣化が起こる課題がある。

つぎに第３のスペクトルパラメータ推定方法に関して説明する。

特開平６−１１８９９５号と文献１では、２つの符号帳を利用したベクトル量子化と逆量子化を行っているが、符号帳を蓄積しておくメモリが必要である事、量子化処理のための多くの演算量が必要である事が課題である。

また、雑音、無声音、有声音の区別はパワーによってしやすく、かつそれらの区別によって狭帯域のスペクトルパラメータと広帯域のスペクトルパラメータの対応関係は変化する。しかしながら、何れの場合も、スペクトルパラメータとパワーを独立に扱っているので、広帯域のスペクトルパラメータの推定にパワーに関する情報が反映されていない。このため、狭帯域のスペクトルの形状が類似していれば、パワーの大小に関係なく、同様な広帯域スペクトルが推定されてしまう課題がある。

最後に第４の通信系への適用に関して説明する。

特開平６−１１８９９５号と文献１の方法を通信系へ適用する場合、受信した音声符号から狭帯域合成音を復号した後、この狭帯域合成音を再分析して広帯域音声信号を復元する事となるが、スペクトルパラメータと音源情報が分離・符号化されて伝送されてくる場合には、その音声符号を直接利用して広帯域音声信号を復元する方が効率的と考えられる。つまり、特開平６−１１８９９５号と文献１の方法は再分析が必要である点で非効率である課題がある。また、合成と再分析を行って得られるパラメータには、合成時の補間や分析時の窓掛等による歪が重畳しており、広帯域音声の品質劣化もある。

この他、特開平６−１１８９９５号と文献１では、一般に合成音の雑音感の低減や了解性の改善のために導入される信号加工処理を付加していないため、復元された広帯域音声信号の音質が不足する場合にその改善をする事ができない課題がある。

また、通信系へ適用する場合、狭帯域合成音に対して信号加工処理が適用されることがあり、加工された狭帯域音声信号と加工されていない広帯域音声信号を重畳するために、両者の音質の連続性が悪くなる課題がある。

文献２の方法では、０Ｈｚから１ＫＨｚを狭帯域、０Ｈｚから３．４ＫＨｚを広帯域と考えれば、広帯域の音源信号推定を行っていることになるが、前記した通りこの方式は広帯域の音声信号を入力とし、これを分析して得たパラメータを符号化し、復号化して広帯域合成音を得るものであり、狭帯域の音声信号、または狭帯域の音声信号から抽出されたパラメータから広帯域の音声信号を復元する方法を開示したものではない。

以下に述べる実施例は、かかる課題を解決するためになされたものであり、狭帯域音声からより正しい振幅を持った広帯域音声信号を復元する広帯域音声復元装置を実現する事を目的としている。

また、比較的簡単な処理の広帯域音源振幅の推定処理を持った広帯域音声復元装置を実現する事を目的としている。

更に、話者に依存性が少なく、有声無声境界付近でも良好な広帯域音源を推定し、安定で自然な音質の広帯域音声を復元する広帯域音声復元装置を実現する事を目的としている。

また、雑音が重畳した狭帯域音声信号に対して起こりがちな有声無声判定誤りやピッチ抽出誤りの影響の少ない広帯域音声復元装置を実現する事を目的としている。

更に、通信系へ適用した場合に、再分析を行わずに効率良く広帯域音声の復元を行う広帯域音声復元装置を実現する事を目的としている。

更に、復元された広帯域音声信号の音質が不足する場合にその改善を可能とし、狭帯域合成音に対して信号加工処理が適用される場合に、加工された狭帯域連続性が良い広帯域音声信号が得られる広帯域音声復元装置を実現する事を目的としている。

この発明に係る広帯域音声復元方法は、狭帯域音声信号をアップサンプリングするアップサンプリング工程と、
前記狭帯域音声信号の狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成工程と、
前記第１の広帯域音声信号合成工程で合成された第１の広帯域音声信号と前記アップサンプリング工程でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成工程と
を備えたことを特徴とする。

実施例１．
本発明の一実施例を図に基づいて説明する。

本実施例は、主として広帯域音源信号の生成をより正しい形で復元する構成と動作を説明するものである。

図１は本発明の実施例１の広帯域音声復元装置の構成図である。図において、１は入力の狭帯域音声信号、２は分析手段、３はスペクトル分析手段、４は狭帯域スペクトルパラメータ、５は逆フィルタ、６は狭帯域音源信号、７は広帯域スペクトル推定手段、８はベクトル量子化手段、９は狭帯域スペクトル符号帳、１０はスペクトル符号、１１は逆量子化手段、１２は広帯域スペクトル符号帳、１３は広帯域スペクトルパラメータである。１４は本実施例での重要な新規構成要素である広帯域音源推定手段、１５はその具体例としての零詰手段、１６は広帯域音源信号、１７は合成手段としての合成フィルタ、１８は帯域フィルタ、１９はアップサンプリング手段、２０は広帯域音声信号である。

また、図２は、零詰手段１５の処理を説明する信号説明図である。

以下、図１と図２を用いて本発明の実施例１の動作について説明する。

まず、例えば８ＫＨｚでサンプリングされ、３００Ｈｚから３．４ＫＨｚの電話帯域に制限された狭帯域音声信号１が分析手段２とアップサンプリング手段１９に入力される。分析手段２内のスペクトル分析手段３は、狭帯域音声信号１を分析して狭帯域スペクトルパラメータ４を算出し、分析手段２内の逆フィルタ５と広帯域スペクトル推定手段７内に出力する。なお、狭帯域スペクトルパラメータ４としては、線形予測係数、ＬＳＰ、ＰＡＲＣＯＲ係数、ケプストラム等様々なものが適用可能である。逆フィルタ５は、狭帯域スペクトルパラメータ４を用いて狭帯域音声信号１を逆フィルタリングし、得られた狭帯域音源信号６を広帯域音源推定手段１４内に出力する。

広帯域スペクトル推定手段７内のベクトル量子化手段８は、狭帯域スペクトル符号帳９を用いて前記狭帯域スペクトルパラメータ４をベクトル量子化し、得られたスペクトル符号１０を広帯域スペクトル推定手段７内の逆量子化手段１１に出力する。逆量子化手段１１は、広帯域スペクトル符号帳１２を用いてスペクトル符号１０を逆量子化し、得られた広帯域スペクトルパラメータ１３を合成フィルタ１７に出力する。

なお、この広帯域スペクトル推定手段７内の処理は、文献１と同様であり、狭帯域スペクトル符号帳９と広帯域スペクトル符号帳１２の生成法や、ベクトル量子化の方法に関する詳細な説明を省略する。

本実施例の重要部分である広帯域音源推定手段１４内の零詰手段１５は、狭帯域音源信号６の各サンプル値間にＭ−１サンプルずつ零を挿入し、得られたＭ倍のサンプル数の信号を広帯域音源信号１６として合成フィルタ１７に出力する。ここで、Ｍは、復元する広帯域音声信号のサンプリング周波数を、狭帯域音声信号のサンプリング周波数で除した値であり、この実施例では、Ｍが２の場合について説明する。図２（ａ）は、Ｎサンプルの狭帯域音源信号６である。この信号に対して、零詰手段１５による零詰め処理を行うと、Ｍ−１サンプル、つまり１サンプルずつの零が各サンプル間に挿入されて、図２（ｂ）に示す２Ｎサンプルの広帯域音源信号１６が得られる。Ｍが２の零詰め処理を行うと、広帯域音声信号のサンプリング周波数の半分の周波数、つまり４ＫＨｚを中心にして、０Ｈｚから４ＫＨｚと対称のスペクトルが４ＫＨｚから８ＫＨｚに復元される。

合成フィルタ１７は、広帯域スペクトルパラメータ１３を用いて広帯域音源信号１６に合成フィルタ処理を行い仮の広帯域音声信号を生成する。帯域フィルタ１８は、この仮の広帯域音声信号に対して、帯域通過フィルタ処理を行い、狭帯域音声の成分の存在する帯域以外の成分を抽出する。広帯域音声信号の帯域が０Ｈｚから７．３ＫＨｚの場合、０Ｈｚから３００Ｈｚと３．４ＫＨｚから７．３ＫＨｚの成分が抽出される。

アップサンプリング手段１９は、狭帯域音声信号１をＭ倍にアップサンプリングする。アップサンプリングによって生成される信号は、サンプリング周波数が広帯域音声信号２０と同じで、狭帯域音声信号１と同じ狭帯域成分を持つものである。そして、帯域フィルタ１８の出力とアップサンプリング手段１９の出力を加算して広帯域音声信号２０を生成する。

本来狭帯域音源信号と広帯域音源信号は、同一の発声器官から生成された音源信号の特徴を反映しているので、ピッチ周波数の高調波成分の強さ、高調波成分間の雑音的成分の強さ等の音源信号の特徴において相関がある。つまり、狭帯域音源信号がピッチ周波数の高調波成分が強い規則的な特徴を持っている場合には、広帯域音源信号も同様にピッチ周波数の高調波成分が強い規則的な特徴を持っているし、逆に狭帯域音源信号が雑音的な成分が強い特徴を持っている場合には、広帯域音源信号も同様に雑音的な成分が強い特徴を持っている。

この実施例の様に広帯域音源推定手段を構成する事により、低域の０〜４ＫＨｚの狭帯域音源信号と同様の特徴を持つ０〜８ＫＨｚの広帯域音源信号を生成する事ができるので、話者に依存性が少なく、安定で自然な音質の広帯域音声を復元することができる効果がある。

また、従来例のように有声無声判定やピッチ抽出が必要なく、本構成により自ずと中間的な性質の音源も表現できるので、雑音が重畳した狭帯域音声信号に対して起こりがちな有声無声判定誤りやピッチ抽出誤りの影響がなく、有声無声境界付近でも良好な広帯域音源を推定することができ、安定で自然な音質の広帯域音声を復元することができる効果がある。

実施例２．
図３は本発明の実施例２の広帯域音声復元装置における音源推定手段１４の構成図である。図において新規な部分は、２１の音源分析手段、２２の狭帯域適応符号帳、２３の歪最小化手段、２４の狭帯域駆動音源信号、２５の狭帯域適応ラグ長、２６の狭帯域適応ゲイン、２７の広帯域駆動音源推定手段、２８の零詰手段、２９の広帯域駆動音源信号、３０の広帯域適応音源推定手段、３１の広帯域適応音源符号帳、３２の広帯域適応音源信号、３３の広帯域適応ラグ長、３４の広帯域適応ゲインである。全体構成は、図１と同じであるので、構成の記載と図３以外の部分の動作の説明を省略する。

本構成によれば、広帯域音源信号が更によりよく復元できる。

以下、図３を用いて本発明の一実施例の動作について説明する。

狭帯域音源信号６が広帯域音源推定手段１４内の音源分析手段２１に入力される。音源分析手段２１内の狭帯域適応符号帳２２には、過去の狭帯域音源信号６が記憶されており、後述する歪最小化手段２３が順次出力するラグ長に従って、ラグ長が整数値である場合には記憶してある過去の狭帯域音源信号６をこのラグ長で繰り返して得られる信号を出力する。ラグ長が非整数値である場合には、文献３「 Pitch Predictors ｗith High Temporal Resolution 」IEEE International Conference on Acoustics, Speech, and Signal Processing vol.2, S12.6, pp.661-664 (1990.4) に記載されているようにポリフェイズフィルタ出力により信号を生成し、出力する。出力する信号の長さは、現在の狭帯域音源信号６と同じ長さである。

図４に、狭帯域適応符号帳２２内に記憶されている過去の狭帯域音源信号６と、入力されたラグ長に従って出力される信号の例を示す。

図において、横軸は時間で矢印方向に時間が経過することを示す。（Ａ１），（Ｂ１）は従って音源信号の時間的な長さを示し、（Ａ２），（Ｂ２）は２０〜１２８等、出力される時間に対して正規化されたラグ長を示し、（Ａ３），（Ｂ３）は出力される音源信号の例を示す。

図４（ａ）は出力信号の長さがラグ長より短い場合を示し、その場合にはラグ長の最初から出力信号時間Ｔ１の長さの音源信号（Ａ３）を過去の音源信号に引続いて出力する。ラグ長が出力する信号の長さよりもＴ２のように短い時には、図４（ｂ）に示す様に複数回同じ音源信号（Ｂ３）を繰り返して過去の音源信号に続いて出力する。

歪最小化手段２３は、前記狭帯域適応符号帳２２に対して複数のラグ長の値を順次出力し、各ラグ長に対して狭帯域適応符号帳２２が出力した信号にゲインを乗じた信号と狭帯域音源信号６との歪が最小になるようにそのゲインを決定していく。そして、全てのラグ長に中で歪を最小にするものを選択し、狭帯域適応ラグ長２５として広帯域適応音源推定手段３０に出力する。また、その時のゲインの値を狭帯域適応ゲイン２６として広帯域適応音源推定手段３０に出力し、狭帯域適応符号帳２２が出力した信号に狭帯域適応ゲイン２６を乗じた信号と狭帯域音源信号６の誤差信号を狭帯域駆動音源信号２４として広帯域駆動音源推定手段２７に出力する。なお、歪最小化手段２３内でのゲインの決定方法としては、一般に知られているラグランジュの未定係数法を用いる事ができる。

即ち歪最小化手段２３は、狭帯域音源信号６と狭帯域適応符号帳２２出力を入力とし、狭帯域適応音源符号である歪最小のラグ長２５とゲイン２６と、誤差信号の狭帯域駆動音源信号２４を出力する。

広帯域駆動音源推定手段２７内の零詰手段２８は、狭帯域駆動音源信号２４の各サンプル値間にＭ−１サンプルずつ零を挿入し、得られたＭ倍のサンプル数の信号を広帯域駆動音源信号２９として出力する。ここで、Ｍは、復元する広帯域音声信号のサンプリング周波数を、狭帯域音声信号のサンプリング周波数で除した値であり、零を挿入する動作は前記零詰手段１５と同じである。

広帯域適応音源推定手段３０内では、まず狭帯域適応ラグ長２５をＭ倍して広帯域適応ラグ長３３とし、狭帯域適応ゲイン２６をｇ倍して広帯域適応ゲイン３４とする。ｇを１とすると最終的に得られる広帯域音源信号１６のピッチ周期性が狭帯域音源信号６と同等となり、１から小さくしていくにつれて狭帯域音源信号６に比べてピッチ周期性が弱くなっていく。実際の音声を観察すると、周波数が高い部分ほどピッチ周期性が弱くなっていく場合がおおいので、高域を復元する場合にｇを１より小さい値に設定するとより高品質な広帯域音声が復元できる。

広帯域適応音源推定手段３０内の広帯域適応音源符号帳３１には、過去の広帯域音源信号１６が記憶されており、この信号を前記広帯域適応ラグ長３３で繰り返して得られる信号を出力する。そして広帯域適応音源推定手段３０内でこの信号を前記広帯域適応ゲイン３４で乗算して、広帯域適応音源信号３２として出力する。

最後に広帯域駆動音源信号２９と広帯域適応音源信号３２を加算して、広帯域音源信号１６として出力する。

この様に構成する事により、狭帯域音源信号の持つピッチ周期性の強さや変動に関する特徴が、狭帯域適応ラグ長２５と狭帯域適応ゲイン２６によって良好に表現され、広帯域音源信号に反映されるので、様々に変化する音源を十分に推定でき、パルス的な音もなく、良好な音質の広帯域音声を復元することができる効果がある。また、話者によらずに適切な音源が推定できる効果がある。

広帯域適応音源信号３２において、広帯域適応ラグ長３３によって決まる基本周波数とその高調波成分の周波数が、正しく整数倍の位置に並ぶので、最終的に復元される広帯域音声信号２０での狭帯域成分と復元広帯域成分のつながりが良く、高品質な広帯域音声を復元できる効果がある。

更に、周波数が高くなるにつれてピッチ周期性が弱くなっていく特徴を係数ｇによって導入する事ができるので、より自然な音質が得られる効果がある。

また、有声無声判定やピッチ抽出が必要なく、中間的な性質の音源も表現できるので、雑音が重畳した狭帯域音声信号に対して起こりがちな有声無声判定誤りやピッチ抽出誤りの影響がなく、有声無声境界付近でも良好な広帯域音源を推定することができ、安定で自然な音質の広帯域音声を復元することができる効果がある。

実施例３．
図５は本発明の実施例３の広帯域音声復元装置における広帯域駆動音源推定手段２７の構成図である。図において新規な部分は、３５のパワー算出手段、３６の雑音生成手段である。その他の構成は図１および図３と同じであるので、対応部分の動作の説明を省略する。

以下、図５を用いて本発明の実施例３の図に示された部分の動作について説明する。

狭帯域駆動音源信号２４が広帯域駆動音源推定手段２７内のパワー算出手段３５に入力される。パワー算出手段３５は狭帯域駆動音源信号２４のパワーを算出し、出力する。雑音生成手段３６は、パワー正規化された白色雑音信号を生成し出力する。そして、広帯域駆動音源推定手段２７内で、前記白色雑音信号にパワー算出手段３５が出力したパワーを乗じ、得られた信号を広帯域駆動音源信号２９として出力する。

ピッチ周期や周期性の強さは時々刻々変化している。狭帯域音源信号６におけるピッチ周期や周期性の強さの細かい変動分は狭帯域適応ラグ長２５と狭帯域適応ゲイン２６では表現できないため、その誤差が狭帯域駆動音源信号２４に含まれている。実施例２のようにこの誤差成分を含む狭帯域駆動音源信号２４を用いて広帯域駆動音源信号２９を生成すると、広帯域駆動音源信号２９に不必要な乱れが生じてしまう事があり、パワーが同じ白色雑音を生成して広帯域駆動音源信号２９として用いた方が良好な復元音が得られる場合がある事を実験的に確認している。

実施例３の様に構成する事により、狭帯域駆動音源信号２４とパワーが同じ白色雑音を生成して広帯域駆動音源信号２９として用いているので、実施例２が持つ効果に加えて、ピッチ周期や周期性の強さの変動分による乱れの少ない良好な復元音が得られる効果がある。

また、零詰め処理を行うと４ＫＨｚを中心に対称なスペクトルが生成される。従って、この０Ｈｚから３００Ｈｚと３．４ＫＨｚから４．０ＫＨｚの成分がない狭帯域駆動音源信号２４に対して零詰めを行うと、０Ｈｚから３００Ｈｚ、３．４ＫＨｚから４．６ＫＨｚ、７．７ＫＨｚから８ＫＨｚの成分がない信号が得られてしまう。これに対し、白色雑音を用いるこの構成では、０Ｈｚから８ＫＨｚまで全ての成分を持つ広帯域駆動音源信号２９が得られるので、全域にわたって帯域がある良好な復元音が得られる効果がある。特に０Ｈｚから３００Ｈｚの復元を行う場合には効果が大きい。

実施例４．
図６は本発明の実施例４の広帯域音声復元装置における広帯域駆動音源推定手段２７の構成図である。図において、２８の零詰手段、３５のパワー算出手段、３６の雑音生成手段は実施例２および実施例３のものと同一である。その他の構成は図１および図３と同じであるので、図示以外の部分の動作の説明を省略する。

以下、図６を用いて本発明の一実施例の動作について説明する。

狭帯域駆動音源信号２４が広帯域駆動音源推定手段２７内の零詰手段２８とパワー算出手段３５に入力される。広帯域駆動音源推定手段２７内の零詰手段２８は、狭帯域駆動音源信号２４の各サンプル値間にＭ−１サンプルずつ零を挿入し、得られたＭ倍のサンプル数の信号を出力する。ここで、Ｍは、復元する広帯域音声信号のサンプリング周波数を、狭帯域音声信号のサンプリング周波数で除した値であり、零を挿入する動作は前記零詰手段１５と同じである。

パワー算出手段３５は狭帯域駆動音源信号２４のパワーを算出し、出力する。雑音生成手段３６は、パワー正規化された白色雑音信号を生成し出力する。そして、零詰手段２８が出力した信号にゲインｇｒ１を乗じた信号と、雑音生成手段３６が出力した白色雑音信号にパワー算出手段３５が出力したパワーを乗じ、さらにゲインｇｒ２を乗じた信号を加算して広帯域駆動音源信号２９として出力する。

実施例２および実施例３による復元音が、それぞれ一長一短を有している場合、この様に構成し、ｇｒ１とｇｒ２を適切に設定することで、両者を上回る品質の広帯域音声が復元できる得られる効果がある。なお、実施例２と実施例３と同じ効果も持っている。

実施例５．
広帯域音源信号の良好な復元が出来る他の構成を説明する。

図７は本発明の実施例５の広帯域音声復元装置における広帯域音源推定手段１４の構成図である。図において新規な部分は、３７の狭帯域長周期予測分析手段、３８の狭帯域長周期遅延、３９の狭帯域長周期予測係数、４０の長周期逆フィルタ、４１の狭帯域長周期予測残差信号、４２の広帯域長周期予測残差推定手段、４３の零詰手段、４４の広帯域長周期予測パラメータ（符号）推定手段、４５の広帯域長周期遅延、４６の広帯域長周期予測係数、４７の長周期合成フィルタ、４８の広帯域長周期予測残差信号である。全体構成は、図１と同じであるので、説明を省略する。

以下、図７を用いて本発明の一実施例の動作について説明する。

狭帯域音源信号６が広帯域音源推定手段１４内の音源分析手段２１に入力される。音源分析手段２１内の狭帯域長周期予測分析手段３７は、狭帯域音源信号６に対して長周期予測分析を行い、狭帯域長周期予測符号である狭帯域長周期遅延３８と狭帯域長周期予測係数３９を出力する。なお、長周期予測分析については、ＣＥＬＰ系の符号化方式でしばしば用いられていた方法であるので説明を省略する。

音源分析手段２１内の長周期逆フィルタ４０は、狭帯域長周期遅延３８と狭帯域長周期予測係数３９を用いて狭帯域音源信号６を逆フィルタリングし、得られた信号を狭帯域長周期予測残差信号４１として広帯域長周期予測残差推定手段４２に出力する。

広帯域長周期予測残差推定手段４２内の零詰手段４３は狭帯域長周期予測残差信号４１の各サンプル値間にＭ−１サンプルずつ零を挿入し、得られたＭ倍のサンプル数の信号を広帯域長周期予測残差信号４８として出力する。ここで、Ｍは、復元する広帯域音声信号のサンプリング周波数を、狭帯域音声信号のサンプリング周波数で除した値であり、零を挿入する動作は前記零詰手段１５と同じである。

広帯域長周期予測パラメータ（符号）推定手段４４は、狭帯域長周期遅延３８をＭ倍して予測符号の１つである広帯域長周期遅延４５を出力し、また狭帯域長周期予測係数３９をｇ倍して他の予測符号である広帯域長周期予測係数４６を出力する。ｇを１とすると最終的に得られる広帯域音源信号１６のピッチ周期性が狭帯域音源信号６と同等となり、１から小さくしていくにつれて狭帯域音源信号６に比べてピッチ周期性が弱くなっていく。実施例２と同様に、高域を復元する場合にはｇを１より小さい値に設定した方が高品質となる。

最後に、長周期合成フィルタ４７は、広帯域長周期遅延４５と広帯域長周期予測係数４６を用いて、広帯域長周期予測残差信号４８に対して長周期合成フィルタリングを行い、得られた信号を広帯域音源信号１６として出力する。

この様に構成する事により、狭帯域音源信号の持つピッチ周期性の強さや変動に関する特徴が、狭帯域長周期遅延３８と狭帯域長周期予測係数３９によって良好に表現され、広帯域音源信号に反映されるので、様々に変化する音源を十分に推定でき、パルス的な音もなく、良好な音質の広帯域音声を復元することができる効果がある。また、話者によらずに適切な音源が推定できる効果がある。

広帯域音源信号１６において、広帯域長周期遅延４５によって決まる基本周波数とその高調波成分の周波数が、正しく整数倍の位置に並ぶので、最終的に復元される広帯域音声信号２０での狭帯域成分と復元広帯域成分のつながりが良く、高品質な広帯域音声を復元できる効果がある。

更に、周波数が高くなるにつれてピッチ周期性が弱くなっていく特徴を係数ｇによって導入する事ができるので、より自然な音質が得られる効果がある。

また、有声無声判定やピッチ抽出が必要なく、中間的な性質の音源も表現できるので、雑音が重畳した狭帯域音声信号に対して起こりがちな有声無声判定誤りやピッチ抽出誤りの影響がなく、有声無声境界付近でも良好な広帯域音源を推定することができ、安定で自然な音質の広帯域音声を復元することができる効果がある。

実施例６．
図８は本発明の実施例６の広帯域音声復元装置における広帯域長周期予測残差推定手段４２の構成図である。図において、３５のパワー算出手段、３６の雑音生成手段は実施例３のものと同一である。その他の構成は図１および図７と同じであるので、説明を省略する。

以下、図８を用いて本発明の一実施例の動作について説明する。

狭帯域長周期予測残差信号４１が広帯域長周期予測残差推定手段４２内のパワー算出手段３５に入力される。パワー算出手段３５は狭帯域長周期予測残差信号４１のパワーを算出し、出力する。雑音生成手段３６は、パワー正規化された白色雑音信号を生成し出力する。そして、広帯域長周期予測残差推定手段４２内で、前記白色雑音信号にパワー算出手段３５が出力したパワーを乗じ、得られた信号を広帯域長周期予測残差信号４８として出力する。

実施例３での説明と同様に、狭帯域音源信号６におけるピッチ周期や周期性の強さの細かい変動分は狭帯域長周期遅延３８と狭帯域長周期予測係数３９では表現できないため、その誤差が狭帯域長周期予測残差信号４１に含まれている。実施例５のようにこの誤差成分を含む狭帯域長周期予測残差信号４１を用いて広帯域長周期予測残差信号４８を生成すると広帯域長周期予測残差信号４８に不必要な乱れが生じてしまう事があり、パワーが同じ白色雑音を生成して広帯域長周期予測残差信号４８として用いた方が良好な復元音が得られる場合がある。

実施例６の様に構成する事により、狭帯域長周期予測残差信号４１とパワーが同じ白色雑音を生成して広帯域長周期予測残差信号４８として用いているので、実施例５が持つ効果に加えて、ピッチ周期や周期性の強さの変動分による乱れの少ない良好な復元音が得られる効果がある。

また、零詰め処理を行うと４ＫＨｚを中心に対称なスペクトルが生成されるので、この０Ｈｚから３００Ｈｚと３．４ＫＨｚから４．０ＫＨｚの成分がない狭帯域長周期予測残差信号４１に対して行うと、０Ｈｚから３００Ｈｚ、３．４ＫＨｚから４．６、ＫＨｚ７．７ＫＨｚから８ＫＨｚの成分がない信号が得られてしまう。これに対し、白色雑音を用いるこの構成では、０Ｈｚから８ＫＨｚまで全ての成分を持つ広帯域長周期予測残差信号４８が得られるので、不足する帯域がない良好な復元音が得られる効果がある。特に０Ｈｚから３００Ｈｚの復元を行う場合には効果が大きい。

実施例７．
図９は本発明の実施例７の広帯域音声復元装置における広帯域長周期予測残差推定手段４２の構成図である。図において、４３の零詰手段、３５のパワー算出手段、３６の雑音生成手段は実施例５および実施例６のものと同一である。その他の構成は図１および図７と同じであるので、説明を省略する。

以下、図９を用いて本発明の一実施例の動作について説明する。

狭帯域長周期予測残差信号４１が広帯域長周期予測残差推定手段４２内の零詰手段４３とパワー算出手段３５に入力される。広帯域長周期予測残差推定手段４２内の零詰手段４３は、狭帯域長周期予測残差信号４１の各サンプル値間にＭ−１サンプルずつ零を挿入し、得られたＭ倍のサンプル数の信号を出力する。ここで、Ｍは、復元する広帯域音声信号のサンプリング周波数を、狭帯域音声信号のサンプリング周波数で除した値であり、零を挿入する動作は前記零詰手段１５と同じである。

パワー算出手段３５は狭帯域長周期予測残差信号４１のパワーを算出し、出力する。雑音生成手段３６は、パワー正規化された白色雑音信号を生成し出力する。そして、零詰手段４３が出力した信号にゲインｇｒ１を乗じた信号と、雑音生成手段３６が出力した白色雑音信号にパワー算出手段３５が出力したパワーを乗じ、さらにゲインｇｒ２を乗じた信号を加算して広帯域長周期予測残差信号４８として出力する。

実施例５および実施例６による復元音が、それぞれ一長一短を有している場合、この様に構成し、ｇｒ１とｇｒ２を適切に設定することで、両者を上回る品質の広帯域音声が復元できる得られる効果がある。なお、実施例５と実施例６と同じ効果も持っている。

実施例８．
図１０は本発明の実施例８の広帯域音声復元装置における広帯域音源推定手段１４の構成図である。図において新規な部分は、４９のアップサンプリング手段、５０の零化手段である。全体構成は、図１と同じであるので、説明を省略する。

以下、図１０を用いて本発明の一実施例の動作について説明する。

狭帯域音源信号６がアップサンプリング手段４９に入力される。アップサンプリング手段４９は、狭帯域音源信号６をＭ倍にアップサンプリングして、得られた信号を音源分析手段２１に出力する。

音源分析手段２１内の狭帯域長周期予測分析手段３７は、アップサンプリング手段４９の出力信号に対して長周期予測分析を行い、狭帯域長周期遅延３８と狭帯域長周期予測係数３９を出力する。なお、長周期予測分析における遅延探索範囲が実施例５の場合のＭ倍になる。

音源分析手段２１内の長周期逆フィルタ４０は、狭帯域長周期遅延３８と狭帯域長周期予測係数３９を用いて、アップサンプリング手段４９の出力信号を逆フィルタリングし、得られた信号を狭帯域長周期予測残差信号４１として広帯域長周期予測残差推定手段４２に出力する。

広帯域長周期予測残差推定手段４２内の零化手段５０は、狭帯域長周期予測残差信号４１のＭサンプル置きの信号のみを残し、残りの信号の値を零とする。そして、得られた信号を広帯域長周期予測残差信号４８として出力する。

広帯域長周期予測パラメータ推定手段４４は、狭帯域長周期遅延３８をそのまま広帯域長周期遅延４５として出力し、狭帯域長周期予測係数３９をｇ倍して広帯域長周期予測係数４６として出力する。ｇについては実施例５と同様である。

最後に、長周期合成フィルタ４７は、広帯域長周期遅延４５と広帯域長周期予測係数４６を用いて、広帯域長周期予測残差信号４８に対して長周期合成フィルタリングを行い、得られた信号を広帯域音源信号１６として出力する。

この様に構成する事により、高いサンプリング周波数の信号に対して長周期分析が行えるので、より精度の高い遅延が分析できるようになり、狭帯域音源信号の持つピッチ周期性の強さや変動に関する特徴をより細かく広帯域音源信号に反映することが可能となり、様々に変化する音源を十分に推定でき、良好な音質の広帯域音声を復元することができる効果がある。なお、実施例５と同じ効果も持っている。

実施例９．
図１１は本発明の実施例９の広帯域音声復元装置の構成図である。図において新規な部分は、５１の狭帯域パワー算出手段、５２の狭帯域音源パワー、５３の狭帯域パワー込みスペクトル符号帳である。その他は、前記したものと同じであるので、動作に若干の差異があるものだけ説明を行う。

以下、図１１を用いて本発明の一実施例の動作について説明する。

分析手段２内の狭帯域パワー算出手段５１は、狭帯域音源信号６の振幅情報に含まれるパワーを算出して狭帯域音源パワー５２として出力する。この他にスペクトルパラメータ４と、狭帯域音源信号６も出力する。

広帯域スペクトル推定手段７内のベクトル量子化手段８は、狭帯域パワー込みスペクトル符号帳５３を用いて、狭帯域スペクトルパラメータ４と狭帯域音源パワー５２を一括してベクトル量子化し、得られたスペクトル符号１０を広帯域スペクトル推定手段７内の逆量子化手段１１に出力する。

ここで、狭帯域パワー込みスペクトル符号帳５３は、多くの狭帯域音声信号を分析して得られた狭帯域スペクトルパラメータと狭帯域音源パワーの対を学習データとして、文献１と同様な方法で作成する。狭帯域パワー込みスペクトル符号帳５３の学習時とベクトル量子化手段８における距離尺度としては、パワーの対数値のユークリッド距離をｗ倍したものとスペクトルパラメータのユークリッド距離を加算したものを用いることができる。

なお、狭帯域パワー算出手段５１が狭帯域音源信号６ではなく、狭帯域音声信号１のパワーを算出して、これを上記狭帯域音源パワー５２の代わりに用いる事もできる。この場合には、狭帯域スペクトルパラメータと狭帯域音声信号のパワーの対を学習データとして、狭帯域パワー込みスペクトル符号帳５３の学習を行う。

この様に構成する事により、実施例１が持つ効果に加えて、広帯域のスペクトルパラメータの推定にパワーに関する情報が反映され、より安定に良好なスペクトルが推定できる効果がある。

実施例１０．
図１２は本発明の実施例１０の広帯域音声復元装置の構成図である。図において新規な部分は、５４の音源正規化手段、５５の狭帯域正規化音源信号、５６の広帯域正規化音源信号、５７の広帯域パワー符号帳、５８の広帯域音源パワー、広帯域スペクトル推定手段に含まれる５９の広帯域音源パワー推定手段である。その他は、前記したものと同じであるので、説明を省略する。

以下、図１２を用いて本発明の一実施例の動作について説明する。

分析手段２内の音源正規化手段５４は、狭帯域音源信号６の振幅情報に含まれるパワーを算出して狭帯域音源パワー５２として広帯域音源パワー推定手段５９に出力するとともに、狭帯域音源信号６のパワーを正規化した信号を狭帯域正規化音源信号５５として広帯域音源推定手段１４に出力する。

実際には広帯域スペクトル推定手段７内にある広帯域音源パワー推定手段５９中のベクトル量子化手段８は、狭帯域パワー込みスペクトル符号帳５３を用いて、狭帯域スペクトルパラメータ４と狭帯域音源パワー５２を一括してベクトル量子化し、得られたスペクトル符号１０を広帯域音源パワー推定手段５９内の逆量子化手段１１に出力する。逆量子化手段１１は、広帯域パワー符号帳５７を用いてスペクトル符号１０を復号し、得られた広帯域音源パワー５８を出力する。

広帯域音源推定手段１４は、狭帯域正規化音源信号５４を用いて、広帯域正規化音源信号５６を推定する。なお、広帯域スペクトル推定手段７と広帯域音源推定手段１４における推定には、実施例１ないし実施例８と同様な方法を用いる事ができる。そして、この広帯域正規化音源信号５６に前記広帯域音源パワー５８を乗じて広帯域音源信号１６を生成する。

この様に構成する事により、実施例１が持つ効果に加えて、広帯域音源パワーの推定にスペクトルパラメータの違いを反映させる事ができるので、より正しい振幅を持った広帯域音声が復元できる効果がある。

実施例１１．
図１３は本発明の実施例１１の広帯域音声復元装置の構成図である。図において新規な部分は、６０の広帯域パワー込みスペクトル符号帳である。その他は、図１１および図１２と同じであるので、動作に若干の差異があるものだけ説明を行う。

以下、図１３を用いて本発明の一実施例の動作について説明する。

広帯域スペクトル推定手段７内の逆量子化手段１１は、広帯域パワー込みスペクトル符号帳６０を用いてスペクトル符号１０を復号し、得られた広帯域スペクトルパラメータ１３と広帯域音源パワー５８を出力する。

ここで、広帯域パワー込みスペクトル符号帳６０は、多くの広帯域音声信号を分析して得られた広帯域スペクトルパラメータと広帯域音源パワーの対を学習データとして、文献１と同様な方法で作成する。距離尺度には、狭帯域パワー込みスペクトル符号帳５３の作成に用いたものと同じものを用いる。

この様に構成する事により、実施例９と実施例１０が持つ効果を合わせ持つ事ができる。

実施例１２．
図１４は本発明の実施例１２の広帯域音声復元装置の構成図である。図において新規な部分は、６１のポストフィルタ手段である。その他は、実施例１ないし実施例１１と同じであり、説明を省略する。

以下、図１４を用いて本発明の一実施例の動作について説明する。

ポストフィルタ手段６１は、合成フィルタ１７が出力した仮の広帯域音声信号に対してポストフィルタリング処理を行い、得られた信号を帯域フィルタ１８に出力する。帯域フィルタ１８は、ポストフィルタ手段６１が出力した信号に対して、帯域通過フィルタ処理を行い、狭帯域音声の成分のある帯域以外の成分を抽出する。

なお、ポストフィルタリング処理は、聴感的品質を改善する信号加工処理のことで、ピッチ周期性やスペクトルの極を強調したり、高域を強調して明瞭性を改善したり、伝送路を通す際に発生する歪が多い帯域を抑圧して歪感を低減するものである。

ピッチ周期性の強調処理としては、ピッチ周期だけ前の仮の広帯域音声信号に１より小さい係数を乗じて現在の仮の広帯域音声信号に加算する方法が一般的である。

極強調処理としては、広帯域スペクトルパラメータ１３を変形して、広帯域スペクトルパラメータ１３の持つ極周波数近傍の周波数帯域に大きなゲインを持ち、広帯域スペクトルパラメータ１３の持つ極近傍以外の周波数帯域に小さいゲインを持つ極零型のフィルタのフィルタ係数を算出する方法が各種提案されており、このフィルタを仮の広帯域音声信号に掛けることで実現できる。また、伝送路を通す際に発生する歪は振幅の小さい周波数帯域、つまり極近傍以外の周波数帯域に多いので、この極強調処理により歪が多い帯域を抑圧する事もできる。

高域強調処理としては、プリエンファシスと呼ばれる方法、すなわち１点前の仮の広帯域音声信号に１以下の係数を乗じて現在の仮の広帯域音声信号から減算する方法が一般的である。

また、図１４において、ポストフィルタ手段６１と帯域フィルタ１８が逆の位置でも構わないし、広帯域音声信号２０に対してポストフィルタ手段６１をかける構成でも構わない。

この様に構成する事で、実施例１が持つ効果に加えて、復元された広帯域音声信号の音質が不足する場合に、広帯域音声信号のピッチ周期性やスペクトルの極を強調したり、高域を強調して明瞭性を改善したり、伝送路を通す際に発生する歪が多い帯域を抑圧して歪感を低減することができる効果がある。

なお、図１４において逆フィルタ５と広帯域音源推定手段１４を外した構成も可能である。この構成は、文献１に本発明を適用したものに相当し、上記と同様の効果がある。

実施例１３．
実施例１ないし実施例１２における広帯域スペクトル推定手段７が、狭帯域スペクトルパラメータ４をそのまま広帯域スペクトルパラメータ１３として出力する構成も可能である。

図１５は、この場合の狭帯域スペクトルと広帯域スペクトルの概形の関係を説明する説明図である。狭帯域スペクトルパラメータ４が表すスペクトル包絡が図１５（ａ）である場合、これをそのまま広帯域スペクトルパラメータ１３として用いると、結果的にその幅が伸張し、広帯域スペクトルパラメータ１３が表すスペクトル包絡は図１５（ａ）を周波数軸方向にＭ倍に引き伸ばした形で、Ｍが２の時には図１５（ｂ）のようになる。従って、狭帯域スペクトル包絡の２ＫＨｚから３．４ＫＨｚが高い場合には復元される３．４ＫＨｚ以上の高域も高くなり、逆に２ＫＨｚから３．４ＫＨｚが低い場合には高域も低くなり、この結果狭帯域スペクトル包絡のおおまかな傾斜がそのまま高域に反映される事となる。

この様に構成する事で、実施例１が持つ効果に加えて、おおまかではあるが、極めて簡単に広帯域スペクトルを復元できる効果がある。実施例１に比べて、符号帳を蓄積しておくメモリが不必要で、演算量が少なくなる効果がある。

実施例１４．
実施例１ないし実施例１２において、広帯域スペクトル推定手段７が、狭帯域スペクトルパラメータ４の最低次から所定次数までを広帯域スペクトルパラメータ１３として出力する構成も可能である。ただし、スペクトル分析手段３が出力する狭帯域スペクトルパラメータ４としては、ＰＡＲＣＯＲ係数や自己相関係数のように最低次から所定次数までを取り出したものを広帯域スペクトルパラメータ１３としてもちいても合成が常に安定なパラメータである場合に限られる。

図１６は、この場合の狭帯域スペクトルと広帯域スペクトルの概形の関係を説明する説明図である。狭帯域スペクトルパラメータ４が表すスペクトル包絡が図１６（ａ）である場合、これの最低次から所定次数までを広帯域スペクトルパラメータ１３として用いると、広帯域スペクトルパラメータ１３が表すスペクトル包絡は図１６（ａ）を周波数軸方向にＭ倍に引き伸ばして更に極構造をなめらかにした形となり、Ｍが２の時には図１６（ｂ）のようになる。この結果狭帯域スペクトル包絡のおおまかな傾斜がそのまま高域に反映され、かつ存在しない強い極が高域に生成され、不自然な復元音が発生することを抑えることができる。

この様に構成する事で、実施例１３が持つ効果に加えて、実施例１３の場合にまれにおこる、存在しない強い極が高域に生成されて不自然な復元音の発生を抑える事ができる効果がある。

実施例１５．
図１７は本発明の実施例１５の広帯域音声復元装置の広帯域スペクトル推定手段７の構成図である。図において新規な部分は、６２のスペクトルパラメータ変換手段、６３の次数低減手段、６４のスペクトルパラメータ逆変換手段である。その他は、実施例１ないし実施例１２と同じであり、説明を省略する。

以下、図１７を用いて本発明の一実施例の動作について説明する。

広帯域スペクトル推定手段７内のスペクトルパラメータ変換手段６２は、狭帯域スペクトルパラメータ４を、ＰＡＲＣＯＲ係数や自己相関係数のように最低次から所定次数までを取り出した場合に合成が常に安定なパラメータに変換する。次数低減手段６３は、スペクトルパラメータ変換手段６２が出力したパラメータの最低次から所定次数までを取り出したものをスペクトルパラメータ逆変換手段６４に出力する。スペクトルパラメータ逆変換手段６４は、次数低減手段６３の出力したパラメータを狭帯域スペクトルパラメータ４と同じ領域に戻し、広帯域スペクトルパラメータ１３として出力する。

この様に構成する事で、狭帯域スペクトルパラメータ４が、最低次から所定次数までを取り出した場合に合成が不安定になるパラメータである場合でも、実施例１４と同じ効果が得られる。

実施例１６．
実施例１４および実施例１５では、次数低減によって強い極を抑制したが、スペクトルパラメータとして自己相関係数を用いてこれにラグ窓をかける等、類似の効果を与える方法を用いる事ができる。

この様に構成する事で、実施例１４と同じ効果が別の手段で得られる効果がある。

なお、上記実施例１３ないし１６の広帯域スペクトル推定手段７を、文献１等の従来構成に適用する事も可能である。例えば文献１に適用する場合の全体構成は、図１４から逆フィルタ５、広帯域音源推定手段１４、ポストフィルタ手段６１を外したものとなる。この様に構成した場合には、実施例１３ないし１６にて新たに発生した効果を従来技術に付加する事ができる。

実施例１７．
以下の実施例では、伝送等による符号化情報を基に広帯域音声を復元する装置に対して本発明を適用する例を説明する。

図１８は本発明の実施例１７の広帯域音声復元装置の構成図である。図において、１０１は狭帯域音声符号、１０２は分離手段、１０３は狭帯域スペクトル符号、１０４は狭帯域音源符号、１０５は広帯域スペクトル復号手段、１０６は広帯域音源復号手段、１０７は狭帯域スペクトル復号手段、１０８は狭帯域音源復号手段、１０９は狭帯域音声復号手段である。その他は、実施例１ないし実施例１６と同じであり、説明を省略する。

本実施例においても、再分析を行わずに良好な広帯域音源信号を得る構成となっている。

以下、図１８を用いて本発明の一実施例の動作について説明する。

まず、狭帯域音声符号１０１が、分離手段１０２と狭帯域音声復号手段１０９に入力される。この狭帯域音声符号１０１は、例えば８ＫＨｚでサンプリングされ、３００Ｈｚから３．４ＫＨｚの電話帯域に制限された狭帯域音声信号が別途符号化されたものであり、蓄積メディアや通信路から入力されて来るものである。

分離手段１０２では、狭帯域音声符号１０１を狭帯域スペクトル符号１０３と狭帯域音源符号１０４に分離して、狭帯域スペクトル符号１０３を広帯域スペクトル復号手段１０５に、狭帯域音源符号１０４を広帯域音源復号手段１０６に出力する。

広帯域スペクトル復号手段１０５内の狭帯域スペクトル復号手段１０７は、狭帯域スペクトル符号１０３を復号して、得られた狭帯域スペクトルパラメータ４を出力する。なお、狭帯域スペクトル復号手段１０７は、狭帯域音声符号１０１が符号化された時に用いられた狭帯域スペクトルパラメータの符号化処理の逆の処理を行えば良い。

そして、広帯域スペクトル復号手段１０５内の広帯域スペクトル推定手段７が、前記狭帯域スペクトルパラメータ４を用いて広帯域スペクトルパラメータ１３を推定する。なお、広帯域スペクトル推定手段７としては、これまで説明を行った実施例に記載されている方法を用いる事ができる。

広帯域音源復号手段１０６内の狭帯域音源復号手段１０８は、前記狭帯域音源符号１０４を復号して、得られた狭帯域音源信号６を出力する。そして、広帯域音源復号手段１０６内の広帯域音源推定手段１４が、前記狭帯域音源信号６を用いて広帯域音源信号１６を推定する。

なお、広帯域音源推定手段１４には、零詰手段等を用いる事ができる。狭帯域音源復号手段１０８では、狭帯域音声符号１０１が符号化された時に用いられた狭帯域音源信号の符号化処理の逆の処理を行えば良い。

合成フィルタ１７は、広帯域スペクトルパラメータ１３を用いて広帯域音源信号１６に合成フィルタ処理を行い仮の広帯域音声信号を生成する。帯域フィルタ１８は、この仮の広帯域音声信号に対して、帯域通過フィルタ処理を行い、狭帯域音声の成分のある帯域以外の成分を抽出する。広帯域音声信号の帯域が０Ｈｚから７．３ＫＨｚの場合、０Ｈｚから３００Ｈｚと３．４ＫＨｚから７．３ＫＨｚの成分が抽出される。

一方、狭帯域音声復号手段１０９は、入力した狭帯域音声符号１０１を復号して、得られた狭帯域音声信号１をアップサンプリング手段１９に出力する。この復号処理は、狭帯域音声符号１０１が符号化された時に用いられた符号化処理の逆の処理を行えば良い。

次に、アップサンプリング手段１９は、狭帯域音声信号１をＭ倍にアップサンプリングする。アップサンプリングによって生成される信号は、サンプリング周波数が広帯域音声信号２０と同じで、狭帯域音声信号１と同じ狭帯域成分を持つものである。そして、帯域フィルタ１８の出力とアップサンプリング手段１９の出力を加算して広帯域音声信号２０を生成する。

この様に構成する事により、蓄積メディアや通信路から狭帯域音声符号を受信した場合、狭帯域音声を再分析する必要がないので少ない処理量で復元ができる効果がある。また、合成時の補間や分析時の窓掛等による歪が重畳しないので、より良い品質の広帯域音声が復元できる効果がある。なお、実施例１と同じ効果も持っている。

なお、狭帯域音声復号手段１０９は、狭帯域スペクトルパラメータ４と狭帯域音源信号６を入力して、狭帯域音声信号１を合成する構成でも良いし、逆に狭帯域音声復号手段１０９内の復号過程の中間パラメータとして算出される狭帯域スペクトルパラメータ４と狭帯域音源信号６を広帯域スペクトル復号手段１０５と広帯域音源復号手段１０６に入力する構成も可能である。この場合、重複している処理を省く事ができ、更に少ない処理量で広帯域音声が復元できる効果がある。

また、狭帯域音声符号１０１から、ピッチ周期符号とパワー符号が分離できる場合には、これらの符号からピッチ周期とパワー情報を復号して、前記広帯域スペクトルパラメータ１３とこのピッチ周期とパワー情報を用いて文献１と同じ方法で仮の広帯域合成音を生成する構成も可能である。

実施例１８．
図１９は本発明の実施例１８の広帯域音声復元装置の広帯域音源復号手段１０６の構成図である。図において新規な部分は、１１０の狭帯域ピッチ符号、１１１の狭帯域パワー符号、１１２の広帯域ピッチ復号手段、１１３の広帯域ピッチ周期、１１４の広帯域パワー復号手段、１１５の広帯域パワー、１１６の音源生成手段である。その他は、実施例１７と同じであり、説明を省略する。

この実施例は、前記分離手段１０２にて簡単に狭帯域ピッチ符号１１０と狭帯域パワー符号１１１が分離できるような狭帯域音声符号１０１が入力される場合に限られる。この場合には図１９の構成が意味を持つ。

以下、図１９を用いて本発明の一実施例の動作について説明する。

狭帯域音源符号１０４として、狭帯域ピッチ符号１１０と狭帯域パワー符号１１１が広帯域音源復号手段１０６に入力される。

広帯域音源復号手段１０６内の広帯域ピッチ復号手段１１２は、狭帯域ピッチ符号１１０を用いて広帯域ピッチ周期１１３を推定する。推定の方法としては、狭帯域ピッチ符号１１０から狭帯域ピッチ周期を復号してその値をＭ倍してもよいが、その結果をテーブルとして持っておいて狭帯域ピッチ符号１１０に対応するテーブル成分を読みだす事で求めてもよい。

次に、広帯域音源復号手段１０６内の広帯域パワー復号手段１１４は、狭帯域パワー符号１１１を用いて広帯域パワー１１５を推定する。推定の方法としては、狭帯域パワー符号１１１から狭帯域パワーを復号してその値をｇ倍してもよいが、その結果をテーブルとして持っておいて狭帯域パワー符号１１１に対応するテーブル成分を読みだす事で求めてもよい。

音源生成手段１１６は、前記広帯域ピッチ周期１１３を繰り返し周期として、固定音源を並べ立てた信号を出力し、最後にこの音源生成手段１１６の出力信号に広帯域パワー１１５を乗じて、広帯域音源信号１６として出力する。

この様に構成する事により、実施例１７が持つ効果に加えて、狭帯域音源信号の復号を行わずに直接広帯域音源信号１６が生成されるので、少ない処理量で復元ができる効果がある。

実施例１９．
図２０は本発明の実施例１９の広帯域音声復元装置の広帯域音源復号手段１０６の構成図である。図において新規な部分は、１１７の狭帯域適応音源符号、１１８の狭帯域駆動音源符号、１１９の広帯域適応音源復号手段、１２０の広帯域駆動音源復号手段、１２１の狭帯域適応音源復号手段、１２２の狭帯域駆動音源復号手段である。その他は、前記したものと同じであり、説明を省略する。

この実施例は、前記分離手段１０２にて入力の狭帯域音声符号から簡単に狭帯域適応音源符号１１７と狭帯域駆動音源符号１１８が分離できるような狭帯域音声符号１０１が入力される場合に限られる。この場合には図２０の構成が意味を持つ。

以下、図２０を用いて本発明の一実施例の動作について説明する。

狭帯域音源符号１０４として、狭帯域適応音源符号１１７と狭帯域駆動音源符号１１８が広帯域音源復号手段１０６に入力される。

広帯域適応音源復号手段１１９内の狭帯域適応音源復号手段１２１は、前記狭帯域適応音源符号１１７を復号して、得られた狭帯域適応ラグ長２５と狭帯域適応ゲイン２６を出力する。広帯域適応音源復号手段１１９内の広帯域適応音源推定手段３０は、この狭帯域適応ラグ長２５と狭帯域適応ゲイン２６から、広帯域適応音源信号３２を生成し、出力する。広帯域適応音源推定手段３０の動作については、実施例２と同様である。

広帯域駆動音源復号手段１２０内の狭帯域駆動音源復号手段１２２は、前記狭帯域駆動音源符号１１８を復号して、得られた狭帯域駆動音源信号２４を出力する。広帯域駆動音源復号手段１２０内の広帯域駆動音源推定手段２７は、この狭帯域駆動音源信号２４から広帯域駆動音源信号２９を推定し、出力する。広帯域駆動音源推定手段２７の動作は、実施例２ないし実施例４と同様である。

最後に、広帯域適応音源信号３２と広帯域駆動音源信号２９を加算して、広帯域音源信号１６として出力する。

この様に構成する事により、実施例２ないし実施例４および実施例１７が持つ効果に加えて、狭帯域音源信号の復号を行わずに直接広帯域音源信号１６が生成されるので、少ない処理量で復元ができる効果がある。

更に、基本周波数とその高調波成分の周波数が正しく整数倍の位置に並ぶので、最終的に復元される広帯域音声信号での狭帯域成分と復元広帯域成分のつながりが良く、高品質な広帯域音声を復元できる効果がある。

また、有声無声情報やピッチ周期情報を用いないので、中間的な性質の音源も表現できるので、雑音が重畳した狭帯域音声信号に対して起こりがちな有声無声判定誤りやピッチ抽出誤りの影響がなく、有声無声境界付近でも良好な広帯域音源を推定することができ、安定で自然な音質の広帯域音声を復元することができる効果がある。

実施例２０．
図２１は本発明の実施例２０の広帯域音声復元装置の広帯域音源復号手段１０６の構成図である。図において新規な部分は、１２３の狭帯域長周期予測符号、１２４の広帯域長周期予測パラメータ（符号）復号手段、１２５の狭帯域長周期予測パラメータ（符号）復号手段、１２６の狭帯域長周期予測残差符号、１２７の広帯域長周期予測残差復号手段、１２８の狭帯域長周期予測残差復号手段である。その他は、前記したものと同じであり、説明を省略する。

この実施例は、前記分離手段１０２にて入力の狭帯域音声符号から簡単に狭帯域長周期予測符号１２３と狭帯域長周期予測残差符号１２６が分離できるような狭帯域音声符号１０１が入力される場合に限られる。この場合には図２１の構成が意味を持つ。

以下、図２１を用いて本発明の一実施例の動作について説明する。

狭帯域音源符号１０４として、狭帯域長周期予測符号１２３と狭帯域長周期予測残差符号１２６が広帯域音源復号手段１０６に入力される。

広帯域長周期予測パラメータ（符号）復号手段１２４内の狭帯域長周期予測パラメータ復号手段１２５は、前記狭帯域長周期予測符号１２３を復号して、得られた予測符号の１つである狭帯域長周期遅延３８と、他の予測符号である狭帯域長周期予測係数３９を出力する。広帯域長周期予測パラメータ復号手段１２４内の広帯域長周期予測パラメータ推定手段４４は、この狭帯域長周期遅延３８と狭帯域長周期予測係数３９から、長周期予測符号の１つである広帯域長周期遅延４５と、他の長周期予測符号の１つである広帯域長周期予測係数４６を推定し、出力する。広帯域長周期予測パラメータ推定手段４４の動作については、実施例５と同様である。

広帯域長周期予測残差復号手段１２７内の狭帯域長周期予測残差復号手段１２８は、前記狭帯域長周期予測残差符号１２６を復号して、得られた狭帯域長周期予測残差信号４１を出力する。広帯域長周期予測残差復号手段１２７内の広帯域長周期予測残差推定手段４２は、この狭帯域長周期予測残差信号４１から広帯域長周期予測残差信号４８を推定し、出力する。広帯域長周期予測残差推定手段４２の動作は、実施例５ないし実施例７と同様である。

最後に、長周期合成フィルタ４７は、広帯域長周期遅延４５と広帯域長周期予測係数４６を用いて、広帯域長周期予測残差信号４８に対して長周期合成フィルタリングを行い、得られた信号を広帯域音源信号１６として出力する。

この様に構成する事により、実施例５ないし実施例７および実施例１７が持つ効果に加えて、狭帯域音源信号の復号を行わずに直接広帯域音源信号１６が生成されるので、少ない処理量で復元ができる効果がある。

実施例２１．
実施例１７ないし実施例２０では、狭帯域スペクトル符号１０３から狭帯域スペクトルパラメータ４を復号した後に広帯域スペクトルパラメータ１３の推定を行っているが、狭帯域スペクトル符号１０３によって広帯域スペクトル符号帳を参照する事で直接広帯域スペクトルパラメータ１３を算出する構成も可能である。

この様に構成する事により、実施例１７ないし実施例２０が持つ効果に加えて、更に少ない処理量で復元ができる効果がある。

実施例２２．
図２２は本発明の一実施例である広帯域音声復元装置の構成図である。図において新規な部分は、１２９の狭帯域パワー復号手段、１３０の広帯域正規化音源復号手段である。

広帯域スペクトル推定手段７は実施例１１と同じであり、その他は前記したものと同じであり、説明を省略する。

以下、図２２を用いて本発明の一実施例の動作について説明する。

狭帯域パワー復号手段１２９は、狭帯域音源符号１０４の中に含まれる狭帯域振幅情報からパワーに関する部分を復号して、得られた狭帯域音源パワー５２を広帯域スペクトル推定手段７に対して出力する。広帯域スペクトル推定手段７は、狭帯域スペクトルパラメータ４と狭帯域音源パワー５２を用いて、広帯域スペクトルパラメータ１３と広帯域音源パワー５８を推定する。

広帯域正規化音源復号手段１３０は、狭帯域音源符号１０４の中に含まれる狭帯域パワーに関する部分以外を用いて、パワーが正規化された広帯域の音源信号を推定し、広帯域正規化音源信号５６として出力する。この広帯域正規化音源復号手段１３０における処理には、実施例１８ないし実施例２０と同様なものを用いる事ができる。そして、この広帯域正規化音源信号５６に前記広帯域音源パワー５８を乗じて広帯域音源信号１６を生成する。

この様に構成する事により、実施例１１および実施例１８ないし実施例２０が持つ効果を合わせ持つ事ができる。なお、実施例９や実施例１０のように広帯域スペクトル推定手段７が広帯域スペクトルパラメータ１３もしくは広帯域音源パワー５８の一方だけを推定する構成も可能である。

実施例２３．
実施例１７ないし実施例２２において、合成フィルタ１７と帯域フィルタ１８の間にポストフィルタ手段６１を挿入した構成も可能である。また、ポストフィルタ手段６１と帯域フィルタ１８が逆の位置の構成も可能であるし、広帯域音声信号２０に対してポストフィルタ手段６１をかける構成も可能である。

この様に構成する事により、狭帯域音声復号手段１０９内でポストフィルタ処理が行なわれる場合に、狭帯域部と復元した帯域の連続性を良くする事ができる。また、実施例１２および実施例１７ないし実施例２２が持つ効果を合わせ持つ事ができる。

実施例２４．
図１８から広帯域音源復号手段１０６を外した構成において、合成フィルタ１７と帯域フィルタ１８の間にポストフィルタ手段６１を挿入した構成も可能である。また、ポストフィルタ手段６１と帯域フィルタ１８が逆の位置の構成も可能であるし、広帯域音声信号２０に対してポストフィルタ手段６１をかける構成も可能である。

この構成は、文献１に本発明の実施例１７に実施例１２を適用したものに相当し、狭帯域音声復号手段１０９内でポストフィルタ処理が行なわれる場合に、狭帯域部と復元した帯域の連続性を良くする事ができる効果がある。

以下に、各実施例の特徴をまとめて記載する。

前述した広帯域音声復元装置は、狭帯域音声信号を分析して狭帯域スペクトルパラメータと狭帯域音源信号を得る分析手段と、この狭帯域スペクトルパラメータを用いて広帯域スペクトルパラメータを推定するスペクトル推定手段と、狭帯域音源信号を用い広帯域音源信号を推定する広帯域音源推定手段と、この推定された広帯域スペクトルパラメータと広帯域音源信号とから広帯域音声信号を生成する合成手段を備えた。

また更に、広帯域音源推定手段として、入力の狭帯域音源信号の各サンプル間隔中に所定の零値を挿入する零詰手段を用いた。

また、広帯域音源推定手段は、入力の狭帯域音源信号を分析して狭帯域適応音源符号と狭帯域駆動音源信号を得る音源分析手段と、この狭帯域適応音源符号を用いて広帯域適応音源信号を推定する適応音源推定手段と、狭帯域駆動音源信号を用いて広帯域駆動音源信号を推定する駆動音源推定手段と、この推定された広帯域適応音源信号と広帯域駆動音源信号とから広帯域音源信号を生成する加算手段とで構成した。

または、広帯域音源推定手段は、入力の狭帯域音源信号を分析して狭帯域長周期予測符号と狭帯域長周期予測残差信号を得る音源分析手段と、この狭帯域長周期予測残差信号を用いて広帯域長周期予測残差信号を推定する長周期予測残差推定手段と、狭帯域長周期予測符号を用いて広帯域長周期予測符号を推定する広帯域長周期予測符号推定手段と、これら推定された広帯域長周期予測残差信号と広帯域長周期予測符号とから広帯域音源信号を合成する長周期合成手段とで構成した。

他の広帯域音声復元装置は、狭帯域音声信号を分析して狭帯域スペクトルパラメータと狭帯域振幅情報とを得る分析手段と、この狭帯域スペクトルパラメータと狭帯域振幅情報を用いて少なくとも広帯域スペクトルパラメータまたは広帯域振幅情報を推定するスペクトル推定手段と、これら推定された広帯域スペクトルパラメータと広帯域振幅情報または広帯域音源信号とから広帯域音声信号を生成する合成手段を備えた。

または、狭帯域音声信号を用いて広帯域音声信号を推定する広帯域推定手段と、推定された広帯域音声信号に対してポストフィルタリングを行うポストフィルタ手段を備えた。

または、狭帯域音声信号を分析して狭帯域スペクトルパラメータを得る分析手段と、狭帯域スペクトルパラメータをそのまま広帯域スペクトルパラメータとして用いて広帯域スペクトルパラメータを出力するスペクトル推定手段と、この出力された広帯域スペクトルパラメータから広帯域音声信号を生成する合成手段を備えた。

または、狭帯域音声信号を分析して狭帯域スペクトルパラメータを得る分析手段と、狭帯域スペクトルパラメータを必要に応じて別領域に変換し、変形を行い、スペクトルパラメータの領域に逆変換して広帯域スペクトルパラメータを出力するスペクトル推定手段と、この出力された広帯域スペクトルパラメータから広帯域音声信号を生成する合成手段を備えた。

他の広帯域音声復元装置は、狭帯域音声符号から広帯域スペクトルパラメータを推定するスペクトル復号手段と、この推定された広帯域スペクトルパラメータから広帯域音声信号を生成する合成手段を備えた。

または、狭帯域音声符号から分離された狭帯域スペクトル符号を用いて広帯域スペクトルパラメータを推定するスペクトル復号手段と、狭帯域音声符号から分離された狭帯域音源符号を用いて広帯域音源信号を推定する広帯域音源復号手段と、この推定された広帯域スペクトルパラメータと広帯域音源信号とから広帯域音声信号を生成する合成手段を備えた。

また更に、広帯域音源復号手段として、狭帯域音源符号から復元した狭帯域音源信号の各サンプル間隔中に所定の零値を挿入する零詰手段を用いた。

または、広帯域音源復号手段は、入力の狭帯域音声符号から分離した狭帯域適応音源符号を用いて広帯域適応音源信号を推定する広帯域適応音源復号手段と、入力の狭帯域音声符号から分離した狭帯域駆動音源符号を用いて広帯域駆動音源信号を推定する広帯域駆動音源復号手段と、これらの推定された広帯域適応音源信号と広帯域駆動音源信号とから広帯域音源信号を生成する加算手段とで構成した。

または、広帯域音源復号手段は、入力の狭帯域音声符号から分離した狭帯域長周期予測符号を用いて広帯域長周期予測符号を推定する広帯域長周期予測符号復号手段と、入力の狭帯域音声符号から分離した狭帯域長周期予測残差符号を用いて広帯域長周期予測残差信号を推定する広帯域長周期予測残差復号手段と、これら推定された広帯域長周期予測符号と広帯域長周期予測残差信号とから広帯域音源信号を生成する加算手段とで構成した。

または、狭帯域音声符号から分離された狭帯域音源符号を用いて狭帯域振幅情報を推定する狭帯域振幅情報復号手段と、狭帯域音声符号から分離された狭帯域スペクトル符号と狭帯域振幅情報を用いて少なくとも広帯域スペクトルパラメータまたは広帯域振幅情報を推定するスペクトル復号手段と、この推定された広帯域スペクトルパラメータと必要に応じて広帯域振幅情報または広帯域音源信号とから広帯域音声信号を生成する合成手段を備えた。

または、狭帯域音声符号を用いて広帯域音声信号を推定する広帯域音声復号手段と、この復号し推定された広帯域音声信号に対してポストフィルタリングを行うポストフィルタ手段を備えた。

前述した広帯域音声復元装置は、狭帯域スペクトルパラメータを用いて推定した広帯域スペクトルパラメータと、狭帯域音源信号を用いて推定した広帯域音源信号とから広帯域音声信号が合成される。

また、狭帯域音源信号の各サンプル間に所定個ずつの零を挿入する事で広帯域音源信号が生成され、これと推定した広帯域スペクトルとを用いて広帯域音声信号が合成される。

また、広帯域音源信号の推定にあたっては、入力の狭帯域音源信号を分析して狭帯域適応音源符号と狭帯域駆動音源信号が算出され、この狭帯域適応音源符号を用いて推定した広帯域適応音源信号と、狭帯域駆動音源を用いて推定した広帯域駆動音源信号とを加算して広帯域音源信号とした。これと推定した広帯域スペクトルとを用いて広帯域音声信号が合成される。

また、他の広帯域音源信号の推定のやり方として、入力狭帯域音源信号を分析して狭帯域長周期予測符号と狭帯域長周期残差信号が算出され、狭帯域長周期予測符号を用いて推定した広帯域長周期予測符号と、狭帯域長周期残差信号を用いて推定した広帯域長周期残差信号とを用いて広帯域音源信号とした。これと推定した広帯域スペクトルとを用いて広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域音声信号を分析して狭帯域スペクトルパラメータと狭帯域振幅情報と狭帯域音源信号が算出され、狭帯域スペクトルパラメータと狭帯域振幅情報を用いて広帯域スペクトルパラメータと広帯域振幅情報のいずれかまたはその両方が推定される。その後、これらの信号と狭帯域音源信号から推定された広帯域音源信号とで広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域音声信号を用いて推定した広帯域音声信号にポストフィルタリングが行われ、主として、高域特性が加工される。

また、他の広帯域音声復元装置は、狭帯域スペクトルパラメータの特性を全域に伸張して広帯域スペクトルパラメータとして用いて広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域スペクトルパラメータの特定次数までを用い、これを対応するスペクトルパラメータに逆変換する事で広帯域スペクトルパラメータを得、これを用いて広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域音声符号を用いて狭帯域合成音の生成と広帯域音声信号の推定を行い、狭帯域合成音をアップサンプリングした信号または狭帯域合成音に、前記広帯域音声信号の狭帯域合成音以外の主として高域の帯域の成分を抽出した信号を加算して広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域スペクトル符号を用いて推定した広帯域スペクトルパラメータと、狭帯域音源符号を用いて推定した広帯域音源信号とを用いて広帯域音声信号が合成される。

また、更に、広帯域音源復号手段により、狭帯域音源符号を用いて復号した狭帯域音源の各サンプル間に所定個ずつの零値を挿入する事で広帯域音源信号が生成され、これと推定した広帯域スペクトルとを用いて広帯域音声信号が合成される。

また、他の広帯域音源復号手段により、狭帯域適応音源符号を用いて推定した広帯域適応音源信号と、狭帯域駆動音源信号から推定した広帯域駆動音源信号が加算されて広帯域音源信号が生成される。これと推定した広帯域スペクトルとを用いて広帯域音声信号が合成される。

また、他の広帯域音源復号手段により、狭帯域音源符号を用いて推定した広帯域長周期予測符号と、狭帯域長周期予測残差信号から推定された広帯域長周期残差信号とから広帯域音源信号が合成される。これと推定した広帯域スペクトルとを用いて広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域スペクトル符号と狭帯域振幅情報を用いて広帯域スペクトルパラメータと広帯域振幅情報のいずれかまたはその両方が推定される。その後、これらの情報と狭帯域音源信号から推定された広帯域音源信号とで広帯域音声信号が合成される。

また、他の広帯域音声復元装置は、狭帯域音声符号を用いて推定した広帯域音声信号にポストフィルタリングが行われ、主として高域特性が加工される。

以上説明したように、狭帯域音源信号を用いて広帯域音源信号の推定を行い、これを用いて広帯域音声信号を合成するようにしたので、狭帯域音源信号の特徴を良好に広帯域音源信号に与える事ができ、話者に依存性が少なく、安定で自然な音質の広帯域音声を復元することができる効果がある。

また、広帯域音源推定手段として、狭帯域音源信号の各サンプル間に所定個ずつの零を挿入する零詰め手段を用いたので、有声無声判定やピッチ抽出が必要なく、有声無声判定誤りやピッチ抽出誤りの影響がない良好な広帯域音源を推定でき、安定で自然な音質の広帯域音声を復元することができる効果がある。

また、広帯域音源推定手段として、狭帯域適応音源符号と狭帯域駆動音源信号を用いて広帯域適応音源信号と広帯域駆動音源信号を推定するようにし、これから広帯域音源信号を生成するようにしたので、狭帯域音源信号の持つピッチ周期性の強さや変動に関する特徴が良好に広帯域音源信号に反映され、パルス的な音もなく、良好な音質の広帯域音声を復元することができる効果がある。

更に、基本周波数とその高調波成分の周波数が正しく整数倍の位置に並ぶので、広帯域音声信号での狭帯域成分と復元広帯域成分のつながりが良く、またピッチ周期性の実際的な性質も復元でき、高品質な広帯域音声を復元できる効果がある。

また、広帯域音源推定手段として、狭帯域長周期予測符号と狭帯域長周期残差信号を用いて広帯域長周期予測符号と広帯域長周期残差信号を推定するようにし、これらを用いて広帯域音源信号を合成するようにしたので、狭帯域音源信号の持つピッチ周期性の強さや変動に関する特徴が良好に広帯域音源信号に反映され、パルス的な音もなく、良好な音質の広帯域音声を復元することができる効果がある。

更に、基本周波数とその高調波成分の周波数が正しく整数倍の位置に並ぶので、最終的に復元される広帯域音声信号での狭帯域成分と復元広帯域成分のつながりが良く、実際のピッチ周期性の特性もとり入れることができ、高品質な広帯域音声を復元できる効果がある。

また、狭帯域スペクトルパラメータと狭帯域振幅情報を用いて広帯域スペクトルパラメータと広帯域振幅情報のいずれか、または両方を推定するようにしたので、広帯域のスペクトルパラメータの推定に狭帯域振幅情報が反映され、より安定に良好なスペクトルが推定でき、より正しい振幅を持った広帯域音声が復元できる効果がある。

また更に、狭帯域音声信号を用いて推定した広帯域音声信号にポストフィルタリングを行うようにしたので、復元された広帯域音声信号の音質が不足する場合に、ピッチ周期性の強調、スペクトル包絡の極の強調等の音質改善ができる効果がある。

また更に、狭帯域スペクトルパラメータを伸張して広帯域スペクトルパラメータとして用いて広帯域音声信号を合成するようにしたので、極めて簡単におおまかな広帯域スペクトルを復元できる効果がある。また、符号帳を蓄積しておくメモリが不必要で、演算量が少なくなる効果がある。

また更に、狭帯域スペクトルパラメータの所定次数までを用いてこれをスペクトルパラメータに逆変換する事で広帯域スペクトルパラメータを得るようにしたので、極めて簡単におおまかな広帯域スペクトルを復元できる効果がある。また、符号帳を蓄積しておくメモリが不必要で、演算量が少なくなる効果がある。

またこの発明によれば、狭帯域音声符号を用いて狭帯域合成音の生成と広帯域音声信号の推定を行い、狭帯域合成音をアップサンプリングした信号か狭帯域合成音に、広帯域音声信号の狭帯域合成音以外の帯域の成分を抽出して加算したので、符号化された狭帯域音声からでも広帯域音声の復元が可能となり、復号した狭帯域音声を再分析しないので、少ない処理量で復元ができる効果がある。

または、狭帯域スペクトル符号を用いて推定した広帯域スペクトルパラメータと、狭帯域音源符号を用いて推定した広帯域音源信号とを用いて広帯域音声信号を合成するようにしたので、復号した狭帯域音声を再分析する必要がなく、少ない処理量で復元ができる効果がある。また、合成時の補間や分析時の窓掛等による歪が重畳しないので、より良い品質の広帯域音声が復元できる効果がある。

また広帯域音源復号手段として、狭帯域音源符号を用いて復号した狭帯域音源の各サンプル間に所定個ずつの零を挿入する零詰め手段を用いたので、有声と無声の中間的な性質の音源も良好に復元でき、安定で自然な音質の広帯域音声を復元することができる効果がある。

また、広帯域音源復号手段として、狭帯域音源符号を用いて推定した広帯域適応音源信号と広帯域駆動音源信号を推定するようにし、それを加算して広帯域音源信号としたので、狭帯域音源信号の復号を行わずに直接広帯域音源信号が生成され、少ない処理量で復元ができる効果がある。

また、狭帯域音源符号が含んでいるピッチ周期性の強さや変動に関する特徴が良好に広帯域音源信号に反映されるので、良好な音質の広帯域音声を復元することができる効果がある。

また、広帯域音源復号手段として、狭帯域音源符号を用いて推定した広帯域長周期予測符号と広帯域長周期残差信号とを推定するようにし、これらを用いて広帯域音源信号を合成するようにしたので、狭帯域音源信号の復号を行わずに直接広帯域音源信号が生成され、少ない処理量で復元ができる効果がある。

また、狭帯域音源符号が含んでいるピッチ周期性の強さや変動に関する特徴が良好に広帯域音源信号に反映されるので、良好な音質の広帯域音声を復元することができる効果がある。

また、狭帯域スペクトル符号と狭帯域振幅情報を用いて広帯域スペクトルパラメータと広帯域振幅情報のいずれか、またはその両方を推定するようにしたので、広帯域のスペクトルパラメータの推定に狭帯域振幅情報が反映され、より安定に良好なスペクトルが推定でき、広帯域振幅情報の推定に狭帯域スペクトルパ符号の違いを反映させる事ができるので、より正しい振幅を持った広帯域音声が復元できる効果がある。

また更に、狭帯域音声符号を用いて推定した広帯域音声信号にポストフィルタリングを行うようにしたので、狭帯域合成音に対してポストフィルタ処理が適用される場合に、狭帯域部と復元した帯域の連続性がよくなる効果がある。また、復元された広帯域音声信号の音質が不足する場合に、ピッチ周期性の強調、スペクトル包絡の極の強調等の音質改善ができる効果がある。

この発明の実施例１の広帯域音声復元装置の構成図である。 この発明の実施例１における零詰手段の処理を説明する説明図である。 この発明の実施例２の広帯域音声復元装置における広帯域音源推定手段の構成図である。 この発明の実施例２における適応音源信号の一例を説明する説明図である。 この発明の実施例３の広帯域音声復元装置における広帯域駆動音源推定手段の構成図である。 この発明の実施例４の広帯域音声復元装置における広帯域駆動音源推定手段の構成図である。 この発明の実施例５の広帯域音声復元装置における広帯域音源推定手段の構成図である。 この発明の実施例６の広帯域音声復元装置における広帯域駆動音源推定手段の構成図である。 この発明の実施例７の広帯域音声復元装置における広帯域駆動音源推定手段の構成図である。 この発明の実施例８の広帯域音声復元装置における広帯域音源推定手段の構成図である。 この発明の実施例９の広帯域音声復元装置の構成図である。 この発明の実施例１０の広帯域音声復元装置の構成図である。 この発明の実施例１１の広帯域音声復元装置の構成図である。 この発明の実施例１２の広帯域音声復元装置の構成図である。 この発明の実施例１３における狭帯域スペクトルと広帯域スペクトルの概形の関係を説明する説明図である。 この発明の実施例１４における狭帯域スペクトルと広帯域スペクトルの概形の関係を説明する説明図である。 この発明の実施例１５の広帯域音声復元装置における広帯域スペクトル推定手段の構成図である。 この発明の実施例１７の広帯域音声復元装置の構成図である。 この発明の実施例１８の広帯域音声復元装置における広帯域音源復号手段の構成図である。 この発明の実施例１９の広帯域音声復元装置における広帯域音源復号手段の構成図である。 この発明の実施例２０の広帯域音声復元装置における広帯域音源復号手段の構成図である。 この発明の実施例２２の広帯域音声復元装置の構成図である。

符号の説明

１ 狭帯域音声信号、２ 分析手段、３ スペクトル分析手段、４ 狭帯域スペクトルパラメータ、５ 逆フィルタ、６ 狭帯域音源信号、７ 広帯域スペクトル推定手段、８ ベクトル量子化手段、９ 狭帯域スペクトル符号帳、１０ スペクトル符号、１１ 逆量子化手段、１２ 広帯域スペクトル符号帳、１３ 広帯域スペクトルパラメータ、１４ 広帯域音源推定手段、１５ 零詰手段、１６ 広帯域音源信号、１７ 合成フィルタ、１８ 帯域フィルタ、１９ アップサンプリング手段、２０ 広帯域音声信号、２１ 音源分析手段、２２ 狭帯域適応符号帳、２３ 歪最小化手段、２４ 狭帯域駆動音源信号、２５ 狭帯域適応ラグ長、２６ 狭帯域適応ゲイン、２７ 広帯域駆動音源推定手段、２８ 零詰手段、２９ 広帯域駆動音源信号、３０ 広帯域適応音源推定手段、３１ 広帯域適応音源符号帳、３２ 広帯域適応音源信号、３３ 広帯域適応ラグ長、３４ 広帯域適応ゲイン、３５ パワー算出手段、３６ 雑音生成手段、３７ 狭帯域長周期予測分析手段、３８ 狭帯域長周期遅延、３９ 狭帯域長周期予測係数、４０ 長周期逆フィルタ、４１ 狭帯域長周期予測残差信号、４２ 広帯域長周期予測残差推定手段、４３ 零詰手段、４４ 広帯域長周期予測パラメータ推定手段、４５ 広帯域長周期遅延、４６ 広帯域長周期予測係数、４７ 長周期合成フィルタ、４８ 広帯域長周期予測残差信号、４９ アップサンプリング手段、５０ 零化手段、５１ 狭帯域パワー算出手段、５２ 狭帯域音源パワー、５３ 狭帯域パワー込みスペクトル符号、５４ 音源正規化手段、５５ 狭帯域正規化音源信号、５６ 広帯域正規化音源信号、５７ 広帯域パワー符号帳、５８ 広帯域音源パワー、５９ 広帯域音源パワー推定手段、６０ 広帯域パワー込みスペクトル符号帳、６１ ポストフィルタ手段、６２ スペクトルパラメータ変換手段、６３ 次数低減手段、６４ スペクトルパラメータ逆変換手段、１０１ 狭帯域音声符号、１０２ 分離手段、１０３ 狭帯域スペクトル符号、１０４ 狭帯域音源符号、１０５ 広帯域スペクトル復号手段、１０６ 広帯域音源復号手段、１０７ 狭帯域スペクトル復号手段、１０８ 狭帯域音源復号手段、１０９ 狭帯域音声復号手段、１１０ 狭帯域ピッチ符号、１１１ 狭帯域パワー符号、１１２ 広帯域ピッチ復号手段、１１３ 広帯域ピッチ周期、１１４ 広帯域パワー復号手段、１１５ 広帯域パワー復号手段、１１６ 音源生成手段、１１７ 狭帯域適応音源符号、１１８ 狭帯域駆動音源符号、１１９ 広帯域適応音源復号手段、１２０ 広帯域駆動音源復号手段、１２１ 狭帯域適応音源復号手段、１２２ 狭帯域駆動音源復号手段、１２３ 狭帯域長周期予測符号、１２４ 広帯域長周期予測パラメータ復号手段、１２５ 狭帯域長周期予測パラメータ復号手段、１２６ 狭帯域長周期予測残差符号、１２７ 広帯域長周期予測残差復号手段、１２８ 狭帯域長周期予測残差復号手段、１２９ 狭帯域パワー復号手段、１３０ 広帯域正規化音源復号手段。

Claims (8)

1. 狭帯域音声信号をアップサンプリングするアップサンプリング工程と、
   前記狭帯域音声信号の狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成工程と、
   前記第１の広帯域音声信号合成工程で合成された第１の広帯域音声信号と前記アップサンプリング工程でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成工程と
   を備えた広帯域音声復元方法。
2. 狭帯域音声信号をアップサンプリングするアップサンプリング手段と、
   前記狭帯域音声信号の狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成手段と、
   前記第１の広帯域音声信号合成手段で合成された第１の広帯域音声信号と前記アップサンプリング手段でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成手段と
   を備えたことを特徴とする広帯域音声復元装置。
3. 狭帯域スペクトルパラメータを用いて狭帯域音声信号を合成する狭帯域音声合成工程と、
   前記狭帯域音声合成工程で合成された狭帯域音声信号をアップサンプリングするアップサンプリング工程と、
   前記狭帯域音声合成工程で用いられる狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成工程と、
   前記第１の広帯域音声信号合成工程で合成された第１の広帯域音声信号と前記アップサンプリング工程でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成工程と
   を備えた広帯域音声復元方法。
4. 狭帯域スペクトルパラメータに基づいて狭帯域音声信号を合成する狭帯域音声合成手段と、
   前記狭帯域音声合成手段で合成された狭帯域音声信号をアップサンプリングするアップサンプリング手段と、
   前記狭帯域音声合成手段で用いられる狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成手段と、
   前記第１の広帯域音声信号合成手段で合成された第１の広帯域音声信号と前記アップサンプリング手段でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成手段と
   を備えたことを特徴とする広帯域音声復元装置。
5. 狭帯域スペクトル符号から狭帯域スペクトルパラメータを復号する狭帯域スペクトル復号工程と、
   前記狭帯域スペクトル復号工程で復号された狭帯域スペクトルパラメータを用いて狭帯域音声信号を合成する狭帯域音声合成工程と、
   前記狭帯域音声合成工程で合成された狭帯域音声信号をアップサンプリングするアップサンプリング工程と、
   前記狭帯域音声合成工程で用いられる狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成工程と、
   前記第１の広帯域音声信号合成工程で合成された第１の広帯域音声信号と前記アップサンプリング工程でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成工程と
   を備えた広帯域音声復元方法。
6. 前記第１の広帯域音声信号合成工程は、前記復号された狭帯域スペクトルパラメータのスペクトル包絡を周波数軸方向へ引き伸ばして、前記広帯域スペクトルパラメータとして用いる事により第１の広帯域音声信号を合成することを特徴とする請求項５に記載の広帯域音声復元方法。
7. 狭帯域スペクトル符号から狭帯域スペクトルパラメータを復号する狭帯域スペクトル復号手段と、
   前記狭帯域スペクトル復号手段で復号された狭帯域スペクトルパラメータを用いて狭帯域音声信号を合成する狭帯域音声合成手段と、
   前記狭帯域音声合成手段で合成された狭帯域音声信号をアップサンプリングするアップサンプリング手段と、
   前記狭帯域音声合成手段で用いられる狭帯域スペクトルパラメータを広帯域スペクトルパラメータとしても用いる事により第１の広帯域音声信号を合成する第１の広帯域音声信号合成手段と、
   前記第１の広帯域音声信号合成手段で合成された第１の広帯域音声信号と前記アップサンプリング手段でアップサンプリングされた前記狭帯域音声信号とに基づいて第２の広帯域音声信号を合成する第２の広帯域音声信号合成手段と
   を備えたことを特徴とする広帯域音声復元装置。
8. 前記第１の広帯域音声信号合成手段は、前記復号された狭帯域スペクトルパラメータのスペクトル包絡を周波数軸方向へ引き伸ばして、前記広帯域スペクトルパラメータとして用いる事により第１の広帯域音声信号を合成することを特徴とする請求項７に記載の広帯域音声復元装置。

Images