JP2011090031A - 音声帯域拡張装置及びプログラム、並びに、拡張用パラメータ学習装置及びプログラム - Google Patents

Abstract

【課題】 狭帯域音声信号を広帯域音声信号に変換するための符号帳の記憶量を増大させずに、狭帯域音声信号の発話者に応じた拡張音声信号を得ることができる音声帯域拡張装置を提供する。
【解決手段】 音声帯域拡張装置を搭載した通信装置が広帯域音声信号を受信した場合には、発音出力させるだけでなく、符号帳を更新させる。この更新では、受信した広帯域音声信号と、その帯域を狭めた信号とを分析し、２つの信号についてそれぞれ、周波数概形を得る。狭帯域化信号について得られた周波数概形から、符号帳における更新対象を定め、広帯域音声信号について得られた周波数概形を反映させる学習を行う。通信装置が狭帯域音声信号を受信した場合には、学習された符号帳を適用して帯域拡張を行う。
【選択図】 図１

Description

本発明は、音声帯域拡張装置及びプログラム、並びに、拡張用パラメータ学習装置及びプログラムに関し、例えば、広帯域音声信号及び狭帯域音声信号共に処理可能な電話端末（ソフトフォンを含む）に適用し得るものである。

現在盛んに行われている音声通信である電話通信は、伝送可能な音声周波数に制限がある。具体的には、３００Ｈｚ〜３．４ｋＨｚの音声信号しか伝送できず、その通話音声品質は十分とは言えない。また、聴き取りやすさも阻害されている。

このような課題に対し、例えば、特許文献１に示すような、帯域が制限された音声信号の帯域を拡張し、音声品質、聴き取りやすさを向上しようとする試みがある。特許文献１の記載技術は、帯域が制限された狭帯域音声信号（例えば３００Ｈｚ〜３．４ｋＨｚ）の概形的特徴と帯域が制限されていない広帯域音声信号（例えば３００Ｈｚ〜８．０ｋＨｚ）の概形的特徴の対応を予め調査しておき、この対応を符号帳（コードブック）として持ち、入力された狭帯域音声信号の概形的特徴を分析し、分析で得られた狭帯域音声信号の概形的特徴に近い、符号帳での狭帯域音声信号の概形的特徴を見つけ出し、これに対応する広帯域音声信号の概形的特徴を符号帳から引き出すことにより、音声の帯域を拡張としている。

特開平１０−１２４０８８号公報

特許文献１の記載技術では、概ね良好な拡張音声品質が得られる。しかしながら、符号帳に用意されている狭帯域音声信号（の概形的特徴）と似ていない狭帯域音声信号が入力された場合には、拡張音声品質は必ずしも十分ではなくなる。当該音声帯域拡張装置への入力回数が非常に多い発話者がいたとしても、その者の狭帯域音声信号が、符号帳に用意されている狭帯域音声信号と似ていない場合には、全ての通話時において、拡張音声品質が十分ではない。

このような不都合を回避しようとすると符号帳に多くの広狭対応情報を記憶しなければならない。しかし、この場合には、膨大な記憶容量が必要となるだけでなく、符号帳の探索に多くの処理量が必要になるという新たな課題が生じる。

本発明は、以上の点に鑑みてなされたものであり、狭帯域音声信号を広帯域音声信号に変換するための広狭対応情報の記憶量を増大させることなく、当該音声帯域拡張装置へ入力される狭帯域音声信号の発話者に応じた拡張音声信号を得ることができる音声帯域拡張装置及びプログラムを提供しようとしたものである。また、本発明は、そのような拡張用パラメータ学習装置及びプログラムに適用可能な拡張用パラメータ学習装置及びプログラムを提供しようとしたものである。

第１の本発明は、入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張装置において、（１）狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段と、（２）学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分を得、上記学習用広帯域音声信号についての音声パラメータと得られた狭帯域部分についての音声パラメータとを得て、得られた２つの音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている、少なくともいずれかの広狭対応情報の音声パラメータを更新させる拡張用パラメータ更新手段と、（３）拡張対象の狭帯域音声信号が入力されたとき、入力された拡張対象の狭帯域音声信号についての音声パラメータを得て、上記拡張用パラメータ格納手段から、得られた音声パラメータに対応する広帯域の音声パラメータを取り出し、この広帯域の音声パラメータに対する、分析の逆処理によって、拡張対象の狭帯域音声信号の帯域を拡張した広帯域音声信号を生成する帯域拡張手段とを有することを特徴とする。

第２の本発明は、入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張プログラムであって、コンピュータを、（１）狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段と、（２）学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分が抽出され、上記学習用広帯域音声信号についての音声パラメータと抽出された狭帯域部分についての音声パラメータとを得て、得られた２つの音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている、少なくともいずれかの広狭対応情報の音声パラメータを更新させる拡張用パラメータ更新手段と、（３）拡張対象の狭帯域音声信号が入力されたとき、入力された拡張対象の狭帯域音声信号についての音声パラメータを得て、上記拡張用パラメータ格納手段から、得られた音声パラメータに対応する広帯域の音声パラメータを取り出し、この広帯域の音声パラメータに対する、分析の逆処理によって、拡張対象の狭帯域音声信号の帯域を拡張した広帯域音声信号を生成する帯域拡張手段として機能させることを特徴とする。

第３の本発明は、入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張装置に設けられた拡張用パラメータ格納手段であって、狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段の格納内容を更新させる拡張用パラメータ学習装置であって、（１）入力された学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分を得る狭帯域化手段と、（２）上記学習用広帯域音声信号についての音声パラメータを得る広帯域信号分析手段と、（３）得られた狭帯域部分についての音声パラメータを得る狭帯域信号分析手段と、（４）上記狭帯域信号分析手段が得た音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている広狭対応情報の中から、更新対象の広狭対応情報を定め、上記広帯域信号分析手段が得た音声パラメータを利用して定められた広狭対応情報の少なくとも広帯域の音声パラメータを更新する更新手段とを有することを特徴とする。

第４の本発明は、入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張装置に設けられた拡張用パラメータ格納手段であって、狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段の格納内容を更新させる拡張用パラメータ学習プログラムであって、コンピュータを、（１）入力された学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分を得る狭帯域化手段と、（２）上記学習用広帯域音声信号についての音声パラメータを得る広帯域信号分析手段と、（３）得られた狭帯域部分についての音声パラメータを得る狭帯域信号分析手段と、（４）上記狭帯域信号分析手段が得た音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている広狭対応情報の中から、更新対象の広狭対応情報を定め、上記広帯域信号分析手段が得た音声パラメータを利用して定められた広狭対応情報の少なくとも広帯域の音声パラメータを更新する更新手段として機能させることを特徴とする。

本発明によれば、狭帯域音声信号を広帯域音声信号に変換するための広狭対応情報の記憶量を増大させることなく、当該音声帯域拡張装置へ入力される狭帯域音声信号の発話者に応じた高品質の拡張音声信号を得ることができるようになる。

第１の実施形態の音声帯域拡張装置の機能的構成を示すブロック図である。 第１の実施形態の音声帯域拡張装置を搭載した電話端末が前提としている通信系を示すブロック図である。 第２の実施形態の音声帯域拡張装置の機能的構成を示すブロック図である。 第３の実施形態の音声帯域拡張装置の機能的構成を示すブロック図である。

（Ａ）第１の実施形態
以下、本発明による音声帯域拡張装置及びプログラム、並びに、拡張用パラメータ学習装置及びプログラムの第１の実施形態を、図面を参照しながら詳述する。

第１の実施形態の音声帯域拡張装置は、図２に示すように、帯域が制限された狭帯域音声信号及び帯域が制限されていない広帯域音声信号の双方に対応可能な、当該音声帯域拡張装置を搭載した電話端末１に対して、通信系４を介して、通話相手となる狭帯域電話端末２若しくは広帯域電話端末３から、狭帯域音声信号が到来することもあれば広帯域音声信号が到来することもあり、しかも、同一の者が狭帯域電話端末２から電話端末１に通話することもあれば広帯域電話端末３から電話端末１に通話することもあることに着目し、広帯域音声信号の通信中に広狭対応情報（後述する符号帳参照）を更新（学習）し、狭帯域音声信号の通信中に、この更新された広狭対応情報を利用することにより、当該音声帯域拡張装置が十分な拡張音声品質を実現できる、入力狭帯域音声信号を動的に変化させようとしたものである。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の音声帯域拡張装置１００の機能的構成を示すブロック図である。例えば、ソフトフォンは、コンピュータにソフトフォン用アプリケーションをインストールして構築されるものであるが、そのソフトフォン用アプリケーションの部分的プログラムとして第１の実施形態の音声帯域拡張プログラムを適用し、第１の実施形態の音声帯域拡張装置１００を構築しても良い。また、ソフトフォンに適用しない場合であっても、狭帯域音声信号の帯域拡張を行う構成を、ＣＰＵ（ＤＳＰを含む）及びそれが実行する音声帯域拡張プログラムで実現するようにしても良い。音声帯域拡張プログラムを利用する場合であっても、機能的構成を図１で表すことができる。

図１において、第１の実施形態の音声帯域拡張装置１００は、信号狭帯域化回路１０１、広帯域信号分析回路１０２、学習時用狭帯域信号分析回路１０３、符号帳更新回路１０４、符号帳１０５、拡張時用狭帯域信号分析回路１０６、残差信号生成回路１０７、残差信号広帯域化回路１０８、広帯域信号合成回路１０９及び２つのスイッチ１１０、１１１を有する。

ここで、信号狭帯域化回路１０１、広帯域信号分析回路１０２、学習時用狭帯域信号分析回路１０３及び符号帳更新回路１０４は、学習モード（後述するＶ＝１）で機能するものであり、第１の実施形態における拡張用パラメータ学習装置の構成要素になっていると言うことができる。また、拡張時用狭帯域信号分析回路１０６、残差信号生成回路１０７、残差信号広帯域化回路１０８及び広帯域信号合成回路１０９は、拡張モード（Ｖ＝０）で機能するものである。符号帳１０５は、学習モードで学習され、拡張モードで利用されるものである。連動するスイッチ１１０及び１１１が、学習モードで機能する部分と拡張モードで機能する部分との間で入出力を切り替えるものである。

なお、学習時用狭帯域信号分析回路１０３及び拡張時用狭帯域信号分析回路１０６は同時に動作することがないので、１つの狭帯域信号分析回路を、学習モードか拡張モードかによって、学習時用狭帯域信号分析回路１０３又は拡張時用狭帯域信号分析回路１０６として機能させるようにしても良い。

図１では省略しているが、その他、入力音声信号が狭帯域音声信号か広帯域音声信号かを識別する広狭識別回路も設けられており、広狭識別回路は、入力音声信号が広帯域音声信号の場合に学習モード（Ｖ＝１）を表すと共に、入力音声信号が狭帯域音声信号の場合に拡張モード（Ｖ＝０）を表すフラグＶを出力するようになされている。広狭識別回路は、例えば、入力音声信号における、狭帯域音声信号の帯域外であって広帯域音声信号の帯域内の周波数成分について、平均パワーを求め、その平均パワーを閾値と比較することにより、入力音声信号が狭帯域音声信号か広帯域音声信号かを識別する。また、通信がパケット通信であって、パケットのいずれかの箇所に、狭帯域音声信号か広帯域音声信号かを示すフラグが挿入されている場合には、広狭識別回路は、その挿入フラグを、上述したフラグＶとして利用するようにしても良い。

第１の実施形態の音声帯域拡張装置１００には、図示しない音声復号回路によって復号された音声信号ｓ（ｎ）が入力される。ここで、入力される復号音声信号ｓ（ｎ）は、狭帯域音声信号のこともあれば広帯域音声信号のこともある。以下では、狭帯域音声信号又は広帯域音声信号によって復号音声信号ｓ（ｎ）のサンプリングレートが異なるとする。この場合、上述した特許文献１の記載技術のように、狭帯域音声信号のときに、適当な段階でアップサンプリングすることを要し、広帯域音声信号のときに、適当な段階でダウンサンプリングすることを要するが、図１では、アップサンプリングの処理段やダウンサンプリングの処理段を省略している。なお、狭帯域音声信号及び広帯域音声信号のいずれであっても、復号音声信号ｓ（ｎ）のサンプリングレートが同じにしていても良い。

音声帯域拡張装置１００の各部は、所定期間又は所定サンプル数でなる復号音声信号ｓ（ｎ）のフレーム毎に処理を実行するものである。

１入力２出力のスイッチ１１０と、２入力１出力のスイッチ１１１とは、フラグＶの値に応じて連動して切り替わるものである。フラグＶが「１」である学習モードでは、スイッチ１１０及び１１１はコモン端子（ｃ端子）をa端子に接続させる。このとき、スイッチ１１０は、復号音声信号ｓ（ｎ）を信号狭帯域化回路１０１、広帯域信号分析回路１０２及びスイッチ１１１のａ端子に与え、スイッチ１１１は、スイッチ１１０のａ端子から与えられた復号音声信号ｓ（ｎ）をコモン端子（ｃ端子）に出力させるようになされている。フラグＶが「０」である拡張モードでは、スイッチ１１０及び１１１はコモン端子（ｃ端子）をｂ端子に接続させる。このとき、スイッチ１１０は、復号音声信号ｓ（ｎ）を拡張時用狭帯域信号分析回路１０６及び残差信号生成回路１０７に与え、スイッチ１１１は、広帯域信号合成回路１０９の出力音声信号ｓｈ（ｎ）をコモン端子（ｃ端子）に出力させるようになされている。

信号狭帯域化回路１０１は、広帯域音声信号になっている復号音声信号ｓ（ｎ）を、帯域が高々４ｋＨｚまでに制限された信号ｓｌ（ｎ）に変換するものである。変換後の信号ｓｌ（ｎ）は、狭帯域音声信号と同様な帯域の信号である。

広帯域信号分析回路１０２は、広帯域音声信号になっている復号音声信号ｓ（ｎ）から周波数概形情報Ｆｈを計算して出力するものである。周波数概形情報としては、例えば、スペクトラム包絡を表す情報である（なお、後述する第３の実施形態では、周波数概形情報としてＦＦＴ情報を利用している）。

学習時用狭帯域信号分析回路１０３は、信号狭帯域化回路１０１の出力信号ｓｌ（ｎ）から周波数概形情報Ｆｌを計算して出力するものである。

ここで、広帯域信号分析回路１０２及び学習時用狭帯域信号分析回路１０３の分析方法は同種のものであり、例えば、ＬＰＣ分析を適用することができる。また、広帯域信号分析回路１０２への入力信号ｓ（ｎ）の方が、学習時用狭帯域信号分析回路１０３への入力信号ｓｌ（ｎ）への入力信号ｓｌ（ｎ）より広帯域であるので、周波数概形情報Ｆｈの方が周波数概形情報Ｆｌより情報量が多くなるように分析する。例えば、分析方法としてＬＰＣ分析を適用し、線形予測係数を周波数概形情報として利用する場合であれば、周波数概形情報Ｆｈの方の次数を周波数概形情報Ｆｌの次数より多くなるようにしておく。

符号帳１０５は、狭帯域の概形情報と広帯域の概形情報との対応を、複数対格納しているものである。ここで、初期状態で符号帳１０５に格納されている狭帯域の概形情報と広帯域の概形情報との対応は、例えば、広帯域信号分析回路１０２及び学習時用狭帯域信号分析回路１０３の出力のように完全に対応しているものである。

符号帳更新回路１０４は、符号帳１０５に格納されている狭帯域の概形情報の中から、学習時用狭帯域信号分析回路１０３から出力された概形情報Ｆｌに最も類似したものを選び、選ばれた狭帯域の概形情報に対応する符号帳１０５における広帯域の概形情報Ｃｕを、広帯域信号分析回路１０２から出力された概形情報Ｆｈを適用して、（１）式に従って更新する。但し、０＜α＜１とする。

Ｃｕ＝αＸＣｕ＋（１−α）ＸＦｈ …（１）
例えば、概形情報が複数の要素の値でなるものであれば、２つの概形情報の対応要素の差の２乗和を、類似を判断する指標として用いる。なお、要素に軽重がある場合には、差の２乗に対して重み付け係数を掛けた後に和をとるようにしても良い。

ここで、概形情報Ｆｌと、最も類似した狭帯域の概形情報との類似度に応じて、（１）式における反映パラメータαの値を変更させるようにしても良い。例えば、類似度が大きいときには、反映パラメータαを小さくして広帯域信号分析回路１０２から出力された概形情報Ｆｈの寄与を大きくし、類似度が小さいときには、反映パラメータαを大きくして広帯域信号分析回路１０２から出力された概形情報Ｆｈの寄与を小さくするようにしても良い。

また例えば、符号帳１０５に格納されている対情報にそれぞれ、利用状況を表す情報（拡張モードにおける直前の未使用期間や、拡張モードでの使用率など）をも付加しておき、最も類似した狭帯域の概形情報との類似度でも非常に低い場合には（閾値との比較で判断する）、符号帳１０５に格納されている対情報の中で最も利用されていない対情報に代えて、学習時用狭帯域信号分析回路１０３及び広帯域信号分析回路１０２から出力された概形情報Ｆｌ及びＦｈを格納するようにしても良い。

上述した（１）式に従った更新では、符号帳１０５における広帯域の概形情報Ｃｕだけを更新し、符号帳１０５における狭帯域の概形情報を更新しない。すなわち、（１）式に従った更新は、狭帯域の概形情報を固定化させたまま、それに対応する広帯域の概形情報Ｃｕを、固定化されている狭帯域の概形情報に類似した狭帯域の概形情報にも対応させるようにしているものである。なお、上記説明とは異なるが、符号帳１０５における広帯域の概形情報Ｃｕだけでなく、符号帳１０５における狭帯域の概形情報も、（１）式と同様な更新式に従って更新するようにしても良い。

狭帯域音声信号になっている復号音声信号ｓ（ｎ）は拡張時用狭帯域信号分析回路１０６に入力される。拡張時用狭帯域信号分析回路１０６は、復号音声信号ｓ（ｎ）から周波数概形情報Ｆｌｃを計算して出力するものである。拡張時用狭帯域信号分析回路１０６は、上述した学習時用狭帯域信号分析回路１０３と同様なものである。

符号帳１０５は、周波数概形情報Ｆｌｃが与えられた場合には、格納している狭帯域の概形情報の中から、概形情報Ｆｌｃに最も類似したものを選び、選ばれた狭帯域の概形情報に対応する広帯域の概形情報Ｃを広帯域信号合成回路１０９に出力する。

残差信号生成回路１０７は、狭帯域音声信号になっている復号音声信号ｓ（ｎ）から、周波数概形情報Ｆｌｃを除去した残差信号ｅ（ｎ）を生成するものである。ここで、残差信号ｅ（ｎ）は、励振源信号に対応するものである。

残差信号広帯域化回路１０８は、サンプリングレートの変更などを通じて、狭帯域の残差信号ｅ（ｎ）を、広帯域の残差信号ｅｈ（ｎ）に変換して出力するものである。

広帯域信号合成回路１０９は、残差信号広帯域化回路１０８からの広帯域の残差信号ｅｈ（ｎ）に、符号帳１０５からの概形情報Ｃを適用して合成音声信号ｓｈ（ｎ）を生成し、これを拡張音声信号としてスイッチ１１１に与えるものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の音声帯域拡張装置１００の動作を、学習モードでの動作、拡張モードでの動作の順に説明する。

図示しない音声復号回路によって復号された音声信号ｓ（ｎ）が広帯域音声信号のときには、フラグＶが「１」となる。これにより、スイッチ１１０及び１１１はａ端子に切り替わる。

これにより、広帯域音声信号になっている復号音声信号ｓ（ｎ）は、スイッチ１１０及び１１１を順次通過して、音声帯域拡張装置１００外部の図示しないスピーカに与えられて発音出力される。

また、スイッチ１１０を介して音声帯域拡張装置１００の内部に入力された復号音声信号ｓ（ｎ）は、信号狭帯域化回路１０１によって、狭帯域の音声信号ｓｌ（ｎ）に変換され、その後、学習時用狭帯域信号分析回路１０３によって、狭帯域音声信号ｓｌ（ｎ）から周波数概形情報Ｆｌが計算されて符号帳更新回路１０４に与えられる。音声帯域拡張装置１００の内部に入力された復号音声信号ｓ（ｎ）は広帯域信号分析回路１０２にも与えられ、広帯域信号分析回路１０２によって、復号音声信号ｓ（ｎ）から周波数概形情報Ｆｈが計算されて符号帳更新回路１０４に与えられる。

符号帳更新回路１０４において、符号帳１０５に格納されている狭帯域の概形情報の中から、学習時用狭帯域信号分析回路１０３から出力された概形情報Ｆｌに最も類似したものが探索され、選ばれた狭帯域の概形情報に対応する符号帳１０５における広帯域の概形情報Ｃｕが、広帯域信号分析回路１０２から出力された概形情報Ｆｈも適用されて、上述した（１）式に従って更新される。

一方、図示しない音声復号回路によって復号された音声信号ｓ（ｎ）が狭帯域音声信号のときには、フラグＶが「０」となる。これにより、スイッチ１１０及び１１１はｂ端子に切り替わる。

狭帯域音声信号になっている復号音声信号ｓ（ｎ）は拡張時用狭帯域信号分析回路１０６に入力され、拡張時用狭帯域信号分析回路１０６によって、復号音声信号ｓ（ｎ）から周波数概形情報Ｆｌｃが計算されて残差信号生成回路１０７及び符号帳１０５に出力される。

残差信号生成回路１０７によって、狭帯域音声信号になっている復号音声信号ｓ（ｎ）から、周波数概形情報Ｆｌｃが除去された残差信号ｅ（ｎ）が生成され、この残差信号ｅ（ｎ）が、残差信号広帯域化回路１０８によって、広帯域の残差信号ｅｈ（ｎ）に変換されて広帯域信号合成回路１０９に出力される。

符号帳１０５に格納されている狭帯域の概形情報の中から、拡張時用狭帯域信号分析回路１０６から出力された概形情報Ｆｌｃに最も類似したものが探索され、選ばれた狭帯域の概形情報に対応する広帯域の概形情報Ｃが広帯域信号合成回路１０９に出力される。

広帯域信号合成回路１０９においては、残差信号広帯域化回路１０８からの広帯域の残差信号ｅｈ（ｎ）に、符号帳１０５からの概形情報Ｃを適用して合成音声信号ｓｈ（ｎ）が生成され、これが拡張音声信号としてスイッチ１１１を介して、音声帯域拡張装置１００外部の図示しないスピーカに与えられて発音出力される。

一般に、個人が通話する相手はある程度限定され、不特定多数であることは非常に稀である。また、音声通信自体が広帯域で実施される場合が増加し、同じ通話相手でも、その時々で狭帯域通話であったり広帯域通話であったりすることが多くなる。

当該音声帯域拡張装置１００を搭載した電話端末１に対して、ある人が広帯域電話端末３から通話した場合には、音声帯域拡張装置１００は学習モードで動作し、符号帳１０５はその人の音声信号の特徴に合わせて更新される。このように更新された以降において、その人が、当該音声帯域拡張装置１００を搭載した電話端末１に対して、狭帯域電話端末２によって通話した場合には、音声帯域拡張装置１００は拡張モードで動作し、その際、学習モードで学習された符号帳１０５が適用され、良好な拡張音声信号が得られる。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、広帯域の音声信号の通信中に、広帯域及び狭帯域の周波数概形の対応を記憶している符号帳を更新しておき、狭帯域の音声信号の通信中には、このように更新された符号帳を利用するようにしたことにより、予め設定された符号帳を固定的に用いるよりも、現実の使用状況により近い符号帳が得られ、その結果、より品質の高い拡張音声信号を得ることができる。

すなわち、ある者が広帯域音声信号で通信したことがあれば、そのときに学習されているので、その後、その者が狭帯域音声信号で通信してきたときに、学習されている符号帳が利用されて帯域拡張がなされ、その結果、高品質の拡張音声信号を得ることができる。

（Ｂ）第２の実施形態
次に、本発明による音声帯域拡張装置及びプログラム、並びに、拡張用パラメータ学習装置及びプログラムの第２の実施形態を、図面を参照しながら詳述する。

図３は、第２の実施形態の音声帯域拡張装置１００Ａの機能的構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図３において、第２の実施形態の音声帯域拡張装置１００Ａは、符号帳として２面の符号帳１０５−１及び１０５−２を備えると共に、いずれの面の符号帳を有効とするかを指示する有効符号帳指示回路１１２が設けられている。

図３では、２面の符号帳の例を示しているが、３面以上の符号帳を適用しても良いことは勿論である。複数面の符号帳に分ける観点は任意であって良く、複数の観点の組み合わせであっても良い。

例えば、男性音声用の符号帳１０５−１と女性音声用の符号帳１０５−２とを別個に設けたものであっても良い。この場合、有効符号帳指示回路１１２は、学習モード及び拡張モードを問わず、音声帯域拡張装置１００Ａに入力される復号音声信号ｓ（ｎ）が男性音声に係るものであれば符号帳１０５−１を有効とし、音声帯域拡張装置１００Ａに入力される復号音声信号ｓ（ｎ）が女性音声に係るものであれば符号帳１０５−２を有効とする。ここで、有効符号帳指示回路１１２は、特開２００１−５６６９９号公報や特開２００４−３６２２８０号公報に記載のような音声信号から性別を識別する性別識別回路を内蔵して、有効符号帳の指示信号Ｗを形成させるものであっても良く、また、キー入力装置等からユーザに性別を入力させ、それに応じて、有効符号帳の指示信号Ｗを形成させるものであっても良い。

また例えば、日本語用の符号帳１０５−１と日本語以外用の符号帳１０５−２とを別個に設けたものであっても良い。この場合、有効符号帳指示回路１１２は、学習モード及び拡張モードを問わず、音声帯域拡張装置１００Ａに入力される復号音声信号ｓ（ｎ）の言語が日本語であれば符号帳１０５−１を有効とし、音声帯域拡張装置１００Ａに入力される復号音声信号ｓ（ｎ）の言語が日本語以外であれば符号帳１０５−２を有効とする。ここで、有効符号帳指示回路１１２は、特開２００７−８１６４３号公報や特開２００５−１５９３９５号公報に記載のような音声信号から日本語かそれ以外かを判別する言語特定回路を内蔵して、有効符号帳の指示信号Ｗを形成させるものであっても良く、また、キー入力装置等からユーザに言語を入力させ、それに応じて、有効符号帳の指示信号Ｗを形成させるものであっても良い。

なお、性別と言語種別との組み合わせに応じた面数だけ符号帳を用意し、性別識別と言語判定の結果に応じて、有効符号帳を定めるようにしても良い。

さらに例えば、通話相手となり得る個人毎に符号帳を用意するようにしても良い。この場合、例えば、ユーザがキー入力装置等に対して個人名を入力することで有効となる符号帳を特定するようにしても良い。また、完全に個人を特定する方法にはなっていないが、意図した個人が基本的に利用する電話番号毎に符号帳を用意し、受信したパケットに挿入されている送信元電話番号に応じて、有効となる符号帳を定めるようにしても良い。

第２の実施形態によれば、符号帳を多面構成とし、通話相手やその属性に応じて、符号帳を選択して学習したり拡張処理したりするようにしたので、第１の実施形態以上に、高品質な拡張音声信号を得ることが期待できる。

（Ｃ）第３の実施形態
次に、本発明による音声帯域拡張装置及びプログラム、並びに、拡張用パラメータ学習装置及びプログラムの第３の実施形態を、図面を参照しながら詳述する。

上記第１及び第２の実施形態においては、音声信号の周波数概形情報を得る分析方法は任意であるが、例えば、ＬＰＣ分析等の声道パラメータが得られるようなものを意図していた。この第３の実施形態の音声帯域拡張装置は、音声信号の周波数概形情報を得る分析方法としてＦＦＴを適用したものである。

図４は、第３の実施形態の音声帯域拡張装置１００Ｂの機能的構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図４において、第３の実施形態の音声帯域拡張装置１００Ｂは、信号狭帯域化回路１０１、広帯域信号ＦＦＴ変換回路１０２Ｂ、学習時用狭帯域信号ＦＦＴ変換回路１０３Ｂ、符号帳更新回路１０４Ｂ、符号帳１０５Ｂ、拡張時用狭帯域信号ＦＦＴ変換回路１０６Ｂ、広帯域逆ＦＦＴ変換回路１０９Ｂ及び２つのスイッチ１１０、１１１を有する。

次に、第３の実施形態の音声帯域拡張装置１００Ｂの動作を、学習モードでの動作、拡張モードでの動作の順に説明する。

図示しない音声復号回路によって復号された音声信号ｓ（ｎ）が広帯域音声信号のときには、フラグＶが「１」となる。これにより、スイッチ１１０及び１１１はａ端子に切り替わる。

これにより、広帯域音声信号になっている復号音声信号ｓ（ｎ）は、スイッチ１１０及び１１１を順次通過して、音声帯域拡張装置１００Ｂ外部の図示しないスピーカに与えられて発音出力される。

また、スイッチ１１０を介して音声帯域拡張装置１００Ｂの内部に入力された復号音声信号ｓ（ｎ）は、信号狭帯域化回路１０１によって、狭帯域の音声信号ｓｌ（ｎ）に変換され、その後、学習時用狭帯域信号ＦＦＴ変換回路１０３Ｂによって、狭帯域音声信号ｓｌ（ｎ）がＦＦＴ変換され、ＦＦＴ変換情報ＦｌＢが符号帳更新回路１０４Ｂに与えられる。音声帯域拡張装置１００の内部に入力された復号音声信号ｓ（ｎ）は広帯域信号ＦＦＴ変換回路１０２Ｂにも与えられ、広帯域信号ＦＦＴ変換回路１０２Ｂによって、復号音声信号ｓ（ｎ）がＦＦＴ変換され、ＦＦＴ変換情報ＦｈＢが符号帳更新回路１０４Ｂに与えられる。

符号帳更新回路１０４Ｂにおいて、符号帳１０５Ｂに格納されている狭帯域のＦＦＴ変換情報の中から、学習時用狭帯域信号ＦＦＴ変換回路１０３Ｂから出力されたＦＦＴ変換情報ＦｌＢに最も類似したものが探索され、選ばれた狭帯域のＦＦＴ変換情報に対応する符号帳１０５Ｂにおける広帯域のＦＦＴ変換情報ＣｕＢが、広帯域信号ＦＦＴ変換回路１０２Ｂから出力されたＦＦＴ変換情報ＦｈＢも適用されて、上述した（１）式と同様な更新式に従って更新される。

一方、図示しない音声復号回路によって復号された音声信号ｓ（ｎ）が狭帯域音声信号のときには、フラグＶが「０」となる。これにより、スイッチ１１０及び１１１はｂ端子に切り替わる。

狭帯域音声信号になっている復号音声信号ｓ（ｎ）は拡張時用狭帯域信号ＦＦＴ変換回路１０６Ｂに入力され、拡張時用狭帯域信号ＦＦＴ変換回路１０６によって、復号音声信号ｓ（ｎ）がＦＦＴ変換され、ＦＦＴ変換情報ＦｌｃＢが符号帳１０５Ｂに出力される。

符号帳１０５Ｂに格納されている狭帯域のＦＦＴ変換情報の中から、拡張時用狭帯域信号ＦＦＴ変換回路１０６Ｂから出力されたＦＦＴ変換情報ＦｌｃＢに最も類似したものが探索され、選ばれた狭帯域のＦＦＴ変換情報に対応する広帯域のＦＦＴ変換情報ＣＢが広帯域逆ＦＦＴ変換回路１０９Ｂに出力される。

広帯域逆ＦＦＴ変換回路１０９Ｂにおいては、符号帳１０５Ｂからの広帯域のＦＦＴ変換情報ＣＢに対し、逆ＦＦＴ変換が施され、逆ＦＦＴ変換後の信号ｓｈＢ（ｎ）が拡張音声信号としてスイッチ１１１を介して、音声帯域拡張装置１００Ｂ外部の図示しないスピーカに与えられて発音出力される。

第３の実施形態の音声帯域拡張装置１００Ｂによっても、第１の実施形態の音声帯域拡張装置１００と同様な効果を奏することができる。

（Ｄ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

上記各実施形態では、学習構成をも音声帯域拡張装置が有するものを示したが、他の装置に学習構成が設けられていても良い。例えば、音声帯域拡張装置を搭載した電話端末のメーカのサーバに学習構成を設けると共に、音声帯域拡張装置の符号帳と同じ内容を管理
させておく。そして電話端末の利用者の通話相手となり得る者は、このサーバに対して、広帯域音声信号を送信させて学習させ、サーバが、学習後に、更新された符号帳の内容を音声帯域拡張装置にダウンロードさせて、その符号帳を更新させる。

また、上記各実施形態では、広帯域の電話通信中に学習するものを示したが、電話通信を行っていないときに学習できるようにしても良い。例えば、音声帯域拡張装置を搭載した電話端末を学習モードに設定した後、当該電話端末の利用者の通話相手となり得る者が、当該電話端末のマイクロフォンに発話し、マイクロフォンから得られた広帯域音声信号を処理して符号帳を更新するようにしても良い。このような電話通信を行っていないときの学習モードに加え、各実施形態で説明した学習モードを別に設けるようにしても良い。

本発明の音声帯域拡張装置を搭載した装置は電話端末に限定されるものではない。例えば、無線ＬＡＮ端末に、本発明の音声帯域拡張装置を搭載させるようにしても良い。

１００、１００Ａ、１００Ｂ…音声帯域拡張装置、１０１…信号狭帯域化回路、１０２…広帯域信号分析回路、１０２Ｂ…広帯域信号ＦＦＴ変換回路、１０３…学習時用狭帯域信号分析回路、１０３Ｂ…学習時用狭帯域信号ＦＦＴ変換回路、１０４、１０４Ｂ…符号帳更新回路、１０５、１０５−１、１０５−２、１０５Ｂ…符号帳、１０６…拡張時用狭帯域信号分析回路、１０６Ｂ…拡張時用狭帯域信号ＦＦＴ変換回路、１０７…残差信号生成回路、１０８…残差信号広帯域化回路、１０９…広帯域信号合成回路、１０９Ｂ…広帯域逆ＦＦＴ変換回路、１１０、１１１…スイッチ、１１２…有効符号帳指示回路。

Claims (8)

1. 入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張装置において、
   狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段と、
   学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分を得、上記学習用広帯域音声信号についての音声パラメータと得られた狭帯域部分についての音声パラメータとを得て、得られた２つの音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている、少なくともいずれかの広狭対応情報の音声パラメータを更新させる拡張用パラメータ更新手段と、
   拡張対象の狭帯域音声信号が入力されたとき、入力された拡張対象の狭帯域音声信号についての音声パラメータを得て、上記拡張用パラメータ格納手段から、得られた音声パラメータに対応する広帯域の音声パラメータを取り出し、この広帯域の音声パラメータに対する、分析の逆処理によって、拡張対象の狭帯域音声信号の帯域を拡張した広帯域音声信号を生成する帯域拡張手段と
   を有することを特徴とする音声帯域拡張装置。
2. 当該音声帯域拡張装置を搭載した通信装置が対応する装置から受信している広帯域音声信号を上記学習用広帯域音声信号とすると共に、上記通信装置が対応する装置から受信している狭帯域音声信号を上記拡張対象の狭帯域音声信号とすることを特徴とする請求項１に記載の音声帯域拡張装置。
3. 上記拡張用パラメータ更新手段には、上記学習用広帯域音声信号が入力され、この入力された学習用広帯域音声信号を処理して、上記拡張用パラメータ格納手段に格納されている、少なくともいずれかの広狭対応情報の音声パラメータを更新させることを特徴とする請求項２に記載の音声帯域拡張装置。
4. 上記拡張用パラメータ格納手段として複数種類の拡張用パラメータ格納手段を有すると共に、どの種類の拡張用パラメータ格納手段が有効かを指示する有効種類指示手段を備え、
   上記拡張用パラメータ更新手段及び上記帯域拡張手段は、上記有効種類指示手段が指示している種類の上記拡張用パラメータ格納手段を利用することを特徴とする請求項１に記載の音声帯域拡張装置。
5. 上記拡張用パラメータ更新手段には、外部装置が上記学習用広帯域音声信号を処理して得た更新内容が与えられ、上記拡張用パラメータ更新手段は、この与えられた更新内容に基づいて、上記拡張用パラメータ格納手段に格納されている、少なくともいずれかの広狭対応情報の音声パラメータを更新させることを特徴とする請求項１に記載の音声帯域拡張装置。
6. 入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張プログラムであって、
   コンピュータを、
   狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段と、
   学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分が抽出され、上記学習用広帯域音声信号についての音声パラメータと抽出された狭帯域部分についての音声パラメータとを得て、得られた２つの音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている、少なくともいずれかの広狭対応情報の音声パラメータを更新させる拡張用パラメータ更新手段と、
   拡張対象の狭帯域音声信号が入力されたとき、入力された拡張対象の狭帯域音声信号についての音声パラメータを得て、上記拡張用パラメータ格納手段から、得られた音声パラメータに対応する広帯域の音声パラメータを取り出し、この広帯域の音声パラメータに対する、分析の逆処理によって、拡張対象の狭帯域音声信号の帯域を拡張した広帯域音声信号を生成する帯域拡張手段と
   して機能させることを特徴とする音声帯域拡張プログラム。
7. 入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張装置に設けられた拡張用パラメータ格納手段であって、狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段の格納内容を更新させる拡張用パラメータ学習装置であって、
   入力された学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分を得る狭帯域化手段と、
   上記学習用広帯域音声信号についての音声パラメータを得る広帯域信号分析手段と、
   得られた狭帯域部分についての音声パラメータを得る狭帯域信号分析手段と、
   上記狭帯域信号分析手段が得た音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている広狭対応情報の中から、更新対象の広狭対応情報を定め、上記広帯域信号分析手段が得た音声パラメータを利用して定められた広狭対応情報の少なくとも広帯域の音声パラメータを更新する更新手段と
   を有することを特徴とする拡張用パラメータ学習装置。
8. 入力された狭帯域音声信号の帯域を拡張し、得られた広帯域音声信号を出力する音声帯域拡張装置に設けられた拡張用パラメータ格納手段であって、狭帯域音声信号を分析して得られる狭帯域の音声パラメータと、その狭帯域音声信号に対応する広帯域音声信号を分析して得られる広帯域の音声パラメータとの対応である広狭対応情報を、複数記憶している拡張用パラメータ格納手段の格納内容を更新させる拡張用パラメータ学習プログラムであって、
   コンピュータを、
   入力された学習用広帯域音声信号における、狭帯域音声信号の帯域と同様な帯域部分を得る狭帯域化手段と、
   上記学習用広帯域音声信号についての音声パラメータを得る広帯域信号分析手段と、
   得られた狭帯域部分についての音声パラメータを得る狭帯域信号分析手段と、
   上記狭帯域信号分析手段が得た音声パラメータに基づいて、上記拡張用パラメータ格納手段に格納されている広狭対応情報の中から、更新対象の広狭対応情報を定め、上記広帯域信号分析手段が得た音声パラメータを利用して定められた広狭対応情報の少なくとも広帯域の音声パラメータを更新する更新手段と
   して機能させることを特徴とする拡張用パラメータ学習プログラム。

Images