JP2016024454A - 音声帯域拡張装置および音声帯域拡張方法 - Google Patents

Abstract

【課題】伝送路の影響などにより劣化した音声信号からより音質の良い疑似広帯域音声を生成することが可能な音声帯域拡張装置を得る。
【解決手段】音声信号から当該音声信号の周波数帯域に含まれる第１の周波数帯域のスペクトル包絡を抽出するスペクトル包絡抽出部１０３と、音声信号の第１の周波数帯域の成分を音声信号と第１の周波数帯域のスペクトル包絡とに基づいて生成された第１の補間信号で置き換えた第１の拡張信号を生成する第１の信号加算部１０６と、第１の拡張信号に基づいて音声信号の周波数帯域に含まれない第２の周波数帯域のスペクトル包絡を推定するスペクトル包絡推定部２０３と、第１の拡張信号と第２の周波数帯域のスペクトル包絡とに基づいて生成された第２の周波数帯域の信号である第２の補間信号と第１の拡張信号とから拡張音声信号を生成する第２の信号加算部２０６と、を備える。
【選択図】 図１

Description

本発明は、音声信号の周波数帯域を疑似的に拡張する音声帯域拡張技術に関する。

従来、電話回線で伝送可能な情報量には制約が設けられており、この制約のため電話回線で伝送される音声信号における音声の周波数帯域は、例えば３００〜３４００Ｈｚというように帯域制限されている。このような電話回線を通じて伝送された音声信号を受信側で再生した音声の音質は帯域制限の影響で良好なものではない。
これに対し、帯域制限のために音声信号から除去されている周波数帯域を受信側で疑似的に補って拡張し、音質を改善した疑似広帯域音声を生成する音声帯域拡張技術がある。このとき例えば携帯電話などのように通信回線の伝送品質の状況やあるいは雑音混入などの影響で受信した音声信号が劣化する場合、音声信号の劣化が音声帯域拡張をした疑似広帯域音声に影響してしまうため、音声信号の劣化を考慮した音声帯域拡張を行う必要がある。
このような劣化した音声信号に対応した音声帯域拡張技術として、低域通過フィルタ部および高域通過フィルタ部を設け、劣化しやすい帯域の周波数成分を予め除去してから音声帯域拡張を行うことで、入力となる音声信号が劣化している場合にも良好な疑似広帯域音声を生成する方法が提案されている（特許文献１）。

特開２００５−１０６２１号公報（図１）

しかしながら上記の従来の音声帯域拡張方法では、例えば帯域制限により音声信号から除去されている高周波数帯域を拡張するとき、低域通過フィルタ部を通過した劣化しやすい周波数帯域の成分が除去された音声信号を高周波数帯域の信号の生成に用いることから、音声帯域拡張に用いられる音声信号の成分が少ないために生成される高周波数帯域（特に６０００Ｈｚ以上）の信号のスペクトル構造の再現性が悪く、音声の明瞭度が十分に改善されないという問題があった。

この発明は上記の課題を解決するためなされたもので、伝送路の影響などにより劣化した音声信号からより音質の良い疑似広帯域音声を生成することが可能な音声帯域拡張装置を得ることを目的とする。

この発明の音声帯域拡張装置は、音声信号から当該音声信号の周波数帯域に含まれる第１の周波数帯域のスペクトル包絡を抽出するスペクトル包絡抽出部と、音声信号の第１の周波数帯域の成分を音声信号と第１の周波数帯域のスペクトル包絡とに基づいて生成された第１の補間信号で置き換えた第１の拡張信号を生成する第１の信号加算部と、第１の拡張信号に基づいて音声信号の周波数帯域に含まれない第２の周波数帯域のスペクトル包絡を推定するスペクトル包絡推定部と、第１の拡張信号と第２の周波数帯域のスペクトル包絡とに基づいて生成された第２の周波数帯域の信号である第２の補間信号と第１の拡張信号とから拡張音声信号を生成する第２の信号加算部と、を備えたものである。

この発明の音声帯域拡張方法は、入力された音声信号から音声信号の周波数帯域に含まれる第１の周波数帯域のスペクトル包絡を抽出するスペクトル包絡抽出ステップと、音声信号の第１の周波数帯域の成分を音声信号と第１の周波数帯域のスペクトル包絡とに基づいて生成された第１の補間信号で置き換えた第１の拡張信号を生成する第１の信号加算ステップと、第１の拡張信号に基づいて音声信号の周波数帯域に含まれない第２の周波数帯域のスペクトル包絡を推定するスペクトル包絡推定ステップと、第１の拡張信号と第１の拡張信号および第２の周波数帯域のスペクトル包絡に基づいて生成された第２の周波数帯域の信号である第２の補間信号とから生成した拡張音声信号を出力する第２の信号加算ステップと、を備えたものである。

この発明の音声帯域拡張装置によれば、上述のように構成したので、入力された音声信号の第１の周波数帯域のスペクトル包絡を用いて生成した信号で音声信号の当該周波数帯域の成分を置き換え、この置き換えした信号を用いて入力された音声信号に含まれない第２の周波数帯域の音声帯域拡張を行うようにしたので、第１の周波数帯域が劣化した音声信号からより音質の良い疑似広帯域音声を生成することができる。
この発明の音声帯域拡張方法によれば、上述のように構成したので、入力された音声信号の第１の周波数帯域のスペクトル包絡を用いて生成した信号で音声信号の当該周波数帯域の成分を置き換え、この置き換えした信号を用いて入力された音声信号に含まれない第２の周波数帯域の音声帯域拡張を行うようにしたので、第１の周波数帯域が劣化した音声信号からより音質の良い疑似広帯域音声を生成することができる。

この発明の実施の形態１に関わる音声帯域拡張装置の機能構成を示すブロック図である。 実施の形態１の音声帯域拡張装置の処理フローを示すフローチャートである。 実施の形態１の音声帯域拡張装置における入力された音声信号の帯域拡張の過程を示す模式図である。 この発明の実施の形態２に関わる音声帯域拡張装置の機能構成を示すブロック図である。 この発明の実施の形態３に関わる音声帯域拡張装置の機能構成を示すブロック図である。 この発明の実施の形態４に関わる音声帯域拡張装置の機能構成を示すブロック図である。

以下、この発明を実施するための形態を、図面を参照して説明する。なお、以下の説明で参照する図面においては、同一もしくは相当する部分には同一の符号を付している。

実施の形態１．
図１はこの発明の実施の形態１に関わる音声帯域拡張装置の機能構成を示すブロック図である。この実施の形態の音声帯域拡張装置は、第１の音声帯域拡張部１００と第２の音声帯域拡張部２００を備えている。図１には第１の音声帯域拡張部１００と第２の音声帯域拡張部２００のそれぞれのブロックの内部構成の一例を合わせて示している。この例では、第１の音声帯域拡張部１００は第１の帯域通過フィルタ部１０１、第１の音源生成部１０２、スペクトル包絡抽出部１０３、第１の信号合成部１０４、第２の帯域通過フィルタ部１０５、第１の信号加算部１０６を備えている。また、第２の音声帯域拡張部２００は、第２の音源生成部２０２、スペクトル包絡推定部２０３、第２の信号合成部２０４、第３の帯域通過フィルタ部２０５、第２の信号加算部２０６を備えている。

この実施の形態の音声帯域拡張装置に入力された音声信号は、第１の音声帯域拡張部１００の第１の通過フィルタ部１０１とスペクトル包絡抽出部１０３に入力される。ここで音声信号とは、マイクロホンなどで取り込まれた音声などが所定のサンプリング周波数（ここでは一例として１６０００Ｈｚとする）でＡ／Ｄ（アナログデジタル）変換された後、所定の間隔（例えば１０ミリ秒）を単位として分割され（この分割される単位をフレームと称する）、更に所定の周波数帯域（ここでは一例として３００〜３４００Ｈｚとする）に帯域制限された信号であるものとする。なお、この実施の形態の音声帯域拡張装置は３００〜３４００Ｈｚの周波数帯域に帯域制限された音声信号の音声帯域拡張を行って３００〜７０００Ｈｚの拡張音声信号を得るものとする。

第１の帯域通過フィルタ部１０１は、入力された音声信号（以下、入力音声信号とも称す）のうち、所定の基準周波数（ここでは一例として２０００Ｈｚとする）以下の成分を通過させる低域通過処理を行う。第１の帯域通過フィルタ部１０１が出力した信号は第１の音源生成部１０２と第１の信号加算部１０６に入力される。第１の音源生成部１０２では、第１の帯域通過フィルタ部１０１が出力した信号に基づいて第１の周波数帯域の調波構造を含む第１の音源信号を生成する。

ここで、第１の周波数帯域とは第１の音声帯域拡張部１００が音声帯域拡張によって信号を生成する周波数帯域であり、この音声帯域拡張装置が適用されるシステムにおいて入力音声信号が劣化しやすい周波数帯域であるものとする。この実施の形態における第１の周波数帯域は上述の所定の周波数帯域（３００〜３４００Ｈｚ）における上述の基準周波数（２０００Ｈｚ）以上の周波数帯域である（すなわち２０００Ｈｚ〜３４００Ｈｚ）。なお、ここで示した各周波数は一例であり、この発明は上記の各周波数に限定されるものではなく、それぞれが他の周波数であってもよい。

一方、スペクトル包絡抽出部１０３は、入力音声信号から第１の周波数帯域のスペクトル包絡を抽出する。第１の信号合成部１０４は、第１の音源生成部１０２が生成した第１の音源信号とスペクトル包絡抽出部１０３が抽出した第１の周波数帯域のスペクトル包絡を合成した信号を生成する。第２の帯域通過フィルタ部１０５は、第１の信号合成部１０４が生成した信号の上述の基準周波数以上の成分を通過させるフィルタ処理を行って第１の補間信号を生成する。そして第１の信号加算部１０６が、第１の帯域通過フィルタ部１０１が出力した信号と第２の帯域通過フィルタ部１０５が出力した第１の補間信号を加算した第１の拡張信号を生成する。

第１の音声帯域拡張部１００が生成した第１の拡張信号は第２の音声帯域拡張部２００の第２の音源生成部２０２とスペクトル包絡推定部２０３と第２の信号加算部２０６に入力される。第２の音源生成部２０２は第１の拡張信号に基づいて第２の周波数帯域の調波構造を含む第２の音源信号を生成する。ここで、第２の周波数帯域とは第２の音声帯域拡張部２００が音声帯域拡張によって信号を生成する周波数帯域であり、この実施の形態では第１の周波数帯域よりも周波数の高い領域の３４００〜７０００Ｈｚである。また、スペクトル包絡推定部２０３は、第１の拡張信号に基づいて第２の周波数帯域のスペクトル包絡を推定する。

そして第２の信号合成部２０４が、第２の音源生成部２０２が生成した第２の音源信号とスペクトル包絡推定部２０３が推定した第２の周波数帯域のスペクトル包絡を合成した信号を生成する。この信号は第３の帯域通過フィルタ部２０５に入力され、第３の帯域通過フィルタ部２０５は入力された信号の第２の周波数帯域の成分を通過させるフィルタ処理を行って第２の補間信号を生成する。そして、第２の信号加算部２０６が第１の拡張信号と第３の帯域通過フィルタ部２０５が生成した第２の補間信号を加算して拡張音声信号である第２の拡張信号を出力する。拡張音声信号から疑似広帯域音声を生成することができる。

上述の第１の音声帯域拡張部１００が備える各部と第２の音声帯域拡張部２００が備える各部は、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアで実現することが可能であるし、また、メモリ等の周辺回路を備えたプロセッサとプロセッサ上で実行されるソフトウェアとで実現することも可能である。また、これらのハードウェアとソフトウェアを組み合わせて実現することも可能である。

次にこの実施の形態の音声帯域拡張装置の動作を説明する。図２はこの実施の形態の音声帯域拡張装置の処理手順を示すフローチャートである。なお、図２の示すフローチャートは一例であり、同等の結果が得られる範囲において各処理の順序を変更したり、並列化したりしてもよい。

この実施の形態の音声帯域拡張装置は音声信号の入力を受けて処理を開始する。この実施の形態の音声帯域拡張装置の第１の音声帯域拡張部１００は、入力音声信号（３００〜３４００Ｈｚ）から抽出された第１の周波数帯域（２０００〜３４００Ｈｚ）のスペクトル包絡に基づいて入力音声信号の基準周波数以下（３００〜２０００Ｈｚ）の成分を用いて音声帯域拡張を行って、入力音声信号と同じ周波数帯域の信号である第１の拡張信号（３００〜３４００Ｈｚ）を音声帯域拡張部２００に出力する。

第２の音声帯域拡張部２００は入力された第１の拡張信号（３００〜３４００Ｈｚ）を用いて第２の周波数帯域（３４００〜７０００Ｈｚ）の音声帯域拡張を行って第２の拡張信号（３００〜７０００Ｈｚ）を出力する。第２の拡張信号がこの実施の形態の音声帯域拡張装置の出力する拡張音声信号である。以下、音声帯域拡張部１００および音声帯域拡張部２００の動作の詳細を説明する。

第１の音声帯域拡張部１００の第１の帯域通過フィルタ部１０１は、入力音声信号の所定の周波数の成分を通過させて出力する（ＳＴ１０１）。この実施の形態では、入力音声信号のうち前述の基準周波数（２０００Ｈｚ）以下の成分を出力する。第１の帯域通過フィルタ部１０１において基準周波数以下の成分の通過に用いられるフィルタはＦＩＲ（Finite Impulse Response）フィルタ、ＩＩＲ（Infinite Impulse Response）フィルタなどで構成すればよい。図３の（１）に振幅スペクトルで表した入力音声信号の一例を示す。第１の帯域通過フィルタ部１０１は図３の（１）に示す２０００Ｈｚ以下の成分を通過させて出力する。

第１の音源生成部１０２は、第１の帯域通過フィルタ部１０１から出力された信号に対して非線形処理を行って、第１の周波数帯域（２０００〜３４００Ｈｚ）の調波構造を含む第１の音源信号を生成する（ＳＴ１０２）。第１の音源信号を生成する非線形処理としては、例えば二乗処理、全波整流、半波整流を用いることができるし、これら以外の処理で行ってもよい。

スペクトル包絡抽出部１０３は、入力音声信号から第１の周波数帯域（２０００〜３４００Ｈｚ）のスペクトル包絡（第１のスペクトル包絡）を抽出する（ＳＴ１０３）。ここでは、スペクトル包絡として平均振幅スペクトル値を用いることとする。平均振幅スペクトル値は通信回線状況や雑音混入などの影響を受けにくい情報であり、平均振幅スペクトル値を用いて後述の第１の信号合成部１０４の処理を行うことで、この信号合成処理を行わない場合に比べて、第１の周波数帯域（２０００〜３４００Ｈｚ）の再現性を向上することができる。

なお、平均振幅スペクトル値はいくつかの入力信号をいくつかの帯域（サブ帯域）に分けて抽出するようにしてもよい。このようにすることでより高精度に平均振幅スペクトル値を抽出できるようになる。

また、ここではスペクトル包絡として平均振幅スペクトル値を例としてあげているが、調波構造の情報を用いずにスペクトル包絡を抽出することができればよく、ＬＰＣ（Linear Predictive Coding）包絡、ＬＳＰ（Line Spectral Pairs）包絡、ケプストラル包絡などを用いてもよい。

第１の信号合成部１０４は、第１の音源生成部１０２で生成された第１の音源信号とスペクトル包絡抽出部１０３で取得された第１のスペクトル包絡を合成した信号を生成する（ＳＴ１０４）。

第２の帯域通過フィルタ部１０５は、第１の信号合成部１０４で生成された信号の基準周波数以上の成分（２０００〜３４００Ｈｚの成分）を通過させるフィルタ処理を行う（ＳＴ１０５）。なお、第２の帯域通過フィルタ部１０５はＦＩＲフィルタ、ＩＩＲフィルタなどを用いて実現すればよい。

第１の信号加算部１０６は、第１の帯域通過フィルタ部１０１から出力された信号と第２の帯域通過フィルタ部１０５から出力された信号（第１の補間信号）を加算した第１の拡張信号を生成する（ＳＴ１０６）。このように第１の拡張信号は、入力音声信号の２０００〜３４００Ｈｚの周波数の成分が、入力音声信号と第１の周波数帯域のスペクトル包絡とに基づいて第１の音声帯域拡張部１００内で生成された２０００〜３４００Ｈｚの周波数帯域の第１の補間信号で置き換えられた信号である。

図３の（２）に同図の（１）で示した例の音声入力信号を第１の音声帯域拡張部１００が音声帯域拡張した第１の拡張信号の例を示す。図３の（２）では２０００〜３４００Ｈｚの成分が音声帯域拡張部１００で生成された信号に置き換えられている。

次に第２の音声帯域拡張部２００の処理を説明する。第２の音声帯域拡張部２００の第２の音源生成部２０２は、第１の音声帯域拡張部１００から出力された第１の拡張信号に対して非線形処理を行って、第２の周波数帯域である３４００〜７０００Ｈｚの周波数帯域の調波構造を含む第２の音源信号を生成する（ＳＴ１０７）。ここで第２の音源信号を生成するために行う非線形処理は、第１の音源生成部１０２と同じ非線形処理であってもよいし、別の非線形処理であってもよい。

そして、スペクトル包絡推定部２０３が第１の音声帯域拡張部１００から出力された第１の拡張信号からあらかじめ用意された学習モデルを用いて第２の周波数帯域のスペクトル包絡（第２のスペクトル包絡）を推定する（ＳＴ１０８）。ここでは、推定するスペクトル包絡を平均振幅スペクトル値とし、第１の拡張信号の平均振幅スペクトル値から推定するものとする。なお、平均振幅スペクトル値に限らず、ＬＰＣ包絡、ＬＳＰ包絡、ケプストラル包絡など調波構造の情報を用いずに推定できるスペクトル包絡としてもよい。

また、スペクトル包絡推定部２０３で推定に用いられる学習モデルは、一般的なアルゴリズムにより作成されたものでよく、例えば線形回帰予測により作成されたモデルやニューラルネットワークを用いて作成されたモデルなどが挙げられる。

なお、推定するスペクトル包絡を平均振幅スペクトル値のような平滑化された値にすることで、入力音声信号に低ＳＮ（Signal to Noise）比で雑音が混入した場合にも拡張音声信号に与える影響が少ないスペクトル包絡推定が可能となる。

また、第１の拡張信号の平均振幅スペクトル値、推定する第２の周波数帯域の平均振幅スペクトル値をいくつかのサブ帯域に分けるようにしてもよい。このようにすることで、より高精度に第２の周波数帯域のスペクトル包絡を推定できる効果がある。

また、第１の拡張信号をいくつかのサブ帯域に分ける際にはサブ帯域ごとの雑音量推定を行い、推定雑音量が少ないサブ帯域のみを用いて第２の周波数帯域の平均振幅スペクトル値を求めてもよい。このようにすることで、入力音声信号に混入した雑音が平均振幅スペクトル値の推定に与える影響を抑圧する効果がある。

また、推定する平均振幅スペクトル値に上限値を設けてもよい。このようにすることで、平均振幅スペクトル値が理想的な広帯域の音声信号よりも過剰に推定されることを防ぐ効果がある。このとき、上限値は固定値でも構わないし、第１の拡張信号の平均振幅スペクトル値に応じてフレームごとに動的に変更されるようにしてもよい。

また、音韻によってスペクトルの態様は異なるため、音韻特徴に応じて上記の上限値が切り替えられるようにしてもよい。例えば、音声の無声摩擦部のスペクトルの振幅スペクトル値は高域になるにしたがい、大きくなることが知られているので、無声摩擦部では上限値を大きくすることが考えられる。このようにすることでより帯域拡張した音声の明瞭性を向上する効果が期待できる。

また、スペクトル包絡の推定に用いる尺度として、振幅スペクトルの代わりにパワースペクトルなどを元いるようにしてもよい。

第２の信号合成部２０４は、第２の音源生成部２０２で生成された第２の周波数帯域の調波構造を含む第２の音源信号にスペクトル包絡推定部２０３で推定されたスペクトル包絡を合成した信号を生成する（ＳＴ１０９）。

第３の帯域通過フィルタ部２０５は、第２の信号合成部２０４で生成された信号の第２の周波数帯域の成分を通過させるフィルタ処理行って第２の補間信号を生成する（ＳＴ１１０）。この実施の形態では、３４００〜７０００Ｈｚの成分が第３の帯域通過フィルタ部２０５を通過する。第３の帯域通過フィルタ部２０５はＦＩＲフィルタ、ＩＩＲフィルタなどを用いて構成すればよい。

第２の信号加算部２０６では、第１の音声帯域拡張部１００から出力された第１の拡張信号と第３の帯域通過フィルタ部２０５が出力した第２の補間信号を加算した第２の拡張信号（拡張音声信号）を生成する（ＳＴ１１１）。このように第２の拡張信号は、第１の拡張信号と、第１の拡張信号から推定されたスペクトル包絡と第１の拡張信号とに基づいて生成された３４００〜７０００Ｈｚの周波数帯域の第２の補間信号とから生成された信号である。

図３の（３）に同図の（１）に示した例の入力音声信号を第１の音声帯域拡張部１００と第２の音声帯域拡張部２００で音声帯域拡張した拡張音声信号の例を示す。図３の（３）は、図３の（２）に示した第１の拡張信号を用いて３４００〜７０００Ｈｚの第２の周波数帯域の音声帯域拡張が行われたことを示している。

以上のようにこの実施の形態の音声帯域拡張装置では、入力音声信号から第１の周波数帯域のスペクトル包絡を抽出して、取得したスペクトル包絡を用いて生成した第１の補間信号で入力音声信号の第１の周波数帯域の成分を置き換えた第１の拡張信号を生成する第１の周波数帯域の音声帯域拡張を行い、生成した第１の拡張信号を用いて第１の周波数帯域よりも高い周波帯の音声帯域拡張を行って帯域拡張音声信号を得るようにした。通信回線状況、雑音混入などの影響による信号の劣化の影響を受けにくいスペクトル包絡を用いて第１の周波数帯の音声帯域拡張をするようにしたことで、入力音声信号の第１の周波数帯域の成分が通信回線状況、雑音混入などの影響で劣化している場合に、第１の周波数帯域の成分を除去した音声信号に基づいて音声帯域拡張を行う場合よりも明瞭度が高く音質の良い疑似広帯域音声を得ることができる拡張音声信号を生成することが可能である。

なお、本実施の形態では、第１の周波数帯域の高域側の音声帯域拡張を実施しているが、必要に応じて低域側のみあるいは低域側および高域側など、入力された音声信号の周波数帯域に含まれない領域の音声帯域拡張を行うようにしてもよい。

実施の形態２．
次に、入力音声信号から抽出した第１の周波数帯のスペクトル包絡を第２の周波数帯域のスペクトル包絡推定に利用する実施の形態を説明する。図４はこの実施の形態に関わる音声帯域拡張装置の機能構成を示すブロック図である。図１に示した実施の形態１の音声帯域拡張装置に対して、スペクトル包絡抽出部１０３が出力する第１のスペクトル包絡がスペクトル包絡推定部２０３に入力されている点が異なる。

次にこの実施の形態の音声帯域拡張装置の動作を説明する。この実施の形態のスペクトル包絡抽出部１０３は入力音声信号の第１の周波数帯域のスペクトル包絡に加えて、それ以外の周波数帯域のスペクトル包絡を抽出して第１のスペクトル包絡として出力する。また、この実施の形態のスペクトル包絡推定部２０３はスペクトル包絡抽出部１０３が出力する第１のスペクトル包絡に基づいて第２の周波数帯域のスペクトル包絡を推定する。その他の音声帯域拡張装置の各部の動作は実施の形態１の音声帯域拡張装置と同様である。

この実施の形態の音声帯域拡張装置によれば、スペクトル包絡抽出部１０３で入力音声信号の第１の周波数帯域以外の周波数帯域のスペクトル包絡も抽出し、スペクトル包絡抽出部１０３で抽出された第１のスペクトル包絡をスペクトル包絡推定部２０３で用いる構成にしたので、実施の形態１の音声帯域拡張装置が奏する効果に加えて、スペクトル包絡推定部２０３においてスペクトル包絡を抽出する処理を行う必要がなくなり、音声帯域拡張装置全体としての処理量を低減できるという効果が得られる。

実施の形態３．
次に、入力音声信号において劣化している帯域を動的に検出して、上述の基準周波数を適応的に決定する実施の形態を説明する。図５はこの実施の形態に関わる音声帯域拡張装置の機能構成を示すブロック図である。図１に示した実施の形態１の音声帯域拡張装置に対し、劣化帯域分析部１１０が新たに追加されている。劣化帯域分析部１１０は音声信号が入力され、劣化帯域情報を出力する。劣化帯域分析部１１０が出力する劣化帯域情報は第１の帯域通過フィルタ部１０１ｃと第２の帯域通過フィルタ部１０５ｃに入力される。

次に動作を説明する。劣化帯域分析部１１０は、入力音声信号を分析して入力音声信号中の劣化した帯域を検出し、検出した劣化した帯域を示す劣化帯域情報を出力する。

劣化帯域分析部１１０において劣化した帯域を検出する方法として、例えば入力音声信号をいくつかのサブ帯域に分け、サブ帯域ごとの自己相関値を分析して検出する方法がある。この方法によれば、他のサブ帯域と比較して自己相関値の低いサブ帯域を劣化した帯域として検出する。なお、自己相関値の高低を判断するためのしきい値はあらかじめ定めておいた値を使用すればよい。

また、入力音声信号をいくつかのサブ帯域に分け、サブ帯域ごとのスペクトル構造の山と谷の振幅スペクトル値の差分を分析して検出するようにしてもよい。この方法によれば、他のサブ帯域と比較して山と谷の差分が小さい帯域を劣化した帯域として検出する。

第１の帯域通過フィルタ部１０１ｃと第２の帯域通過フィルタ部１０５ｃは、劣化帯域分析部１１０が出力した劣化帯域情報をもとに基準周波数を適応的に変化させて帯域通過処理を行う。その他の処理は実施の形態１と同様である。

この実施の形態の音声帯域拡張装置によれば、入力音声信号の劣化している周波数帯域を検出する劣化帯域分析部１１０を備え、第１の帯域通過フィルタ部１０１ｃと第２の帯域通過フィルタ部１０５ｃが劣化帯域分析部１１０から出力される劣化帯域情報に基づいて基準周波数を決定するようにしたことで、実施の形態１の音声帯域拡張装置が奏する効果に加えて、入力される音声信号において劣化する帯域が時間的に変化する場合でも、その変化に追従して劣化した帯域を第１の音声帯域拡張部１００ｃで生成した信号に置き換えることが可能となり、入力される音声信号の劣化した帯域の変化に動的に対応した音声帯域拡張を行うことができるという効果がある。

実施の形態４．
実施の形態３の変形例として、劣化帯域情報を第２の周波数帯域の音声帯域拡張において使用する実施の形態を説明する。図６はこの実施の形態の音声帯域拡張装置の機能構成を示すブロック図である。図６の音声帯域拡張装置は、図５で示した実施の形態３の音声帯域拡張装置に対し、劣化帯域分析部１１０ｄが出力する劣化帯域情報が第２の信号加算部２０６ｄに入力されている点と、音声信号が第２の信号加算部２０６ｄに入力されている点が異なる。なお、劣化帯域情報は劣化した帯域を示す情報に加えて、例えば劣化帯域分析部１１０ｄが求めたサブ帯域ごとの自己相関値などの劣化度合いを示す情報を含むものとする。その他は、実施の形態３と同様である。

次にこの実施の形態の音声帯域拡張装置の動作を実施形態３の音声帯域拡張装置との差分を中心に説明する。第２の信号可算部２０６ｄは第１の周波数帯域について、劣化帯域情報に基づいて劣化の度合いの大きい帯域は第１の拡張信号を、劣化の度合いの小さい帯域は入力音声信号を、第３の帯域通過フィルタが出力する信号に加算する信号として決定する。なお、劣化度合いの大小の判断はあらかじめ定めたしきい値を用いるようにすればよい。また、しきい値は帯域ごとに異なるものであってもよい。

この実施の形態の音声帯域拡張装置によれば、劣化帯域分析部１１０ｄが出力する劣化帯域情報に基づいて第２の信号加算部２０６ｄが入力音声信号と第１の拡張信号のいずれを第２の拡張信号の成分として出力するかを決定するようにしたので、実施の形態３の音声帯域拡張装置が奏する効果に加えて、入力された音声信号の第１の周波数帯域の成分のうち、劣化の度合いが小さい帯域の成分については入力された音声信号の成分を拡張音声信号として出力することが可能となり、帯域拡張された音声の明瞭度をより高くできるという効果を奏する。

実施の形態５．
実施の形態４の変形例として、第２の信号加算部２０６ｄが劣化帯域情報を使用せずに、入力音声信号の劣化を判断して信号を加算するようにすることも可能である。
第２の信号加算部２０６ｄが入力音声信号の劣化度合いを判断する方法としては、例えば第１の拡張信号と推定雑音とのＳＮ比、入力音声信号と推定雑音のＳＮ比をそれぞれ計算し、ＳＮ比が高い帯域を劣化度合いが高い帯域とする方法がある。なお、推定雑音を算出する方法は特定の方法に限定されず、例えば、発話区間検出を行って非発話区間において忘却的に推定雑音を学習する方法などを用いればよい。

また、別の例として、第１の拡張信号と入力音声信号の周波数成分を周波数帯域ごとに比較して判断するようにしてもよい。例えば周波数成分として振幅スペクトル値を用いる場合、振幅スペクトル値が入力音声信号よりも第１の拡張信号の方が大きい場合にその周波数帯域については第１の拡張信号の成分を使用するようにする。

第１の拡張信号と入力音声信号を比較していずれの信号を第２の信号加算処理部２０６ｄで使用するかを決定することで、より最適な信号を周波数帯域ごとに選択できるので、実施の形態４の音声帯域拡張装置が奏する効果に加えて、帯域拡張された音声の明瞭度をさらに高くできるという効果を奏する。

なお、上述の実施の形態１から実施形態５ではいずれも第１の音声帯域拡張部１００と第２の音声帯域拡張部２００が分離された構成を示しているが、一体化された構成であってもよい。

１００，１００ｂ，１００ｃ，１００ｄ 第１の音声帯域拡張部、１０１，１０１ｃ 第１の帯域通過フィルタ部、１０２ 第１の音源生成部、１０３ スペクトル包絡抽出部、１０４ 第１の信号合成部、１０５，１０５ｃ 第２の帯域通過フィルタ部、１０６ 第１の信号加算部、１１０ 劣化帯域分析部、２００，２００ｂ，１００ｄ 第２の音声帯域拡張部、２０２ 第２の音源生成部、２０３ スペクトル包絡推定部、２０４ 第２の信号合成部、２０５ 第３の帯域通過フィルタ部、２０６，２０６ｄ 第２の信号加算部。

Claims (7)

1. 音声信号から当該音声信号の周波数帯域に含まれる第１の周波数帯域のスペクトル包絡を抽出するスペクトル包絡抽出部と、
   前記音声信号の前記第１の周波数帯域の成分を前記音声信号と前記第１の周波数帯域のスペクトル包絡とに基づいて生成された第１の補間信号で置き換えた第１の拡張信号を生成する第１の信号加算部と、
   前記第１の拡張信号に基づいて前記音声信号の周波数帯域に含まれない第２の周波数帯域のスペクトル包絡を推定するスペクトル包絡推定部と、
   前記第１の拡張信号と前記第２の周波数帯域のスペクトル包絡とに基づいて生成された前記第２の周波数帯域の信号である第２の補間信号と前記第１の拡張信号とから拡張音声信号を生成する第２の信号加算部と、
   を備えたことを特徴とする音声帯域拡張装置。
2. 前記音声信号に基づいて前記音声信号が劣化した周波数帯域を検出する劣化帯域分析部を備え、
   前記第１の信号加算部は、前記音声信号の前記劣化帯域分析部において検出された前記劣化した周波数帯域の成分が前記第１の補間信号で置き換えられた前記第１の拡張信号を生成する
   ことを特徴とする請求項１に記載の音声帯域拡張装置。
3. 前記第２の信号加算部は、前記劣化帯域分析部で検出された前記劣化した周波数帯域について、前記音声信号または前記第１の拡張信号のいずれかを選択して前記拡張音声信号の前記劣化した周波数帯域の成分とする
   ことを特徴とする請求項２記載の音声帯域拡張装置。
4. 前記第２の信号加算部は、前記音声信号と前記第１の拡張信号とに基づいて前記音声信号の劣化した周波数帯域を検出し、検出した当該劣化した周波数帯域について前記第１の拡張信号を前記拡張音声信号の前記劣化した周波数帯域の成分とする
   ことを特徴とする請求項１または請求項２に記載の音声帯域拡張装置。
5. 前記スペクトル包絡抽出部は、前記音声信号の前記第１の周波数帯域以外の周波数帯域のスペクトル包絡を抽出し、
   前記スペクトル包絡推定部は、前記スペクトル包絡抽出部が抽出した前記第１の周波数帯域および前記第１の周波数帯域以外の周波数帯域のスペクトル包絡に基づいて、前記第２の周波数帯域のスペクトル包絡を推定する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の音声帯域拡張装置。
6. 前記音声信号は定められた周波数帯域に帯域制限されていることを特徴とする請求項１から請求項５のいずれか一項に記載の音声帯域拡張装置。
7. 入力された音声信号から前記音声信号の周波数帯域に含まれる第１の周波数帯域のスペクトル包絡を抽出するスペクトル包絡抽出ステップと、
   前記音声信号の前記第１の周波数帯域の成分を前記音声信号と前記第１の周波数帯域のスペクトル包絡とに基づいて生成された第１の補間信号で置き換えた第１の拡張信号を生成する第１の信号加算ステップと、
   前記第１の拡張信号に基づいて前記音声信号の周波数帯域に含まれない第２の周波数帯域のスペクトル包絡を推定するスペクトル包絡推定ステップと、
   前記第１の拡張信号と前記第１の拡張信号および前記第２の周波数帯域のスペクトル包絡に基づいて生成された前記第２の周波数帯域の信号である第２の補間信号とから生成した拡張音声信号を出力する第２の信号加算ステップと、
   を備えたことを特徴とする音声帯域拡張方法。

Images