JP2007310298A - 帯域外信号生成装置及び周波数帯域拡張装置 - Google Patents

Abstract

【課題】 当初の帯域制限信号と同様な特質を有する帯域拡張による広帯域信号を実現できる帯域外信号生成装置及び周波数帯域拡張装置を提供する。
【解決手段】 本発明の帯域外信号生成装置は、周波数帯域が制限された帯域制限信号から、その制限された周波数帯域外の周波数成分を含む帯域外信号を生成する。そして、帯域制限信号の周波数構造を推定する周波数構造推定手段と、帯域制限信号から帯域外の周波数成分を含む帯域外原信号を生成する帯域外原信号生成手段と、帯域外原信号の周波数構造を、推定された帯域制限信号の周波数構造に応じて調整する周波数構造調整手段と、周波数構造が調整された帯域外原信号における所定帯域を抽出する成分抽出手段とを有することを特徴とする。本発明の周波数帯域拡張装置は、本発明の帯域外信号生成装置を適用している。
【選択図】 図１

Description

本発明は帯域外信号生成装置及び周波数帯域拡張装置に関し、例えば、通信、放送等で伝送される周波数帯域の狭い音声信号に対し、受信側にて周波数帯域を拡張した音声信号を得る場合に適用し得るものである。

現在、様々なネットワークを用いて音声通信が盛んに行われている。しかしながら、従来の一般公衆網を利用していた時代の慣習から、電話音声通信は、一般に電話帯域と呼ばれる３００Ｈｚから３．４ｋＨｚの周波数に制限されて行われている。しかし、人間の発声する音声は、３００Ｈｚ以下、３．４ｋＨｚ以上の成分も含まれ、また当該成分は発話の個人性にも係わる重要な成分であり、当該成分の欠如は個人性の欠如だけでなく音声の品質を低下させる一因となるため、当該成分を含んだ音声での通話が望まれている。しかしながら、一般的な公衆網の交換機では、電話帯域を越える音声を伝送させることができない問題があった。このような問題点に関し、例えば、特許文献１に示すような周波数帯域の拡張手法が提案されている。

特許文献１に示される従来の周波数帯域拡張装置について、図１１を用いて説明する。この従来装置では、３００Ｈｚから３．４ｋＨｚに周波数を限定した帯域制限信号ＤＣを入力としている。当該帯域制限信号ＤＣは、標本化周波数変換器１により標本化周波数が変換された変換原信号Ｓに変換される。そして、当該変換原信号Ｓは、低域信号生成器１０、高域信号生成器１１、高域無声部生成器１２へそれぞれ与えられる。

低域信号生成器１０では、当該生成器内部の周期推定器５が、変換原信号Ｓの周期情報を含む低域周期情報ＬＰＩと変換用信号の周期波形を含む低域周期信号ＴＷを低域波形生成器２へ出力し、低域波形生成器２はこれらをもとに合成低域信号ＬＳを出カする。また、高域信号生成器１１内部の高域波形生成器３は、低域信号生成器１０と共用される周期推定器５により出力される高域周期情報ＨＰＩを基に合成高域信号ＨＳを出力する。同様に、高域無声部生成器１２でも、変換原信号Ｓを共に合成無声音信号ＵＳを出力する。これら合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声音信号ＵＳと、変換原信号Ｓとを、合成加算器６において加算し、帯域拡張信号Ｖを出力する。この帯域拡張信号Ｖは、帯域制限された狭帯域信号ＤＣから、低域成分の信号や高域成分の信号を伝送された信号とともに同時に提供することにより、当該成分が含まれる広帯域信号と同様の臨場感ある音声として聴取することを可能にしている。
特開平９−２５８７８７号公報

しかしながら、特許文献１に記載の従来技術では、高域波形生成器の処理を定めておらず、人間の音声の特質が考慮されていない波形が出力される可能性があり、広帯域信号と同様の音声を生成する能力としては不十分であった。

そのため、当初の帯域制限信号と同様な特質を有する帯域拡張による広帯域信号を実現できる、帯域外信号生成装置及び周波数帯域拡張装置が求められている。

第１の本発明は、周波数帯域が制限された帯域制限信号から、その制限された周波数帯域外の周波数成分を含む帯域外信号を生成する帯域外信号生成装置において、（１）上記帯域制限信号の周波数構造を推定する周波数構造推定手段と、（２）上記帯域制限信号から帯域外の周波数成分を含む帯域外原信号を生成する帯域外原信号生成手段と、（３）上記帯域外原信号の周波数構造を、上記周波数構造推定手段が推定した上記帯域制限信号の周波数構造に応じて調整する周波数構造調整手段と、（４）周波数構造が調整された上記帯域外原信号における所定帯域を抽出して上記帯域外信号を得る成分抽出手段とを有することを特徴とする。

第２の本発明は、周波数帯域が制限された帯域制限信号から、その制限された周波数帯域外の周波数成分を含む帯域外信号を生成する帯域外信号生成装置を含み、上記帯域制限信号と上記帯域外信号とを合成して上記帯域制限信号の制限を超えた周波数成分を含む広帯域信号を得る周波数帯域拡張装置において、上記帯域外信号生成装置として、第１の本発明のものを適用したことを特徴とする。

本発明の帯域外信号生成装置及び周波数帯域拡張装置によれば、帯域制限信号の周波数構造を推定して帯域外信号に反映させるようにしたので、当初の帯域制限信号と同様な特質を有する帯域拡張による広帯域信号を実現できるようになる。

（Ａ）第１の実施形態
以下、本発明による帯域外信号生成装置及び周波数帯域拡張装置の第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態の周波数帯域拡張装置１００の全体構成を示すブロック図であり、従来に係る図１１との同一、対応部分には同一、対応符号を付して示している。

図２において、第１の実施形態の周波数帯域拡張装置１００も、標本化周波数変換器１、低域信号生成器１０、高域信号生成器１１１、高域無声部生成器１２及び合成加算器６を備え、入力された帯域制限信号ＤＣに基づき、拡張帯域信号Ｖを形成するものである。なお、図２における低域信号生成器１０は、周期推定器５も含んでいるものであるが、この第１の実施形態は高域信号生成器１１１に特徴があるので、周期推定器５が高域信号生成器１１１の要素であることを強調するために、図２のような表現を適用している。

なお、第１の実施形態及び後述する実施形態は、特定の時間（例えば、１０ｍｓ）をひとまとまりにした音声フレーム（フレーム）単位に処理を行うことを想定しているものであるが、フレームの時間長はある時間に限定されるものではない。また、固定的なフレームでの処理に限定されず、可変長のフレームで処理してもサンプル毎に処理しても構わない。

第１の実施形態の周波数帯域拡張装置１００は、第１の実施形態の帯域外信号生成装置である高域信号生成器１１１の内部構成及び処理が、従来装置のものと異なっている。高域信号生成器１１１は、周期推定器５及び高域波形生成器１０３でなるが、高域波形生成器１０３が従来装置のものと異なっている。なお、第１の実施形態の場合、周期推定器５は、変換原信号Ｓの基本周期ＨＰＩを出力するものである。

図１は、第１の実施形態の高域信号生成器１１１に係る内部構成を示すブロック図である。第１の実施形態の高域信号生成器１１１における高域波形生成器１０３は、周波数変移器１２１、周波数構造推定器１２２、構造調整器１２３及び成分抽出器１２４を有する。

周波数変移器１２１は、変換原信号Ｓを受取り、基本周期情報ＨＰＩを基に、当該変換原信号Ｓに対して周波数変移を実施し、変移信号ＳＳを出力するものである。周波数変移器１２１における周波数変移方法については後述する。

周波数構造推定器１２２は、変換原信号Ｓを受取り、当該信号の周波数構造の傾向を推定し、傾き情報ＳＩとして出力するものである。周波数構造推定器１２２における推定方法については後述する。

構造調整器１２３は、変移信号ＳＳを受取り、当該変移信号ＳＳに対し周波数構造の傾向を補正した後、当該信号を補正信号ＢＳとして出力するものである。構造調整器１２３における傾向補正方法については後述する。

成分抽出器１２４は、補正信号ＢＳを受取り、合成加算器６による加算が必要である高域成分を抽出し、合成高域信号ＨＳを出力するものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の周波数帯域拡張装置１００における動作を説明する。なお、第１の実施形態の周波数帯域拡張装置１００においては、１音声フレームが入力される毎に、各構成要素が以下に示す動作を行う。

周波数帯域拡張装置１００に入力された帯域制限信号ＤＣは、標本化周波数変換器１によって標本化周波数を大きくした変換原信号Ｓに変換され、この変換原信号Ｓが、合成加算器６、低域信号生成器１０、高域信号生成器１１１、高域無声部生成器１２に与えられる。例えば、標本化周波数変換器１は、８ｋＨｚから１６ｋＨｚへ標本化周波数を変換する。但し、変換前の標本化周波数や変換後の標本化周波数は、この例に限定されず、周波数帯域拡張装置１００が実際に使用される装置の音声信号の標本化周波数に合わせて決定すれば良い。

高域信号生成器１１１においては、内部の周期推定器５と高域波形生成器１０３により、変換原信号Ｓから合成高域信号ＨＳを生成する。以下、高域信号生成器１１１における内部の動作について説明する。

周期推定器５は、変換原信号Ｓの基本周期ＨＰＩを推定する。周期推定器５における基本周期ＨＰＩの推定方法として、例えば、変換原信号Ｓの自己相関関数が極大となる遅延量を基本周期ＨＰＩとする方法を適用できるが、基本周期の推定方法は、この手法に限定されない。他の方法を例示すると、当該フレームにおける離散フーリエ変換系列を基に推定する方法を挙げることができる。なお、周期推定器５は、入力帯域制限信号ＤＣから基本周期ＨＰＩを推定するものであっても良い。

周波数変移器１２１は、入力される変換原信号Ｓを、基本周期ＨＰＩに応じた周波数分だけ、周波数変移させる。図３は、周波数変移器１２１による周波数変移方法の２つの例の概要の説明図である。なお、図３は、周波数変移を、ハードウェア構成によって実行するイメージで示しているが、周波数変移を、ソフトウェア処理によって実行しても良いことは勿論である。

まず、図３（ａ）を用いて、第１の周波数変移方法を説明する。周波数変移器１２１に入力される変換原信号Ｓに相当する入力原信号をｓｉｎ（ｆ・ｔ）とする。ここで、ｆは、原信号の周波数に対応する角周波数、ｔは時刻を表している。また、変移させる周波数に対応する角周波数Ｆを定めた後、余弦波信号ｃｏｓ（Ｆ・ｔ）及び正弦波信号−ｓｉｎ（Ｆ・ｔ）を入力させる。

ここで、角周波数Ｆは以下のように決定される。基本周期ＨＰＩに対応する周波数をｆ０とすると、その整数倍の周波数ｆ０、２・ｆ０、３・ｆ０、…のうち、拡張しようとする高域帯域ＢＨに属するものの一つ（例えば、高域帯域ＢＨに属する最も低いもの）を変移周波数に定め、それに対応する角周波数Ｆを算出する。

原信号ｓｉｎ（ｆ・ｔ）に余弦波信号ｃｏｓ（Ｆ・ｔ）を乗算回路３２により乗算して加算回路３４に与える。また、原信号ｓｉｎ（ｆ・ｔ）を遅延回路３１によりπ／２（ここでのπは例えば基本周期ＨＰＩにより定まる）だけ遅延させた後、当該遅延させた原信号ｓｉｎ（ｆ・ｔ＋π／２）＝−ｃｏｓ（f・ｔ）に対して乗算回路３３により正弦波信号−ｓｉｎ（Ｆ・ｔ）を乗算して加算回路３４に与える。これにより、加算回路３４からは、ｓｉｎ（ｆ・ｔ）・ｃｏｓ（Ｆ・ｔ）＋ｓｉｎ（Ｆ・ｔ）・ｃｏｓ（f・ｔ）＝ｓｉｎ（（Ｆ＋ｆ）・ｔ）が出力される。すなわち、加算回路３４から、周波数変移された信号が出力される。

図３（ｂ）に示す第２の周波数変移方法も、同様な三角関数の演算処理に基づいている。乗算回路３５によって、原信号ｓｉｎ（ｆ・ｔ）と余弦波信号ｃｏｓ（Ｆ・ｔ）とを乗算させる。この乗算結果は、１／２｛ｓｉｎ（（ｆ＋Ｆ）・ｔ）＋ｓｉｎ（（ｆ−Ｆ）・ｔ）｝となり、振幅を問題としないならば、ｓｉｎ（（ｆ＋Ｆ）・ｔ）＋ｓｉｎ（（ｆ−Ｆ）・ｔ）で表される。このうち、前者の成分ｓｉｎ（（ｆ＋Ｆ）・ｔ）をハイパスフィルタ（ＨＰＦ）３６で抽出することにより、周波数変移された信号が得られる。ハイパスフィルタ３６のカットオフ周波数を、例えば、拡張しようとする高域帯域ＢＨの下限周波数近傍に選定することにより、乗算結果から前者の成分を抽出することができる。

ここでは、フレーム単位で計算された量の周波数変移を実施するように示したが、例えば、直前のフレームでの基本周期から求められた変移周波数を保持しておき、当該フレーム内で、直前フレームの変移周波数から前述した変移周波数に連続的に変化するように、角周波数Ｆをサンプルごとに変化させるなどしても良い。

周波数構造推定器１２２は、変換原信号Ｓの大まかな周波数成分の配置傾向（周波数構造）を推定し、その推定結果を傾き情報ＳＩとして出力する。

周波数構造推定器１２２による推定方法の一例を、図４を参照しながら説明する。まず、入力された信号Ｓの系列（フレーム）をさらに小フレームに分割する。この小フレームの長さとして１ｍｓ程度を適用可能であるが、これに限定されない。この小フレーム内でフーリエ変換を実施する。このフーリエ変換の結果から、入力された帯域制限信号の周波数の上限（例えば、３４００Ｈｚ）と下限（例えば３００Ｈｚ）の間に含まれる数点の出力値を抽出する。説明のため、図４には、周波数軸上にフーリエ変換結果を配置した例を示している。

図４（ａ）は、抽出された出力値が偶数点（４つ）の場合である。この場合、上限に近い半数の出力値（Ａ３、Ａ４）の平均ＵＡから下限に近い半数の出力値（Ａ１、Ａ２）の平均ＬＡを減算し、当該小フレームの変化量ｄとする。

図４（ｂ）は、抽出された出力値が奇数点（３つ）の場合である。下限に近い出力値Ａ１と中央の出力値Ａ２の平均を求め、平均出力値ＬＡを得る。また、上限に近い出力値ＡＳと中央の出力値Ａ２の平均を求め、平均出力値ＵＡを得る。平均出力値ＵＡから平均出力値ＬＡを減算した結果を当該小フレームの変化量ｄとして求める。なお、３つよりも多い場合にも、下限に近い半数の出力値の平均と、上限に近い半数の出力値の平均の差分として同様に小フレームの変化量ｄを計算する。

以上のような１小フレームでの変化量ｄを１音声フレーム内ですべて計算し、全ての小フレームの変化量ｄの平均を傾き情報ＳＩとして出力する。

周波数構造推定器１２２による推定方法は、図４を用いて説明した方法に限定されるものではなく、周波数構造の傾向を推定できる方法であれば他の方法であっても良い。

構造調整器１２３は、周波数変移器１２１からの変移信号ＳＳに対し、周波数構造推定器１２２の傾き情報ＳＩを基に周波数構造の補正を行う。

図５は、構造調整器１２３の内部構成例を示すブロック図である。図５において、構造調整器１２３は、複数の傾き印加フィルタ１５１〜１５ｎを備え、変移信号ＳＳを通過させる傾き印加フィルタを、傾き情報ＳＩに応じて切替え動作する切換器１５０によって選択することにより、周波数構造の補正を行う。ここで、各傾き印加フィルタ１５１、…、１５ｎは、通過させた信号の周波数特性が通過させる前の信号の周波数特性に対し、特定の傾きを持つようなフィルタである。傾きを付与するとは、周波数成分が大きくなるに従って線形性を有する各周波数成分毎のゲインを乗算することに相当する。例えば、正の傾きを付与する傾き印加フィルタ、負の傾きを付与する傾き印加フィルタ、傾きを付与しない傾き印加フィルタ（このフィルタは省略し、経路だけ用意していても良い）の３種類を用意しておき、傾き情報ＳＩが、第１の所定値（正の値）以上の正か、第２の所定値（負の値）以下の負か、第１の所定値より小さく第２の所定値より大きい０に近い値かに応じて、変移信号ＳＳを通過させる傾き印加フィルタを選択させる。なお、傾き印加フィルタの個数、傾きの大きさは限定されず、任意に選定すれば良い。また、１個の可変の傾き印加フィルタを適用し、その傾きを可変制御するようにしても良い。

以上のように、変移信号ＳＳに傾きを印加することにより、単に信号を高域部分へ変移した信号や、当該変移した信号を単純に減衰させた信号に比べ、より入力信号の特徴を際立たせることができる。

成分抽出器１２４は、補正信号ＢＳから、合成加算器６において加算すべき成分を抽出し、その結果を合成高域信号ＨＳとして出力する。この抽出方法は、例えば、通過域を４０００Ｈｚから７０００Ｈｚとする帯域通過フィルタを通過させる方法で良いが、これらの下限周波数や上限周波数の値は、出力される信号の品質が良くなるように設計者が任意に設定しても良い。また、高域成分の抽出をする方法であれば良いので、帯域通過フィルタの代わりに４０００Ｈｚを遮断周波数とする高域通過フィルタなどを通過させるようにしても良い。さらに、当該機能を別の機能体で実施することが可能であれば、当該成分抽出器１２４を配置せず、別の機能体内部に当該機能を持たせるようにしても良い。

以上のようにして、第１の実施形態の高域信号生成器１１１からは、周波数特性に傾きが印加された合成高域信号ＨＳが出力される。

低域信号生成器１０においては、標本化周波数変換器１からの変換原信号Ｓが入力され、帯域制限された周波数より小さい周波数成分の信号が生成され、合成低域信号ＬＳが合成加算器６へ出力される。高域無声部生成器１２においては、標本化周波数変換器１からの変換原信号Ｓが入力され、合成無声音信号ＵＳが生成されて合成加算器６へ出力される。なお、低域信号生成器１０における合成低域信号ＬＳ、高域無声部生成器１２における合成無声音信号ＵＳの生成手法は、既存技術を用いることができるので、詳細説明は省略する。

合成加算器６においては、合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声音信号ＵＳ、変換原信号Ｓが入力され、これらが加算され、この結果が帯域拡張信号Ｖとして出力される。なお、合成加算器６において、４種類の信号を加算する際に、重み付け係数を用いて加算するようにしても良い。ここでの重み付け係数は、出力される音声信号の品質が最良となるように、設計者が任意に設定して良い。また、各種信号を生成する際、遅延が生じる場合には、合成加算器６はその遅延を考慮したタイミングで各種信号の加算を行う。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、周波数構造推定器と構造調整器により、合成高域信号に対して周波数構造の特徴を付加するようにしたので、結果として出力される音声に人間の音声の周波数構造を含ませることができる。これにより、広帯域信号の生成品質を向上させることができる。

（Ｂ）第２の実施形態
次に、本発明による帯域外信号生成装置及び周波数帯域拡張装置の第２の実施形態を、図面を参照しながら詳述する。

第２の実施形態の周波数帯域拡張装置も、その全体構成は、第１の実施形態の説明で用いた図２で表すことができる。しかし、第２の実施形態の周波数帯域拡張装置は、高域信号生成器（第２の実施形態では符号４１１を用いる）の内部構成、特に、高域波形生成器（第２の実施形態では符号４０３を用いる）の内部構成が、第１の実施形態のものとは異なっている。

図６は、第２の実施形態の高域波形生成器４０３の内部構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一の符号を付与して示している。

第２の実施形態の高域波形生成器４０３は、周波数変移器１２１、周波数構造推定器１２２、構造調整器１２３、成分抽出器１２４に加え、２つの平滑化指標生成器４２５、４２６、周波数構造平滑化器４２７を有する。

第１の平滑化指標生成器４２５は、変換原信号Ｓを受取り、周波数構造平滑化器４２７で使用される平滑化情報ＬＩを出力するものである。平滑化情報ＬＩの生成方法については後述する。

第２の平滑化指標生成器４２６は、補正信号ＢＳを受取り、周波数構造平滑化器４２７で使用される補正平滑化情報ＢＬＩを出力するものである。平滑化情報ＬＩの生成方法については後述する。

周波数構造平滑化器４２７は、補正信号ＢＳを受取り、平滑化情報ＬＩ、補正平滑化情報ＢＬＩを基に後述する平滑化処理を施したのち、平滑化信号ＣＳを出力するものである。

以下、第２の実施形態の動作について、第１の実施形態との違いを中心に説明する。第２の実施形態が第１の実施形態と異なる点は、高域信号生成器４１１の内部動作である。

第１の平滑化指標生成器４２５は、入力された変換原信号Ｓにおける予め設定されている周波数成分の強度（パワー）を計算し、当該強度を平滑化情報ＬＩとして周波数構造平滑化器４２７に出力する。

第２の平滑化指標生成器４２６も同様に、入力された補正信号ＢＳにおける予め設定されている周波数成分の強度（パワー）を計算し、当該強度を補正平滑化情報ＢＬＩとして周波数構造平滑化器４２７に出力する。予め設定する周波数成分とは、例えば、当該高域信号生成器４１１で生成される有効な信号の最小周波数の成分であって、３４００Ｈｚを適用できるが、この周波数値に限定されるものではない。

周波数構造平滑化器４２７は、平滑化情報ＬＩ、補正平滑化情報ＢＬＩを基に、入力される補正信号ＢＳに対してパワーの調整を行う。このパワー調整は、例えば、平滑化情報ＬＩから求めたパワーを補正平滑化情報ＢＬＩから求めたパワーで除算し、この結果に相当するパワーだけ増幅させる処理である。これは、合成加算器６に入力される、高域信号生成器４１１で生成される合成高域信号ＨＳと変換原信号Ｓとの周波数構造が連続的になるように、補正信号ＢＳを、予め設定された周波数での成分強度を基準に調整していることを意味している。但し、合成高域信号ＨＳと変換原信号Ｓとが合成加算器６において周波数構造が連続的になるようにする手法であれば良く、周波数構造の平滑化（連続化）方法は上記の方法に限定されるものではない。

第２の実施形態によれば、第１の実施形態の効果に加え、以下の効果を奏することができる。すなわち、生成される合成高域信号と変換原信号との間で、周波数構造が連続的になるように接続されるため、出力される信号の品質を一段と向上させることができる。

（Ｃ）第３の実施形態
次に、本発明による帯域外信号生成装置及び周波数帯域拡張装置の第３の実施形態を、図面を参照しながら詳述する。

図７は、第３の実施形態に係る周波数帯域拡張装置の全体構成を示すブロック図であり、第１の実施形態に係る図２との同一、対応部分には同一符号を付して示している。図８は、高域部信号生成器２１１の詳細構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。

図７において、第３の実施形態に係る周波数帯域拡張装置２００では、第１の実施形態における高域信号生成器１１１及び高域無声部生成器１２の部分が、図８に示す詳細構成を有する高域部信号生成器２１１に置き換わっている。

図８において、高域部信号生成器２１１は、周期推定器５及び高域部波形生成器２０３を備え、高域部波形生成器２０３は、周波数変移器１２１、高域無声波形生成器２２１、周波数構造推定器２２２、構造調整器１２３、２２３、成分抽出器１２４、２２４を有する。周波数変移器１２１、構造調整器１２３及び成分抽出器１２４は、第１の実施形態のものと同様である。

高域部信号生成器２０３は、変換原信号Ｓを受取り、基本周期情報ＨＰＩを基に、合成高域信号ＨＳ、合成無声音信号ＵＳを出力するものである。

周波数構造推定器２２２は、変換原信号Ｓを受取り、当該変換原信号Ｓの周波数構造を推定し、この結果を傾き情報ＳＩとして出力するものである。第３の実施形態の場合、周波数構造推定器２２２は、傾き情報ＳＩを、高域無声音に係る構造調整器２２３にも与える。

高域無声波形生成器２２１は、変換原信号Ｓを受取り、無声波形原信号ＵＳＳを生成して出力するものである。この生成方法としては、高域無声波形の既存の生成方法を適用することができる。

構造調整器２２３は、無声波形原信号ＵＳＳを受取り、傾き情報ＳＩを基に、傾き特性を印加した補正信号ＵＢＳを出カするものである。構造調整器２２３は、第１の実施形態で説明した構造調整器１２３と同様の構成を有するものである。

成分抽出器２２４は、補正信号ＵＢＳを受取り、成分抽出処理により合成無声音信号ＵＳを得て出力するものである。成分抽出器２２４は、第１の実施形態で説明した成分抽出器１２４と同様の構成を有するものである。

以下、第３の実施形態の動作について、第１、第２の実施形態との違いを中心に説明する。第３の実施形態が第１、第２の実施形態と異なる点は、高域部信号生成器２１１内部の高域部波形生成器２０３の動作である。

周波数構造推定器２２２は、第１の実施形態と同様に、入力された変換原信号Ｓの周波数構造を推定し、これを傾き情報ＳＩとして出力する。第３の実施形態で推定する傾き情報ＳＩも、第１の実施形態のように、周波数構造を傾きとして近似したもので良い。

周波数変移器１２１は、入力される変換原信号Ｓを、基本周期ＨＰＩに応じた周波数分だけ、周波数変移させ、変移信号ＳＳを出力する。

高域無声波形生成器２２１は、高域部分の無声部分の波形である無声波形原信号ＵＳＳを生成して出力する。この高域無声波形生成器２２１は、第１の実施形態で示した高域無声部生成器１２と同様であっても良く、高域部分における無声音信号を生成できれば、従来の生成方法を用いても良い。例えば、周波数変移器１２１の出力を、スペクトルを平均化する平均値フィルタを通過させることにより無声音信号を生成するものであっても良い。

各構造調整器１２３、２２３はそれぞれ、入力された変移信号ＳＳ、無声波形原信号ＵＳＳの周波数構造に対し、第１の実施形態と同様な方法により、傾き情報ＳＩが指示する傾きを印加し、周波数構造が調整された補正信号ＢＳ、ＵＢＳを対応する成分抽出機１２４、２２４に与える。各構造調整器１２３、２２３における傾き特性の印加は、予め設定しておくものとする。例えば、構造調整器１２３では、入力される変移信号ＳＳに対し、傾き情報ＳＩが正の傾きであれば、傾きが上昇するように変化させる傾き印加フィルタを通過させ、傾き情報ＳＩが負の傾きであれば、傾きが下降するように変化させる傾き印加フィルタを通過させるようにする。一方、構造調整器２２３では、構造調整器１２３とは逆に、傾き情報ＳＩが正の傾きである場合には、傾きが下降するように変化させる傾き印加フィルタを通過させ、傾き情報ＳＩが負の傾きであれば傾きが上昇するように変化させる傾き印加フィルタを通過させるようにする。これにより、全体の音量感を急変させないようにすることが可能となる。

各成分抽出器１２４、２２４は、第１の実施形態と同様の処理を行う。成分抽出器２２４は、高域無声部生成器１２から出力されていた周波数帯域と同じ成分となるように抽出することが好ましい。

第３の実施形態によれば、第１の実施形態の効果に加え、以下の効果を奏することができる。すなわち、合成無声音信号と合成高域信号の生成を統一的に動作させることにより、入力される信号に適合した合成高域信号と合成無声音信号を同時に生成し、当該２信号に関連をもたせることが可能となり、音質を一段と向上させることができる。

（Ｄ）第４の実施形態
次に、本発明による帯域外信号生成装置及び周波数帯域拡張装置の第４の実施形態を、図面を参照しながら詳述する。

図９は、第４の実施形態に係る周波数帯域拡張装置の全体構成を示すブロック図であり、第３の実施形態に係る図７との同一、対応部分には同一符号を付して示している。

図９において、第４の実施形態の周波数帯域拡張装置３００は、第３の実施形態の構成に加え、信号強調器３０７を有する。また、高域部信号生成器３１１は、第３の実施形態と同様に、周期推定器５及び高域部波形生成器２０３でなるが、周期推定器５への入力信号が信号強調器３０７からの強調信号ＥＳである点は、第３の実施形態と異なっている。

信号強調器３０７は、帯域制限信号ＤＣを受取り、その帯域制限信号ＤＣに含まれる特性を強調し、強調信号ＥＳを周期推定器５に与えるものである。この信号の強調（明確化）は、後段の周期推定器５における周期推定の前処理として行うことにより周期推定の精度を向上させる処理であれば良い。例えば、ＬＰＣ（線形予測分析）フィルタによる周波数構造の平坦化を実施し、周波数包絡の特徴を取り除くなどしても良い。但し、当該処理は、周期推定精度を向上する目的であれば良く、ＬＰＣフィルタを利用する処理に限定されるものではない。

第４の実施形態によれば、第１の実施形態の効果に加え、以下の効果を奏することができる。すなわち、周期推定器に入力される信号を、もともとの信号の特徴を強調させた信号としたので、周期推定の性能を向上させることが可能となり、周波数変移させた結果の信号の品質、結果として広帯域信号の品質を向上させることができる。

（Ｅ）他の実施形態
上記各実施形態においては、３種類の拡張信号を生成して合成するものを示したが、拡張信号の種類数は３種類に限定されるものではない。例えば、高域だけ帯域拡張を行うものであっても良い。また、拡張信号の帯域は、上記各実施形態のものに限定されない。例えば、任意の周波数帯域を指定できるようにしても良く（高域、低域を指定できる）、その結果、拡張後の広帯域信号は電話帯域よりも大きくても、電話帯域の範囲内にあっても良い。

また、上記各実施形態においては、複数の拡張用信号を並列的に生成して合成するものを示したが、帯域拡張を成分毎に順次（直列的に）行うようにしても良い。例えば、第１の実施形態の技術思想に対し、このような技術を適用した場合の全体構成を図１０に示す。この変形実施形態では、高域信号ＨＳと高域無声音信号ＵＳとを合成した合成信号ＭＶから、低域信号生成器１０が生成した低域信号を含む広帯域信号Ｖを出力するようになされている。

さらに、上記各実施形態では、変換原信号の周波数構造を、帯域を２分した各帯域の平均レベルの差として得て、周波数変移信号のスペクトラムに傾きを印加するものを示したが、他の構造検出方法を適用し、その検出方法に応じて調整方法も変化させるようにしても良い。例えば、変換原信号の周波数構造として、スペクトラムの包絡線情報を得、その包絡線情報の外挿線に合致するように、周波数変移信号の周波数構造を調整するようにしても良い。

上記第４の実施形態では、信号強調器からの強調信号を周期推定器に与えるものを示したが、他の構成要素にも与えるようにしても良い。例えば、低域信号生成器が、信号強調器からの強調信号を入力信号として処理するようにしても良く、また、低域信号生成器への入力信号として、変換原信号又は強調信号を選択し得るようにしても良い。

上記各実施形態では、高域信号の生成に本発明の特徴を適用した場合を示したが、低域信号の生成に本発明の特徴を適用するようにしても良い。

上記各実施形態における特徴的な技術思想を任意に組み合わせて周波数帯域拡張装置を構成するようにしても良い。例えば、第４の実施形態は、第３の実施形態の構成に信号強調器を設けるという技術思想を導入したものであるが、第１又は第２の実施形態の構成に信号強調器を設けて周波数帯域拡張装置を構成するようにしても良い。

また、上記各実施形態では、処理対象の信号が音声信号として説明したが、他の周期性信号（例えば画像信号）の帯域拡張にも本発明を適用することができる。また、入力信号が通過してくるネットワークも、一般的な電話公衆網に限定されず、ＩＰネットワーク網などの他のネットワークであっても良い。

さらに、上記各実施形態の説明では、各部がハードウェア的に構成されているイメージで説明したが、各部の全て又は一部がソフトウェア的に実現されていても良い。

第１の実施形態の高域信号生成器に係る内部構成を示すブロック図である。 第１の実施形態に係る音声信号帯域拡張装置の全体構成を示すブロック図である。 第１の実施形態の周波数変移器による周波数変移方法の説明図である。 第１の実施形態の周波数構造推定器による周波数構造の推定方法の説明図である。 第１の実施形態の構造調整器の内部構成を示すブロック図である。 第２の実施形態の高域信号生成器に係る内部構成を示すブロック図である。 第３の実施形態に係る音声信号帯域拡張装置の全体構成を示すブロック図である。 第３の実施形態の高域部信号生成器に係る内部構成を示すブロック図である。 第４の実施形態に係る音声信号帯域拡張装置の全体構成を示すブロック図である。 第１の実施形態に対する変形実施形態の全体構成を示すブロック図である。 従来の周波数帯域拡張装置の全体構成を示すブロック図である。

符号の説明

１…標本化周波数変換器、５…周期推定器、６…合成加算器、１０…低域信号生成器、１２…高域無声部生成器、１００、２００、３００…周波数帯域拡張装置、１０３、４０３…高域波形生成器（帯域外信号生成装置）、１１１、４１１…高域信号生成器、１２１…周波数変移器、１２２、２２２…周波数構造推定器、１２３、２２３…構造調整器、１２４、２２４…成分抽出器、２０３…高域部波形生成器、２１１、３１１…高域部信号生成器、２２１…高域無声波形生成器、３０７…信号強調器、４２５、４２６…平滑化指標生成器、４２７…周波数構造平滑化器。

Claims (7)

1. 周波数帯域が制限された帯域制限信号から、その制限された周波数帯域外の周波数成分を含む帯域外信号を生成する帯域外信号生成装置において、
   上記帯域制限信号の周波数構造を推定する周波数構造推定手段と、
   上記帯域制限信号から帯域外の周波数成分を含む帯域外原信号を生成する帯域外原信号生成手段と、
   上記帯域外原信号の周波数構造を、上記周波数構造推定手段が推定した上記帯域制限信号の周波数構造に応じて調整する周波数構造調整手段と、
   周波数構造が調整された上記帯域外原信号における所定帯域を抽出して上記帯域外信号を得る成分抽出手段と
   を有することを特徴とする帯域外信号生成装置。
2. 上記帯域制限信号の信号強度を判定する第１の指標生成手段と、
   上記帯域外原信号の信号強度を判定する第２の指標生成手段と、
   上記第１及び第２の指標生成手段の判定結果に応じ、上記周波数構造調整手段から出力された周波数構造が調整された上記帯域外原信号の信号強度を調整して上記成分抽出手段に与える周波数構造平滑化手段と
   をさらに有することを特徴とする請求項１に記載の帯域外信号生成装置。
3. 上記帯域外原信号生成手段は、上記帯域制限信号に対する周波数変移により上記帯域外原信号を生成することを特徴とする請求項１又は２に記載の帯域外信号生成装置。
4. 上記帯域制限信号に係る基本周期を推定する周期推定手段を有し、上記帯域外原信号生成手段は推定された基本周期に応じて、周波数変移の変移量を可変することを特徴とする請求項３に記載の帯域外信号生成装置。
5. 上記周期推定手段への入力信号は、上記帯域制限信号とは異なる信号であることを特徴とする請求項４に記載の帯域外信号生成装置。
6. 上記周期推定手段への入力信号は、上記帯域制限信号の特徴を強調した信号であることを特徴とする請求項４又は５に記載の帯域外信号生成装置。
7. 周波数帯域が制限された帯域制限信号から、その制限された周波数帯域外の周波数成分を含む帯域外信号を生成する帯域外信号生成装置を含み、上記帯域制限信号と上記帯域外信号とを合成して上記帯域制限信号の制限を超えた周波数成分を含む広帯域信号を得る周波数帯域拡張装置において、
   上記帯域外信号生成装置として、請求項１〜６のいずれかに記載のものを適用したことを特徴とする周波数帯域拡張装置。
   

Images