JP2006017946A - 音声処理装置およびプログラム - Google Patents

Abstract

【課題】 入力音声から自然な出力音声を生成する。
【解決手段】 エンベロープ特定部２３は、入力音声信号ＳinのスペクトルエンベロープＥＶinを示す入力エンベロープデータＤEVinを生成する。テンプレート取得部３３は、変換用音声の周波数スペクトルＳＰtを示す変換用スペクトルデータＤSPtを記憶部５１から読み出す。データ生成部３ａは、入力エンベロープデータＤEVinと変換用スペクトルデータＤSPtとに基づいて、変換用音声の周波数スペクトルＳＰtに対応した形状の周波数スペクトルであってスペクトルエンベロープが入力音声のスペクトルエンベロープＥＶinと略一致する周波数スペクトルＳＰnewを特定し、この周波数スペクトルＳＰnewを示す新規スペクトルデータＤSPnewを生成する。逆ＦＦＴ部１５および出力処理部１６は、この新規スペクトルデータＤSPnewに基づいて出力音声信号Ｓnewを生成する。
【選択図】 図１

Description

本発明は、音声の特性を変化させる技術に関する。

利用者によって入力された音声（以下「入力音声」という）をこれとは特性が異なる音声（以下「出力音声」という）に変換して出力する種々の技術が従来から提案されている。例えば特許文献１には、入力音声に気息性（ブレスネス）を付与した出力音声を生成する構成が開示されている。この構成においては、広い帯域幅にわたってスペクトル強度が均一であるホワイトノイズのうち入力音声の第３フォルマントに対応する周波数帯域の成分を入力音声に加算することによって出力音声が生成される。
特開２０００−３２００号公報（段落００１４および段落００１５）

しかしながら、人間の気息による音声（以下「気息音」という）の特性はホワイトノイズの特性とは根本的に相違するため、単にホワイトノイズを気息音の成分として入力音声に加算するだけでは聴感上において自然な出力音声を生成することが困難であるという問題がある。また、ここでは気息性が付与された出力音声を生成する場合に着目したが、声帯の不規則な振動によって生じる音声（以下「嗄れ声（かれごえ）」という）や声帯の振動を伴なわない囁き声など様々な特性を持った出力音声を生成する場合にも同様の問題が生じ得る。例えば、公知のＳＭＳ（Spectral Modeling Synthesis）技術によって入力音声から調和成分と非調和成分（残差成分またはノイズ成分とも称される）とを抽出し、このうち非調和成分の強度を相対的に増加させたうえで調和成分と加算すれば嗄れ声を生成することも一応は可能である。しかしながら、人間の嗄れ声は声帯の不規則な振動を伴なう音声であり、単にノイズ成分に富んだ音声とは根本的に相違するから、この方法によっても自然な嗄れ声を生成するには限界がある。本発明は、このような事情に鑑みてなされたものであり、入力音声から自然な出力音声を生成することにある。

この課題を解決するために、本発明に係る音声処理装置は、入力音声の周波数スペクトルを特定する周波数分析手段と、前記周波数分析手段が特定した周波数スペクトルのスペクトルエンベロープを示す入力エンベロープデータを生成するエンベロープ特定手段と、変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得する取得手段と、前記エンベロープ特定手段が生成した入力エンベロープデータと前記取得手段が取得した変換用スペクトルデータとに基づいて、前記変換用音声の周波数スペクトルに対応した形状の周波数スペクトルであってスペクトルエンベロープが前記入力音声のスペクトルエンベロープと略一致する周波数スペクトルを示す新規スペクトルデータを生成するデータ生成手段と、前記データ生成手段が生成した新規スペクトルデータに基づいて音声信号を生成する信号生成手段とを具備する。この構成によれば、変換用音声の周波数スペクトルに対応した形状の周波数スペクトルであってスペクトルエンベロープが入力音声のスペクトルエンベロープと略一致する周波数スペクトルが特定されるから、入力音声のピッチや音色（音韻）を維持しながら変換用音声の音質が反映された自然な出力音声を得ることができる。なお、新規スペクトルデータが示す周波数スペクトルのスペクトルエンベロープは入力音声のスペクトルエンベロープと厳密に一致する必要はなく、入力音声のスペクトルエンベロープに沿った形状となっていれば足りる。さらに詳述すると、新規スペクトルデータが示す周波数スペクトルのスペクトルエンベロープは、出力音声のピッチが入力音声のピッチと聴感上において同等となる程度に入力音声のスペクトルエンベロープと対応（略一致）していることが望ましい。

本発明の第１の態様において、前記取得手段は、前記変換用音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す変換用スペクトルデータを取得し、前記データ生成手段は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に対応した変換用スペクトルデータに基づいて新規スペクトルデータを生成するスペクトル変換手段と、この新規スペクトルデータが示す周波数スペクトルの強度を前記入力エンベロープデータに基づいて調整するエンベロープ調整手段とを含む。この態様によれば、変換用音声がスペクトル分布領域に区分されたうえでスペクトル分布領域ごとに新規スペクトルデータが生成されるから、変換用音声および入力音声の周波数スペクトルに局所的なピークが現れる場合に特に好適である。なお、この態様の具体例は第１実施形態として後述される。

本発明の第１の態様において、前記周波数分析手段は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す入力スペクトルデータを生成し、前記スペクトル変換手段は、前記各スペクトル分布領域の前記入力スペクトルデータを当該スペクトル分布領域に対応した前記変換用スペクトルデータに置換することによって前記新規スペクトルデータを生成する。この態様によれば、入力音声の周波数スペクトルをスペクトル分布領域ごとに変換用音声の周波数スペクトルに置換することによって新規スペクトルデータが生成されるから、煩雑な演算処理を要することなく出力音声が得られる。

また、本発明の第１の態様において、前記周波数分析手段は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す入力スペクトルデータを生成し、前記スペクトル変換手段は、前記入力音声のスペクトル分布領域ごとに、このスペクトル分布領域の入力スペクトルデータが示す強度と当該スペクトル分布領域に対応する変換用スペクトルデータが示す強度とを特定の比率にて加算し、この加算値が強度とされた周波数スペクトルを示す前記新規スペクトルデータを生成する。この態様によれば、変換用音声の周波数スペクトルだけでなく入力音声の周波数スペクトルをも反映した自然な出力音声が得られる。

このように入力音声の周波数スペクトルと変換用音声の周波数スペクトルとを特定の比率にて加算する態様においては、前記入力音声の音量を検出する音量検出手段と、前記音量検出手段が検出した音量に応じて前記特定の比率を変化させるパラメータ調整手段とがさらに設けられる。この構成によれば、入力音声に応じて入力音声の周波数スペクトルと変換用音声の周波数スペクトルとの強度の比率が変化させられるから、人間の実際の発声に近い自然な出力音声が得られる。ところで、本発明の音声処理装置にて利用される変換用音声として嗄れ声を採用すれば、入力音声を嗄れ声に変換することができる。嗄れ声とは、発声に際して声帯の不規則な振動を伴なう音声であり、周波数スペクトルのうち基音や倍音に対応した各局所的ピークの間の帯域に不規則なピークやディップが現れる音声である。このような嗄れ声に特有の不規則性（声帯の振動の不規則性）は、その音声が大きいほど顕著となる傾向がある。そこで、本発明の望ましい態様において、前記パラメータ調整手段は、前記音量検出手段によって検出された音量が大きいほど前記変換用スペクトルデータが示す強度の比率が大きくなるように前記特定の比率を変化させる。この構成によれば、入力音声の音量が大きいほど出力音声における不規則性（いわば嗄れ声らしさ）を増加させることができ、人間の実際の発声に則した音声処理が実現される。また、前記入力音声の音量の変化に対する前記特定の比率の変化の態様を利用者による操作に応じて指定する指定手段を設けてもよい。こうすれば、利用者の好みに応じた多様な出力音声を生成することができる。なお、ここでは変換用音声を嗄れ声とした場合を例示したが、変換用音声の特性がこれに限られないことはもちろんである。

本発明の第２の態様においては、変換用音声を時間軸上にて区分した所定数のフレームの各々について前記変換用スペクトルデータを記憶する記憶手段と、前記各フレームにおける変換用音声のスペクトルエンベロープの強度を前記所定数のフレームについて平均化したエンベロープを示す平均エンベロープデータを取得する平均エンベロープ取得手段とがさらに設けられ、前記データ生成手段は、前記入力エンベロープデータが示すスペクトルエンベロープの強度と前記平均エンベロープデータが示すエンベロープの強度との差分値を算定する差分算定手段と、各フレームの変換用スペクトルデータが示す周波数スペクトルの強度と前記差分算定手段が算定した差分値とを加算する加算手段とを具備し、この加算手段による加算結果に基づいて前記新規スペクトルデータを生成する。この態様によれば、変換用音声の各フレームについて平均化されたスペクトルエンベロープと入力音声のスペクトルエンベロープとの差分値が変換用音声の周波数スペクトルに変換されることによって新規スペクトルデータが生成されるから、変換用音声の周波数スペクトルの経時的な変動を精度よく反映させた自然な出力音声が得られる。この態様においては、変換用音声をスペクトル分布領域に区分する必要がないから、変換用音声の周波数スペクトルに局所的なピークが現れない場合（例えば変換用音声が気息音などの無声音とされた場合）に特に好適である。なお、この態様の具体例は第２実施形態として後述される。

ところで、人間の音声における気息性は周波数が比較的に高い場合に特に顕著となる。そこで、本発明の第２の態様においては、前記新規スペクトルデータが示す音声のうち遮断周波数を超える帯域に属する成分を選択的に通過させるフィルタ手段を設けてもよい（図１０参照）。さらに、前記入力音声の音量を検出する音量検出手段を設け、前記フィルタ手段が、前記音量検出手段が検出した音量に応じて前記遮断周波数を変化させる構成とすれば、より現実の発声に近い出力音声を得ることができる。例えば、入力音声の音量が大きいほど遮断周波数を上昇（あるいは下降）させるといった具合である。

本発明の第２の態様において変換用音声を気息音（囁き声）などの無声音とした場合、加算手段による加算値を強度とする周波数スペクトルは無声音に対応したものとなる。この無声音を出力音声としてそのまま出力してもよいが、この無声音と入力音声とを混合して出力する構成も採用される。すなわち、この構成においては、前記データ生成手段が、前記加算手段による算定値が強度とされた周波数スペクトルの強度と、前記周波数分析手段が検出した周波数スペクトルの強度とを特定の比率にて加算し、この加算値が強度とされた周波数スペクトルを示す前記新規スペクトルデータを生成する。こうすれば、入力音声に気息性が付与された自然な出力音声を得ることができる。ところで、人間が音声を聴いたときに知覚する気息性の程度はその音声の音量に応じて変化する傾向がある。そこで、本発明の音声処理装置には、前記入力音声の音量を検出する音量検出手段と、前記音量検出手段が検出した音量に応じて前記特定の比率を変化させるパラメータ調整手段とがさらに設けられる。聴感上における気息性の程度は音量が小さいほど顕著になると考えられるから、より望ましい態様において、前記パラメータ調整手段は、前記音量検出手段によって検出された音量が小さいほど、前記加算手段による算定値が強度とされた周波数スペクトルの強度の比率が大きくなるように、前記特定の比率を変化させる。この構成によれば、人間の聴覚の特性に整合した自然な出力音声が得られる。また、前記入力音声の音量の変化に対する前記特定の比率の変化の態様を利用者による操作に応じて指定する指定手段を設けてもよい。こうすれば、利用者の好みに応じた多様な出力音声を生成することができる。なお、ここでは変換用音声を嗄れ声とした場合を例示したが、変換用音声の特性がこれに限られないことはもちろんである。

本発明の音声処理装置において、ひとつのピッチにて発声された変換用音声に対応する変換用スペクトルデータに基づいて出力音声を生成してもよいが、入力音声のピッチが多様であり得るという事情に照らせば、異なるピッチに対応した複数の変換用スペクトルデータを予め用意しておく構成も採用され得る。すなわち、この構成においては、ピッチが相違する変換用音声の周波数スペクトルを各々が示す複数の変換用スペクトルデータを記憶する記憶手段と、前記入力音声のピッチを検出するピッチ検出手段とがさらに設けられ、前記取得手段は、前記記憶手段に記憶された複数の変換用スペクトルデータのうち前記ピッチ検出手段が検出したピッチに対応した変換用スペクトルデータを取得する。この構成によれば、入力音声のピッチに応じた変換用スペクトルデータに基づいて特に自然な出力音声を生成することができる。

本発明に係る音声処理装置は、音声処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェアによって実現されるほか、パーソナルコンピュータなどのコンピュータとプログラムとの協働によっても実現される。このプログラムは、コンピュータに、入力音声の周波数スペクトルを検出する周波数分析処理と、前記周波数分析処理によって検出された周波数スペクトルのスペクトルエンベロープを示す入力エンベロープデータを生成するエンベロープ特定処理と、変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得する取得処理と、前記エンベロープ特定処理によって生成された入力エンベロープデータと前記取得処理によって取得された変換用スペクトルデータとに基づいて、前記変換用音声の周波数スペクトルに対応した形状の周波数スペクトルであってスペクトルエンベロープが前記入力音声のスペクトルエンベロープと略一致する周波数スペクトルを示す新規スペクトルデータを生成するデータ生成処理と、前記データ生成処理によって生成された新規スペクトルデータに基づいて音声信号を生成する信号生成処理とを実行させるものである。このプログラムによっても、本発明の音声処理装置について上述したのと同様の作用および効果が得られる。なお、本発明に係るプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態にて利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態にてサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１の態様に係る音声処理装置を実現するためのプログラムにおいて、前記取得処理は、前記変換用音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す変換用スペクトルデータを取得する処理であり、前記データ生成処理は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に対応した変換用スペクトルデータに基づいて新規スペクトルデータを生成するスペクトル変換処理と、この新規スペクトルデータが示す周波数スペクトルの強度を前記入力エンベロープデータに基づいて調整するエンベロープ調整処理とを含む。また、本発明の第２の態様に係る音声処理装置を実現するためのプログラムは、変換用音声を時間軸上にて区分した各フレームにおけるスペクトルエンベロープを複数のフレームについて平均化したエンベロープを示す平均エンベロープデータを取得する平均エンベロープ取得処理を前記コンピュータにさらに実行させるプログラムであって、前記データ生成処理は、前記入力エンベロープデータが示すスペクトルエンベロープの強度と前記平均エンベロープデータが示すエンベロープの強度との差分値を算定する差分算定処理と、各フレームの変換用スペクトルデータが示す周波数スペクトルの強度と前記差分算定処理によって算定された差分値とを加算する加算処理とを含み、この加算処理による加算結果に基づいて前記新規スペクトルデータを生成する処理である。

図面を参照しながら本発明の実施の形態について説明する。

＜Ａ：第１実施形態＞
まず、図１を参照して、本発明の第１実施形態に係る音声処理装置の構成および動作を説明する。同図に示される音声処理装置Ｄ1の各部は、例えばＣＰＵ（Central Processing Unit）などの演算処理装置がプログラムを実行することによって実現されてもよいし、ＤＳＰなど音声処理に専用されるハードウェアによって実現されてもよい。後述する各実施形態についても同様である。

図１に示される音声入力部１０は、図２の部分（ａ）に示されるように、利用者によって発せられた入力音声に応じたデジタルの電気信号（以下「入力音声信号」という）Ｓinを出力する手段であり、例えば、入力音声の波形を表わすアナログの電気信号を出力するマイクロホンと、この電気信号をデジタルの入力音声信号Ｓinに変換して出力するＡ／Ｄ変換器とを備えている。周波数分析部１２は、音声入力部１０から供給される入力音声信号Ｓinを所定の時間長（例えば５ｍｓないし１０ｍｓ）のフレームごとに切り出し、各フレームの入力音声信号Ｓinに対してＦＦＴ（Fast Fourier Transform）を含む周波数分析を実行して周波数スペクトル（振幅スペクトル）ＳＰinを検出する。図２の部分（ａ）に示されるように、各フレームは時間軸上において相互に重なり合うように選定される。これらのフレームは簡易的には同一の時間長の区間とされるが、例えば入力音声信号Ｓinのピッチに応じて各フレームの時間長を変化させる構成としてもよい。一方、図２の部分（ｂ）には、ひとつのフレームについて特定された周波数スペクトルＳＰinが例示されている。同図に示されるように、入力音声信号Ｓinの周波数スペクトルＳＰinにおいては、基音および倍音に相当する各周波数においてスペクトル強度の局所的なピーク（以下では単に「局所的ピーク」という）Ｐが現れる。周波数分析部１２は、各フレームの入力音声信号Ｓinの周波数スペクトルＳＰinを表わすデータ（以下「入力スペクトルデータ」という）ＤSPinを出力する。入力スペクトルデータＤSPinは、複数の単位データを含む。各単位データは、周波数軸上において所定の間隔にて選定された複数の周波数（以下「対象周波数」という）Ｆinの各々と当該対象周波数Ｆinにおけるスペクトル強度Ｍinとの組［Ｆin，Ｍin］である（図２の部分（ｃ）参照）。

図１に示されるように、周波数分析部１２から出力された入力スペクトルデータＤSPinはスペクトル処理部２ａに供給される。このスペクトル処理部２ａは、ピーク検出部２１とエンベロープ特定部２３と領域区分部２５とを有する。このうちピーク検出部２１は、入力スペクトルデータＤSPinが示す周波数スペクトルＳＰin（すなわちフレームごとの入力音声信号Ｓinの周波数スペクトルＳＰin）において複数の局所的ピークＰを検出するための手段である。これらの局所的ピークＰを検出する方法としては、例えば、周波数軸上において近接する所定数のピーク（局所的ピークＰ以外の微細なピークを含む）のうちスペクトル強度が最大となるピークを局所的ピークＰとして検出する方法が採用される。一方、エンベロープ特定部２３は、周波数スペクトルＳＰinのスペクトルエンベロープ（スペクトル包絡）ＥＶinを特定するための手段である。このスペクトルエンベロープＥＶinは、図２の部分（ｂ）に示されるように、ピーク検出部２１によって検出された複数の局所的ピークＰを連結した包絡線である。スペクトルエンベロープＥＶinを特定する方法としては、例えば、周波数軸上において相互に隣接する局所的ピークＰ同士を直線的に連結することによってスペクトルエンベロープＥＶinを折線として特定する方法や、局所的ピークＰを通過する曲線をスプライン補間など各種の補間技術によって補間してスペクトルエンベロープＥＶinを特定する方法、あるいは周波数スペクトルＳＰinにおける各対象周波数Ｆinのスペクトル強度Ｍinについて移動平均を算定したうえで各算定値を連結することによってスペクトルエンベロープＥＶinを特定する方法が採用され得る。エンベロープ特定部２３は、こうして特定したスペクトルエンベロープＥＶinを示すデータ（以下「入力エンベロープデータ」という）ＤEVinを出力する。この入力エンベロープデータＤEVinは、入力スペクトルデータＤSPinと同様に複数の単位データを含む。各単位データは、図２の部分（ｄ）に示されるように、周波数軸上において所定の間隔ごとに選定された複数の対象周波数Ｆinの各々と当該対象周波数ＦinにおけるスペクトルエンベロープＥＶinのスペクトル強度ＭEVとの組［Ｆin，ＭEV］である。

一方、図１に示される領域区分部２５は、周波数スペクトルＳＰinを周波数軸上の複数の帯域（以下「スペクトル分布領域」という）Ｒinごとに区分するための手段である。さらに詳述すると、領域区分部２５は、図２の部分（ｂ）に示されるように、各々がひとつの局所的ピークＰとその前後の帯域とを含むように複数のスペクトル分布領域Ｒinを特定する。例えば、領域区分部２５は、図２の部分（ｂ）に示されるように、周波数軸上において隣り合う２つの局所的ピークＰの中点をスペクトル分布領域Ｒin（Ｒin1，Ｒin2、Ｒin3、……）の境界として特定する。ただし、スペクトル分布領域Ｒinを選定する方法はこれに限られない。例えば、周波数軸上において隣り合う２つの局所的ピークＰ間の帯域においてスペクトル強度Ｍinが最低となる周波数（すなわち周波数スペクトルＳＰinのディップ）をスペクトル分布領域Ｒinの境界として特定してもよい。したがって、各スペクトル分布領域Ｒinの帯域幅は略一定であっても互いに相違していてもよい。図２の部分（ｃ）に示されるように、領域区分部２５は、入力スペクトルデータＤSPinをスペクトル分布領域Ｒinごとに区分して出力する。

次に、図１に示されるデータ生成部３ａは、入力音声の特性を変化させた出力音声の周波数スペクトルＳＰnewを示すデータ（以下「新規スペクトルデータ」）ＤSPnewを生成するための手段である。本実施形態におけるデータ生成部３ａは、予め用意された特定の音声（以下「変換用音声」という）の周波数スペクトルＳＰtと入力音声のスペクトルエンベロープＥＶinとに基づいて出力音声の周波数スペクトルＳＰnewを特定する。図１に示される記憶部５１は、この変換用音声の周波数スペクトルＳＰtを示すデータ（以下「変換用スペクトルデータ」という）ＤSPtを記憶する手段である。変換用スペクトルデータＤSPtは、図２の部分（ｃ）に示した入力スペクトルデータＤSPinと同様に、周波数軸上において所定の間隔にて選定された複数の対象周波数Ｆtの各々と当該対象周波数Ｆtにおける周波数スペクトルＳＰtのスペクトル強度Ｍtとからなる複数の単位データ［Ｆt，Ｍt］を含んでいる。

ここで、図３の部分（ａ）は変換用音声の波形を示す図である。この変換用音声は、特定の発声者が略一定のピッチを維持しつつ所定の時間にわたって発生した音声である。図３の部分（ｂ）には、この変換用音声の周波数スペクトルＳＰtが例示されている。同図の部分（ｂ）に示される周波数スペクトルＳＰtは、入力音声について上述したのと同様に、変換用音声を複数のフレームに区分し、このフレームごとに周波数分析（特にＦＦＴ）を実行することによって特定されたスペクトルである。本実施形態においては、声帯の不規則な振動を伴なう有声音（すなわち嗄れ声）が変換用音声とされた場合を想定する。図３の部分（ｂ）に示されるように、このような変換用音声の周波数スペクトルＳＰtには、基音および倍音に相当する局所的ピークＰのほか、声帯の振動の不規則性に起因したピークｐが各局所的ピークＰの間の帯域に現れる。この周波数スペクトルＳＰtは、入力音声について上述したように、各々がひとつの局所的ピークＰを含む複数のスペクトル分布領域Ｒt（Ｒt1、Ｒt2、Ｒt3、……）に区分される。

図３の部分（ｃ）に示されるように、記憶部５１には、図３の部分（ｂ）に示した周波数スペクトルＳＰtを示す変換用スペクトルデータＤSPtが複数のスペクトル分布領域Ｒtに区分されたうえでフレームごとに記憶部５１に記憶されている。以下では、ひとつの種類の変換用音声から生成された変換用スペクトルデータＤSPtの集合を「テンプレート」と表記する。図３の部分（ｄ）に示されるように、ひとつのテンプレートは、変換用音声を区分した所定数のフレームの各々について、当該フレームの周波数スペクトルＳＰtにおける各スペクトル分布領域Ｒtごとの変換用スペクトルデータＤSPtを含んでいる。

さらに、本実施形態においては、各々のピッチが相違する複数の変換用音声から生成された複数のテンプレートが記憶部５１に記憶されている。すなわち、例えば図１に示されるテンプレート１は、発声者がピッチＰt1にて発生したときの変換用音声から生成された変換用スペクトルデータＤSPtを含むテンプレートであり、テンプレート２は、発声者がピッチＰt2にて発生したときの変換用音声から生成された変換用スペクトルデータＤSPtを含むテンプレートである。記憶部５１には、各テンプレートの生成の基礎とされた変換用音声のピッチＰt（Ｐt1、Ｐt2、……）が当該テンプレートに対して対応付けられて記憶されている。

図１に示されるピッチ・ゲイン検出部３１は、入力スペクトルデータＤSPinと入力エンベロープデータＤEVinとに基づいて入力音声のピッチＰinとゲイン（音量）Ａinとを検出する手段である。このピッチＰinとゲインＡinとを抽出する方法としては公知である各種の方法が採用され得る。また、音声入力部１０から出力された入力音声信号Ｓinに基づいてピッチＰinおよびゲインＡinを検出する構成としてもよい。ピッチ・ゲイン検出部３１は、ピッチＰinをテンプレート取得部３３に通知するとともにゲインＡinをパラメータ調整部３５に通知する。テンプレート取得部３３は、ピッチ・ゲイン検出部３１から通知されたピッチＰinに基づいて、記憶部５１に記憶された複数のテンプレートの何れかを取得する手段である。さらに詳述すると、テンプレート取得部３３は、複数のテンプレートのうち入力音声のピッチＰinに近い（あるいは一致する）ピッチＰtが対応付けられたテンプレートを選択して記憶部５１から読み出す。こうして読み出されてテンプレートはスペクトル変換部４１１に出力される。

このスペクトル変換部４１１は、領域区分部２５から供給される入力スペクトルデータＤSPinとテンプレート取得部３３から供給されるテンプレートの変換用スペクトルデータＤSPtとに基づいて、周波数スペクトルＳＰnew’を特定するための手段である。本実施形態においては、入力スペクトルデータＤSPinが示す周波数スペクトルＳＰinのスペクトル強度Ｍinと、変換用スペクトルデータＤSPtが示す周波数スペクトルＳＰtのスペクトル強度Ｍtとが特定の比率をもって加算されることによって周波数スペクトルＳＰnew’が特定される。この特定の方法について図４を参照しながら説明する。

上述したように、各フレームの入力音声から特定された周波数スペクトルＳＰinは複数のスペクトル分布領域Ｒinに区分され（図４の部分（ｃ）参照）、各フレームの変換用音声から特定された周波数スペクトルＳＰtは複数のスペクトル分布領域Ｒtに区分されている（図４の部分（ａ）参照）。スペクトル変換部４１１は、第１に、周波数スペクトルＳＰinの各スペクトル分布領域Ｒinと周波数スペクトルＳＰtの各スペクトル分布領域Ｒtとを相互に対応付ける。例えば、複数のスペクトル分布領域Ｒinおよび複数のスペクトル分布領域Ｒtのうち周波数帯域が近いもの同士を相互に対応付ける。あるいは、所定の順番に配列されたスペクトル分布領域Ｒinおよびスペクトル分布領域Ｒtを各々の順番に従って選択したうえで相互に対応付けるようにしてもよい。

第２に、スペクトル変換部４１１は、図４の部分（ａ）および部分（ｂ）に示されるように、各スペクトル分布領域Ｒtに属する周波数スペクトルＳＰtを、各スペクトル分布領域Ｒinに属する周波数スペクトルＳＰinに対応するように周波数軸上において移動させる。さらに詳述すると、スペクトル変換部４１１は、周波数スペクトルＳＰtのうち各スペクトル分布領域Ｒtに属する局所的ピークＰの周波数が、このスペクトル分布領域Ｒtに対応付けられたスペクトル分布領域Ｒin（図４の部分（ｃ））の局所的ピークＰの周波数Ｆpと略一致するように、各スペクトル分布領域Ｒtに属する周波数スペクトルＳＰtを周波数軸上において移動させる。

第３に、スペクトル変換部４１１は、周波数スペクトルＳＰinの対象周波数Ｆinにおけるスペクトル強度Ｍinと、図４の部分（ｂ）に示される周波数スペクトルＳＰtのうち当該対象周波数Ｆinに対応する（例えば一致または近似する）対象周波数Ｆtにおけるスペクトル強度Ｍtとを特定の比率にて加算し、この加算値を周波数スペクトルＳＰnew’の対象周波数におけるスペクトル強度Ｍnew’として選定する。より具体的には、図４の部分（ｂ）に示される周波数スペクトルＳＰtのスペクトル強度Ｍtに対して重み値α（０≦α≦１）を乗算した数値（α・Ｍt）と周波数スペクトルＳＰinのスペクトル強度Ｍinに対して重み値（１−α）を乗算した数値（（１−α）・Ｍin）とを加算した数値をスペクトル強度Ｍnew’（＝α・Ｍt＋（１−α）・Ｍin）として対象周波数Ｆinごとに算定することによって周波数スペクトルＳＰnew’を特定する。そして、スペクトル変換部４１１は、この周波数スペクトルＳＰnew’を示す新規スペクトルデータＤSPnew’を生成する。なお、変換用音声のスペクトル分布領域Ｒtの帯域幅が入力音声のスペクトル分布領域Ｒinの帯域幅よりも狭い場合には、周波数スペクトルＳＰinの対象周波数Ｆinに対応する周波数スペクトルＳＰtが存在しない帯域Ｔが発生することになる。このような帯域Ｔについては、図４の部分（ｃ）および部分（ｄ）に示されるように、周波数スペクトルＳＰinの強度Ｍinの最小値が周波数スペクトルＳＰnew’の強度Ｍnew’として採用される。あるいは、この帯域Ｔにおける周波数スペクトルＳＰnew’の強度Ｍnew’をゼロとしてもよい。以上の動作が入力音声の各フレームについて実行されることによって、フレームごとに周波数スペクトルＳＰnew’が特定される。

ところで、変換用音声のフレーム数は予め決められているのに対して入力音声のフレーム数は利用者による発声の期間に応じて変化するため、入力音声のフレーム数と変換用音声のフレーム数とは一致しない場合が多い。変換用音声のフレーム数が入力音声のフレーム数よりも多い場合には、ひとつのテンプレートに含まれる変換用スペクトルデータＤSPtのうち余ったフレームに対応するものを破棄すれば足りる。一方、変換用音声のフレーム数が入力音声のフレーム数よりも少ない場合には、ひとつのテンプレートに含まれる最後のフレームに対応した変換用スペクトルデータＤSPtに続いて、最初のフレームの変換用スペクトルデータＤSPtを利用するといった具合に、変換用スペクトルデータＤSPtをひとつのテンプレートにおいてループさせて（循環的に）使用すればよい。

上述したように、本実施形態においては変換用音声として嗄れ声が採用されている。したがって、周波数スペクトルＳＰnew’が示す音声は変換用音声の特性を反映した嗄れ声となる。ところで、このような嗄れ声に特有の荒さ（声帯の振動の不規則性の程度）は、その音声の音量が大きいほど聴感上において顕著となる（すなわち荒い音声に聴こえる）という傾向がある。このような傾向を再現するために、本実施形態においては、入力音声のゲインＡinに応じて重み値αが制御されるようになっている。図５は、入力音声のゲインＡinと重み値αとの関係を示すグラフである。同図に示されるように、ゲインＡinが小さい場合には重み値αが相対的に小さい数値とされる（重み値（１−α）が大きい数値とされる）。上述したように周波数スペクトルＳＰnew’の強度Ｍnew’は、周波数スペクトルＳＰtのスペクトル強度Ｍtおよび重み値αとの乗算値と、周波数スペクトルＳＰinのスペクトル強度Ｍinおよび重み値（１−α）との乗算値とを加算したものであるから、重み値αが小さい場合には、周波数スペクトルＳＰtが周波数スペクトルＳＰnew’に与える影響は相対的に低減される。したがって、この場合には周波数スペクトルＳＰnew’が示す音声の聴感上における荒さは小さくなる。一方、図５に示されるように、ゲインＡinの増大に伴なって重み値αも増大する（重み値（１−α）が減少する）。このように重み値αが大きい場合には、周波数スペクトルＳＰtが周波数スペクトルＳＰnew’に与える影響は相対的に増大するから、周波数スペクトルＳＰnew’が示す音声の荒さは増大する。図１に示されるパラメータ調整部３５は、ピッチ・ゲイン検出部３１によって検出されたゲインＡinに対して図５に示す特性に従うように重み値αを調整し、この重み値αおよび重み値（１−α）をスペクトル変換部４１１に指定する手段である。

さらに、本実施形態においては、ゲインＡinと重み値αとの関係が利用者によって適宜に調整されるようになっている。図１に示されるパラメータ指定部３６は、利用者によって操作される操作子を備え、この操作子への操作に応じて入力されたパラメータｕ1、ｕ2およびｕ3をパラメータ調整部３５に通知する。図５に示されるように、パラメータｕ1は、入力音声のゲインＡinが最小値であるときの重み値αの数値に相当し、パラメータｕ2は、重み値αの最大値に相当し、パラメータｕ3は、重み値αが最大値ｕ2に到達するときのゲインＡinに相当する。したがって、例えば、利用者がパラメータｕ2を増加させた場合には、入力音声の音量が大きいとき（ゲインＡinがパラメータｕ3を越えるとき）の出力音声の荒さを相対的に増大させることができる。あるいは、利用者がパラメータｕ3を増加させた場合には、出力音声の荒さを変化させ得る入力音声のゲインＡinの範囲を拡大することができる。

さて、以上の手順により入力音声のフレームごとに生成された各スペクトル分布領域の新規スペクトルデータＤSPnew’はエンベロープ調整部４１２に供給される。このエンベロープ調整部４１２は、周波数スペクトルＳＰnew’のスペクトルエンベロープを入力音声のスペクトルエンベロープＥＶinに対応した形状となるように調整して周波数スペクトルＳＰnewを特定する手段である。ここで、図４の部分（ｄ）には、周波数スペクトルＳＰnew’とともに、入力音声のスペクトルエンベロープＥＶinが破線により付記されている。同図に示されるように、周波数スペクトルＳＰnew’は必ずしもスペクトルエンベロープＥＶinに対応した形状となっていないから、この周波数スペクトルＳＰnew’に対応した音声をそのまま出力音声として放音した場合には、入力音声とはピッチや音色が異なる音声が出力されることになって利用者に違和感を与えかねない。そこで、本実施形態においては、エンベロープ調整部４１２において周波数スペクトルＳＰnew’のスペクトルエンベロープを調整することにより、出力音声のピッチや音色を入力音声に合わせる構成となっているのである。

さらに詳述すると、エンベロープ調整部４１２は、周波数スペクトルＳＰnew’の局所的ピークＰにおけるスペクトル強度Ｍnew’がスペクトルエンベロープＥＶin上に位置するように、周波数スペクトルＳＰnew’のスペクトル強度を調整する。すなわち、エンベロープ調整部４１２はまず、各スペクトル分布領域に属するひとつのピークＰにおけるスペクトル強度Ｍnew’とその局所的ピークＰの周波数ＦpにおけるスペクトルエンベロープＥＶinのスペクトル強度ＭEVとの強度比β（＝ＭEV／Ｍnew’）を算定する。そして、エンベロープ調整部４１２は、そのスペクトル分布領域の新規スペクトルデータＤSPnew’が示す総てのスペクトル強度Ｍnew’に対して強度比βを乗算し、この乗算値を周波数スペクトルＳＰnewの強度とする。図４の部分（ｅ）に示されるように、こうして特定された周波数スペクトルＳＰnewのスペクトルエンベロープは、入力音声のスペクトルエンベロープＥＶinと一致することになる。

次に、図１に示される逆ＦＦＴ部１５は、データ生成部３ａがフレームごとに生成した新規スペクトルデータＤSPnewに対して逆ＦＦＴ処理を施して時間領域の出力音声信号Ｓnew’を生成する。出力処理部１６は、こうして生成されたフレームごとの出力音声信号Ｓnew’に時間窓関数を乗算し、これらを時間軸上において相互に重なり合うように接続して出力音声信号Ｓnewを生成する。すなわち、逆ＦＦＴ部１５および出力処理部１６は、新規スペクトルデータＤSPnewから出力音声信号Ｓnewを生成する手段として機能する。音声出力部１７は、出力処理部１６から供給される出力音声信号Ｓnewをアナログの電気信号に変換するＤ／Ａ変換器と、このＤ／Ａ変換器からの出力信号に基づいて放音する放音機器（例えばスピーカやヘッドフォン）とを具備する。この音声出力部１７から発せられる出力音声は、入力音声のピッチや音色を維持しつつ変換用音声たる嗄れ声の特性を反映させたものとなる。

以上に説明したように、本実施形態においては、変換用音声の周波数スペクトルＳＰtと入力音声のスペクトルエンベロープＥＶinとに基づいて出力音声の周波数スペクトルＳＰnewが特定されるから、聴感上において極めて自然な出力音声を得ることができる。また、本実施形態においては、ピッチが相違する変換用音声から生成された複数のテンプレートの何れかが入力音声のピッチＰinに応じて特定されるから、ひとつのピッチの変換用音声から生成された変換用スペクトルデータＤSPtに基づいて出力音声を生成する構成と比較して、より自然な出力音声を生成することができる。

さらに、周波数スペクトルＳＰtのスペクトル強度Ｍtに乗算される重み値αが入力音声のゲインＡinに応じて制御されるから、重み値αが固定値とされた構成と比較して、より現実の嗄れ声に近い自然な出力音声を生成することができる。しかも、入力音声のゲインＡinと重み値αとの関係が利用者による操作に応じて調整されるから、利用者の好みに合った多様な出力音声を生成することができる。

＜Ｂ：第２実施形態＞
次に、図６を参照して、本発明の第２実施形態に係る音声処理装置について説明する。なお、本実施形態に係る音声処理装置Ｄ2のうち上記第１実施形態に係る音声処理装置Ｄ1と同様の要素については共通の符号を付してその説明を適宜に省略する。

上記実施形態においては、入力音声の周波数スペクトルＳＰinが複数のスペクトル分布領域Ｒinに区分されるとともに変換用音声の周波数スペクトルＳＰtが複数のスペクトル分布領域Ｒtに区分されたうえでデータ生成部３ａによる処理に供される構成を例示したが、本実施形態においては、このような区分が実行されない。このため、本実施形態におけるスペクトル処理部２ｂは領域区分部２５を備えていない。すなわち、図７の部分（ａ）に示される入力音声信号Ｓinについてフレームごとの周波数スペクトルＳＰinを示す入力スペクトルデータＤSPinが周波数分析部１２から供給されると、この入力スペクトルデータＤSPinは、図７の部分（ｂ）に示されるように、そのままの形態にて（つまりスペクトル分布領域Ｒinに区分されることなく）データ生成部３ｂに出力される。一方、スペクトル処理部２ｂのエンベロープ特定部２３は、上記第１実施形態と同様に、周波数スペクトルＳＰinのスペクトルエンベロープＥＶin（図７の部分（ｂ）参照）を示す入力エンベロープデータＤEVinをデータ生成部３ｂに出力する。

本実施形態においては、発声者の声帯の振動を伴なわない無声音（すなわち囁き声）が変換用音声とされた場合を想定する。なお、無声音とは言ってもピッチや音質の相違は聴感上において認識され得る。そこで、本実施形態においても上記第１実施形態と同様に、ピッチが相違する変換用音声から生成された複数のテンプレートが記憶部５２に記憶されている。図７の部分（ｃ）は、ひとつのピッチ感にて発音された変換用音声（無声音）の波形を示す図である。上記第１実施形態と同様に、この変換用音声は複数のフレームに区分されたうえで、図７の部分（ｄ）に示されるように、各フレームごとに周波数スペクトルＳＰtが特定される。同図に示されるように、無声音の周波数スペクトルＳＰtには基音や倍音といった特徴的な帯域が存在しないから、この周波数スペクトルＳＰtには図３に示したような局所的ピークＰが現れない。図７の部分（ｄ）に示されるように、記憶部５２に記憶されたひとつのテンプレートには、発声者が特定のピッチ感にて発声した変換用音声を区分した各フレームについて、その周波数スペクトルＳＰtを示す変換用スペクトルデータＤSPt（ただしスペクトル分布領域Ｒtには区分されていない）と、この周波数スペクトルＳＰtのスペクトルエンベロープＥＶtを示す変換用エンベロープデータＤEVtとが含まれている。

図６に示されるテンプレート取得部３３は、上記第１実施形態と同様に、ピッチ・ゲイン検出部３１から通知されたピッチＰinに基づいて複数のテンプレートの何れかを選択して記憶部５２から読み出す。そして、テンプレート取得部３３は、このテンプレートに含まれる変換用スペクトルデータＤSPt（全フレーム分）を加算部４２４に出力するとともに、総てのフレームの変換用エンベロープデータＤEVtを平均エンベロープ取得部４２１に出力する。

この平均エンベロープ取得部４２１は、図７の部分（ｅ）に示されるように、各フレームの変換用エンベロープデータＤEVtが示すスペクトルエンベロープＥＶtを総てのフレームについて平均化したスペクトルエンベロープ（以下「平均エンベロープ」という）ＥＶaveを特定するための手段である。より具体的には、平均エンベロープ取得部４２１は、各フレームの変換用エンベロープデータＤEVtが示すスペクトルエンベロープＥＶtのうち特定の周波数におけるスペクトル強度の平均値を算定し、この平均値をスペクトル強度とする平均エンベロープＥＶaveを特定する。そして、平均エンベロープ取得部４２１は、この平均エンベロープＥＶaveを示す平均エンベロープデータＤEVaveを差分算定部４２３に出力する。

一方、図６に示されるスペクトル処理部２ｂから出力された入力エンベロープデータＤEVinは差分算定部４２３に供給される。この差分算定部４２３は、平均エンベロープデータＤEVaveが示す平均エンベロープＥＶaveと入力エンベロープデータＤEVinが示すスペクトルエンベロープＥＶinとのスペクトル強度の差分を算定するための手段である。すなわち、差分算定部４２３は、平均エンベロープＥＶaveの各対象周波数Ｆtにおけるスペクトル強度ＭtとスペクトルエンベロープＥＶinの各対象周波数Ｆtにおけるスペクトル強度Ｍinとの差分値ΔＭを算定してエンベロープ差分データΔＥＶを加算部４２４に出力する。エンベロープ差分データΔＥＶは複数の単位データを含む。各単位データは、各対象周波数Ｆtと差分値ΔＭとの組［Ｆt，ΔＭ］である。

次に、加算部４２４は、変換用スペクトルデータＤSPtが示す各フレームの周波数スペクトルＳＰtとエンベロープ差分データΔＥＶが示す差分値ΔＭとを加算して周波数スペクトルＳＰnew’を算定する手段である。すなわち、加算部４２４は、各フレームの周波数スペクトルＳＰtのうち各対象周波数Ｆtのスペクトル強度Ｍtと、エンベロープ差分データΔＥＶのうち当該対象周波数Ｆtにおける差分値ΔＭとを加算し、この算定値を強度Ｍnew’とする周波数スペクトルＳＰnew’を特定する。そして、この周波数スペクトルＳＰnew’を示す新規スペクトルデータＤSPnew’をフレームごとに混合部４２５に出力する。以上の手順によって特定された周波数スペクトルＳＰnew’の形状は、図７の部分（ｆ）に示されるように、変換用音声の周波数スペクトルＳＰtを反映したものとなる。したがって、この周波数スペクトルＳＰnew’が示す音声は変換用音声と同様の無声音となる。また、周波数スペクトルＳＰnew’のスペクトルエンベロープは入力音声のスペクトルエンベロープＥＶinと略一致するから、この周波数スペクトルＳＰnew’が示す音声は入力音声の音韻を反映した無声音となる。さらに、加算部４２４は、変換用音声のフレームごとに変換用スペクトルデータＤSPtとエンベロープ差分データΔＥＶとの加算を実行するから、各フレームの周波数スペクトルＳＰnew’が示す音声を複数のフレームにわたって連結した音声は、変換用音声の周波数スペクトルＳＰtの経時的な変動（より具体的には各対象周波数Ｆtにおけるスペクトル強度Ｍtの微細な変動）を精緻に反映させたものとなる。

図６に示される混合部４２５は、入力音声の周波数スペクトルＳＰinと加算部４２４によって特定された周波数スペクトルＳＰnew’とを特定の比率にて混合することによって周波数スペクトルＳＰnewを特定する手段である。すなわち、混合部４２５は、入力スペクトルデータＤSPinが示す周波数スペクトルＳＰinのうち対象周波数Ｆinにおけるスペクトル強度Ｍinに重み値（１−α）を乗算するとともに、新規スペクトルデータＤSPnew’が示す周波数スペクトルＳＰnew’のうち当該対象周波数Ｆinに対応した（例えば一致または近似する）対象周波数Ｆtにおけるスペクトル強度Ｍnew’に重み値αを乗算し、各乗算値の加算値をスペクトル強度Ｍnew（＝（１−α）・Ｍin＋α・Ｍnew’）とする周波数スペクトルＳＰnewを特定する。そして、混合部４２５は、この周波数スペクトルＳＰnewを示す新規スペクトルデータＤSPnewを逆ＦＦＴ部１５に出力する。これ以後の動作は上記第１実施形態と同様である。

ところで、混合部４２５において適用される重み値αは、上記第１実施形態と同様に、利用者がパラメータ指定部３６から入力したパラメータと入力音声のゲインＡinとに応じてパラメータ調整部３５が選定する。ただし、本実施形態においては変換用音声が無声音とされているため、入力音声のゲインＡinと重み値αとの関係が上記第１実施形態とは相違する。ここで、音声における気息性の程度は、その音声の音量が小さいほど聴感上において顕著となる（すなわち音量が小さい音声ほど囁き声らしく聴こえる）という傾向がある。このような傾向を再現するために、本実施形態においては、図８に示されるように、入力音声のゲインＡinが小さいほど重み値αが大きくなるようにゲインＡinと重み値αとの関係が選定されている。図８に示されるパラメータｖ1、ｖ2およびｖ3はパラメータ指定部３６に対する操作に応じて選定される。このうちパラメータｖ1は、入力音声のゲインＡinが最小値であるときの重み値α（すなわち重み値αの最大値）に相当し、パラメータｖ2は、重み値αが最大値ｖ1となるゲインＡinの最大値に相当し、パラメータｖ3は、重み値αが最小値（ゼロ）となるときのゲインＡinに相当する。

以上に説明したように、本実施形態においても上記第１実施形態と同様に、変換用音声の周波数スペクトルＳＰtと入力音声のスペクトルエンベロープＥＶinとに基づいて周波数スペクトルＳＰnew’が特定されるから、聴感上において極めて自然な出力音声を得ることができる。また、本実施形態においては、気息音の周波数スペクトルＳＰnew’と入力音声（典型的には有声音）の周波数スペクトルＳＰinとが入力音声のゲインＡinに応じた比率にて混合されることによって出力音声の周波数スペクトルＳＰnewが生成されるから、人間の実際の声帯の挙動に近い自然な出力音声を生成することができる。

＜Ｃ：第３実施形態＞
次に、図９を参照して、本発明の第３実施形態に係る音声処理装置について説明する。この音声処理装置Ｄ3は、上記第１実施形態に係る音声処理装置Ｄ1と上記第２実施形態に係る音声処理装置Ｄ2とを組み合わせた構成となっている。なお、本実施形態に係る音声処理装置Ｄ3のうち上記各実施形態と同様の要素については共通の符号を付してその説明を省略する。

図９に示されるように、この音声処理装置Ｄ3は、音声入力部１０および周波数分析部１２の後段に、上記第１実施形態に示したスペクトル処理部２ａおよびデータ生成部３ａが配置され、このデータ生成部３ａの後段に、上記第２実施形態に示したスペクトル処理部２ｂおよびデータ生成部３ｂが配置されている。このデータ生成部３ｂから出力された新規スペクトルデータＤSPnewが逆ＦＦＴ部１５に出力される。パラメータ指定部３６は、データ生成部３ａにパラメータｕ1、ｕ2およびｕ3を指定するための手段、ならびにデータ生成部３ｂにパラメータｖ1、ｖ2およびｖ3を指定するための手段として共用される。

この構成のもと、スペクトル処理部２ａおよびデータ生成部３ａは、上記第１実施形態と同様の手順により、周波数分析部１２から出力された入力スペクトルデータＤSPinと記憶部５１に記憶された変換用音声のテンプレートとに基づいて新規スペクトルデータＳnew0を出力する。一方、スペクトル処理部２ｂおよびデータ生成部３ｂは、上記第２実施形態と同様の手順により、データ生成部３ａから出力された新規スペクトルデータＳnew0と記憶部５２に記憶された変換用音声のテンプレートとに基づいて新規スペクトルデータＤSPnewを出力する。この構成においても上記各実施形態と同様の効果が得られる。

なお、図９においては記憶部５１と記憶部５２とが別個の要素として図示されているが、単一の記憶部（記憶領域）に上記第１実施形態のテンプレートと第２実施形態のテンプレートとが一括して記憶される構成としてもよい。また、上記第２実施形態のスペクトル処理部２ｂおよびデータ生成部３ｂを第１実施形態のスペクトル処理部２ａおよびデータ生成部３ａの前段に配置した構成としてもよい。

＜Ｄ：変形例＞
上記各実施形態には種々の変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。以下に示す各態様を適宜に組み合わせてもよい。

（１）上記第１実施形態においては、周波数スペクトルＳＰinのスペクトル強度Ｍinと周波数スペクトルＳＰtのスペクトル強度Ｍtとを加算することによって周波数スペクトルＳＰnew’を特定する構成を例示したが、周波数スペクトルＳＰnew’を特定する方法はこれに限られない。例えば、図４の部分（ｃ）に示される周波数スペクトルＳＰinを同図の部分（ｂ）に示される周波数スペクトルＳＰtに置換することによって周波数スペクトルＳＰnew’を生成する構成としてもよい。また、上記第１実施形態においては、周波数スペクトルＳＰnew’のスペクトル強度Ｍnew’と入力音声のスペクトルエンベロープＥＶinのスペクトル強度ＭEVとの強度比βを周波数スペクトルＳＰnew’に乗算することによって周波数スペクトルＳＰnewを生成する構成を例示したが、周波数スペクトルＳＰnew’の局所的ピークＰをスペクトルエンベロープＥＶin上に位置させるための方法はこれに限られない。例えば、図４の部分（ｄ）に示される周波数スペクトルＳＰnew’のスペクトル強度Ｍnew’に対してスペクトル分布領域Ｒinごとに特定の数値を加算することによって（すなわち周波数スペクトルＳＰnew’を図４（ｄ）の縦軸方向に平行移動させることによって）周波数スペクトルＳＰnewを生成する構成としてもよい。このときに加算される数値は、例えば、スペクトルエンベロープＥＶinのスペクトル強度ＭEVと周波数スペクトルＳＰnew’のスペクトル強度Ｍnew’との差分値である。このように、上記第１実施形態においては、変換用音声の周波数スペクトルＳＰtの形状が周波数スペクトルＳＰnew’（さらには出力音声の周波数スペクトルＳＰnew）に反映されていれば足り、この周波数スペクトルＳＰnew’を特定するための方法の如何は不問である。

（２）上記第２実施形態の構成においては、気息音の周波数スペクトルＳＰnew’が広い周波数帯域にわたって分布することになる。しかしながら、気息音は有声音と比較して周波数が高い（すなわち低周波数の音声は囁き声になりにくい）という傾向に照らすと、より自然な出力音声を生成するためには周波数スペクトルＳＰnew’のうち特に周波数が低い成分を除去することが望ましい。そこで、図１０に示されるように、周波数スペクトルＳＰnew’を特定する加算部４２４の後段にフィルタ４２７を配置してもよい。このフィルタ４２７は、所定の遮断周波数よりも高周波数側の帯域の成分のみを選択的に通過させるハイパスフィルタである。この構成によれば、気息音のうち遮断周波数よりも周波数が低い成分は除去されるから、より現実に近い自然な出力音声を生成することができる。また、フィルタ４２７の遮断周波数が適宜に変化させられる構成としてもよい。例えば、利用者による操作に応じて遮断周波数が上昇または下降する構成や、ピッチ・ゲイン検出部３１によって検出されたピッチＰinやゲインＡinに応じて遮断周波数が上昇または下降する構成が採用される。

（３）上記第２実施形態においては、気息音を表わす周波数スペクトルＳＰnew’と入力音声の周波数スペクトルＳＰinとを混合したうえで逆ＦＦＴ処理が実施される構成を例示したが、図１１に示されるように、加算部４２４の後段に配置された逆ＦＦＴ部４２８ａにて周波数スペクトルＳＰnew’に逆ＦＦＴ処理を実施して生成された信号（気息音を表わす時間領域の信号）と、逆ＦＦＴ部４２８ｂにて周波数スペクトルＳＰinに逆ＦＦＴ処理を実施して生成された信号（入力音声を表わす時間領域の信号）とを混合部４２５にて混合する構成としてもよい。この場合にも、混合部４２５における混合比（重み値α）をパラメータ調整部３５によって適宜に調整する構成が採用され得る。なお、ここでは逆ＦＦＴ部４２８ｂからの出力信号を混合部４２５に供給する構成を例示したが、図１１に破線で示すように、音声入力部１０から出力された入力音声信号Ｓinを直接的に混合部４２５に供給して逆ＦＦＴ部４２８ａからの出力信号と混合する構成としてもよい。

（４）上記第２実施形態においては、平均エンベロープ取得部４２１が複数のフレームの変換用エンベロープデータＤEVtから平均エンベロープＥＶaveを特定する構成を例示したが、平均エンベロープＥＶaveを示す平均エンベロープデータＤEVaveが予め記憶部５２に記憶された構成としてもよい。この構成において、平均エンベロープ取得部４２１は記憶部５２から平均エンベロープデータＤEVaveを読み出して差分算定部４２３に出力する。また、上記実施形態においては、各フレームの変換用エンベロープデータＤEVtから平均エンベロープＥＶaveが特定される構成を例示したが、各フレームの周波数スペクトルＳＰtを示す変換用スペクトルデータＤSPtを平均化することによって平均エンベロープＥＶaveが特定される構成も採用される。

（５）上記各実施形態においては嗄れ声や囁き声を変換用音声とした場合を例示したが、変換用音声の態様（特に波形）は任意に選定され得る。例えば、波形が正弦波である音声を変換用音声として採用してもよい。この構成のもとで嗄れ声や囁き声が入力音声として入力されると、声帯の不規則な振動に起因した荒さや発声者の気息に起因した気息性が低減（あるいは排除）された明瞭な出力音声を生成することができる。

本発明の第１実施形態に係る音声処理装置の構成を示すブロック図である。 入力音声から入力スペクトルデータを生成する手順を説明するための図である。 変換用音声からテンプレートを生成する手順を説明するための図である。 同音声処理装置のうちデータ生成部３における処理内容を説明するための図である。 入力音声のゲインと重み値との関係を示すグラフである。 本発明の第２実施形態に係る音声処理装置の構成を示すブロック図である。 同音声処理装置のうちデータ生成部３における処理内容を説明するための図である。 入力音声のゲインと重み値との関係を示すグラフである。 本発明の第３実施形態に係る音声処理装置の構成を示すブロック図である。 第２実施形態の変形例に係る音声処理装置の構成を示すブロック図である。 第２実施形態の変形例に係る音声処理装置の構成を示すブロック図である。

符号の説明

Ｄ1，Ｄ2，Ｄ3……音声処理装置、１０……音声入力部、１２……周波数分析部、１５……逆ＦＦＴ部、１６……出力処理部、１７……音声出力部、２ａ，２ｂ……スペクトル処理部、２１……ピーク検出部、２３……エンベロープ特定部、２５……領域区分部、３ａ，３ｂ……データ生成部、３１……ピッチ・ゲイン検出部、３３……テンプレート取得部、３５……パラメータ調整部、３６……パラメータ指定部、４１１……スペクトル変換部、４１２……エンベロープ調整部、４２１……平均エンベロープ取得部、４２３……差分算定部、４２４……加算部、４２５……混合部、５１，５２……記憶部、Ｓin……入力音声信号、ＳＰin……入力音声の周波数スペクトル、ＤSPin……入力スペクトルデータ、ＥＶin……入力音声のスペクトルエンベロープ、ＤEVin……入力エンベロープデータ、ＳＰt……変換用音声の周波数スペクトル、ＤSPt……変換用スペクトルデータ、ＥＶt……変換用音声のスペクトルエンベロープ、ＤEVt……変換用エンベロープデータ、ＥＶave……平均エンベロープ、ＤEVave……平均エンベロープデータ、ＳＰnew……出力音声の周波数スペクトル、ＤSPnew……新規スペクトルデータ、Ｒin……入力音声のスペクトル分布領域、Ｒt……変換用音声のスペクトル分布領域、ｕ1，ｕ2，ｕ3，ｖ1，ｖ2，ｖ3……パラメータ、Ｐ……局所的ピーク。

Claims (14)

1. 入力音声の周波数スペクトルを特定する周波数分析手段と、
   前記周波数分析手段が特定した周波数スペクトルのスペクトルエンベロープを示す入力エンベロープデータを生成するエンベロープ特定手段と、
   変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得する取得手段と、
   前記エンベロープ特定手段が生成した入力エンベロープデータと前記取得手段が取得した変換用スペクトルデータとに基づいて、前記変換用音声の周波数スペクトルに対応した形状の周波数スペクトルであってスペクトルエンベロープが前記入力音声のスペクトルエンベロープと略一致する周波数スペクトルを示す新規スペクトルデータを生成するデータ生成手段と、
   前記データ生成手段が生成した新規スペクトルデータに基づいて音声信号を生成する信号生成手段と
   を具備する音声処理装置。
2. 前記取得手段は、前記変換用音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す変換用スペクトルデータを取得し、
   前記データ生成手段は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に対応した変換用スペクトルデータに基づいて新規スペクトルデータを生成するスペクトル変換手段と、この新規スペクトルデータが示す周波数スペクトルの強度を前記入力エンベロープデータに基づいて調整するエンベロープ調整手段とを含む
   請求項１に記載の音声処理装置。
3. 前記周波数分析手段は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す入力スペクトルデータを生成し、
   前記スペクトル変換手段は、前記各スペクトル分布領域の前記入力スペクトルデータを当該スペクトル分布領域に対応した前記変換用スペクトルデータに置換することによって前記新規スペクトルデータを生成する
   請求項２に記載の音声処理装置。
4. 前記周波数分析手段は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す入力スペクトルデータを生成し、
   前記スペクトル変換手段は、前記入力音声のスペクトル分布領域ごとに、このスペクトル分布領域の入力スペクトルデータが示す強度と当該スペクトル分布領域に対応する変換用スペクトルデータが示す強度とを特定の比率にて加算し、この加算値が強度とされた周波数スペクトルを示す前記新規スペクトルデータを生成する
   請求項２に記載の音声処理装置。
5. 前記入力音声の音量を検出する音量検出手段と、
   前記音量検出手段が検出した音量に応じて前記特定の比率を変化させるパラメータ調整手段と
   を具備する請求項４に記載の音声処理装置。
6. 変換用音声を時間軸上にて区分した所定数のフレームの各々について前記変換用スペクトルデータを記憶する記憶手段と、
   前記各フレームにおける変換用音声のスペクトルエンベロープの強度を前記所定数のフレームについて平均化したエンベロープを示す平均エンベロープデータを取得する平均エンベロープ取得手段とを具備し、
   前記データ生成手段は、前記入力エンベロープデータが示すスペクトルエンベロープの強度と前記平均エンベロープデータが示すエンベロープの強度との差分値を算定する差分算定手段と、各フレームの変換用スペクトルデータが示す周波数スペクトルの強度と前記差分算定手段が算定した差分値とを加算する加算手段とを具備し、この加算手段による加算結果に基づいて前記新規スペクトルデータを生成する
   請求項１に記載の音声処理装置。
7. 前記新規スペクトルデータが示す音声のうち遮断周波数を超える帯域に属する成分を選択的に通過させるフィルタ手段を具備する請求項６に記載の音声処理装置。
8. 前記入力音声の音量を検出する音量検出手段を具備し、
   前記フィルタ手段は、前記音量検出手段が検出した音量に応じて前記遮断周波数を変化させる
   請求項７に記載の音声処理装置。
9. 前記データ生成手段は、前記加算手段による算定値が強度とされた周波数スペクトルの強度と、前記周波数分析手段が検出した周波数スペクトルの強度とを特定の比率にて加算し、この加算値が強度とされた周波数スペクトルを示す前記新規スペクトルデータを生成する
   請求項６に記載の音声処理装置。
10. 前記入力音声の音量を検出する音量検出手段と、
    前記音量検出手段が検出した音量に応じて前記特定の比率を変化させるパラメータ調整手段と
    を具備する請求項９に記載の音声処理装置。
11. ピッチが相違する変換用音声の周波数スペクトルを各々が示す複数の変換用スペクトルデータを記憶する記憶手段と、
    前記入力音声のピッチを検出するピッチ検出手段とを具備し、
    前記取得手段は、前記記憶手段に記憶された複数の変換用スペクトルデータのうち前記ピッチ検出手段が検出したピッチに対応した変換用スペクトルデータを取得する
    請求項１に記載の音声処理装置。
12. コンピュータに、
    入力音声の周波数スペクトルを検出する周波数分析処理と、
    前記周波数分析処理によって検出された周波数スペクトルのスペクトルエンベロープを示す入力エンベロープデータを生成するエンベロープ特定処理と、
    変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得する取得処理と、
    前記エンベロープ特定処理によって生成された入力エンベロープデータと前記取得処理によって取得された変換用スペクトルデータとに基づいて、前記変換用音声の周波数スペクトルに対応した形状の周波数スペクトルであってスペクトルエンベロープが前記入力音声のスペクトルエンベロープと略一致する周波数スペクトルを示す新規スペクトルデータを生成するデータ生成処理と、
    前記データ生成処理によって生成された新規スペクトルデータに基づいて音声信号を生成する信号生成処理と
    を実行させるためのプログラム。
13. 前記取得処理は、前記変換用音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に属する周波数スペクトルを示す変換用スペクトルデータを取得する処理であり、
    前記データ生成処理は、前記入力音声の周波数スペクトルにおいて強度がピークとなる各周波数を含むスペクトル分布領域ごとに、当該スペクトル分布領域に対応した変換用スペクトルデータに基づいて新規スペクトルデータを生成するスペクトル変換処理と、この新規スペクトルデータが示す周波数スペクトルの強度を前記入力エンベロープデータに基づいて調整するエンベロープ調整処理とを含む
    請求項１２に記載のプログラム。
14. 変換用音声を時間軸上にて区分した各フレームにおけるスペクトルエンベロープを複数のフレームについて平均化したエンベロープを示す平均エンベロープデータを取得する平均エンベロープ取得処理を前記コンピュータにさらに実行させるプログラムであって、
    前記データ生成処理は、前記入力エンベロープデータが示すスペクトルエンベロープの強度と前記平均エンベロープデータが示すエンベロープの強度との差分値を算定する差分算定処理と、各フレームの変換用スペクトルデータが示す周波数スペクトルの強度と前記差分算定処理によって算定された差分値とを加算する加算処理とを含み、この加算処理による加算結果に基づいて前記新規スペクトルデータを生成する処理である
    請求項１２に記載のプログラム。

Images