JP3465734B2 - 音声信号変形接続方法 - Google Patents
音声信号変形接続方法Info
- Publication number
- JP3465734B2 JP3465734B2 JP23823596A JP23823596A JP3465734B2 JP 3465734 B2 JP3465734 B2 JP 3465734B2 JP 23823596 A JP23823596 A JP 23823596A JP 23823596 A JP23823596 A JP 23823596A JP 3465734 B2 JP3465734 B2 JP 3465734B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- spectrum
- audio signal
- frequency
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、録音編集型の音声
メッセージの作成において、音声メッセージの追加、変
更を効率よく行うことを可能とし、音声メッセージを用
いたシステムの構築、維持の経済化をはかることができ
る音声信号変形接続方法に関する。
メッセージの作成において、音声メッセージの追加、変
更を効率よく行うことを可能とし、音声メッセージを用
いたシステムの構築、維持の経済化をはかることができ
る音声信号変形接続方法に関する。
【０００２】
【従来の技術】現在、駅の構内アナウンスや、道路の渋
滞などの情報を知らせるハイウェイラジオや、情報検索
における音声ガイダンス等のサービスには、音声メッセ
ージが使われている。これらの音声メッセージは、予め
人間が発声した音声を録音し、この音声を継ぎはぎする
ことによって作成されている。
滞などの情報を知らせるハイウェイラジオや、情報検索
における音声ガイダンス等のサービスには、音声メッセ
ージが使われている。これらの音声メッセージは、予め
人間が発声した音声を録音し、この音声を継ぎはぎする
ことによって作成されている。
【０００３】係る音声メッセージの作成において、既に
作成された音声メッセージとは異なる新たな音声メッセ
ージが必要となり、その必要な音声メッセージが録音さ
れていない場合には、新たに音声を追加録音する必要が
あった。この場合、既録音の音声と新規録音の音声との
間で声質が急激に変化することなく自然につながるよう
に、以前に発声した話者と同じ人に追加分を発声しても
らう必要があった。
作成された音声メッセージとは異なる新たな音声メッセ
ージが必要となり、その必要な音声メッセージが録音さ
れていない場合には、新たに音声を追加録音する必要が
あった。この場合、既録音の音声と新規録音の音声との
間で声質が急激に変化することなく自然につながるよう
に、以前に発声した話者と同じ人に追加分を発声しても
らう必要があった。
【０００４】
【発明が解決しようとする課題】しかしながら、同一話
者であっても、以前の収録から年月が経っている等の理
由で以前の声質と異なり、新旧メッセージの継ぎはぎに
より聞き苦しさが予想される場合には、すべての音声メ
ッセージを再び収録および作成し直す必要があった。ま
た、以前に発声した人が不在の場合には、他の話者に代
わりに発声してもらい、全ての音声メッセージを再び収
録し直す必要があった。また、上記のような音声メッセ
ージは音声合成装置を用いて作成することも可能である
が、この場合も、音声合成装置が異なる等の理由により
互いに異なる声質となって出力された音声信号同士を接
続する場合に、同様の問題が生じる。
者であっても、以前の収録から年月が経っている等の理
由で以前の声質と異なり、新旧メッセージの継ぎはぎに
より聞き苦しさが予想される場合には、すべての音声メ
ッセージを再び収録および作成し直す必要があった。ま
た、以前に発声した人が不在の場合には、他の話者に代
わりに発声してもらい、全ての音声メッセージを再び収
録し直す必要があった。また、上記のような音声メッセ
ージは音声合成装置を用いて作成することも可能である
が、この場合も、音声合成装置が異なる等の理由により
互いに異なる声質となって出力された音声信号同士を接
続する場合に、同様の問題が生じる。
【０００５】本発明は、このような背景の下になされた
もので、声質の異なる音声メッセージ同士を違和感無く
接続することができ、音声メッセージの追加、変更を効
率よく行うことができる音声信号変形接続方法を提供す
ることを目的とする。
もので、声質の異なる音声メッセージ同士を違和感無く
接続することができ、音声メッセージの追加、変更を効
率よく行うことができる音声信号変形接続方法を提供す
ることを目的とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、請求項１による音声信号変形接続方法においては、
互いに異なる声質に属する２つの音声信号同士を接続す
る処理において、発声された２つの音声を音声信号とし
て入力し、 前記２つの音声信号間のピッチの対応を決定
し、 音声信号の特性を示すスペクトルが、一方の音声信
号のスペクトルから他方の音声信号のスペクトルへと所
定時間にわたって徐々に変化するように、対応したピッ
チ毎にスペクトルの変形を行い、一方の音声信号のスペ
クトルを有する区間、変形されたスペクトルを有する接
続区間、他方の音声信号のスペクトルを有する区間がな
めらかに接続された音声信号を作成することを特徴とす
る。
に、請求項１による音声信号変形接続方法においては、
互いに異なる声質に属する２つの音声信号同士を接続す
る処理において、発声された２つの音声を音声信号とし
て入力し、 前記２つの音声信号間のピッチの対応を決定
し、 音声信号の特性を示すスペクトルが、一方の音声信
号のスペクトルから他方の音声信号のスペクトルへと所
定時間にわたって徐々に変化するように、対応したピッ
チ毎にスペクトルの変形を行い、一方の音声信号のスペ
クトルを有する区間、変形されたスペクトルを有する接
続区間、他方の音声信号のスペクトルを有する区間がな
めらかに接続された音声信号を作成することを特徴とす
る。
【０００７】
【０００８】また、請求項２による発明は、請求項１記
載の音声信号変形接続方法において、前記互いに異なる
声質の音声信号は音声合成装置による発声により得られ
るものであることを特徴とする。
載の音声信号変形接続方法において、前記互いに異なる
声質の音声信号は音声合成装置による発声により得られ
るものであることを特徴とする。
【０００９】また、請求項３による発明は、請求項１記
載の音声信号変形接続方法において、前記互いに異なる
声質の音声信号は、一方は人間による発声、もう一方は
音声合成装置による発声により得られるものであること
を特徴とする。
載の音声信号変形接続方法において、前記互いに異なる
声質の音声信号は、一方は人間による発声、もう一方は
音声合成装置による発声により得られるものであること
を特徴とする。
【００１０】
【００１１】また、請求項４による発明は、請求項１記
載の音声信号変形接続方法において、前記音声のスペク
トルの変形に関しては、対応したピッチ毎に、ある周波
数を境界周波数として、一方の音声信号のスペクトルに
おける前記境界周波数より高域の部分と、他方の音声信
号のスペクトルにおける前記境界周波数より低域の部分
とを結合させたスペクトルを生成し、生成されたスペク
トルを当該ピッチにおけるスペクトルとすると共に、前
記境界周波数を単位時間毎に変化させることを特徴とす
る。
載の音声信号変形接続方法において、前記音声のスペク
トルの変形に関しては、対応したピッチ毎に、ある周波
数を境界周波数として、一方の音声信号のスペクトルに
おける前記境界周波数より高域の部分と、他方の音声信
号のスペクトルにおける前記境界周波数より低域の部分
とを結合させたスペクトルを生成し、生成されたスペク
トルを当該ピッチにおけるスペクトルとすると共に、前
記境界周波数を単位時間毎に変化させることを特徴とす
る。
【００１２】また、請求項５による発明は、請求項４記
載の音声信号変形接続方法において、前記境界周波数の
変化は、単位時間毎に一定量増加するように行われるこ
とを特徴とする。
載の音声信号変形接続方法において、前記境界周波数の
変化は、単位時間毎に一定量増加するように行われるこ
とを特徴とする。
【００１３】また、請求項６による発明は、請求項４記
載の音声信号変形接続方法において、前記境界周波数の
変化は、変化開始時の値から変化終了時の値まで徐々に
増加するように行われ、前記変化開始時に近い相対的に
低域の段階では比較的ゆっくりと、前記変化終了時に近
い相対的に高域の段階では比較的早く変化させることを
特徴とする。このような変化は人間の聴覚特性によりマ
ッチしており、より自然な声質変化の実現を可能とす
る。
載の音声信号変形接続方法において、前記境界周波数の
変化は、変化開始時の値から変化終了時の値まで徐々に
増加するように行われ、前記変化開始時に近い相対的に
低域の段階では比較的ゆっくりと、前記変化終了時に近
い相対的に高域の段階では比較的早く変化させることを
特徴とする。このような変化は人間の聴覚特性によりマ
ッチしており、より自然な声質変化の実現を可能とす
る。
【００１４】また、請求項７による発明は、互いに異な
る声質に属する２つの音声信号同士を接続する処理にお
いて、音声信号の特性を示すパラメータの値を、一方の
音声信号の特徴を示す値から他方の音声信号の特徴を示
す値へと所定時間にわたって徐々に変化させることによ
り、２つの音声信号を接続する音声信号変形接続方法で
あって、前記パラメータは音声の基本周波数であり、前
記所定の時間にわたって前記基本周波数を徐々に変化さ
せることを特徴とする。
る声質に属する２つの音声信号同士を接続する処理にお
いて、音声信号の特性を示すパラメータの値を、一方の
音声信号の特徴を示す値から他方の音声信号の特徴を示
す値へと所定時間にわたって徐々に変化させることによ
り、２つの音声信号を接続する音声信号変形接続方法で
あって、前記パラメータは音声の基本周波数であり、前
記所定の時間にわたって前記基本周波数を徐々に変化さ
せることを特徴とする。
【００１５】また、請求項８による発明は、請求項７記
載の音声信号変形接続方法において、前記音声の基本周
波数の変化に関しては、前記各音声信号の平均基本周波
数を求め、両者の平均基本周波数の差とパラメータを変
更する前記所定時間とに基づいて、単位時間当たりに変
更すべき基本周波数の値を求め、この値を変化量の単位
として、一方の音声信号の平均基本周波数から他方の音
声信号の平均基本周波数へと単位時間毎に変化させるこ
とを特徴とする。
載の音声信号変形接続方法において、前記音声の基本周
波数の変化に関しては、前記各音声信号の平均基本周波
数を求め、両者の平均基本周波数の差とパラメータを変
更する前記所定時間とに基づいて、単位時間当たりに変
更すべき基本周波数の値を求め、この値を変化量の単位
として、一方の音声信号の平均基本周波数から他方の音
声信号の平均基本周波数へと単位時間毎に変化させるこ
とを特徴とする。
【００１６】また、請求項９による発明は、互いに異な
る声質に属する２つの音声信号同士を接続する処理にお
いて、音声信号の特性を示すパラメータの値を、一方の
音声信号の特徴を示す値から他方の音声信号の特徴を示
す値へと所定時間にわたって徐々に変化させることによ
り、２つの音声信号を接続する音声信号変形接続方法で
あって、 前記パラメータは、音声のスペクトルと音声の
基本周波数であり、 前記音声のスペクトルの変形に関し
ては、 前記２つの音声信号間の対応する音素内のピッチ
の対応を決定し、 対応したピッチ毎に、ある周波数を境
界周波数として、一方の音声信号のスペクトルにおける
前記境界周波数より高域の部分と、他方の音声信号のス
ペクトルにおける前記境界周波数より低域の部分とを結
合させたスペクトルを生成し、生成されたスペクトルを
当該ピッチにおけるスペクトルとすると共に、 前記境界
周波数を単位時間毎に変化させるようにし、 前記音声の
基本周波数の変化に関しては、 前記各音声信号の平均基
本周波数を求め、 両者の平均基本周波数の差とパラメー
タを変更する前記所定時間とに基づいて、単位時間当た
りに変更すべき基本周波数の値を求め、 この値を変化量
の単位として、一方の音声信号の平均基本周波数から他
方の音声信号の平均基本周波数へと単位時間毎に変化さ
せるようにすることを特徴とする。
る声質に属する２つの音声信号同士を接続する処理にお
いて、音声信号の特性を示すパラメータの値を、一方の
音声信号の特徴を示す値から他方の音声信号の特徴を示
す値へと所定時間にわたって徐々に変化させることによ
り、２つの音声信号を接続する音声信号変形接続方法で
あって、 前記パラメータは、音声のスペクトルと音声の
基本周波数であり、 前記音声のスペクトルの変形に関し
ては、 前記２つの音声信号間の対応する音素内のピッチ
の対応を決定し、 対応したピッチ毎に、ある周波数を境
界周波数として、一方の音声信号のスペクトルにおける
前記境界周波数より高域の部分と、他方の音声信号のス
ペクトルにおける前記境界周波数より低域の部分とを結
合させたスペクトルを生成し、生成されたスペクトルを
当該ピッチにおけるスペクトルとすると共に、 前記境界
周波数を単位時間毎に変化させるようにし、 前記音声の
基本周波数の変化に関しては、 前記各音声信号の平均基
本周波数を求め、 両者の平均基本周波数の差とパラメー
タを変更する前記所定時間とに基づいて、単位時間当た
りに変更すべき基本周波数の値を求め、 この値を変化量
の単位として、一方の音声信号の平均基本周波数から他
方の音声信号の平均基本周波数へと単位時間毎に変化さ
せるようにすることを特徴とする。
【００１７】また、請求項１０による発明は、請求項９
記載の音声信号変形接続方法において、前記音声のスペ
クトルと基本周波数とを並行して変化させることを特徴
とする。
記載の音声信号変形接続方法において、前記音声のスペ
クトルと基本周波数とを並行して変化させることを特徴
とする。
【００１８】
【発明の実施の形態】以下、図面を参照して、本発明の
実施形態について説明する。図１（Ａ）〜（Ｃ）は、互
いに声質の異なる２人の話者による音声信号の波形と、
これら音声信号を変形接続して得られた音声信号の波形
との関係を示す波形図である。本実施形態の処理では、
２人の話者（１及び２）に同じテキストを発声させ、こ
れにより得られる音声信号（図１（Ａ）の１０１，図１
（Ｂ）の１０２参照）を接続処理するものとする。
実施形態について説明する。図１（Ａ）〜（Ｃ）は、互
いに声質の異なる２人の話者による音声信号の波形と、
これら音声信号を変形接続して得られた音声信号の波形
との関係を示す波形図である。本実施形態の処理では、
２人の話者（１及び２）に同じテキストを発声させ、こ
れにより得られる音声信号（図１（Ａ）の１０１，図１
（Ｂ）の１０２参照）を接続処理するものとする。
【００１９】処理の結果生成された音声信号は、図１
（Ｃ）の符号１０３で示されるように、話者１の音声区
間と変形接続区間と話者２の音声区間とから構成され
る。なお、この例では、２人の話者に同じテキストを発
声させているが、必ずしも同じテキストを発声させる必
要はない。例えば、以下に示す実施形態では、音声の特
性を示すパラメータとして、基本周波数とスペクトルと
を選び、該２つのパラメータにおける変形を行っている
が、スペクトルの変形は行わず、基本周波数だけを変形
する場合には、２人の話者が発声するテキストは異なっ
ていても構わない。
（Ｃ）の符号１０３で示されるように、話者１の音声区
間と変形接続区間と話者２の音声区間とから構成され
る。なお、この例では、２人の話者に同じテキストを発
声させているが、必ずしも同じテキストを発声させる必
要はない。例えば、以下に示す実施形態では、音声の特
性を示すパラメータとして、基本周波数とスペクトルと
を選び、該２つのパラメータにおける変形を行っている
が、スペクトルの変形は行わず、基本周波数だけを変形
する場合には、２人の話者が発声するテキストは異なっ
ていても構わない。
【００２０】図２は、本実施形態による音声信号変形接
続方法の全体の処理の流れを示すフローチャートであ
る。２人の話者が発声した音声信号を入力すると、ステ
ップＳ２０１では、それぞれの音声信号に音素境界を付
与し、ステップＳ２０２に進む。ステップＳ２０２で
は、それぞれの音声信号に基本周期を示すピッチマーク
を付与し、ステップＳ２０３に進む。
続方法の全体の処理の流れを示すフローチャートであ
る。２人の話者が発声した音声信号を入力すると、ステ
ップＳ２０１では、それぞれの音声信号に音素境界を付
与し、ステップＳ２０２に進む。ステップＳ２０２で
は、それぞれの音声信号に基本周期を示すピッチマーク
を付与し、ステップＳ２０３に進む。
【００２１】ステップＳ２０３では、上記ピッチマーク
に関して、両音声信号の対応した有声音区間に対し、最
も近いピッチマーク同士を選ぶことにより、その区間の
ピッチマーク同士の対応を付ける。この結果、図３に破
線で示すように、１対１、１対多、または、多対１の対
応づけが得られる。このピッチマークの対応関係は、ピ
ッチ対応テーブル３０１（図４参照）に記憶される。次
に、ステップＳ２０４では、対応した音素ごとに音声信
号パワーの正規化を行う。以上の処理は、音声収録後に
独立して予め行ってもよいし、変形接続処理の一部とし
て行ってもよい。
に関して、両音声信号の対応した有声音区間に対し、最
も近いピッチマーク同士を選ぶことにより、その区間の
ピッチマーク同士の対応を付ける。この結果、図３に破
線で示すように、１対１、１対多、または、多対１の対
応づけが得られる。このピッチマークの対応関係は、ピ
ッチ対応テーブル３０１（図４参照）に記憶される。次
に、ステップＳ２０４では、対応した音素ごとに音声信
号パワーの正規化を行う。以上の処理は、音声収録後に
独立して予め行ってもよいし、変形接続処理の一部とし
て行ってもよい。
【００２２】次に、ステップＳ２０５では、後述する方
法で音声信号の基本周波数の変換を行い、ステップＳ２
０７に進む。ステップＳ２０７では、後述する方法で音
声信号のスペクトルの変形を行い、ステップＳ２０９に
進む。このとき、基本周波数の変更量の設定はステップ
Ｓ２０６で行われ、スペクトル変形に関与する境界周波
数の変更量の設定はステップＳ２０８で行われる。これ
らの変更量は時間の関数となっている。
法で音声信号の基本周波数の変換を行い、ステップＳ２
０７に進む。ステップＳ２０７では、後述する方法で音
声信号のスペクトルの変形を行い、ステップＳ２０９に
進む。このとき、基本周波数の変更量の設定はステップ
Ｓ２０６で行われ、スペクトル変形に関与する境界周波
数の変更量の設定はステップＳ２０８で行われる。これ
らの変更量は時間の関数となっている。
【００２３】最後に、ステップＳ２０９で、両音声信号
が全体的に合成され、合成音を得る。上記ステップＳ２
０５で使用可能な基本周波数の基本的変換方式として
は、様々な方式が提案されているが、その一例として
は、文献「E.Moulines, F.Charpentier, "Pitch-Synchr
onous Waveform Processing Techniques for Text-to-S
peech Synthesis using Diphones", Speech Communicat
ion, Vol.9, pp.453-467,Dec.1990」で提案されている
ＰＳＯＬＡ方式がある。
が全体的に合成され、合成音を得る。上記ステップＳ２
０５で使用可能な基本周波数の基本的変換方式として
は、様々な方式が提案されているが、その一例として
は、文献「E.Moulines, F.Charpentier, "Pitch-Synchr
onous Waveform Processing Techniques for Text-to-S
peech Synthesis using Diphones", Speech Communicat
ion, Vol.9, pp.453-467,Dec.1990」で提案されている
ＰＳＯＬＡ方式がある。
【００２４】図４は、上記ステップＳ２０７で行われる
スペクトル変形処理の一例を示すフローチャートであ
る。同処理において、ステップＳ３０２では話者２の音
声信号から、また、ステップＳ３０３では話者１の音声
信号から、上記ステップＳ２０３（図２参照）で求めら
れたピッチ対応テーブル３０１を参照して互いに対応す
るピッチを選択し、該ピッチ毎に、ピッチ同期信号に同
期して音声波形を切り出す。ここでは、話者１から話者
２へと徐々に音声を変形しながら接続する場合を例に挙
げて説明する。この場合には、ピッチ同期の処理は、話
者２のピッチマークの回数だけ行われる。ここで、図３
の有声音Ｚの例に見られるように、話者１の２つのピッ
チマークが話者２の１つのピッチマークに対応している
場合には、話者１の２つのピッチマークのうちどちらか
一方を参照して音声波形を切り出す。一方、図３の有声
音Ｙの例に見られるように、話者２の２つのピッチマー
クが話者１の１つのピッチマークに対応している場合に
は、話者１の１つのピッチマークにより参照される音声
波形を２度切り出す。
スペクトル変形処理の一例を示すフローチャートであ
る。同処理において、ステップＳ３０２では話者２の音
声信号から、また、ステップＳ３０３では話者１の音声
信号から、上記ステップＳ２０３（図２参照）で求めら
れたピッチ対応テーブル３０１を参照して互いに対応す
るピッチを選択し、該ピッチ毎に、ピッチ同期信号に同
期して音声波形を切り出す。ここでは、話者１から話者
２へと徐々に音声を変形しながら接続する場合を例に挙
げて説明する。この場合には、ピッチ同期の処理は、話
者２のピッチマークの回数だけ行われる。ここで、図３
の有声音Ｚの例に見られるように、話者１の２つのピッ
チマークが話者２の１つのピッチマークに対応している
場合には、話者１の２つのピッチマークのうちどちらか
一方を参照して音声波形を切り出す。一方、図３の有声
音Ｙの例に見られるように、話者２の２つのピッチマー
クが話者１の１つのピッチマークに対応している場合に
は、話者１の１つのピッチマークにより参照される音声
波形を２度切り出す。
【００２５】以下、１ピッチ分の処理を説明すると、ス
テップＳ３０４では、ステップＳ３０２で切り出した音
声波形についてＦＦＴによるスペクトル分析を行う。ま
た、ステップＳ３０４と並行して、ステップＳ３０５で
は、ステップＳ３０３で切り出した音声波形についてＦ
ＦＴによるスペクトル分析を行う。ステップＳ３０６で
は、ステップＳ３０４で求めた話者２のスペクトルのう
ち、所定の周波数αＨｚより低い帯域の部分を取り出
す。ステップＳ３０７では、ステップＳ３０５で求めた
話者１のスペクトルのうち、上記周波数αＨｚより高い
帯域の部分を取り出す。
テップＳ３０４では、ステップＳ３０２で切り出した音
声波形についてＦＦＴによるスペクトル分析を行う。ま
た、ステップＳ３０４と並行して、ステップＳ３０５で
は、ステップＳ３０３で切り出した音声波形についてＦ
ＦＴによるスペクトル分析を行う。ステップＳ３０６で
は、ステップＳ３０４で求めた話者２のスペクトルのう
ち、所定の周波数αＨｚより低い帯域の部分を取り出
す。ステップＳ３０７では、ステップＳ３０５で求めた
話者１のスペクトルのうち、上記周波数αＨｚより高い
帯域の部分を取り出す。
【００２６】このステップＳ３０６およびＳ３０７で取
り出されたスペクトルは、ステップＳ３０８において、
周波数αＨｚを境界にして結合される。このスペクトル
の混合処理は、各ＦＦＴで得られたスペクトルの実部と
虚部を、それぞれ個別に処理することで行われる。最後
に、ステップＳ３０９では、両者のスペクトルを混合し
たスペクトルに対し、ＩＦＦＴを行い、１ピッチ波形を
得る。こうして得られた１ピッチ波形は、上記ステップ
Ｓ２０９（図２参照）の処理に渡される。
り出されたスペクトルは、ステップＳ３０８において、
周波数αＨｚを境界にして結合される。このスペクトル
の混合処理は、各ＦＦＴで得られたスペクトルの実部と
虚部を、それぞれ個別に処理することで行われる。最後
に、ステップＳ３０９では、両者のスペクトルを混合し
たスペクトルに対し、ＩＦＦＴを行い、１ピッチ波形を
得る。こうして得られた１ピッチ波形は、上記ステップ
Ｓ２０９（図２参照）の処理に渡される。
【００２７】更に、上記境界周波数を時間的に変化させ
ながら、ピッチ毎に同様のスペクトル混合処理を行うこ
とにより、複数の”１ピッチ波形”が同様にステップＳ
２０９の処理に渡され、最終的に該ステップＳ２０９で
音声合成処理される。図５（Ａ）〜（Ｃ）、図６（Ａ）
〜（Ｃ）、及び図７（Ａ）〜（Ｃ）は、境界周波数の時
間的変化に伴うスペクトル混合の例を示したものであ
る。ここでは、境界周波数αを図５（Ｂ）→図６（Ｂ）
→図７（Ｂ）に示す順序で３段階に変化させたとして、
低域側が抽出される話者２の各段階のスペクトルを図５
（Ａ）、図６（Ａ）、図７（Ａ）に、高域側が抽出され
る話者１の各段階のスペクトルを図５（Ｃ）、図６
（Ｃ）、図７（Ｃ）に、そして、各段階でのスペクトル
結合により得られた混合スペクトルを図５（Ｂ）、図６
（Ｂ）、図７（Ｂ）にそれぞれ示す。
ながら、ピッチ毎に同様のスペクトル混合処理を行うこ
とにより、複数の”１ピッチ波形”が同様にステップＳ
２０９の処理に渡され、最終的に該ステップＳ２０９で
音声合成処理される。図５（Ａ）〜（Ｃ）、図６（Ａ）
〜（Ｃ）、及び図７（Ａ）〜（Ｃ）は、境界周波数の時
間的変化に伴うスペクトル混合の例を示したものであ
る。ここでは、境界周波数αを図５（Ｂ）→図６（Ｂ）
→図７（Ｂ）に示す順序で３段階に変化させたとして、
低域側が抽出される話者２の各段階のスペクトルを図５
（Ａ）、図６（Ａ）、図７（Ａ）に、高域側が抽出され
る話者１の各段階のスペクトルを図５（Ｃ）、図６
（Ｃ）、図７（Ｃ）に、そして、各段階でのスペクトル
結合により得られた混合スペクトルを図５（Ｂ）、図６
（Ｂ）、図７（Ｂ）にそれぞれ示す。
【００２８】図８は、本実施形態による音声信号変形接
続処理において、ステップＳ２０５の基本周波数変換処
理で変換される平均基本周波数と、ステップＳ２０７の
スペクトル変形処理において変換される境界周波数との
時間変化を示すグラフである。本実施形態では、音声の
基本周波数変化の制御としては、話者１と話者２による
音声信号の平均基本周波数をそれぞれ求めておき、両平
均基本周波数の差とパラメータを変更する所定の時間
（変形接続区間）とに基づいて単位時間当たりに変更す
べき基本周波数値を求める。そして、該変形接続区間に
おける基本周波数を、図８に示すように、上記２つの平
均基本周波数の一方から他方へと、時間的に一定の割合
で変化させる。
続処理において、ステップＳ２０５の基本周波数変換処
理で変換される平均基本周波数と、ステップＳ２０７の
スペクトル変形処理において変換される境界周波数との
時間変化を示すグラフである。本実施形態では、音声の
基本周波数変化の制御としては、話者１と話者２による
音声信号の平均基本周波数をそれぞれ求めておき、両平
均基本周波数の差とパラメータを変更する所定の時間
（変形接続区間）とに基づいて単位時間当たりに変更す
べき基本周波数値を求める。そして、該変形接続区間に
おける基本周波数を、図８に示すように、上記２つの平
均基本周波数の一方から他方へと、時間的に一定の割合
で変化させる。
【００２９】また、音声のスペクトルの制御は、境界周
波数αＨｚを時間的に一定の割合で変化させる。ここ
で、平均基本周波数の変更量はステップＳ２０６で設定
され、また、境界周波数の変更量は、ステップＳ２０８
で設定される。
波数αＨｚを時間的に一定の割合で変化させる。ここ
で、平均基本周波数の変更量はステップＳ２０６で設定
され、また、境界周波数の変更量は、ステップＳ２０８
で設定される。
【００３０】次に、図９（Ａ）〜（Ｃ）は、図１（Ａ）
〜（Ｃ）に対応した、各音声信号による声紋を示すスペ
クトログラムである。各スペクトログラムにおいて、横
軸は時間（ｓｅｃ）、縦軸は周波数（Ｈｚ）、そして、
時間と周波数との各交点における濃さ（本紙面上では明
確に現れないが）が、その時間におけるスペクトルの強
さを表す。また、図９（Ｃ）に示す合成音声における変
形接続区間には、該区間における境界周波数の変化を、
符号１０５で参照されるラインで示した。
〜（Ｃ）に対応した、各音声信号による声紋を示すスペ
クトログラムである。各スペクトログラムにおいて、横
軸は時間（ｓｅｃ）、縦軸は周波数（Ｈｚ）、そして、
時間と周波数との各交点における濃さ（本紙面上では明
確に現れないが）が、その時間におけるスペクトルの強
さを表す。また、図９（Ｃ）に示す合成音声における変
形接続区間には、該区間における境界周波数の変化を、
符号１０５で参照されるラインで示した。
【００３１】なお、上述のような音声パラメータを変化
させる割合は一定である必要はなく、様々な変化パター
ンが考えられる。例えば、図１０に境界周波数αの変化
パターンの別例を示す。この例では、境界周波数が低い
段階ではゆっくりと変化させ、境界周波数が高くなるに
つれて早く変化させている。人間の聴覚は高域に比べて
低域の周波数に重みがかった特性を有するため、この例
のような変化をさせると、人間が聞いた時により一定の
変化割合で、すなわち、より自然に声質を変化させるこ
とができる。
させる割合は一定である必要はなく、様々な変化パター
ンが考えられる。例えば、図１０に境界周波数αの変化
パターンの別例を示す。この例では、境界周波数が低い
段階ではゆっくりと変化させ、境界周波数が高くなるに
つれて早く変化させている。人間の聴覚は高域に比べて
低域の周波数に重みがかった特性を有するため、この例
のような変化をさせると、人間が聞いた時により一定の
変化割合で、すなわち、より自然に声質を変化させるこ
とができる。
【００３２】以上、この発明の実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、この発明の要旨を逸脱しない範囲の
設計の変更等があってもこの発明に含まれる。たとえ
ば、上述した一実施形態においては、初めに基本周波数
を変化させ、その後に音声スペクトルを変化させている
が、変化の順番はこの逆でも構わないし、また、分散処
理等により、両者を同時に変化させてもよい。なお、変
形区間が長い場合には、これらパラメータの変化を分け
て行った方が、より滑らかな接続が行える。
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、この発明の要旨を逸脱しない範囲の
設計の変更等があってもこの発明に含まれる。たとえ
ば、上述した一実施形態においては、初めに基本周波数
を変化させ、その後に音声スペクトルを変化させている
が、変化の順番はこの逆でも構わないし、また、分散処
理等により、両者を同時に変化させてもよい。なお、変
形区間が長い場合には、これらパラメータの変化を分け
て行った方が、より滑らかな接続が行える。
【００３３】また、変形接続される２つの音声信号は、
人間による発声により得られたもの以外に、音声合成装
置による発声で得られたもの同士でもよく、また、人間
による発声と音声合成装置による発声で得られた音声信
号を接続することも可能である。
人間による発声により得られたもの以外に、音声合成装
置による発声で得られたもの同士でもよく、また、人間
による発声と音声合成装置による発声で得られた音声信
号を接続することも可能である。
【００３４】なお、以上の説明において、異なる話者の
音声（メッセージ）を接続しても聞き手に違和感を与え
ない点を強調してきたが、本発明は、声の変化を聞き手
に全く意識させないだけでなく、違和感の無い声の変化
を聞き手に”意識させる”という利用法もある。例え
ば、画像処理のモーフィングと呼ばれる処理では、男性
の顔の静止画像と女性の顔の静止画像とを用いて、（時
間とともに画像を変化させながら）男性の顔を徐々に女
性の顔へと変化させることが可能である。このような画
像処理技術と本発明による方法とを統合すれば、人間の
顔が男性から女性に変化しながら、その声もいつのまに
か男性から女性に変化しているというような、見る（聞
く）者に不思議な感覚を与えるシミュレーションの実現
が可能である。このような技術は、映画やマルチメディ
ア作品等の製作分野において、新しい表現手段として利
用できる。
音声（メッセージ）を接続しても聞き手に違和感を与え
ない点を強調してきたが、本発明は、声の変化を聞き手
に全く意識させないだけでなく、違和感の無い声の変化
を聞き手に”意識させる”という利用法もある。例え
ば、画像処理のモーフィングと呼ばれる処理では、男性
の顔の静止画像と女性の顔の静止画像とを用いて、（時
間とともに画像を変化させながら）男性の顔を徐々に女
性の顔へと変化させることが可能である。このような画
像処理技術と本発明による方法とを統合すれば、人間の
顔が男性から女性に変化しながら、その声もいつのまに
か男性から女性に変化しているというような、見る（聞
く）者に不思議な感覚を与えるシミュレーションの実現
が可能である。このような技術は、映画やマルチメディ
ア作品等の製作分野において、新しい表現手段として利
用できる。
【００３５】
【発明の効果】上述のように本発明によれば、音声の特
徴量を時間と共に変化させることができる。その結果、
話者が異なる２つの音声を接続する場合であっても、接
続区間における急激な声質の変化を避けることができ、
聞く者にとって違和感なく音声を接続することが可能と
なる。
徴量を時間と共に変化させることができる。その結果、
話者が異なる２つの音声を接続する場合であっても、接
続区間における急激な声質の変化を避けることができ、
聞く者にとって違和感なく音声を接続することが可能と
なる。
【図１】 本発明の一実施形態において、互いに声質の
異なる２つの音声の波形と、これらの音声信号に変形接
続処理を施して得られた音声波形との関係を示す波形図
である。
異なる２つの音声の波形と、これらの音声信号に変形接
続処理を施して得られた音声波形との関係を示す波形図
である。
【図２】 同実施形態における音声信号変形接続方法の
全体の処理の一例を示すフローチャートである。
全体の処理の一例を示すフローチャートである。
【図３】 同実施形態において、２つの音声信号間のピ
ッチマークの対応づけを説明するための図である。
ッチマークの対応づけを説明するための図である。
【図４】 同実施形態におけるスペクトル変換処理の一
例を示すフローチャートである。
例を示すフローチャートである。
【図５】 同実施形態において、ある時間における境界
周波数の設定と、該境界周波数における２つのスペクト
ルの結合を説明するための図である。
周波数の設定と、該境界周波数における２つのスペクト
ルの結合を説明するための図である。
【図６】 更に進んだ時間における境界周波数の再設定
と、該境界周波数における２つのスペクトルの結合を説
明するための図である。
と、該境界周波数における２つのスペクトルの結合を説
明するための図である。
【図７】 更に進んだ時間における境界周波数の再設定
と、該境界周波数における２つのスペクトルの結合を説
明するための図である。
と、該境界周波数における２つのスペクトルの結合を説
明するための図である。
【図８】 同実施形態による音声信号変形接続処理にお
いて、平均基本周波数と境界周波数の時間変化を示すグ
ラフである。
いて、平均基本周波数と境界周波数の時間変化を示すグ
ラフである。
【図９】 図１に示す各音声信号による得られる声紋を
示すスペクトログラムである。
示すスペクトログラムである。
【図１０】 境界周波数の別の時間変化例を示すグラフ
である。
である。
１０１ 話者１の音声信号
１０２ 話者２の音声信号
１０３ 合成音声信号
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 13/00
G10L 21/04
Claims (10)
- 【請求項１】 互いに異なる声質に属する２つの音声信
号同士を接続する処理において、発声された２つの音声を音声信号として入力し、 前記２つの音声信号間のピッチの対応を決定し、 音声信号の特性を示すスペクトルが、一方の音声信号の
スペクトルから他方の音声信号のスペクトルへと所定時
間にわたって徐々に変化するように、対応したピッチ毎
にスペクトルの変形を行い、一方の音声信号のスペクト
ルを有する区間、変形されたスペクトルを有する接続区
間、他方の音声信号のスペクトルを有する区間がなめら
かに接続された音声信号を作成 することを特徴とする音
声信号変形接続方法。 - 【請求項２】 請求項１記載の音声信号変形接続方法に
おいて、 前記互いに異なる声質の音声信号は音声合成装置による
発声により得られるものであることを特徴とする音声信
号変形接続方法。 - 【請求項３】 請求項１記載の音声信号変形接続方法に
おいて、 前記互いに異なる声質の音声信号は、一方は人間による
発声、もう一方は音声合成装置による発声により得られ
るものであることを特徴とする音声信号変形接続方法。 - 【請求項４】 請求項１記載の音声信号変形接続方法に
おいて、 前記音声のスペクトルの変形に関しては、対応したピッ
チ毎に、ある周波数を境界周波数として、一方の音声信
号のスペクトルにおける前記境界周波数より高域の部分
と、他方の音声信号のスペクトルにおける前記境界周波
数より低域の部分とを結合させたスペクトルを生成し、
生成されたスペクトルを当該ピッチにおけるスペクトル
とすると共に、 前記境界周波数を単位時間毎に変化させることを特徴と
する音声信号変形接続方法。 - 【請求項５】 請求項４記載の音声信号変形接続方法に
おいて、 前記境界周波数の変化は、単位時間毎に一定量増加する
ように行われることを特徴とする音声信号変形接続方
法。 - 【請求項６】 請求項４記載の音声信号変形接続方法に
おいて、 前記境界周波数の変化は、変化開始時の値から変化終了
時の値まで徐々に増加するように行われ、前記変化開始
時に近い相対的に低域の段階では比較的ゆっくりと、前
記変化終了時に近い相対的に高域の段階では比較的早く
変化させることを特徴とする音声信号変形接続方法。 - 【請求項７】 互いに異なる声質に属する２つの音声信
号同士を接続する処理において、音声信号の特性を示す
パラメータの値を、一方の音声信号の特徴を示す値から
他方の音声信号の特徴を示す値へと所定時間にわたって
徐々に変化させることにより、２つの音声信号を接続す
る音声信号変形接続方法であって、 前記パラメータは音声の基本周波数であり、前記所定の
時間にわたって前記基本周波数を徐々に変化させること
を特徴とする音声信号変形接続方法。 - 【請求項８】 請求項７記載の音声信号変形接続方法に
おいて、 前記音声の基本周波数の変化に関しては、 前記各音声信号の平均基本周波数を求め、 両者の平均基本周波数の差とパラメータを変更する前記
所定時間とに基づいて、単位時間当たりに変更すべき基
本周波数の値を求め、 この値を変化量の単位として、一方の音声信号の平均基
本周波数から他方の音声信号の平均基本周波数へと単位
時間毎に変化させることを特徴とする音声信号変形接続
方法。 - 【請求項９】 互いに異なる声質に属する２つの音声信
号同士を接続する処理において、音声信号の特性を示す
パラメータの値を、一方の音声信号の特徴を示す値から
他方の音声信号の特徴を示す値へと所定時間にわたって
徐々に変化させることにより、２つの音声信号を接続す
る音声信号変形接続方法であって、 前記パラメータは、音声のスペクトルと音声の基本周波
数であり、 前記音声のスペクトルの変形に関しては、 前記２つの音声信号間の対応する音素内のピッチの対応
を決定し、 対応したピッチ毎に、ある周波数を境界周波数として、
一方の音声信号のスペクトルにおける前記境界周波数よ
り高域の部分と、他方の音声信号のスペクトルにおける
前記境界周波数より低域の部分とを結合させたスペクト
ルを生成し、生成されたスペクトルを当該ピッチにおけ
るスペクトルとすると共に、 前記境界周波数を単位時間毎に変化させるようにし、 前記音声の基本周波数の変化に関しては、 前記各音声信号の平均基本周波数を求め、 両者の平均基本周波数の差とパラメータを変更する前記
所定時間とに基づいて、単位時間当たりに変更すべき基
本周波数の値を求め、 この値を変化量の単位として、一方の音声信号の平均基
本周波数から他方の音声信号の平均基本周波数へと単位
時間毎に変化させるようにすることを特徴とする音声信
号変形接続方法。 - 【請求項１０】 請求項９記載の音声信号変形接続方法
において、 前記音声のスペクトルと基本周波数とを並行して変化さ
せることを特徴とする音声信号変形接続方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23823596A JP3465734B2 (ja) | 1995-09-26 | 1996-09-09 | 音声信号変形接続方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24814495 | 1995-09-26 | ||
| JP7-248144 | 1995-09-26 | ||
| JP23823596A JP3465734B2 (ja) | 1995-09-26 | 1996-09-09 | 音声信号変形接続方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09152892A JPH09152892A (ja) | 1997-06-10 |
| JP3465734B2 true JP3465734B2 (ja) | 2003-11-10 |
Family
ID=26533595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23823596A Expired - Fee Related JP3465734B2 (ja) | 1995-09-26 | 1996-09-09 | 音声信号変形接続方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3465734B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3728172B2 (ja) | 2000-03-31 | 2005-12-21 | キヤノン株式会社 | 音声合成方法および装置 |
| JP2003295882A (ja) * | 2002-04-02 | 2003-10-15 | Canon Inc | 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム |
| CN1914666B (zh) * | 2004-01-27 | 2012-04-04 | 松下电器产业株式会社 | 声音合成装置 |
| JP4720974B2 (ja) * | 2004-12-21 | 2011-07-13 | 株式会社国際電気通信基礎技術研究所 | 音声発生装置およびそのためのコンピュータプログラム |
| CN102227770A (zh) | 2009-07-06 | 2011-10-26 | 松下电器产业株式会社 | 音质变换装置、音高变换装置及音质变换方法 |
| JP6163454B2 (ja) * | 2014-05-20 | 2017-07-12 | 日本電信電話株式会社 | 音声合成装置、その方法及びプログラム |
| JP6400526B2 (ja) * | 2015-05-21 | 2018-10-03 | 日本電信電話株式会社 | 音声合成装置、その方法、およびプログラム |
-
1996
- 1996-09-09 JP JP23823596A patent/JP3465734B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09152892A (ja) | 1997-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sundberg | Perceptual aspects of singing | |
| US10008193B1 (en) | Method and system for speech-to-singing voice conversion | |
| Saitou et al. | Speech-to-singing synthesis: Converting speaking voices to singing voices by controlling acoustic features unique to singing voices | |
| JP4705203B2 (ja) | 声質変換装置、音高変換装置および声質変換方法 | |
| US6591240B1 (en) | Speech signal modification and concatenation method by gradually changing speech parameters | |
| JP4813796B2 (ja) | 信号を合成するための方法、記憶媒体及びコンピュータシステム | |
| WO2002054383A1 (fr) | Dispositif de synthese vocale de texte et support d'enregistrement de programme | |
| JP3465734B2 (ja) | 音声信号変形接続方法 | |
| JP3439307B2 (ja) | 発声速度変換装置 | |
| JP3732793B2 (ja) | 音声合成方法、音声合成装置及び記録媒体 | |
| CN100508025C (zh) | 合成语音的方法和设备及分析语音的方法和设备 | |
| JP2002525663A (ja) | ディジタル音声処理装置及び方法 | |
| Aso et al. | Speakbysinging: Converting singing voices to speaking voices while retaining voice timbre | |
| JP5175422B2 (ja) | 音声合成における時間幅を制御する方法 | |
| JP3241582B2 (ja) | 韻律制御装置及び方法 | |
| JP2577372B2 (ja) | 音声合成装置および方法 | |
| JP2987089B2 (ja) | 音声素片作成方法および音声合成方法とその装置 | |
| Howard | Virtual choirs | |
| JP3368948B2 (ja) | 音声規則合成装置 | |
| JP2910587B2 (ja) | 音声合成装置 | |
| Singh et al. | Removal of spectral discontinuity in concatenated speech waveform | |
| Uchida | A practical method for generating whispers from singing voices: Application of improved phantom silhouette method | |
| Vine et al. | Synthesising emotional speech by concatenating multiple pitch recorded speech units | |
| JPH0836397A (ja) | 音声合成装置 | |
| JPH0553595A (ja) | 音声合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080829 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090829 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100829 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |