JP2002268656A

JP2002268656A - 音声分析合成方法および、この方法を実施する装置、プログラム、プログラムを記録した記録媒体

Info

Publication number: JP2002268656A
Application number: JP2001066711A
Authority: JP
Inventors: Toshio Irino; 俊夫入野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-03-09
Filing date: 2001-03-09
Publication date: 2002-09-20

Abstract

(57)【要約】【課題】人間の聴覚末梢および中枢系を模擬した音声
信号分析を実施する聴知覚特性を反映した高品位な合成
音声を生成する音声信号分析合成方法およびこの方法を
実施する装置、プログラム、プログラムを記録した記録
媒体を提供する。【解決手段】人間の蝸牛基底膜を含む聴覚末梢および
中枢系を模擬した音声信号分析を実施する聴知覚特性を
反映した音声分析合成方法において、人間の蝸牛基底膜
振動を模擬した周波数分析結果を音声波形の基本周期に
同期して安定化させた時間周波数表現、この１周期分の
表現、或いはこのメリン変換表現を、ＶＯＣＯＤＥＲ型
音声分析合成器の出力表現に組み合わせる音声分析合成
方法およびこの方法を実施する装置、プログラム、プロ
グラムを記録した記録媒体。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声信号分析合
成方法およびこの方法を実施する装置、プログラム、プ
ログラムを記録した記録媒体に関し、特に、人間の聴覚
末梢および中枢系を模擬した音声信号分析を実施する聴
知覚特性を反映した高品位な合成音声を生成する音声信
号分析合成方法およびこの方法を実施する装置、プログ
ラム、プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】音声信号分析合成法には、大別して、線
形予測分析法（ＬＰＣ）に代表されるパラメトリック法
と短時間フーリエ変換（ＳＴＦＴ）に代表されるノンパ
ラメトリック法の２種類ある。近年、両者の長所を組み
合わせて、高品位な分析合成音を作成することができる
ＳＴＲＡＩＧＨＴ法が開発され、注目を集めている。原
理的にはＶＯＣＯＤＥＲ法と同様な方法であり、声帯音
源の基本周期成分と、口の形に相当する平滑化スペクト
ルを高精度に推定することにより音声分析合成するもの
である。図５を参照してＶＯＣＯＤＥＲおよびＳＴＲＡ
ＩＧＨＴを極く簡単に説明しておく。

【０００３】図５（ａ）はＶＯＣＯＤＥＲを示し、図５
（ｂ）はＳＴＲＡＩＧＨＴを示す。図５（ａ）におい
て、ＶＯＣＯＤＥＲを実現する鍵は「音声は比較的ゆっ
くりと変化するスペクトル包絡成分とこれとは独立なピ
ッチ、有声無声音源を表す情報に分解することができ
る」という点にあった。ここで、スペクトル包絡成分は
複数のバンドパスフィルタのゲインの調整、音源は基本
周波数と有声無声判定により駆動される発振器を使用し
て構成されていた。図５（ｂ）の構成は、上述した通
り、ＶＯＣＯＤＥＲそのものである。相違するところは
それぞれの構成要素で使用される情報の細部のみであ
る。図５（ｂ）においてＳＴＲＡＩＧＨＴ−ｃｏｒｅと
記されているのは、スペクトル包絡を処理する部分であ
る。ここでは、音声の基本周波数による干渉が取り除か
れた包絡が抽出され、合成のためのフィルタに送られ
る。ＳＰＩＫＥＳは、有声音の合成のために音源パルス
を作成する部分である。ここでは、オールパスフィルタ
の群遅延特性を制御することにより、いわゆる「ＶＯＣ
ＯＤＥＲ声」らしさを軽減した音源パルスが作成され
る。ＴＥＭＰＯは、音声の基本周波数、有声／無声その
他の音源情報を抽出する部分である。ここでは「基本波
らしさ」を表す指標を手がかりとして基本周波数が求め
られる。ＳＴＲＡＩＧＨＴは、元来、音声の知覚が発声
にどの様な影響を与えているかを調べるツールとして開
発された。現状は、実時間動作は不可能であるが、最終
的には「ＳＴＲＡＩＧＨＴでリアルタイムに変換される
自分の声を聞きながら被験者が発声する」という実験に
利用することを狙っている（詳細は「聴覚の情景分析が
生み出した高品質ＶＯＣＯＤＥＲ：ＳＴＲＡＩＧＨＴ」
日本音響学会誌５４巻７号ｐｐ．５２１ー５２６河原
英紀参照）。

【０００４】このＳＴＲＡＩＧＨＴ法の骨子は、結局、
以下の４ステージより成る。（１）短時間フーリエ変換を適用して音声信号の精密
な周波数分布関数を求める。（２）ウェーブレット変換を適用して正確な基本周波
数を推定する。（３）基本周波数を使用して周波数分布関数を平滑化
する。（４）基本周波数を使用したパルス発生器により平滑
化周波数分布を励振することにより合成音を合成する。

【０００５】ＳＴＲＡＩＧＨＴ法によれば、極めて高品
質な合成音声を得ることができ、この合成音声の周波数
分布をモルフィングしたり、基本周波数を変換すること
により男声を女声に変換することができることその他、
優れた特徴を発揮する。しかし、デモ的な話者変換音声
を作成することはできるものの、合成音声の内のどの部
分をどの様に変換するとどの様に聞こえる音声になるか
という系統的な予測の知識、規則は未だ得られていな
い。この規則を知るには人間が聴覚によりどの様に音声
を聴取しているのかという知識を得ることが必須のこと
とされているが、短時間フーリエ変換、線形予測分析に
依存している従来のＶＯＣＯＤＥＲ法の枠組みに依って
は、この要請に対応することはできない。

【０００６】人間が聴覚によりどの様に音声を聴取して
いるのかという知識を得るには、聴覚モデルを使用して
音声分析合成をしてみる必要がある。ところで、聴覚モ
デルを使用して音声分析合成する技術も研究開発されて
いる（詳細は「ガンマチャープフィルタとフィルタバン
クの効率的な構成」入野俊夫、鵜木祐史日本音
響学会聴覚研究会資料（Ｈ−９７−６９）１９９７年１
０月２４日参照）。ここにおいては、人間の聴覚末梢
および中枢系を模擬した音声信号分析を実施する聴覚末
梢系の非線形性まで入れた分析結果から音を合成できる
ことが示されている。しかし、ＶＯＣＯＤＥＲ型ではな
いので、合成音声の基本周波数、ホルマント周波数だけ
を変化させて話者を変化させるという高度なモルフィン
グ処理の方法が確立されていない。更に、聴知覚特性を
反映させるには、聴覚フィルタバンクの出力だけでは不
十分であることが実験的に知られている。そのために
は、聴覚内部処理の出力表現を模擬していると考えられ
る聴覚イメージ、或は、これを更に変換した寸法−形状
イメージ、メリンイメージを導入する必要がある。とこ
ろが、これらの表現から音声を合成する手法は未だ確立
されていない。このために、従来の音声分析合成法に依
っては聴知覚特性を正確に反映させることはできない。

【０００７】ここで、メリンイメージ、聴覚イメージの
メリン変換、安定化聴覚イメージ、および寸法−形状イ
メージについて、参考文献の内容の一部をここに引用し
ておく（詳細は「聴覚経路におけるメリン変換の計算」
入野俊夫、ロイＤ．パターソン日本音響学会聴
覚研究会資料（Ｈ−９９−５）１９９９年１月２９
日。「音源の形状情報と寸法情報を分離する聴覚でのイ
メージング」入野俊夫日本音響学会誌５６巻７号
ｐｐ．５０５ー５０８参照）。声道は最も単純化すれ
ば無損失な音響管である。舌を「同じ所」にもつてきて
作った音響管の形が理想的に相似でも、その長さが違え
ばホルマント周波数が異なるのは物理学が教えるところ
である。音声学、音声認識においてはホルマント周波数
の比を取ったりケプストラム分析で周波数軸上の振幅ス
ペクトルを正規化することにより長さの違いを取り除く
ことが行われている。それでは、人間はこれをどの様に
行っているのだろうか。これは、音響管の形状の断面積
関数の情報と寸法、長さの情報を分離する処理を特定す
る問題と捕らえることができる。人間ばかりでなく、動
物でも捕食者から逃れるためには寸法情報が重要だと想
像するのは難くない。人間の聴覚系の初期の信号処理に
おいては、単純な短時間フーリエ変換とは異なる蝸牛に
おける周波数分析が行われている。更に、この後に内部
表現として「安定化聴覚イメージ」が作られていると考
えると、心理物理学的な知見と整合性がある。聴覚によ
る音のイメージングである。

【０００８】ここで、問題に戻って、聴覚系で音源の形
状と寸法の分離を行うためには、この聴覚イメージに対
して「メリン変換」が取られているのではないかという
理論的な仮説が提案されている。この理論聴覚イメージ
から導出される音の「メリンイメージ」を示し、音源の
寸法にかかわらず同じ表現になることを以下において説
明する。聴覚イメージのメリン変換について説明する。
現在、声道の断面積関数をＭＲＩ画像から測定すること
ができる。そこで、或る男性が‘ａ’と発声したときの
断面積関数を用いた単純な１次元の声道モデルのインパ
ルス応答をｓ_am（ｔ）とする。更に、その声道断面積関
数を相似的に２／３の長さに短縮した時の声道のインパ
ルス応答をｓ_af（ｔ）とする。このインパルス応答同志
を比較すると、ｓ_af（ｔ）＝ｓ_am（３ｔ／２）となるこ
とが分かる。さて、信号をｓ（ｔ）とすると、そのメリ
ン変換は、

【０００９】

【数１】

【００１０】で与えられるも、ここで、ｐはは複素変数
である。メリン変換の特徴は、「ｓ（ｔ）のメリン変換
がＳ（ｐ）ならば、波形をａ倍に伸縮したｓ（ａｔ）の
メリン変換は、ａ^-pＳ（ｐ）になる」ということにあ
る。従って、時間伸縮はメリン変換後の分布では単に定
数倍として表現されるので、ｓ_am（ｔ）とｓ_am（３ｔ／
２）の変換後の絶対値分布は振幅を正規化すると全く同
じになる。この時、伸縮の度合の情報は分離されて位相
項に入る。このことより、メリン変換を直接波形に適用
できれば声道の長さを正規化した表現が得られることが
分かる。しかし、我々の聴覚システムでは、メリン変換
を直接波形に適用できる様になってはおらず、まず最初
に蝸牛において５００Ｈｚ以上ではウェーブレット変換
で１次近似できる周波数分析が行われている。また、式
（１）からも分かる様に、メリン変換では必ず解析の原
点の特定が必要で、原点がずれると表現も変わる「シフ
ト変動」する変換である。

【００１１】安定化聴覚イメージについて説明する。安
定化聴覚イメージでは、既に、聴覚末梢系の周波数分析
の模擬と時間的な安定化と原点の特定ができている。そ
こで、この上でメリン変換を実行できれば問題は解決す
る。安定化聴覚イメージの一例として１０ｍｓ間隔（周
波数１００Ｈｚ）で発生させたクリック系列音に対する
安定化聴覚イメージを図３（ａ）に示す。この縦軸は聴
覚フィルタの最適周波数をＨｚで表しており、疑似対数
周波数軸になっている。横軸は、ストローブ時間積分を
開始した活性度の近傍最大時点からの時間間隔でｍｓ単
位の線形軸で表されている。先程のインパルス応答ｓ_am
（ｔ）、ｓ_af（ｔ）を声道フィルタとして、それぞれ１
００Ｈｚと１６０Ｈｚの声帯振動を模擬した波形で励振
すると、男声の‘ａ’と割合低い女声の‘ａ’に聞こえ
る様になる。これらの波形を‘ａｍ’、‘ａｍ’とし
て、その聴覚イメージを図３（ｂ）、図３（ｃ）にそれ
ぞれ示す。クリックの図３（ａ）の場合と異なって、矢
印の所に声道の共振すなわちホルマントに対応する３角
形の活性度の部分が出てくる。第２、第３ホルマントは
図３（ｂ）ではおおよそ１０００Ｈｚと２２００Ｈｚに
中心周波数を持っているのに対して、図３（ｃ）では３
／２倍の周波数の１５００Ｈｚと３３００Ｈｚになって
いる。このことから図３（ｃ）の聴覚図形は、図３
（ｂ）の聴覚図形を全体的に３／２倍の周波数になる様
に垂直方向に動かして共振の時間応答をその比率で短縮
した形になる。しかし、元の音源をどのように操作した
か知っているからこそ、そのように読み取ることができ
るのであって、最初に図３（ｂ）、図３（ｃ）が与えら
れてお互いの音源の関係は何かと問われても答えるのは
難しいと思われる。そこで、音源の性質がはっきり見え
る様に変形しよう。

【００１２】寸法−形状イメージについて説明する。先
ず、聴覚図形は繰り返していて情報としてはどの周期で
も同じなので、１周期分だけを取り出すことにする。目
的のためには、メリン変換の性質を利用して横軸を操作
した方が分かり易くなる。聴覚フィルタは５００Ｈｚ以
上では波形伸縮したウェーブレットフィルタで近似でき
るが、このフィルタがどの最適周波数でも全く同じ応答
長で表示されるように横軸を変換する。すると、横軸は
時間間隔とフィルタの最適周波数の積の軸ｈになる。図
３（ａ）のクリック系列音の聴覚図形は、図３（ｄ）の
様に変換される。聴覚イメージでの閾値処理のために周
波数が高くなるほど応答が長く表示されるが、基本的に
各周波数での応答は縦に１列にきれいに並んでいて非常
に単純な図形になることが分かる。これに対して図３
（ｂ）、図３（ｃ）に対して同じ変換を施すと、図４
（ｅ）、図４（ｆ）の様になる。ｈの値が３以下では応
答がほぼ１列に並んでいるが、それ以上では３角形で表
されていた共振特性を伸ばして強調した図形になってい
る。周波数が高いほど伸びが大きいので高いホルマント
成分がより強調されている。図４（ｅ）と図４（ｆ）の
矢印の第２〜第４ホルマントの活性度は縦軸上では周波
数３／２倍の場所へと疑似対数周波数軸を平行移動し、
その形状はほとんど変化していないことが分かる。即
ち、この表現においては音源が相似で波形が相似性を保
ったまま（ウェーブレット的に）拡大縮小されるのあれ
ば、常に同じ形状で表示される。その際の拡大縮小は垂
直の周波数軸の方向への単なる平行移動という形で表さ
れ/る。この表現を「寸法−形状イメージ」と呼ぶ。

【００１３】メリンイメージについて説明する。図３
（ｄ）の寸法−形状イメージ上での聴覚図形は、主に聴
覚ウェーブレットフィルタの応答だけである。これに対
し、図４（ｅ）、図４（ｆ）の場合は、ホルマント情報
が含まれている。抽出したいのは外界の音源の情報なの
で、表現内の聴覚フィルタ成分を取り除いた方が分かり
易くなる。このために、この寸法−形状イメージの各ｈ
毎に垂直方向に空間ブーリエ変換してその空間周波数成
分の振幅分布を考える。この計算は対数周波数上で定義
される複素正弦波を核関数とするフーリエ積分変換とな
る。これがまさに、メリン変換に相当することが数学的
に示せる。得られる図形を「メリンイメージ」と呼ぶ。
図３（ｄ）から求めたメリンイメージは図４（ｇ）とな
る。

【００１４】

【発明が解決しようとする課題】この発明は、従来より
知られている特にＳＴＲＡＩＧＨＴ法の如く高品位の音
声を合成することができるＶＯＣＯＤＥＲ型の音声分析
合成装置に聴覚内部処理をモデル化した聴覚イメージモ
デルを分析部として組み合わせることにより、人間にと
って極く自然に聞こえる高度な音声分析、合成、変形を
実現するする上述の問題を解消した音声信号分析合成方
法および、この方法を実施する装置、プログラム、プロ
グラムを記録した記録媒体を提供するものである。

【００１５】

【課題を解決するための手段】請求項１：人間の蝸牛基
底膜を含む聴覚末梢および中枢系を模擬した音声信号分
析を実施する聴知覚特性を反映した音声分析合成方法に
おいて、人間の蝸牛基底膜振動を模擬した周波数分析結
果を音声波形の基本周期に同期して安定化させた時間周
波数表現、この１周期分の表現、或いはこのメリン変換
表現を、ＶＯＣＯＤＥＲ型音声分析合成器の出力表現に
組み合わせる音声分析合成方法を構成した。

【００１６】そして、請求項２：人間の蝸牛基底膜を含
む聴覚末梢および中枢系を模擬した音声信号分析を実施
する聴知覚特性を反映した音声分析合成装置において、
蝸牛基底膜を含む人間の聴覚の末梢系から中枢系に到る
機能を模擬した聴覚イメージモデル／聴覚内部処理器１
３を具備し、写像器２２を具備し、人間の基底膜振動を
模擬した聴覚イメージモデル／聴覚内部処理器１３の出
力である周波数分析結果を音声波形の基本周期に同期し
て安定化させた時間周波数表現、この１周期分の表現、
或はこのメリン変換表現を写像器２２においてＶＯＣＯ
ＤＥＲ型音声分析器２の出力表現に組み合わせ、両者の
誤差を最小化する写像器２２の写像関数を決定し、写像
関数を使用して音声合成する音声分析合成装置を構成し
た。

【００１７】また、請求項３：請求項２に記載される音
声分析合成装置において、理想的な発声を聴覚イメージ
モデル／聴覚内部処理器１３により予め分析した出力の
イメージを蓄積したテンプレート蓄積器２９を有するテ
ンプレート処理器２８を具備し、写像関数を使用して音
声合成した合成結果を再度分析して得られた表現と、テ
ンプレート蓄積器２９に記憶される理想的な発声テンプ
レート表現との間の誤差を最小化する学習過程を含む音
声分析合成装置を構成した。更に、請求項４：請求項２
に記載される音声分析合成装置において、分析出力表現
と写像関数との間に表現変形装置を挿入して、変形表現
に対応する音を合成する音声分析合成装置を構成した。

【００１８】そして、請求項５：請求項２に記載される
音声分析合成装置において、聴覚イメージモデル／聴覚
内部処理器１３は基本周期情報を入力してこれに基づい
て時間周波数表現である安定化聴覚イメージに変換出力
する安定化聴覚イメージ生成器１６、安定化聴覚イメー
ジを入力してこれを寸法−形状イメージ表現に変換出力
する寸法−形状イメージ生成器１７、寸法−形状イメー
ジを入力してこれを外界の音源の寸法に依存しないメリ
ンイメージに変換出力するメリンイメージ生成器１８を
有し、写像器２２は安定化聴覚イメージ生成器１６の生
成する安定化聴覚イメージ出力１９が入力されるＡの写
像器２３、寸法−形状イメージ生成器１７の生成する寸
法−形状聴覚イメージ出力２０が入力されるＢの写像器
２４、メリンイメージ生成器１８の生成するメリンイメ
ージ出力２１が入力されるＣの写像器２５を有し、ここ
で、これらのＡ、Ｂ、Ｃの写像器の出力をＶＯＣＯＤＥ
Ｒ型音声分析器２の平滑化スペクトル構成器５の出力７
を切り替え器８、２６を介して直接接続して誤差を最小
化する写像器の写像関数を決定する音声分析合成装置を
構成した。

【００１９】ここで、請求項６：コンピュータに対し
て、聴覚イメージモデル／聴覚内部処理器１３の安定化
聴覚イメージ生成器１６が基本周期情報を安定化聴覚イ
メージに変換出力すべき指令をし、寸法−形状イメージ
生成器１７が安定化聴覚イメージを寸法−形状イメージ
表現に変換出力すべき指令をし、メリンイメージ生成器
１８が寸法−形状イメージをメリンイメージに変換出力
すべき指令をし、Ａの写像器２３が安定化聴覚イメージ
出力および平滑化スペクトル構成器５の出力を入力して
誤差を最小化する写像関数を決定すべき指令をし、Ｂの
写像器２４が寸法−形状聴覚イメージ出力および平滑化
スペクトル構成器５の出力を入力して誤差を最小化する
写像関数を決定すべき指令をし、Ｃの写像器２５がメリ
ンイメージ出力２１および平滑化スペクトル構成器５の
出力を入力して誤差を最小化する写像関数を決定すべき
指令をし、聴覚イメージモデル／聴覚内部処理器１３が
その表現出力から合成器１１により合成信号１２を生成
すべき指令をする音声分析合成プログラムを構成した。

【００２０】そして、請求項７：コンピュータに対し
て、聴覚イメージモデル／聴覚内部処理器１３の安定化
聴覚イメージ生成器１６が基本周期情報を安定化聴覚イ
メージに変換出力すべき指令をし、寸法−形状イメージ
生成器１７が安定化聴覚イメージを寸法−形状イメージ
表現に変換出力すべき指令をし、メリンイメージ生成器
１８が寸法−形状イメージをメリンイメージに変換出力
すべき指令をし、Ａの写像器２３が安定化聴覚イメージ
出力および平滑化スペクトル構成器５の出力を入力して
誤差を最小化する写像関数を決定すべき指令をし、Ｂの
写像器２４が寸法−形状聴覚イメージ出力および平滑化
スペクトル構成器５の出力を入力して誤差を最小化する
写像関数を決定すべき指令をし、Ｃの写像器２５がメリ
ンイメージ出力２１および平滑化スペクトル構成器５の
出力を入力して誤差を最小化する写像関数を決定すべき
指令をし、聴覚イメージモデル／聴覚内部処理器１３が
その表現出力から合成器１１により合成信号１２を生成
すべき指令をする音声分析合成プログラムを記憶した記
憶媒体を構成した。

【００２１】

【発明の実施の形態】この発明の実施の形態を図１の実
施例を参照して説明する。入力音声信号１は音声分析器
２に入力される。音声分析器２においては、この入力音
声信号１について、周波数分析器３により周波数スペク
トルが分析推定される。そして、基本周波数推定器４に
より、入力音声信号１について、基本周波数値の推定お
よび有声／無声の判断がなされる。これ迄が基本的なＶ
ＯＣＯＤＥＲ型の分析装置を構成している。ＳＴＲＡＩ
ＧＨＴ法の場合は、更に、平滑化スペクトル構成器５を
具備し、これにより周波数分析器３と基本周波数推定器
４の出力に基づいて平滑化スペクトルを推定する。この
平滑化スペクトル出力７と基本周波数推定器４の基本周
波数出力６は、音声合成器９の合成器１１およびパルス
・雑音生成器１０に直接或いは量子化器、伝送線路を経
由して入力されて合成され、合成信号１２が生成され
る。以上の音声分析器２は、結局、極く一般的なＶＯＣ
ＯＤＥＲ型の音声分析器を構成している。

【００２２】以上に構成に引き続くこの発明の信号処理
を順を追って説明する。１３は聴覚イメージモデル／聴
覚内部処理器であり、蝸牛基底膜を含む人間の聴覚の末
梢系から中枢系に到る機能を模擬するために開発された
ものである。入力信号１はこの聴覚イメージモデル／聴
覚内部処理器１３に入力される。この入力信号１は、先
ず、周波数分析器１４に入力される。この周波数分析器
１４は、人間の聴覚末梢系のフィルタリングを模擬した
計算モデルである聴覚イメージモデル、或いはウェーブ
レット変換を実現する周波数分析器より成る。周波数分
析結果は、次いで、基本周期抽出・安定化処理器１５に
入力され、ここにおいて基本周期情報が抽出される。こ
の基本周期情報は安定化聴覚イメージ生成器１６に入力
され、これに基づいて安定化聴覚イメージ（ＳＡＩ）と
呼ばれる一種の時間周波数表現に変換、出力される。こ
の時間周波数表現は、寸法−形状イメージ生成器１７に
入力され、この表現の内の１周期分だけ抽出されて、各
周波数成分を聴覚フィルタの中心周波数に比例した再サ
ンプリングを施した寸法−形状イメージ（ＳＳＩ）と呼
ばれる表現に変換、出力される。寸法−形状イメージ
は、更に、メリンイメージ生成器１８に入力され、外界
の音源の寸法に依存しないメリンイメージ（ＭＩ）に変
換出力される。以上の聴覚イメージモデル／聴覚内部処
理器１３は、結局、従来公知の聴覚内部処理のモデルを
もとにした信号分析装置である。

【００２３】この発明は、以上の公知のＶＯＣＯＤＥＲ
型の音声分析器２と公知の聴覚イメージモデル／聴覚内
部処理器１３に接続される写像器２２を発明の構成の主
要部としている。この写像器２２は、第１の写像器２
３、第２の写像器２４、第３の写像器２５より成る。Ａ
の写像器２３には、安定化聴覚イメージ生成器１６の生
成する安定化聴覚イメージ出力１９が入力される。Ｂの
写像器２４には、寸法−形状イメージ生成器１７の生成
する寸法−形状聴覚イメージ出力２０が入力される。Ｃ
の写像器２５には、メリンイメージ生成器１８の生成す
るメリンイメージ出力２１が入力される。メリンイメー
ジ出力と寸法−形状聴覚イメージ出力は、位相情報をも
含めれば等価な表現であるので、Ｃの写像器２５の出力
は、Ｂの写像器２４を経由して出力される構成とする。
結局、Ａの写像器２３の出力とＢの写像器２４の出力が
切り替え器２６を介して外部に切り替え出力される。

【００２４】ここで、これらのＡ、Ｂ、Ｃの写像器は、
学習により内部状態が変更設定される構成とされてい
る。即ち、音声分析器２の出力を入力信号とし、平滑化
スペクトル構成器５の出力７を教師信号とし、切り替え
器８を介して直接に写像器２２の出力と接続して以下の
式の自乗誤差Ｅを最小化する写像器の係数を決定する。（１）安定化聴覚イメージ出力：Ｖ_AI（τ、ω）から
の写像関数Ａの場合、Ｅ＝Σ［Ｖ_F（ω）−Ａ｛Ｖ_AI（τ、ω）｝］² （２）寸法−形状聴覚イメージの出力：Ｖ_SSI（ｈ、
ω）からの写像関数Ｂの場合、Ｅ＝Σ［Ｖ_F（ω）−Ｂ｛Ｖ_SSI（ｈ、ω）｝］² （３）メリンイメージ出力：Ｖ_MI（ｈ、ｃ）からの写
像関数Ｃの場合、写像関数Ｂも関連して、Ｅ＝Σ［Ｖ_F（ω）−Ｂ｛Ｃ｛Ｖ_MI（ｈ、ｃ）｝｝］² 学習手法については、最も効率よく高精度の学習手法を
選択する。そして、学習データについては、一般的な変
換を目指して多数の話者について学習し、或いは、特定
の話者についての正確な変換を目指して特定の話者につ
いてのみ学習する。

【００２５】以上の通りにして、写像関数が決定された
ものとする。これ以降は、切り替え器８を反対の音声合
成器９の側に切り替え、聴覚イメージモデル／聴覚内部
処理器１３の表現出力から合成器１１により合成信号１
２を直接に生成することができる。図１において、パル
ス・雑音生成器１０の情報元としては、音声分析器２中
の基本周波数推定・有声／無声判断器４を使用している
が、これにこだわる必要はなく、聴覚イメージモデル／
聴覚内部処理器１３の中の基本周期抽出・安定化処理器
１５の出力する情報を使用することができるし、モルフ
ィングを行うにはそれ以外の情報を使用しても差し支え
ない。聴覚イメージモデル／聴覚内部処理器１３の表現
出力１９、２０、２１のタップｄ−ｄ’、ｅ−ｅ’、ｆ
−ｆ’を切り離し、この間に変形操作を行う装置を取り
付けて表現をモルフィングすることにより、聴知覚的な
変化を予測することができる形で合成音を作成すること
ができる。これは従来の音声分析合成器に依っては実現
できなかったこの発明の特徴である。

【００２６】ここで、図２を参照して第２の実施例を説
明する。先の実施例においては、学習ステージで写像器
２２の写像関数が決定され、これに基づいて音声合成す
る例を説明したが、これに依っては、従来の音声合成器
の品質を格段に改善することは難しい。特に、基本周波
数或は声道長の異なる別の話者の声をモルフイングによ
り合成する場合に問題が生ずる。これは、学習する目標
となっているものが従来の音声分析合成の平滑化スペク
トルであり、それ以上には良くならないからである。

【００２７】この問題を解決するには、音声分析合成の
閉じたループを形成し、理想的な応答に近付ける必要が
ある。これを図２を参照して説明する。図２において、
図１における部材と共通する部材には共通する参照符号
を付与している。図２において、基本周波数推定器２７
は図１の基本周波数推定器４と構成上異なっているが機
能的には同じで、基本周期抽出・安定化処理器１５と共
通としても差し支えない。先ず、理想的な発声を聴覚イ
メージモデル／聴覚内部処理器１３により予め分析し、
出力のイメージをテンプレート処理器２８の内部のテン
プレート蓄積器２９に蓄積しておく。これに近い発声を
合成する場合、初期値となる合成信号１２を入力信号１
としてフィードバックし、再び聴覚イメージモデル／聴
覚内部処理器１３で分析する。ここで得られたイメージ
とテンプレート蓄積器２９に蓄積されている理想的なイ
メージとをテンプレート比較器３０において比較し、そ
の誤差信号とイメージ信号の双方を写像器２２に送り込
み、誤差信号を最終的に小さくする学習をオンラインで
させる。この学習により得られた写像関数でイメージか
ら音声合成器９のパラメータを生成し、合成信号１２を
得る。この合成信号１２を更に入力信号１として繰り返
し計算し、収束させることにより最終目的とする合成信
号１２が得られる。

【００２８】ここで、特に、テンプレートをメリンイメ
ージ生成器１８の出力とすると、基本周波数或は声道長
の異なる別の話者に対応する表現がほぼ同じとなってい
る。即ち、この過程は、例えば幼児が母親の声を聞きな
がら音声を生成することを学習することを工学的に実現
しているものに相当し、今日迄の音声分析合成装置に依
っては実現することができない過程である。以上の音声
分析合成装置は、実際は、コンピュータおよび制御プロ
グラムを使用して制御動作せしめられる。

【００２９】（ステップ１）音声分析器２において
は、この入力音声信号１について、周波数分析器３によ
り周波数スペクトルが分析推定させ、（ステップ２）
基本周波数推定器４により、入力音声信号１について、
基本周波数値の推定および有声／無声の判断をさせ、
（ステップ３）更に、平滑化スペクトル構成器５によ
り周波数分析器３と基本周波数推定器４の出力に基づい
て平滑化スペクトル：Ｖ_F（ω）を推定させ、（ステッ
プ４）この平滑化スペクトル出力７と基本周波数推定
器４の基本周波数出力６を、音声合成器９の合成器１１
およびパルス・雑音生成器１０に入力して合成信号１２
を生成させ、（ステップ５）入力信号１について、聴
覚イメージモデル／聴覚内部処理器１３における人間の
聴覚末梢系のフィルタリングを模擬した計算モデルであ
る聴覚イメージモデルより成る周波数分析器１４により
周波数分析させ、（ステップ６）周波数分析結果を基
本周期抽出・安定化処理器１５に入力して基本周期情報
を抽出させ、（ステップ７）基本周期情報は安定化聴
覚イメージ生成器１６に入力して安定化聴覚イメージ：
Ｖ_AI（τ、ω）に変換出力させ、（ステップ８）安定
化聴覚イメージを寸法−形状イメージ生成器１７に入力
して、各周波数成分を聴覚フィルタの中心周波数に比例
した再サンプリングを施した寸法−形状イメージ：Ｖ
_SSI（ｈ、ω）に変換、出力させ、（ステップ９）寸
法−形状イメージをメリンイメージ生成器１８に入力し
てメリンイメージ：Ｖ_MI（ｈ、ｃ）に変換出力させ、
（ステップ１０）切り替え器８を写像器２２側に切り
替えると共に切り替え器２６を交互に切り替え制御さ
せ、（ステップ１１１）Ａの写像器２３に安定化聴覚
イメージ：Ｖ_AI（τ、ω）を入力すると共に平滑化スペ
クトル構成器５の出力：Ｖ_F（ω）を入力して両者の誤
差Ｅを最小化する写像器の写像関数を決定し、（ステッ
プ１１２）Ｂの写像器２４に寸法−形状イメージ：Ｖ
_SSI（ｈ、ω）を入力すると共に平滑化スペクトル構成
器５の出力：Ｖ_F（ω）を入力して両者の誤差Ｅを最小
化する写像器の写像関数を決定し、（ステップ１１３）
Ｃの写像器２５にメリンイメージ：Ｖ_MI（ｈ、ｃ）を
入力すると共に平滑化スペクトル構成器５の出力：Ｖ_F
（ω）を入力して両者の誤差Ｅを最小化する写像器の写
像関数を決定し、（ステップ１２）切り替え器８を反
対の音声合成器９の側に切り替えると共に切り替え器２
６を交互に切り替え制御させ、（ステップ１３）聴覚
イメージモデル／聴覚内部処理器１３の表現出力から合
成器１１により合成信号１２を直接に生成する。

【００３０】

【発明の効果】以上の通りであって、この発明によれ
ば、従来より知られている特にＳＴＲＡＩＧＨＴ法の如
く高品位の音声を合成することができるＶＯＣＯＤＥＲ
型の音声分析合成装置に聴覚内部処理をモデル化した聴
覚イメージモデルを分析部として組み合わせることによ
り、人間にとって極く自然に聞こえる高度な音声分析、
合成、変形を実現する音声分析合成方法および装置を構
成することができる。信号分析合成装置として人間の聴
知覚特性を反映した表現上で変形操作が必要となる広範
囲な信号処理に利用できる。具体的には、補聴器信号処
理、音声および音楽の符号化、信号強調、信号分離その
他の分析合成信号処理に広範囲に使用することができ
る。

【図面の簡単な説明】

【図１】実施例を説明する図。

【図２】他の実施例を説明する図。

【図３】聴覚イメージをを説明する図。

【図４】図３の続き。

【図５】ＶＯＣＯＤＥＲを説明する図。

【符号の説明】

１１合成器１３聴覚イメージモデル／聴覚内部処理器１６安定化聴覚イメージ生成器１７寸法−形状イメージ生成器１８メリンイメージ生成器２ＶＯＣＯＤＥＲ型音声分析器２２写像器２３Ａの写像器２４Ｂの写像器２５Ｃの写像器２６切り替え器２８テンプレート処理器２９テンプレート蓄積器５平滑化スペクトル構成器８切り替え器

Claims

【特許請求の範囲】

【請求項１】人間の蝸牛基底膜を含む聴覚末梢および
中枢系を模擬した音声信号分析を実施する聴知覚特性を
反映した音声分析合成方法において、人間の蝸牛基底膜振動を模擬した周波数分析結果を音声
波形の基本周期に同期して安定化させた時間周波数表
現、この１周期分の表現、或いはこのメリン変換表現
を、ＶＯＣＯＤＥＲ型音声分析合成器の出力表現に組み
合わせることを特徴とする音声分析合成方法。
【請求項２】人間の蝸牛基底膜を含む聴覚末梢および
中枢系を模擬した音声信号分析を実施する聴知覚特性を
反映した音声分析合成装置において、蝸牛基底膜を含む人間の聴覚の末梢系から中枢系に到る
機能を模擬した聴覚イメージモデル／聴覚内部処理器を
具備し、写像器を具備し、人間の基底膜振動を模擬した聴覚イメージモデル／聴覚
内部処理器の出力である周波数分析結果を音声波形基本
周期に同期して安定化させた時間周波数表現、この１周
期分の表現、或はこのメリン変換表現を写像器において
ＶＯＣＯＤＥＲ型音声分析器の出力表現に組み合わせ、
両者の誤差を最小化する写像器の写像関数を決定し、写
像関数を使用して音声合成することを特徴とする音声分
析合成装置。
【請求項３】請求項２に記載される音声分析合成装置
において、理想的な発声を聴覚イメージモデル／聴覚内部処理器に
より予かじめ分析した出力のイメージを蓄積したテンプ
レート蓄積器を有するテンプレート処理器を具備し、写像関数を使用して音声合成した合成結果を再度分析し
て得られた表現と、テンプレート蓄積器に記憶される理
想的な発声テンプレート表現との間の誤差を最小化する
学習過程を含むことを特徴とする音声分析合成装置。
【請求項４】請求項２に記載される音声分析合成装置
において、分析出力表現と写像関数との間に表現変形装置を挿入し
て、変形表現に対応する音を合成することを特徴とする
音声分析合成装置。
【請求項５】請求項２に記載される音声分析合成装置
において、聴覚イメージモデル／聴覚内部処理器は基本周期情報を
入力してこれに基づいて時間周波数表現である安定化聴
覚イメージに変換出力する安定化聴覚イメージ生成器、
安定化聴覚イメージを入力してこれを寸法−形状イメー
ジ表現に変換出力する寸法−形状イメージ生成器、寸法
−形状イメージを入力してこれを外界の音源の寸法に依
存しないメリンイメージに変換出力するメリンイメージ
生成器を有し、写像器は安定化聴覚イメージ生成器の生成する安定化聴
覚イメージ出力が入力されるＡの写像器、寸法−形状イ
メージ生成器の生成する寸法−形状聴覚イメージ出力が
入力されるＢの写像器、メリンイメージ生成器の生成す
るメリンイメージ出力が入力されるＣの写像器を有し、
ここで、これらのＡ、Ｂ、Ｃの写像器の出力をＶＯＣＯ
ＤＥＲ型音声分析器の平滑化スペクトル構成器の出力を
切り替え器を介して直接接続して誤差を最小化する写像
器の写像関数を決定することを特徴とする音声分析合成
装置。
【請求項６】コンピュータに対して、聴覚イメージモデル／聴覚内部処理器の安定化聴覚イメ
ージ生成器が基本周期情報を安定化聴覚イメージに変換
出力すべき指令をし、寸法−形状イメージ生成器が安定化聴覚イメージを寸法
−形状イメージ表現に変換出力すべき指令をし、メリンイメージ生成器が寸法−形状イメージをメリンイ
メージに変換出力すべき指令をし、Ａの写像器が安定化聴覚イメージ出力および平滑化スペ
クトル構成器の出力を入力して誤差を最小化する写像関
数を決定すべき指令をし、Ｂの写像器が寸法−形状聴覚イメージ出力および平滑化
スペクトル構成器の出力を入力して誤差を最小化する写
像関数を決定すべき指令をし、Ｃの写像器がメリンイメージ出力および平滑化スペクト
ル構成器の出力を入力して誤差を最小化する写像関数を
決定すべき指令をし、聴覚イメージモデル／聴覚内部処理器がその表現出力か
ら合成器により合成信号を生成すべき指令をする音声分
析合成プログラム。
【請求項７】コンピュータに対して、聴覚イメージモデル／聴覚内部処理器の安定化聴覚イメ
ージ生成器が基本周期情報を安定化聴覚イメージに変換
出力すべき指令をし、寸法−形状イメージ生成器が安定化聴覚イメージを寸法
−形状イメージ表現に変換出力すべき指令をし、メリンイメージ生成器が寸法−形状イメージをメリンイ
メージに変換出力すべき指令をし、Ａの写像器が安定化聴覚イメージ出力および平滑化スペ
クトル構成器の出力を入力して誤差を最小化する写像関
数を決定すべき指令をし、Ｂの写像器が寸法−形状聴覚イメージ出力および平滑化
スペクトル構成器の出力を入力して誤差を最小化する写
像関数を決定すべき指令をし、Ｃの写像器がメリンイメージ出力および平滑化スペクト
ル構成器の出力を入力して誤差を最小化する写像関数を
決定すべき指令をし、聴覚イメージモデル／聴覚内部処理器がその表現出力か
ら合成器により合成信号を生成すべき指令をする音声分
析合成プログラムを記憶した記憶媒体。