JP2000504849A

JP2000504849A - 音響学および電磁波を用いた音声の符号化、再構成および認識

Info

Publication number: JP2000504849A
Application number: JP9528568A
Authority: JP
Inventors: ジョン、エフ．ホールツリクター; ローレンス、シー．エヌジー
Original assignee: University of California
Current assignee: University of California
Priority date: 1996-02-06
Filing date: 1997-01-28
Publication date: 2000-04-18
Also published as: EP0880772A4; US5729694A; EP0880772A1; WO1997029482A1

Abstract

(57)【要約】同時に記録された音声情報に関連して電磁放射を使用することにより、完全に数学的な音響音声の符号化が可能になる。この方法は、有声音の各ピッチ周期に対して特徴ベクトル（１２，１３）を形成し、無声音の各時間フレームに対して特徴ベクトル（１２，１３）を形成し、さらに有声音と無声音を結合したものに対して特徴ベクトルを形成することを含む。この方法は、音響音声出力から音声刺激関数をいかにして逆たたみ込みし、各時間フレームの伝達関数（７）を記述するかを含む。良好に定義された時間フレームにわたる全ての音響音声単位を定義する特徴ベクトル（１２，１３）の形成は、音声符号化や、音声圧縮、話者識別、言語識別、音声認識、音声合成、通訳、音声電話方式、音声教育などのために用いることができる。

Description

【発明の詳細な説明】音響学および電磁波を用いた音声の符号化、再構成および認識米国政府は、ローレンス・リバモア国立研究所（Lawrence Livermore Nationa l Laboratory）の運営のために、米国エネルギー省とカリフォルニア大学との間に締結された契約番号Ｗ−７４０５−ＥＮＧ−４８に従って、本発明の権利を有する。発明の背景本発明は一般的には、音声符号化、音声認識、音声合成、話者識別、および関連する音声技術の目的のための、結合した電磁波情報および音響情報を用いた人間の音声の特徴化に関する。（音声の特徴化および符号化）音声の特徴化、符号化および発生の歴史は、この１世紀半に及ぶ。初期の機械的音声発生器は、人間の声のような音を作り出すために、振動するリード、および、直径および長さの変化する管の配列を用いることに依存していた。刺激源（例えば、リード）および音響路（例えば、管）の組合わせは、人間の声を真似るるために劇場のオルガンのように鳴った。２０世紀には、音声の音響学の物理的数学的な記述が強力に研究され始め、電話および無線通信に結びついた多くの商業製品を増大させるために用いられた。その結果、伝達を目的とした人間の声の電気信号への符号化が、とりわけ合衆国のベル電話研究所において、大きく発達した。この初期の研究の完全な叙述は、J.L.Flanagan（フラナガン）の「音声の解析、合成、および認識」Academic Press，N.Y.，１９６５年、である。彼は、音声の物理学および音響音声単位の記述（すなわち符号化）の数学を叙述している。彼は、人間の音声を生じさせるために、人間の声の刺激源および人間の声の管がどのように動き、どのように相互作用するかについての例を与えている。初期の電話事業の商業的な意図は、電話線の当時は限られていた本数上で、および無線（すなわち、ワイヤレス）通信のために使用できる限られたパワースペクトル上で、許容可能な声の特性を伝達するのために、可能な最小の帯域幅をどのように用いるかを理解することであった。次に、研究者たちは、アナログ音声の伝送が、音素または言葉のような音声単位を表す単純な数字のコードが伝送される場合の同じ言葉の伝送よりも通常は１００倍も広い帯域幅を使用するということを学んだ。この技術は、「解析−合成電話方式」または「ボコーディング(V ocodimg)」と呼ばれる。例えば、８ｋＨｚにおけるサンプリングで、１６ビット／アナログ信号値を用いると、１２８ｋｂｐｓが必要であるが、解析−合成の方法では、符号化の必要量を１．０ｋｂｐｓに減じることができる。帯域幅についての利点にもかかわらず、それは、精密な自動化された音素符号化および再合成を必要とし、さもなければ得られた音声は「機械的なアクセント」を持ち、あまり明瞭ではない傾向にあったために、ボコーディングは広範に用いられなかった。音声符号化の難しさの１つの重要な側面は、ピッチ測定値、音声−非音声の識別、および声門刺激パルスのスペクトルを含む、刺激情報の妥当性にある。音声の音響理解および声道の数学的モデリングにおける進歩は、研究室において大部分なされ、非常に精巧になった。それは今では、音声刺激源、声道およびそれらの狭窄、側枝の、複雑化する連結（例えば、発声共鳴器）を記述する微分方程式を用いることによって、人間の声を無理なく忠実に真似ることができる。変換法（例えば、フーリエ変換、ラプラス変換、Ｚ変換等によって解明される電気的類似）が、より単純な場合に用いられ、スーパーコンピュータ上でのより洗練された計算のモデリングが、ますます複雑化し精密になるシミュレーションのために用いられる。モデリングの初期の叙述のためにはフラナガン（同書）を、並びにシュレーター(Schroeter)およびソンディ(Sondhi)著「ハイブリッド時間 −周波数変域調音器音声合成器(A hybrid time-frequency domain articulators peech synthesizer)」音響音声に関するIEEE Trans．，ASSP ３５（７）巻、１９８７年、および「音声信号から声道の形状を見積もるための方法(Techniques for Estimating Vocal-Tract Shapes from the Speech Signal)」ASSP ２（１）巻、１３４３頁、１９９４年を参照されたい。これらの論文は、この中で「インバース問題(inverse problem)」と呼ばれている、結合された音声のひだ−声道システムの独特な数学的記述を得るために、音響出力からさかのぼって作用することは、可能ではないということを再び強調している。声門（すなわち、発声ひだ）の閉鎖によって引起こされる音声空気流における「ゼロ」、および声道内の閉じた、または共振構造によって引起こされる音声気流における「ゼロ」、の両方を独立して記述する情報を得ることは可能ではない。その結果として、最新の信号捕捉、処理、符号化、および再構成のよく発達した数学を、必要とされる程度まで用いることは可能ではない。さらに、数学的な発声システムのモデルを与えられると、それを、まれな人物例の場合、合わせるのが依然として特に困難である。なぜなら、管の長さ、直径、断面の形状、壁のコンプライアンス、空洞の大きさ、声門の大きさおよびコンプライアンス、肺の空気圧、および他の必要なパラメータなどのそういった人物の声道の詳細な生理学的特徴を得ることが非常に困難であるからである。場合によっては、音響出力からの刺激源の逆たたみ込みが、「ゼロ」の無いことが知られているある音に対してなされ得て、したがって、管の長さのような主要な共振構造を決定することができる。例えば、簡単な音響共振技術（Haferによる１９７６年の米国特許第4,087,632号を参照されたい）が、音響ホルマント周波数（すなわち、声道共振周波数）を測定することによって、舌体位置を導き出すために、また舌体位置および管の長さを、Coker「発声の力学モデルおよび制御(A Mo del of Articulatory Dynamics and Control)」IEEEのProc．の第６４（４）巻、４５２〜４６０頁、１９７６年による初期のよく知られた声道モデルに対して限定するために用いられる。この方法の問題点は、管の全体の大きさのみが得られるが、人間が話をするということの生理関数を曖昧さを残さず定義するためには、詳細な声道の諸特徴が必要とされる、ということである。より生理学的な細部のためには、管の長さ、直径、および共鳴器官の領域・構造を求めるため声道のＸ線撮像が用いられている。また、喉に挿入して発声ひだの開／閉周期を見るための光学的な喉頭鏡が、それらの大きさおよび時間的動きを観察するために用いられる。音響音声認識における更なる性能の改良への限界は、インバース問題を正確に解明することができない、ということと直接関係する。現在研究者は、時間に対する刺激振幅とともに声道伝達関数を正確かつ容易に決定するために、音響音声出力をさかのぼって作用させて用いることができない。声道移送関数から刺激関数を分離することについての「失われた」情報は、それぞれの言葉の時間フレームのために音声符号化を自動化するにおいて、また音声に関連した技術のための言葉の音単位のライブラリを形成することにおいて、多くの困難に至らしめる。その問題に対する主要な理由は、研究者が刺激関数をリアルタイムに測定することができないということである。これによって、言葉の音単位がずっと一定であるそれぞれの発声セグメントの開始および終了を自動的に識別することを困難にした。これによって、個々の話者は、毎秒約１０音素または毎秒２語の割合で音を発音するので、連続する発声された音単位（例えば、音節、音素、または音素の複合）の間の移行を結合する（または、切り離す）ことを困難にした。刺激関数および声道のための正確なモデルの係数を得ることの困難さに、音声セグメント識別における正確さの欠如が加わる。さらに、これによって、音声認識のような技術的応用によって必要とされるアルゴリズムおよび計算手続きにおける非能率をもたらす。さらに、上述した困難は、多岐にわたる人間の音声の合成のために、またはボコーディングを満足させるために、個々人の独特な音響特性を正確に符号化することを妨げる。さらに、「失われた」情報は、刺激の、伝達関数からの完全な分離を妨げ、話者から独立した音声単位の正確な符号化（話者の正規化）を妨げる。不完全な正規化は、統計的コードブック検索技術を用いた、正確で迅速な音声認識およびは話者識別の内のうちの少なくとも一方を遂行する能力を限定する。なぜならば、話者の発音の多様性が、対応する処理における不明確さを増し、追加的な統計処理を必要とするからである。失われた情報およびタイミングの困難さは、また、補助的発音、不完全な発音、およびそこにおいて言葉が音声セグメントを含む音響単位の連続中に混合する類似の事象を正確に操作することを妨げる。１９７０年代に、音声認識の分野の研究者たちは、音声信号の短い時間「フレーム」（例えば、１０ミリ秒）の波形が、共分散方程式を解くことによって見つけられる数的「線形予測符号化」（ＬＰＣ）係数を用いて、全てのポール（しかしゼロではない）の解析的表現によってよく近似され得ることを示した。明確な手順が、B.S.AtalおよびS.L.Hanauer「音声波の線形予測による音声の解析および合成」、J.Acoust．Soc．AM.５０（２）巻、第６３頁、１９７１年において記述されている。LPC係数は音声符号化の形式であり、現在のシステムにおいて提供されているように典型的には１フレーム当たり２０〜３０個の比較的小数の変数で音響音声を特徴化する利点を有する。それらは、音声認識のためのヒドゥン・マルコフ（Hidden Markow）の方法を用いて、多数の言葉の表現の統計表検索を可能にする。音声合成器において、各々の音素のための、および十分な数の倍音素（すなわち、音素の対）のための、音響係数（例えば、よく知られたLPC、PARC0R、または類似の係数）のコード・ブックが構成される。テキスト音声発生器からの要請を受けると、それらは検索され、合成音声を発声させるために連結される。しかしながら、正確な符号化の技術として、それらは、表現する音声フレームを近似するのみである。それらの形式および使用は、刺激関数を熟知しての使用に基づいてはいない。その結果として、それらは、発音者の状態を正確には記述しない。それらはまた、所与の話者の特徴を複写するには不十分である。それらは、質の高い自然な音声への自然な連結を可能にしない。それらは、話者に特有な生理学的パラメータを得るための音声モデルに容易に関連づけることができない。発音形態への関連の欠如は、自然の音声の補助的発声および不完全発声の問題を扱うことのみならず、話者の正規化を行なうことをも困難にしている。（音声符号化の現在の例） Rabinerは、「音声処理の電気通信への応用(Applications of Voice Processi ng to Telecommunications)」IEEE ８２のproc.、第８２巻、１９９頁、１９９４年２月、の中で、今日、AT & Ｔ社によって使用されているいくつかの最新のテキスト音声合成システムは、自然な発声音のための連結処理における音素−音素変換をシミュレートするのに必要である、２０００から４０００の倍音素を用いる、と指摘している。図１は、従来の技術の開ループ音声符号化システムを示すものである。そこにおいて、マイクロフォンからの音響信号が、例えばLPCによって処理され、特徴ベクトルが生成されライブラリに記憶される。Rabinerはまた、最新のシステムにおいては、発声源の刺激および声道の相互作用が「非常に不十分であり」、また「自然な持続時間およびピッチが、テキスト−音声の発声の上に複写されるときには、…合成音声…の質は劇的に改善する」と指摘する（２１３ページ）。現在のところ、非常に高価かつ込み入った研究室の測定および計算によることを除けば、目下用いられているあらゆるモデルにおいて所与の個人の声の個々の声道の特性のみならず、ピッチ持続時間および発声空気パルスの時間に対する振幅をも、経済的負担なしに捕獲することは可能でない。 J.L.Flanaganの「マルチメディア・コミュニケーションの技術(Technologies for Multimedia Communications)」、Proc.IEEE第８２巻、５９０頁、１９９４年４月、は、低周波数帯の音声符号化について次のように述べている。すなわち「ナイキスト・サンプル当たり１ビットより少ない場合においては、ソース符号化は、（音声における音声−非音声の区別、およびピッチ、強度、ホルマントの諸係数といった）信号発生器の諸特性を補足的に考慮することが必要である」。符号化の複雑さおよび続く帯域幅を最小化するために音声刺激源を説明する、現在商業的に有効な方法はない。（電磁センサーおよび音響情報）音声認識の目的で音声器官の状態の測定のための電磁センサーの使用、および関連する諸技術が、１９９６年６月２に出願された、Holzrichter（ホルツリヒター）による米国特許出願第０８／５９７，５９６号に説明されている。音声認識の分野において何十年もの間、音声器官の位置および運動の情報は有益であり得るし、かつ電磁センサー（例えば、無線周波数およびマイクロ波レーダー）がこの測定に利用できるということが認識されていたのだが、音声器官の運動および位置を検出するためのそのようなセンサーを用いるシステムを提唱するものはいなかった。また、それぞれの音声単位を符号化するため、および音声単位を識別するためのアルゴリズムにおいてその符号を用いるために、または合成のような、他の音声技術の応用例のために、この情報をどのように用いるかを記述した人はいなかった。ホルツリヒターは、発声器官の位置を得るために同時に得られる音響データとともに電磁センサーの情報をどのように用いるかを、符号化技術として用いるためにこの器官の情報から特徴ベクトルをどのように定義するかを、および高精度の音声認識を行なうためにこの情報をどのように用いるかを示した。彼はまた、この情報が、発声器官の状態における変化を測定することによって、各音素における変化を定義する自然な方法を提供することを指摘し、各音声の時間フレームを自動的に定義するための方法を述べた。彼はまた、断層放射線写真の、または類似の技術によって得られる、「写真のような画質の」電磁波撮像は、彼が述べた手順の実行のためには、ここで述べられる手順のためにもまた、必要ではないということを示した。発明の概要従って、本発明の目的は音響情報と結合した非音響情報を用いた音声符号化のための方法および装置を提供することである。本発明の別の目的は、音響情報と結合した、電磁（ＥＭ）波の発生、検出モジュールを用いた音声符号化のための方法および装置を提供することである。本発明のもう一つの目的は、音響情報と結合したレーダーを用いた音声符号化のための方法および装置を提供することである。本発明のもう一つの目的は、音声符号化のための音響情報と連結してマイクロパワー・インパルス・レーダーを用いることである。本発明のもう一つの目的は、音声認識、数学的近似、情報の記憶、音声圧縮、音声合成、ボコーディング、話者識別、人工発声装置、言語教示、音声訂正、言語識別、および他の音声に関連する応用例を目的とする音声符号化のために提供された方法および装置を用いることである。本発明は、非音響データと音響データとを結合するための方法および装置である。音声器官を記述する非音響情報は、測定のために音声器官に到達する波長での、ＲＦ波のような電磁（ＥＭ）波、マイクロ波、ミリメートル波、赤外線、または可視光線を用いることによって得られる。それらの情報は、マイクロフォンによって測定される従来の音響情報と結び付けられる。それらは、音響情報のみを用いて得られるよりも正確な音声符号化を与えるために、逆たたみ込みされたアルゴリズムを用いて組み合わされる。音声を表す符号化された情報は、そうして、音声圧縮、音声認識、話者識別、音声合成、および音声電話（すなわち、ボコーディング）のような音声技術の応用例のために利用される。同時に得られた電磁センサーおよび音響情報は、時間フレームを定義するために、およびそれぞれの音声時間フレームにたいする話者の刺激関数および声道関数の詳細を得るために用いられる。その方法は、それぞれの音声時間フレームで話された音響音声単位を特徴化するための数値特徴ベクトルの構造が利用できるようにする。これは、先行する研究者たちが利用できたよりも完全で正確な情報の集合を用いることによって、音声の特徴化（すなわち符号化）の新しい方法を可能にする。そのような符号化は、より正確でより経済的な、音声認識、音声圧縮、音声合成、ボコーディング、話者識別、教示、人工発声装置、および他の応用例の目的に用いることができる。本発明は、使用者が、本方法を用いて、定義された各音声時間フレームに対する、人間の音声機構の伝達関数を得ることを可能にする。さらに、本発明は、音声認識、音声合成、話者識別、音声伝達、および他の応用例、における価値のある応用例のためのこれらの関数の符号化（すなわち、数値的な記述）のいくつかのアルゴリズムの方法を含む。ここにおいて述べられた符号化のシステムは、データ平均化およびデータ記憶アルゴリズムとともに電磁波の発声、変換、および検出を含む、１９９６年６月２に出願された米国特許出願第０８／５９７，５９６号において記述されている装置およびデータ収集の技術の多くを利用することができる。出願中のこの特許出願の中で定義された手順は、ＮＡＳＲまたは非音響音声認識と呼ばれる。従来の技術に基づく手順は、従来型音響音声認識（ＣＡＳＲ）と呼ばれ、これらの手順はまた、ここで、処理された音響情報を提供するために用いられる。次のような用語がここで用いられる。音響音声単位とは、本方法を用いて記述され、認識され、または合成される、１つのまたは多重音の発声である。例は、音節、半音節、音素、音的音声単位（すなわち、ＰＬＵ）、倍音素、３倍音素、および言葉のようなより複雑な音の連続を含む。音素の音響−音声−単位が、本方法の音声単位の例のほとんどに用いられる。音声フレームとは、その間に（発声ひだの反復運動を含む）音声器官の状態および音響出力が、定常度を定義する所定の値の中で一定でありつづけるような時間である。複合時間フレームとは、音響的なまたは音声器官の状態の時間に対する変化を記述するために、互いに結合された時間フレームの連続である。音声周期、またはピッチ周期とは、非音声化された音への、または沈黙への移行を含む、次の声門の周期が始まるまで声門が開いている時間、およびそれが閉じている時間の和である。音声セグメントとは、本方法を用いて処理される発声音声の時間の周期である。声門組織は発声ひだの組織および周囲の組織を含み、声門の開／閉周期は、発声ひだの開／閉周期と同じである。ここで用いられる語汎関数とは、変数および記号的パラメータ係数を伴なった数学的関数を意味するのに対して、語関数とは、定義された数値的パラメータ係数を伴なった汎関数を意味する。本方法および装置は、電磁センサーによって検出可能であり、後述のごとく処理される発声器官の運動によって発生させられる動物の音と同様に、全ての人間の発声音に対して働く。例は、アメリカ英語の音声に基づくが、それに限定されるものではない。１）電磁センサー発生器周波数、タイミング、パルス波形、組織伝搬、および電源（および安全）を満たす、電磁波の発生および検出モジュールの全ての構成が用いられ得る。アンテナからの距離に関係するときには、近距離場モード（ほとんど非放射の）において、電磁波が非放射および放射の両方であるところでは中間電磁場モードにおいて、および放射遠距離場モード（すなわち、ほとんどのレーダー）において、作動する電磁波発生器が用いられ得る。１００ＭＨｚから１００ＴＨｚまでのいくつかの波長域内の電磁波が組織を貫通することができ、ここに述べられたように用いられ得る。特定の例としては、２．５ＧＨｚの信号を放射し、２ＭＨｚのパルス繰返し数でその測定を繰り返し、頭部または首内に１０ｃｍ以上貫通する広帯域マイクロ波電磁発生器インパルス・レーダーがある。そのような装置は、その方法を確証するための適切なアルゴリズムとともに用いられてきた。これらの装置は日常の人間の使用のためには経済的で安全であることが示されている。その音声符号化の実験は、２つの異なった構成における、電磁波の送受信装置（すなわち、インパルス・レーダー）を用いて実施された。１つの構成においては、声門の開閉情報が、同時的な発声音情報とともに、マイクロフォンおよび１つのレーダー装置を用いて得られた。実験の第２の設定においては、３つの電磁センサー装置および１つの音響装置が使われた。さらに、頭部および首部内への電磁波の送受信の精度の改善のために、非常に高精度な刺激関数の記述のために、特定の方法が説明される。２）電磁センサー検出器非音響音声情報を得るために、多くの異なった電磁センサー検出器モードが議論されている。複合パルス、固定距離ゲート受信システム（すなわち、フィールド撹乱モード）が、発声ひだの運動および近傍の組織の検出のために用いられた。声道の状態に追加された情報を得るために他の発生組織の位置を決定する他の方法が用いられた。電磁波検出に関するレーダー文献において、多くの他のシステムが述べられ、そして利用することができる。３）構成構造および制御システム携帯式のおよび固定式の電磁センサー音響システムのための多くの異なる制御方法が、音声符号化の目的に用いられ得る。しかしながら、ここで述べられる処理手順は、追加的な、異なる構成および制御システムを必要とするかもしれない。例えば、高忠実度の「擬人化された」音声合成のような応用例においては、計装、データ収集、および音単位の構文解析の性能について、特別強調されなければならない。記録環境、計装の線形性、ダイナミックレンジ、検出器の相対的タイミング（例えば、声門からマイクロフォンまでの音響伝搬時間）、交直変換器の正確さ、処理アルゴリズムの速度および正確さ、および再生機器の品質がすべて非常に重要である。４）処理装置およびアルゴリズム受信された電磁信号および音響信号の各集合については、音響出力から刺激を逆たたみ込みする目的のために、および管の形状識別のために、組織の位置（または運動）についての情報を処理し取り出し、符号化された音声を用いる必要がある。例えば、時間に対する発生ひだ（従って、空気流のための開領域）の位置は、反射電磁波を時間の関数として測定することによって得られる。同様に、唇、顎、歯、舌、および軟口蓋の位置の状態に関する情報は、他の方向から電磁波を送信し、他のパルス波形を用いることによって得られる。発生器官から反射され受信された信号は、メモリに記憶され、以下に定義されるように、各音声時間フレームごとに処理される。反射電磁信号は、時間の関数として計数化され、平均化され、正規化され、そして特徴ベクトルが形成され得る。本発明は、他の音声器官および音響効果の状態が実質上一定である間、発生音声のために声門が開／閉する回数を用いて、音声時間フレームを自動的に定義するために、電磁センサーのデータを用いる。処理のために（符号化または再構成のために）用いられる実際の音声時間フレームの間隔は、データ処理を最適化するために適用することができる。その間隔は、１つまたはいくつかの一定な１ピッチ周期によって、１ピッチ周期の値、小さな音の変化が起こる実質的に同一の周期の数を記述する乗算器によって記述することができ、本質的に一定であるが「ゆっくり変化する」組織の、または音響の状態を伴なう音声の時間間隔を記述するために、ピッチ周期を用いることができる。基本的な声門周期のタイミング単位は、マスタークロックとして役立つ。マスタータイミングのための声門周期の使用は、発せられた音声の符号化、音声圧縮、話者識別、練習データ取得、コードブックまたはライブラリの生成、他の計器との同調、および他の応用例のための、自動化された、音声および発声器官情報の処理システムを可能にする。この方法は、倍音素およびより高いオーダーの多重音の音響音声単位を定義するために、時間の圧縮およびアライメントのために、話者の音声変化率の正規化のために、韻律パラメータの定義および実装のために、とくに有効である。タイミングはまた、非音声化された音声に対して定義することができ、発生音声に用いられる手順に対しても同様である。音声時間フレームが定義されると、使用者は音響出力関数から音響刺激関数を逆たたみ込みする。両方とも、定義された時間フレームにわたって同時に計測される。数学的「転化」の諸問題が克服されているので、従来の方法に比べて、より正確で効率的な符号化が行われる。声門のひだが閉じられ空気流が止まる（すなわち、声門の「ゼロ」）時間を含む、人間の刺激源関数をリアルタイムに測定することによって、これらの非常に重要な関数的形態をモデルの各々の音声単位に役立てることができる。刺激関数を測定するこの新しい性能の結果、使用者は、非常に正確で効率的なディジタル信号処理技術を、音響音声出力関数から刺激関数を逆たたみ込みすることに役立てることができる。この時初めて、使用者は各音声単位に対する人間の発生管の伝達関数を正確かつ完全に記述することができる。人間の音声を記述する３つの音声関数、すなわち、Ｅ（ｔ）＝刺激関数、Ｈ（ｔ）＝伝達関数、およびＩ（ｔ）＝出力音響関数がある。使用者は、他の２つの関数を知ることによって、これらの３つの関数のどの１つをも決定することができる。人間の発声システムは、時間に対して急速に振動する空気流（または気圧パルス）を生み出す刺激関数Ｅ（ｔ）を生成することによって働く。これらの（音響）パルスは、音声出力Ｉ（ｔ）を得るために、声道転化関数Ｈ（ｔ）にたたみ込まれる（または、それによってフィルタされる）。好都合にもリアルタイムで、入力刺激Ｅおよび出力Ｉを測定できるということが、ＩからＥを逆たたみ込みするために線形的数学処理手法を用いることを可能にする。この手順は、使用者が、話者の転化関数Ｈの正確な数値的記述を得ることを可能にする。この方法は、好都合にも、周波数に対する多重振幅として表される、関数Ｈの数値的フーリエ変換に導き、時間変域関数もまた得られる。Ｈに対するこれらの数値的関数は、モデル関数に連係することがすることができ、いくつかの方法で表形式に記憶することができる。関数Ｈは、各話者の声道の音響システムを詳細に記述し、擬人化された発声音を定義する上で支配的な役割を果たすので、特に有効なものである。第２に、合成された出力音響関数Ｉ（ｔ）は、それぞれの望ましい音響音声単位のために、発声刺激関数Ｅ（ｔ）を伝達関数Ｈ（ｔ）にたたみ込むことによって生み出される。第３に、刺激関数Ｅは、測定された音響関数出力関数Ｉから先に得られた伝達関数Ｈを逆たたみ込みすることによって得ることができる。この第３の方法は、音声化されない刺激のそれぞれのタイプのための刺激関数を定義するため、修正白色ノイズ刺激源を得るのに有効である。さらに、これらの方法は、処理ステップの動作の正確さおよび速度を増すために、Ｅ、Ｈ、またはＩの関数形態の部分的知識を利用することができる。例えば、伝達関数Ｈは、唇から聴取者への自由空間音響放射伝達関数を記述する項Ｒを含むことが知られている。この関数Ｒは、Ｈから、正規化するのが容易なより簡単な関数Ｈ＊を残して取去ることができる。発声器官の、よく知られた音響物理学、よく知られた生理学的、機械学的諸特性に基づく同様な知識が、符号化におけるおよび特定の応用例において制約するためにまたは援護するために用いることができる。（方法の基礎）１）話者の発声刺激関数および話者からの音響出力は、電磁センサーおよびマイクロフォンを用いることによって、正確にかつ同時に測定される。１つの重要な帰結として、話者の声門の自然な開閉は、音声時間フレームの定義のためのマスタークロックとして役立てることができる。２）上記１）からのデータは、音響出力から刺激関数を逆たたみ込みし、話者の声道伝達関数の各音声時間フレームを得るために用いられる。３）ひとたび刺激関数、伝達関数および音響関数のパラメータが決定されると、使用者は、関心の度合いにおいて、それぞれの時間フレームにおける音声を特徴化する特徴ベクトルを形成する。４）特徴ベクトルの形成手順は、価値があり、より正確、効率的、および経済的な、音声符号化、音声圧縮、音声認識、音声合成、電話方式、話者識別、および他の関連する応用例のための新しい手順を可能にする。（人間の音声のモデルおよび符号化）システムの数学的なモデルを用いることは、線形システムの応用例におけると同様に音響音声の技法においても通常に行われる。そのようなモデルは、時間に対する（例えば、音響的）信号において測定された全ての情報を保持することに非能率的であり、測定データに対して、単純化したり物理的な知識を強制したりするために定義という強制（例えば、パターンまたは関数形態）を与えるという理由で用いられる。使用者は、その応用例の要求を満たす十分な情報を保持するための、および処理する電子技術およびソフトウェアの限界と両立させるための方法を用いることを必要としている。モデルは２つの一般的なカテゴリーー、線形および非線型、に分けられる。ここにおける方法は、従来の音声技術の技術者には利用できなかった音声の符号化の目的のために、電磁センサーおよび音響情報を処理するための多くの線形モデルを記述する。その方法はまた、表検索によって、または曲線の適合によって、摂動法によって、または入力信号への出力に関連するより洗練された技法を用いることによって定量化することができ、使用者には利用できなかった、非線型音声モデルを用いる符号化を含む。同時に得られた音響情報はまたよく知られた標準的な音響処理技法を用いて処理することができる。処理された音響情報を用いる特徴ベクトルを形成するための手順はよく知られている。その結果生じる特徴ベクトルの係数は、ここで述べられる電磁センサー／音響方法によって生成された特徴ベクトルの係数と結合される。発声システムのモデルは、そこから音圧波が聴取者またはマイクロフォンへ放射する音響共振管を駆動する刺激源によって、一般的に記述される。２つの主要な音声タイプがある。一つは、１）発声ひだが約７０から２００Ｈｚで急速に開閉し、声道内に空気の周期的な突発を与える、音声化された刺激であり、他の一つは、２）声道内での収縮が、空気乱流およびそれと結びついた修正白色音声ノイズを引起こす「音声化されない」刺激である。（いくつかの音は、同時に両方のプロセスによって作られる）。人間の声道は、刺激（すなわち、ノイズ源または気圧パルス）を、ほぼ線形的な過程を介して、認識可能な音に変換する、複雑な音響機械的濾過器である。身体的には、人間の声道は、側枝共振構造、鼻孔連結部、および中間部、端点部の狭窄を伴なった、異なった長さ、異なった領域形状の管の連続である。刺激の圧力波が刺激源から口（および鼻、または鼻のみ）へ前進する際に、それは定常的に伝送され、管構造内の変化によって反射され、唇（および鼻）に到達する出力波は、その濾過プロセスによって強く変化させられる。さらに、圧力波は、音に対しても同様に作用する低いレベルにおいて周囲の組織を振動させる。逆方向に伝搬する波（すなわち、声道の変化からの反射波）が、発声ひだおよび肺の方向へ逆方向に伝わることが知られている。それは、音響的には聞こえないが、声門のシステムに影響を及ぼして、声道組織の振動を引き起こし得る。そのような振動は、マイクロフォン・モードに用いられる電磁センサーによって測定することができる。ベル研究所(Bell Laboratory)（フラナガン、オリーブ、ソンディ、およびシュレーター(Flnagan，Olive，Sondhi and Schroeter)同書）および他所の研究者たちは、刺激源の特性および関連する声道の構成についての正確な知識が、音節、音素、またはより多重化した単位のような所与の音響音声単位を唯一特徴化することができるということを示した。この知識は、それぞれの音声時間フレームにわたって音声単位を記述する特徴ベクトルの係数として役立つ数の比較的小さな集合によって伝えることができる。その応用例によって要求される正確さの度合いを満たすために生成される。もし音声の音において変化があれば、それは話者が、変化した音を生み出すために１つまたはそれ以上の音声器官を動かした、ということもまた知られている。ここで述べられる方法は、そのような変化を検出するために、新しい音声時間フレームを定義するために、および新しい音声条件を記述するための新しい特徴ベクトルを形成するために、用いることができる。正確な声道伝達関数情報を得るための方法は、各時間フレームに対する音声路情報の全体を記述する特徴ベクトルにおいて用いることができる係数を定義するために用いることができる。声道伝達関数を記述するためにしばしば用いられる線形モデルの１つのタイプは、音響路のモデルである（ソンディおよびシュレーター(Sondhi and Schroete r)の同書を参照）。使用者は、人間の声道を多数の路のセグメント（例えば、２０）に分け、高度の数値的技法を用いて、音の波を刺激源から最後の路のセグメント（すなわち、出力）に、（数値的に）伝え、出力音を得る。コンピュータは、全ての反射、再反射、伝送、および他の伝達特徴の軌跡を保持する。専門家は、ひとたび、全てのセグメントを記述するパラメータと全ての刺激パラメータが得られると、その音は受入れ可能であることを知る。この音響路モデルが知られて何年にもなるが、それを記述するパラメータは測定するのが難しく、所与の話者からリアルタイムに取得することは実質上不可能である。刺激関数の測定、音響出力、および逆たたみ込みする手順を記述する本方法は、物理的な声道構造モデルの狭窄および条件がそれぞれの時間記述できるために必要な十分な数のパラメータを生み出す。時系列の技法に基づく一次元的数値手順が、符号化および合成のための正確なモデルを提供するために、２０に達する路セグメントを有するシステム上で実験的に示された。声道のための線形的音響モデルの第２のタイプは、刺激源および伝達関数（ポールおよびゼロを伴なう）が通例用いられている電気回路の類推に基づいている。対応する回路の値は、測定された刺激関数、出力関数、および導き出された伝達関数の値を用いて得ることができる。そのような回路類似モデルは、１個のメッシュ回路の類似から２０（または、それ以上）個のメッシュ回路モデルにおよぶ。体積空気流量を表す電流（および、空気圧を表す電圧）を定義し、それから音響路部室内の体積を表すコンデンサ、音響路部の空気質量を表すコイル、および音響路部の空気摩擦および熱損失値を表す抵抗を用いることにより、使用者は電気回路の技法を用いて声道をモデリングすることができる。（ＴまたはＰｉまたはその両者のような）回路構造は、特定の個人の管の長さ、舌の位置、および側面共振体のような、音響システムの分離構造に対応する。原則として、使用者は、複雑さの要求を満たす定数および構造を選択し、未知のパラメータの値をもつ汎関数を形成する。実際は、回路の類似を定義するのは容易であるが、所与の個人を記述する値を得ることは非常に難しく、それらをリアルタイムに測定することはなお一層難しい。１つのメッシュ・モデルを用いて、電気的類似方法が、リアルタイムに人間の特徴ベクトル係数を定義するための必要な情報を得るために有効であることが実験的に示された。第３の重要なモデルは、移動平均の自動回帰（ＡＲＭＡ）技法を用いる時系列の手順（ディジタル信号処理のタイプ）に基づいている。この方法は、伝搬する媒体における一連の移行をトラバースする際に、波の動きを特徴化するので、特に重要である。ＡＲＭＡ汎関数の度数は、個人のモデルにおいて用いられる音響路内の移行（すなわち、狭窄および他の変化）の数を反映する。そのようなモデルはまた、いくつかのタイプの刺激源、声道の組織媒体それ自身の上を伝搬する波の反応、および刺激関数に向かって逆向きに伝搬する波によるフィードバック、の合体を可能にする理由で、非常に価値がある。ＡＲＭＡモデルの使用は、他の音とともに、音素「ａｈ」と言う話者の声道伝達関数のための特徴ベクトルを形成するために、１４個のゼロおよび１０個のポールを用いて試験された。第４の方法は、データを、測定された刺激関数および音声出力処理値の表に当てはめるために、一般化された曲線の適合手順を用いることである。（例えば、多項式、ＬＰＣ手順、または他の数値近似法を用いる）曲線の適合処理は計算法においてよく知られており、かつ処理される数値データへの許容し得る適合を生み出すために限られた数のパラメータを用いる汎関数形式を使用する。汎関数形式は部分的な物理的知識を含むこともある。これらの手順は、出力を入力に関連付ける任意の非線型的な特性とともに線形的な特性をも測定し定量化するために用いられる。５）音声の符号化およびポストプロセッシング装置次の装置は、音声符号化システムの部分として、または、すべて合わせて、応用例に関連する様々な使用者選択音声のために、用いることができる。以下の装置の全ては、一般的な周辺装置を除いて、本方法を利用するために特別に設計されたものであり、これらの方法なしには十分に作動しない。ａ）電磁センサーを有する電話送受信器。本応用例のために選択された装置は、必要とされる電磁センサー、マイクロフォン、スピーカを含み、いつでも手近に応用例を制御する。このような、電話のような装置の内的構成要素には、１つまたはそれ以上の電磁センサー、処理装置、制御装置、合成装置、および無線伝送装置を含むことができる。この装置は、無線または伝送線技法を用いてより複雑なシステムに結合することができる。ｂ）制御装置。定義された方法に従ってプロセッサが働くように指示することによって、使用者の制御意図を実行する特定の装置であり、それは指定されたプロセッサへ情報を送り、それは、処理されたデータを指示に従って短期または長期記憶に格納し、データを、特別の目的のための別の特定の装置に、ディスプレイ装置に、または指示されたように通信装置に伝送する。ｃ）音声符号化装置。符号化プロセッサの特定のタイプは、それぞれの音声時間フレームにおいて特徴ベクトル内に形成される一連の係数を生成するために、音響センサーからの情報を電磁センサーシステムからの発声器官情報（例えば、発声ひだの運動）に結合させる。これらの働きを遂行するためのアルゴリズムは、その中に含まれる。ｄ）音声認識装置。ポストプロセッシング装置は、音声認識応用例のための音声符号化装置によって形成される特徴ベクトルを識別するために用いられる。その音声認識装置は、ｃ）からの特徴ベクトルを先行構成ライブラリのそれに組合わせる。認識と結びついた他のポストプロセッシング装置（例えば、スペルチェッカー、文法チェッカー、および構文チェッカー）は、通例、音声符号化応用例のために必要である。ｅ）音声合成およびスピーカー。符号化された音声は可聴音響出力に合成される。このようにして符号化された情報は、使用者の新しい音声から、音響出力に変換される記号情報（例えば、ＡＳＣＩＩ記号コード）から、他のシステムから伝送された情報から、および使用者とのシステム通信から検索することができる。さらに、符号化された音声は、多くの声または言語に変えられ合成することができる。ｆ）話者識別。ポストプロセッシングの一部分として、それぞれの話者の特異的な音声および器官運動の特徴が、リアルタイムに解析、比較され得る。その比較は、話者の物理的音声器官運動、形状、および一連の言葉についての言語使用特性の知られた記録である。電磁センサー情報が、音響音声のみを用いてはできなかった識別処理に洗練さの新次元を加える。ｇ）暗号化装置。ここでの手順によって符号化された音声は、認可された使用者以外の他人によって用いられるのを困難にするための様々な方法によって、さらに符号化する（すなわち、暗号化する）ことができる。ここで述べられる方法は、使用者が音声を、暗号化情報が通常用いられる帯域幅を超える付加的帯域幅を要求することなしに、伝送音声信号に加えることができるような低帯域幅の要件で符号化することを可能にする。ｈ）ディスプレイ装置。コンピュータが表した音声情報は、様々な応用例のために使用者が利用できるものでなければならない。ビデオ端子は、話された言葉の書き言葉への表現を、情報（例えば、声道内の調音器官）のグラフィカルな表現を示すために用いられ、スピーカは、先に記録され符号化された音声を使用者に再生して聴かせるために用いられる。その情報はプリンターまたはファクス機を用いて印刷されて表示され得る。ｉ）手動制御装置。手動制御装置は、ここで論じているシステムの指示を手伝うことができる。（「マウス」と類似した）手動制御装置の利点は、入力される音声のタイプの伝達または修正を支援することができるということである。例としては、データの入力から制御の指示を区別すること、合成された音声手動指示カーソルを指示すること、表示テキストセグメントの識別速度を増大させること、使用者による制御の確実性を高めること、望まれる合成フレーズの再生を聞き出すこと、言語補正のために話者の調音器官の位置の声道の形態を要求すること、等がある。ｊ）言語認識機および翻訳機。話者がマイクロフォンに向かって話し始める際に、この装置は音声を符号化し、測定された一連の音素を、それらが属する言語に関して特徴化する。システムは、使用者に、認識される知られた言葉を発音するよう要求することができ、または、システムは、それぞれの言語のためのコードブックを通して統計的検索を実施するために、高頻度の言葉の音のパターンの統計を用いることができる。１つの言語から音声認識された言葉を受入れるために、および同じ言葉のための記号を第２の言語の音声合成コードに翻訳するために、ここで述べられるこの同じ装置および手順を用いることは便利である。使用者は、用いられる言語を識別するために、話者に要求する制御コマンドを実行してもよい。一方、自動言語識別装置は、そこからおよびそこへ翻訳が行なわれる言語を識別するために、言語の統計学を用いることができる。そして翻訳機は、第１の言語が話されている間にシステムが生成した音声単位コードおよび関連する音声単位記号を用いて、第２の望まれる言語への翻訳を実行する。翻訳機によって生成された音声コードはそれから、望まれる第２の言語における記号または合成音声に変換される。ｋ）周辺装置。使用者に新しい能力を可能にするよう要求されることにより、システムに多くの周辺装置を取付けることができる。１つの例として、補助的な媒体インタフェース装置は、音響音声および音声符号化との同調を要求する、ビデオカメラのような媒体の接続を可能にする。データリンクは、他のシステムとの無線または伝送線インタフェースおよび通信を提供するので非常に有効なものである。キーボードは、従来の方法でのシステムとのインタフェースに用いられるだけでなく、音声技法の手順を指示するためにも用いられる。ディスク、テープドライブ、半導体メモリのような記憶装置は、必要とされる情報の一時的な記憶のために、処理された結果または処理の中間データを保持するために用いられる。図面の簡単な説明図１は、従来技術の開ループ音響音声符号化システムの略図であり、図２は、電磁センサーおよびマイクロフォンを用い、光学的補助媒体を含む、合成された非音響・音響音声の符号化システムの略図であり、図３Ａは、音声符号化のシステムを測定する高度に正確で柔軟な声道実験室の略図であり、図３Ｂは、３つのマイクロパワーレーダーおよび音響マイクロフォンを用いる音声符号化のためのシステムの図であり、図４は、開いた状態で示された声道をもった話者の頚部内への電磁放射を行なう電磁センサーの図であり、図５は、同時的に記録される音響データおよび電磁センサーのデータの処理、およびそれに引続く逆たたみ込みをを示すフローチャートであり、図６は、発声ひだのための電磁センサーおよびマイクロフォン音響検出器を示す発声システムの音響および空気流モデルであり、図７は、２０のセグメントに分けられた声道の連続的なモデルであり、図８は、電磁センサーおよび音響データを用いる音声符号化システムの略図であり、図９Ａおよび図９Ｂは、音響圧検出器および電磁声門検出器を用いる、音声「ａｈ」についての時間領域データであり、図１０Ａ、Ｂは、音「Ａｈ」についての声門周期の、音響マイクロフォンデータおよび電磁センサー測定値に対するフーリエパワースペクトルであり、図１１Ａは、２管音素「ａｈ」について得られるフーリエ伝達関数の振幅係数を示す図であり、図１１Ｂは、単管音素「ａｅ」について得られるフーリエ伝達関数の振幅係数を示す図であり、図１２Ａは、音素「ａｈ」についての特徴ベクトルの図であり、図１２Ｂは、図９ＡについてのＡＲＭＡのポールおよびゼロを示す図であり、図１２Ｃは、図１１Ａで示された音「ａｈ」についての対応するＡＲＭＡの「ａ」および「ｂ」を示す図であり、図１３Ａ〜１３Ｆは、１音声フレーム周期の間の音声ひだの開閉の形態および特有の寸法を示す図であり、図１４Ａおよび１４Ｂは、音素「ａｈ」について声門の時間に対する運動を示す、実質上同時に記録された音響信号および対応する電磁センサー信号を示す図であり、図１５Ａは、単語「ｌａｚｙ」についてのいくつかの音響的セグメントを示す図であり、図１５Ｂは、単語「ｌａｚｙ」における、音声化された、および合成音声化・非音声化された単位「ｚ」についての、音声時間フレームおよび電磁センサー発声ひだ信号を示す図であり、図１６は、音響モデルへの電気的類似である電源およびインピーダンス・モデルの図であり、図１７Ａは、体積空気流量を独立変数として用いて、音「ａｅ」の第１形式をモデリングする１メッシュ電気的類似回路の図であり、図１７Ｂは、空気圧を独立変数として用いる１メッシュ電気的類似回路の図であり、図１８Ａは、話者依存特徴ベクトル係数、measCnを、正規化された係数、norm alCnに正規化する方法を示す図であり、図１８Ｂは、正規化された係数を、それにわたって重要な音の変化が起こらない、係数の量子化帯域を表す１つの量子化された値に量子化するための方法を示す図であり、図１９は、音響音声音素「ａｈ」の、測定されたおよび合成されたパワースペクトルの間の比較を示す図であり、さらに、図２０は、符号化のための電磁センサー、復号のために合成器を含む、送受話器およびマイクロフォンを伴なう電話ハンドセット・ボコーディング装置を示す図である。好ましい実施の形態の詳細な説明（一般的な原理）図２は、音声ひだの境界面および声門組織の運動を測定するために用いられる電磁センサーに基づく音声処理モデルを示すものである。これらの運動は、体積空気流量または声門の圧力に関連付けることができ、伴なう音声と同時に測定することができる。人間の声道の刺激入力および音響出力の知識は、出力から刺激を正確に逆たたみ込みするための有効な情報を与える。センサーから、および逆たたみ込み処理からの情報は、人間の音声をリアルタイムに、および経済的に、安全に、使いやすく、および正確に、符号化する新しい方法を可能にする。図２において、音響マイクロフォン１からの信号はブロック２で処理される。ブロック２では、音響信号がディジタル化され、特徴ベクトルが、選択された時間フレームにおいて形成される。電磁発声ひだ検出器３からの電磁信号は処理ブロック４に入力され、ここで信号がディジタル化され、時間単位が定義され、特徴ベクトルが形成される。処理ブロック２，４からの音響および電磁特徴ベクトルは処理ブロック５に入力され、ここで電磁信号が音響信号から逆たたみ込みされる。処理装置４はまたタイミング装置６を制御する。タイミング装置６は、マスタータイミングおよび音声時間フレームを設定すると共に、処理装置２および４にも接続される。ブロック５から出力される逆たたみ込みされた出力情報は装置７に入力される。ここで、データが伝達関数に適合される。この伝達関数は装置８で結合特徴ベクトルを形成するために用いられる。結合特徴ベクトルはブロック９のメモリまたはコードブックに記憶される。声道の状態を測定するために電磁センサー１０を用いることができ、他のセンサー１１もまた利用できる。センサー１０，１１からの特徴ベクトルがブロック１２，１３に形成され、逆たたみ込みのための最良の伝達関数がブロック１４において選ばれ、それから装置７に入力される。さらに、ブロック２からの特徴ベクトルを、従来の音響認識システム（ＣＡＳＲ）へ送ることができ、ブロック１２，１３からの特徴ベクトルを、分離処理およびここで述べられる応用例の引続く使用のために、ブロック１５経由で送ることができる。図３Ａおよび図３Ｂは、いくつかの音声器官の同時的特性を電磁センサーを用いて測定するための、または同時的音響情報を得るための、２つのタイプの実験室装置を示す。図３Ａは特に、それぞれの音声時間フレームの間での発声システムにおける非常に高い忠実度、線形性、および非常に大きなダイナミックレンジ情報を得るように組立てられた高度に正確な実験用計測装置を示す。図３Ａは、３つのアンテナ２１，２２，２３を持つヘッド、および支持スタンド２５に据付けられた音響マイクロフォン２４を示している。アンテナ２１，２２，２３は、送受スイッチ２７ａ，２７ｂ，２７ｃを介してパルス発生器２６ａ，２６ｂ，２６ｃにそれぞれ結合されている。パルス発生器２６ａ，２６ｂ，２６ｃは、パルスをアンテナ２１，２２，２３に振向け、それらは発声器官のさまざまな部分に送られる。アンテナ２１，２２，２３は、反射パルスを拾い、それらのパルスはそれからスイッチ２７ａ，２７ｂ，２７ｃを介してパルス受信機およびディジタイザ（例えば、サンプルホールド装置）２８ａ，２８ｂ，２８ｃへ、送り返される。マイクロフォン２４からの音響情報はまた、パルス受信機およびディジタイザ２８ｄに入力される。支持スタンド２５は、例えば顔位置決め構造体２９および胸位置決め構造体３０を用いて、声道の様々な部分からの信号を検出するために、アンテナ２１，２２，２３を位置決めする。図示されているように、アンテナ２１は、舌や、唇、軟口蓋等を検出するように位置決めされる。アンテナ２２は舌および顎の運動を検出するように位置決めされ、アンテナ２３は発声ひだの運動を検出するように位置決めされる。図３Ｂは、現在利用できるマイクロインパルスレーダーが、制御された設定における様々な音声器官情報を得るために、どのように用いられるかを示すものである。発声ひだまたは他の組織の運動を測定する電磁センサーからの電磁信号は、ここで説明する方法を用いて、真実の発声された刺激信号（すなわち、時間に対する体積空気流量または時間に対する圧力）に関連付けられる。図３Ｂは、支持スタンド３５に据付けられた３つの電磁センサー送受モジュール３１，３２，３３および音響マイクロフォン３４を持つヘッドを示している。その構造は、残りの関連する電子部品を伴なうアンテナが、離れたラックに据付けられる代わりに、全ての電磁センサー３１，３２，３３がスタンド３５に据付けられている、ということを除けば、図３Ａのそれに類似している。この明細書において参照されている多くの実験が、図３Ｂに示される装置に類似した装置を用いて遂行される。図４は、電磁波発生器からの電磁波が、人間の話者の首の中の発声ひだの状態を測定するためにどのように用いられるかを示すものである。その電磁波は、アンテナから放射されるものとして示されている。しかしながら、他の測定装置は、ほとんどのレーダーにおいて使用されるような遠距離電磁界に放射された電磁波に加えて、近距離場または中距離場における電磁波をも用いることができる。電磁波は、発声ひだおよび発声ひだ構造を取囲む声門組織の状態を、応用例の精度に要求されるような頻度および正確さで測定するために、発生させられる。図５は、音声化された刺激関数の知識が、声道伝達関数情報をそれぞれの時間フレームで測定された音響音声出力から逆たたみ込みするために用いられるシステムを示す。それぞれの音声時間フレームにおいて収集された、音響学、電磁センサー情報、および逆たたみ込みされた伝達関数情報を含むすべての情報が、１つまたはそれ以上の音声時間フレームの間に、（制御情報に従って）処理され、正規化され、話者の声を表す特徴ベクトル内に格納される。同様の逆たたみ込み手順が、無声の刺激関数について用いられる。図５に示されるように、電磁センサー制御装置４０は、アンテナ４３からの１つまたはそれ以上のパルスを伝送するパルス発生器４２を駆動する繰返し数トリガ４１を駆動する。電磁センサー制御装置４０は、パルス形式、時間フレーム間隔、統合時間、メモリの位置、関数形式を設定し、パルス発生器４２を制御し、初期化する。制御装置４０およびトリガ４１はまた、距離ゲート受信パルスへの遅延回路４４を介してスイッチ４５を駆動する。アンテナ４３は、発声器官に向けて送られたパルスを方向づけ、そこから反射されたパルスを受信するように位置決めされる。受信されたパルスは、スイッチ４５を通り、積分器４６によって積分され、それから増幅器４７によって増幅され、高域フィルター４８を通って処理装置４９へ通される。処理装置４９は、電磁信号をディジタル化するためのＡＤ変換器を含み、またゼロ位置検出器、メモリ検出器を含み、時間に対する声門を得る。装置４９からのディジタル化され処理されたデータは、メモリビン５０に格納され、それから刺激関数特徴ベクトルがブロック５１で形成される。同時に、音響マイクロフォン５２からの信号は、ＡＤ変換器５３によってディジタル化され、それはまた、電磁センサー制御装置４０によって制御され同調される。ＡＤ変換器５３からのディジタル化されたデータは、メモリビン５４に格納され、それから音響特徴ベクトルがブロック５５で形成される。メモリビン５０からのディジタル化された発声ひだデータは、声門のフーリエ変換を与えるために用いられ、一方、メモリビン５４からのディジタル化された音響データは、音響フーリエ変換５６を与えるために用いられる。２つのフーリエ変換５６，５７は、声道特徴ベクトルをブロック６０で形成するために前もって選ばれた関数形式に適合させられる声道フーリエ変換５９を与えるために、ブロック５８において逆たたみ込みされる。図６は、音響的視点から見た、人間の発声システムの略図を示すものである。図６はまた、音声において役立てられる重要な要素を、声道のための刺激源を形成する（発声ひだの運動を含む）声門の運動を検出するように位置決めされた電磁センサー６１、および口からの音響出力を受取るように位置決めされた音響センサー６２に結びつける。音響刺激パルスの物理的な動きは、それらが発声ひだによって生まれた後に、または気道の狭窄において発声した後に、およびそれらが移動して、変化する管および気室によってフィルタされる際に、音響センサー（例えばマイクロフォン）によって、音響圧力波として測定される。ここにおいて述べられる手順は、すべての重要な声道構造の成り行きをどのように記述するかを、それらが新しい音を作り出すために変化する時をどのようにして決定するか、および引続く応用例のために、そのような状態をどのようにして符号化するかを示す。人間の音声器官の構造の状態は、その構造によって発音された音響音声単位を識別するために十分な情報を与えることが知られている。さらに、これらの構造は個人から個人へと変化し、一連の音響音声単位を発音するためにそれらが形成され運動するその仕方は、言語から言語へと、個人から個人へと変化する、ということが知られている。そのような個人的構造パターンおよび音声音を形成するための時間的な順序付けは、話者識別および言語識別のための基礎を作る。図７は、人間の発声システムを通り中央平面に沿った横軸の寸法を表す切断面の略図である。破線および番号は、声道を短く近似した円筒一定部分によって近似すべき場所を示す。破線で示された各境界面において、円筒は直径を変え、こうして声門から唇や鼻に伝搬する音響波は、伝送され反射される。人間の発声システムにおいては、断面は円形ではないので伝送は滑らかである。この構造を十分な数の下部構造に（例えば、２０個）に分割することによって、それぞれは隣と少しずつ寸法が変わるので、空気の流れ（および圧力）の正確な記述が得られる。よく知られた数値的または時系列的な（例えば、ＡＲＭＡ）技法が、刺激源からマイクロフォン（または人間の耳）検出器に伝搬する音響波を記述するために用いられている。時系列解析（例えばＺ変換）の手順が、それらの関数形式が一連の反射および伝送構造に容易に調和するので、そうしたシステムを特徴化するためには、とくに有効である。それらは、多くの伝達関数の例を述べるために、本明細書中で用いられる。図８は、電磁センサーおよび音響検出器の両方を含む、検出器７１を用いる音響技術システム７０を図式的に示すものである。検出器７１は、例えば、図３Ｂに示される装置に似たように構成でき、または図２０に示すように電話の送受装置に組み込むことができる。検出器７１は、無線（無線周波数のまたは光学的）リンクまたはケーブル通信ライン７２によって、引続き制御ユニット７３に連結される符号化装置７４に接続される。符号化装置７４は、言語認識装置および翻訳機７５、音声合成器７６、音声認識器７７、および単語綴り／構文／文法生成器７８に接続される。手動制御装置７９は符号化装置７４に接続される。制御装置７３は、スイッチ切替えおよび情報の流れの指示のために、符号化装置７４に接続される。他の周辺装置は、制御装置７３を介して符号化装置７４に接続することができる。例えば、ビデオ端子８０、ワイヤや、セルラー、ワイヤレス、ファイバーオプティクス等への通信リンク８１、暗号化装置８２、話者認識装置８３、接続されるビデオカメラ８５との補助測定器インタフェース装置８４、プリンターまたはファクス８６、またはラウド・スピーカ８７、は全て制御装置７３に接続することができる。このようなシステムは、音声情報を記録処理することを、その情報を符号化することを、および、言語コードブックの形成、音声認識、音声合成、話者認識、ボコーディング、言語認識、同時的翻訳、音声の、ビデオシステムおよび他の測定器との同調、低帯域符号化および暗号化、音声の修正および人工発声装置、および言語学習、のような応用例のためにこの符号化された情報を用いることを、可能にする。図８において表されたシステムは、特定の応用例のために、簡単化および小型化することができる。例えば、図２０はボコーディングのための、携帯用に特殊化された変更例を示す。なぜなら、それは電磁センサーと音響情報を取得し、処理し、符号化し、および、その情報を、聴取者のために復号し合成するための同様な携帯用装置へ運ぶ伝送システムに送るからである。（発声システム刺激関数の逆たたみ込み）この方法は、発声システムの体積空気流量源関数を話者からの測定音響音声出力から逆たたみ込みするために、１つまたはそれ以上の連続する音声時間フレーム周期において測定された声門開口（すなわち、発生ひだ）領域情報および音響情報を用いて論証される。図９Ａ，９Ｂは、未処理の音響マイクロフォンデータおよび声門運動データを示すものである。これらのデータのフーリエ変換を得ることができ、それは図１０Ａ，１０Ｂに示されている。これらの２つの関数の数値的表現は、使用者が、時間フレームまたは複数の時間フレーム中の人間の声道の音響濾過を表す伝達関数の数値的表現（すなわち、複素数係数の表現）を得ることを可能にする。刺激関数の音響出力からの逆たたみ込みは、リアルタイム技法、時系列技法、高速フーリエ変換技法、モデルに基づく変換技法、および、データ処理および逆たたみ込みの分野の専門家にはよく知られた他の技法を用いて、遂行される。例として、音響出力のフーリエ変換が、刺激関数の入力によっていかにして分割されるかを示す。図１１Ａは、図９Ａ，９Ｂおよび１０Ａ，１０Ｂからの入力を用いて得られた２管音「ａｈ」を示すものである。図１１Ｂは、２管音「ａｈ」のデータに類似した音響および発声ひだデータを用いて逆たたみ込みされた、単管音「ａｅ」に対する伝達関数を示している。同時的な音響データを伴なう、または伴なわない、他の音声器官位置情報を決定するための（声門センサーに加えて）他の電磁センサーを用いることによって、最良の逆たたみ込みのための、または最も正確な伝達関数の適合のための、最適な伝達関数構造を決定することができる。１つの例として、鼻音素「ｍ」の発音の間、唇が閉じられているとき、伝達関数形式が、閉じられた口腔に起因するスペクトル・ゼロを含まなければならないということを伝えるために唇センサーを用いることが挙げられる。１つの例として、各音声時間フレームにおける、ポールゼロ近似数を伴なうＡＲＭＡ汎関数（すなわち時系列）記述を選択することが挙げられる。ポールおよびゼロの数は、モデルの複雑さおよび結果として生ずる符号化の望ましい精度を表すために選択される。Ｉ（ｔ）およびＥ（ｔ）はそれぞれ、測定された音響出力および電磁刺激である。ｚ変換変数における伝達関数Ｈ（ｚ）を用いた代数的な入出力の関係は、Ｉ(z)＝Ｈ(z)＊Ｅ(z) となる。ここで、Ｈ(z)は、によって因子ポールゼロ形式で与えられる。同様に、伝達関数、汎関数形式は、ａ／ｂの表記法で書くことができる。そこにおいて、ａおよびｂは、それぞれｍ番目の分母の項、およびｎ番目の分子の項の係数である。ＡＲＭＡ関数のためのよく知られた逆たたみ込みの技法を用いることによって、複素数を用いて変換された刺激源信号によって、変換マイクロフォン音響圧力信号を分割し、そこから伝達関数の振幅および位相を得ることができる。伝達関数は、ポールおよびゼロによって、または上に示された２つの異なったＡＲＭＡ汎関数内のａおよびｂの係数によって定義される。さらにもし望めば、唇および鼻孔における体積空気流量関数または伝達関数を得るために、マイクロフォン信号から、よく知られた、唇からマイクロフォン放射関数を逆たたみ込みすることができる。ＡＲＭＡ方式は、刺激関数および音響データの適切な関数定義とともに、音声特徴ベクトルの各音声時間セグメントの直接的および自動的な定義を可能にする。例えば、アルゴリズムは、時間に対する声門体積空気流量の三角近似を定義する刺激関数パラメータを記憶し、それは、１４個のポールおよび１０個のゼロ、フレーム持続時間、韻律学、いくつかの有益な音響特徴、および引続く音響技術の目的のための制御値を用いて伝達関数を記憶する。各関数の形式のために、情報が、リアルタイムな関数として、変換関数（例えば、フーリエ変換）として、または必要であれば混成の関数として記憶され得る。各音声時間フレームに対しての特徴ベクトル情報が、その時間フレームにおいて話された音声に関連する話者（または話者たち）の特徴ベクトルに対して正規化される。正規化の方法は、測定された（および処理された）ベクトル係数を、使用者および関連する話者の両方からの係数と比較することである。関連する話者からの係数は、初期の訓練セッション中に記録される。正規化は、１つの装置から他の装置への変動とともに、電磁センサーと各話者の個人的特徴の間の相互作用における変動を取り除く。さらに、発声器官の値域を表す各個人の係数の連続的な値域は、より少ない個数の値に量子化することができる。「量子化された」値は、量子化された１つの係数から次の係数への変化が、本応用例における、望ましい使用者識別効果を表す。１つの例として、量子化された各係数値は、合成音声音における正確に識別可能な変化を表すということが挙げられる。以下に述べるこれらの方法は、各音声セグメントに対する、話者に依存しない特徴ベクトルの形成を可能にする。各ベクトル内の係数は、時間長に依存しないように、ピッチが正規化されるように、レートが正規化されるように、さらには発生器官の振幅が正規化され量子化されるようにすることが可能であり、それらは、音響情報の重要な諸局面を含む。本明細書中に述べられる方法は、発声システム情報の完璧さ、音声符号化の正確さ、話者および測定器への非依存性、および関連するアルゴリズムの計算法における簡潔さのゆえに、音声符号化における大きな改良を可能にする。（時間フレーム定義の例および特徴ベクトル形成）男性の話者が３００ｍｓの時間セグメントを超えて、音声単位「ａｈ」を発声した際の１１ｋＨｚにおける音声音響センサーと電磁センサーからの声帯ひだ信号のサンプリングをした。図９Ａと図９Ｂにそれぞれ、リアルタイムの音響および声門振幅を、時間信号に対して示す。伝達関数が３２ｍｓのハミング窓で１０ｍｓごとに計算された。混成スペクトルが、音響と声門運動チャネルを共に用いて、２５６点のＦＦＴ（高速フーリエ変換）を用いて得られた。ＡＲＭＡモデルを用い、最小自乗法で最も良く入出力データに適合させた。１４個のポールと１０個のゼロで最も良い適合を示した。このようなＡＲＭＡ係数は大きさと相の両方の情報を含んでいる。ＡＲＭＡ係数の知識により、「ａｈ」の発声音の１０ｍｓ毎の音声フレームでの特徴ベクトルの構成ができた。それらの本質的に同一な音声フレームが３００ｍｓの多重ピッチ周期音声時間フレームの中に合成された（３０の音声フレームの、それぞれ１０ｍｓ分が１つの多重時間音声フレームの中に結合される）。音響出力と刺激入力関数の周波数応答を図１０Ａと図１０Ｂにそれぞれ示し、計算された伝達関数振幅を図１１Ａに示した。同様のプロセスが音「ａｅ」についての伝達関数振幅を発生するために用いられ、図１１Ｂに示した。図１２Ａに示された「ａｈ」音の特徴ベクトルは、処理されたデータを表すため、ｐ特徴ベクトル係数、Ｃ１からＣｐまでの合計を用いて構成された。この例では、Ｃ１は伝達関数のタイプを表すために用いられ、例えば「１」は、「ポール」と「ゼロ」公式においてＡＲＭＡ関数的な使用を意味する。Ｃ２は「ポール」の数を表し、Ｃ３は適合させるために用いられた「ゼロ」の数を表し、Ｃ４は発声された音声単位の種類を示し、例えば、「０」は孤立している音素を意味する。Ｃ５は先行する音響の音単位に用いられる接続のタイプを表し、例えば、「０」は無音音素への接続が必要であることを意味する。Ｃ６は次の音単位への接続を表し、例えば、「０」は次の無音音素への接続が必要であることを意味する。Ｃ７は３００ｍｓ多重フレームの音声セグメントエンベロープを表し、Ｃ８はピッチであり（例えば、１２０声帯ひだサイクル／秒）、Ｃ９は基礎的な倍振動のバンド幅を表す。第１倍振動へ第１０倍振動力を通しての２番目の相対的な比率を表す他の特徴ベクトル係数は、声の刺激の伝達力から得られる（図１０Ｂ）。加えて、オクターブ毎の倍振動の刺激力の低下は、１ｋＨｚ以上、−１２ｄｂ／オクターブの負の傾斜を持つ直線で表すことができる。「ポール」と「ゼロ」係数データを図１２Ｂに示す。それらは図１２Ａ中のベクトルに適切な係数として保存される。最後の係数Ｃｐは音のシンボルであり、その次から最後のＣｐ− １は、フレーム毎の音響エネルギーであるＣＡＳＲもしくは同様のシステムからの音響情報である。もし使用者がＡＲＭＡ伝達関数の代わりの公式を用いることを望むなら、「ａ」と「ｂ」の係数を用いることができる（図１２Ｃ参照）。「ａｈ」という「長音」音声セグメントでの特徴ベクトルを表す代わりの方式としては、８．３ｍｓ毎に（１２０Ｈｚ周期の刺激）フーリエ変換を行って、３００ｍｓの長い多重フレーム音声セグメントの中に３６の個々のピッチ周期フレームに結合することである。第２の代わりの方式としては、定数であるとテストされたので、３００ｍｓ全体でフーリエ変換をすることである。しかしながら、ＦＦＴアルゴリズムは大量のデータを処理する必要がある。音響の音素単位「ａｈ」の安定度のために、使用者は最初に安定度３００ｍｓの周期を定義することを選択し、都合が良い１０ｍｓ周期の反復的な刺激と出力音響信号を３０回処理し（すなわち、ＦＦＴ）、それから結果を平均する。合成音声セグメントがテスト（音声合成の下部のセクション参照）と同じく、図１２Ａに示されたようなベクトルでの情報から再構成される。声帯ひだ刺激関数は１００ｍｓの間隔以上に発生源項を発生するために倍振動振幅と相情報を用いて最初に再構成された。刺激関数は１１ｋＨｚもしくはそれ以上でサンプリングされた。サンプリングされたシーケンス時間は、ポールとゼロの差の式により指定されるＡＲＭＡモデルを駆動するため用いられた。ＡＲＭＡモデルの出力は、音声合成（図１９参照）のセクションに示したように音声音「ａｈ」を再構成するために用いられ、使用者は、快適音「ａｈ」を発生させ、それを聞くことができる。（好ましい実施の形態の応用例）音声の時部分を定義して特徴ベクトルを形成する手順は多くの応用例が可能である。最初に、基準として役立つ使用者すなわち話者もしくは他の話者が、感知および記録システムに図３Ａもしくは図３Ｂに示したように発音する。特徴ベクトルが、言語（例えば音節、音素、ＰＬＵ）音響音声ユニット）内のすべての単一単位音に対して形成され、多くの多重音の単位音（例えば、倍音素、３倍音素、単語および句）も同様に使用者によって応用例に対して必要とされる。識別された特徴ベクトルは、音声セグメントのために、必要な正規化ないし量子化をすることができ、コードブック（すなわち、ライブラリ）に保存される。保存された特徴ベクトルの識別は、いくつかの方法で行うことができる。それらはフレームの時間シーケンスにおけるフレーム位置によるか、またはマスタータイミングクロックによってラベルを付けることができる。それらは、使用者が提供した音響の音声単位名と一緒にそれぞれの特徴ベクトルを周知のラベル化法を用いラベルを付けることができる（例えば図１２Ａ、最後の係数Ｃｐ＝ａｈは、音素「ａｈ」を表す）。それらは、音声セグメントのための特徴ベクトルに欠落音響の音声単位ラベルを加える音声認識を用いて自動的にラベルを付けることもできる。音声器官位置、その運動量および作成された音単位の間の直接の関係により、ここに記述された方法は、音声における音声システム条件の以前に可能であった方法より、より基本的なパラメータ化を供給するものである。それらは、倍音素、３倍音素、単語全体および他の周知の組み合わせのような多数の音素を含む音響の音声単位の記述と同様に、単一の音響の音声単位の、簡単ではあるが非常に正確な記述をすることができる。一旦、音声セグメントが識別され保存されると、多くの応用例が可能である。それらは、音声認識、音声合成、電話通信のための音声再生、人工発声器官、音声訂正、外国語認識、学習、話者認識を含むものである。音声認識のために、使用者は自動音声単位認識の目的のためライブラリに前もってに保存された特徴ベクトルと直接音声テンプレートとのマッチングを行うことができる。同様に、使用者は、Hidden Markovモデル、またはニューラルネットワーク、または結合もしくは排他的な前もって保存された情報を用いて、ひとつまたはいくつかの連続的に形成した特徴ベクトルの認識のための統計上の技術を用いることができる。音声再構成（すなわち、音声合成）の目的のための符号化手順は、個別の話者のどのような音の特性化をも可能にする。その後、それぞれの音声セグメントの正確な合成の方法を用いて、多くの音声セグメントが一緒に結合される。合成音声は、望むように変えることができる。話者認識と言語認識は、音声符号化がそれぞれの使用者の特定の性質と使用者が発音する言語の性質を反映するゆえに可能である。（音声化刺激関数の記述）望ましい方法は、声道を通過する空気流量を独立変数とし空気圧力を従属変数とすることに基づいているものである。電磁センサーが声の箱（すなわち、咽瓦の位置で「のど」の前に置かれる。それらの開閉につれて、声帯ひだおよび声門の組織周囲からの電磁波反射の変化を測定する。使用者はそれぞれの音声化された音響の音声単位の発声の間に声門の開口部を通して空気流の相対的な体積を決定することができる。これは人が、自動化された方法で、どんな話者の正確に音声化された音声刺激関数でも測定し、発生させ、音声時間フレーム間隔、またはこの関数が定数となる、周期的な反復刺激を供給する間に間隔を定義することができるものである。１つの実証方法としては、声門の組織運動検出のための電磁センサーを最適化する「フィールドかく乱」を用いて、声帯ひだの開閉として声門域から電磁波反射レベルの変化を測定することである。時間フィルタにより、約５０Ｈｚから２ｋＨｚ未満の信号バンドパスを許すために、音声化声門信号は容易に測定され、首の他の信号および首に関連して動くセンサーの遅い胴体運動と関連付けられたそれらから分離された。次のステップはそれぞれの反射条件を声門の開口域と関連付けることである。エリア測定方法は、声門の組織の機械的および生理学のモデルを用いること、および物理的な空気流センサーまたは圧力センサーに対しての電磁センサー信号の較正による誘電材料からの電磁波散乱の周知の物理学を用いることに基づいている。それで空気流対エリアのモデルが、流体力学原理上に基づいて用いられる。音声に必要とする符号化の忠実度に依存する他の応用例のために、電磁センサーは、より正確なデータ、より広い帯域幅データと直線性およびダイナミックレンジの増加したデータを発生するために最適化することができる。発声された刺激関数を得ることについての一般化された方法は、電磁センサー振幅対時間信号が声門のエリア対時間または空気センサー幅対時間信号（例えば、空気流センサーまたは空気圧力センサーを用いて得られる）の咽頭鏡写真に対して較正される手順を含む。１つの方法は、電磁反射信号の電磁センサー測定と同時に、光学的に開口エリア対時間の写真を撮るために咽頭鏡を用いることである。図１３Ａ〜１３Ｆは声門エリアの開閉をイメージした声帯ひだの例を示すものである。別の方法は、絶対空気流対時間信号に対して、もしくは圧力対時間信号に対して電磁センサー信号を較正するために空気センサーを種々の声道の場所に置くことである。所定時間での電磁センサー信号振幅と同時に関連付けられた空気流信号（またはその二つの圧力値）の間の直接の機能的な関係は、応用例での音声語葉のために必要な条件の使用の下に両方同時に十分に測定することによって得られる。これらの方法は、音声合成応用例のために必要とされる符号化応用例に対して声門の開閉時間と声門の開閉時においての空気流対時間信号の形状（すなわち、導関数）を得ることに対して特に価値がある。正規化手順が信号を訂正するために用いられ、その関係は、検索テーブルまたはコードブックに保存され、または関係がモデルに基づく関数、もしくは適合関数曲線によって近似される。このように、声門の組織からのそれぞれの電磁センサー信号値のために、空気流または空気圧力値を関連付けることができる。空気流量に基づく刺激関数での実験が本発明の方法を有効化するために行われた。データは、よく知られている流動方程式を用いることによって分析的に記述され、その１つは１９６５年の同上文献の４１ページにFlanaganによって記述された方程式３．４６である。声門の開口部を通しての空気流に対する抵抗は、一定の肺圧力において、以下に式（１）で与えられる。抵抗Ｒｇは総空気流Ｕ（すなわち、空気流体積）で割り算されて声門の開口部のいずれかの側面（すなわち声門伝達圧力Ｐｓ）への圧力の差と等しい。この例では、ρ＝空気密度、ｌ＝声門のスリット長、ｗ＝声門スリット開口部の横軸長である（図１３Ｂ参照）。式（１）における粘性項は無視される。なぜならその項は小さい開口部のためにのみ必要で、実証実験には用いなかったからである。（１）Ｒｇ＝Ｐｓ／Ｕ＝（粘性項）＋０．８７５ρＵ／２（ｌｗ）² （２）Ｐｓ＝Ｕ＊Ｒｇ（３）Ｐｓ＝０．８７５ρＵ²／２（ｌｗ）² （４）Ｕ＝（ｌｗ）＊（Ｐｓ／０．４３８ρ）^1/2 声門の開口部エリアｌｗの変化は、声門の組織材料が動くにつれて、局部的な誘電値の変化によって起こされる電磁波反射の変化に比例する。この例では、反射した電磁波信号が、声門が開口した時に声門の組織量の縮小に比例して変化する近似を用いる。この解釈は実験的な例で用いた電磁センサーのタイプが「フィールドかく乱」のためにうまく機能する。声門の開口部形状についての知識を用い、開口部の組織量が式（４）におけるＷ、声門の幅、に比例して縮小するという、さらなる関係が発展させられる。このようにフィールドかく乱電磁センサーで直接「ｗ」を測定して（もしくは領域制限電磁センサーのような他のセンサーシステムを用いることによって）、必要とされるエリア値対時間の関係が得られる。その後、式（４）を用い、必要とする体積空気流信号Ｕ対時間の関係は、エリア値ｌｗから得られる。図１４Ａ，１４Ｂに、実験的に得られた音響信号および声門の組織運動から関連付けられた電磁センサーの信号を示す。電磁センサー信号と体積空気流Ｕの間にちょうど誘導された関係を用い、一定の声門伝動圧力Ｐｓを想定して、図１４Ｂの信号は相対的な体積空気流Ｕ対時間を表す。単純化された分析的な方式は、声門の組織運動の電磁センサー測定の結果として生じている空気流のモデル化のために上記で用いられ、刺激関数データを持つことについての有効性、タイミング情報の明快さと逆たたみ込みプロセスの率直さを実証するために使用される。実験では短い音声セグメントのこの記述でそれぞれの音声フレームの間に一定の肺圧力と一定の声帯伝動圧力を想定した。たいていのケースでは空気流Ｕ（ｔ）の相対的な変化は十分で、ゆっくりとした肺圧力の変化は問題ではない。しかしながら、もし肺圧力が必要なら、電磁センサーを肺体積変化または横隔膜運動を測定して相対的な肺体積変化を決定するために用いることができる。必要とされる測定周期を超えて声帯伝動圧力を変えるケースでの方法が以降で記述される。加えて、いくつかの声門周期を超えて発生する音響音声の振幅エンベロープの変化は、特徴ベクトルに記録され、空気流およびそれで刺激振幅における相対的な変化の尺度を供給することができる。このような振幅変化は音声認識、音声合成のための重要な韻律情報を供給し、同一の発音の句が非常に特異である個性化された発音での話者認識手順のために特に価値がある。手順は空気流量を独立変数として用いた。しかし、電磁センサーが他の声門組織の条件を検知するためにどんなに最適化されたとしても、それらが空気流量または局部圧力の変化に応答する限り、用いることができ、それらの応答は、体積または圧力対符号化手順の使用のために音声化した音声発生源関数の時間を供給する式（すなわち、アルゴリズム）に入れることができる。（後段および伝達部の声門圧力変動ための空気流修正）大部分の条件のために声門の開口部が、高インピーダンスの空気流オリフィスであることは周知であり、声門のインピーダンスが続く後段の声門のインピーダンス値より十分に高いことを意味している。この近似では、後段の声門の声道変化は、声門伝動圧力および声門のオリフィスを通過する空気流に影響を与えない。しかしながら、さらに現実的な近似では、このような空気流変化は重要であり得る。使用者は、より正確に、音声化された刺激関数を記述することを望んでもよく、電磁センサー信号および有名なアルゴリズム手順を使用して以降の方法の１つを用いることを望んでもよい。声門オリフィスを通しての空気流の上述のモデルが声帯ひだの両側に対する一定の圧力（すなわち、一定の声門伝動圧力）を想定するのに対し、音声時間フレームの間での後段声門圧力変化の効果は電気的類似および物理的な原則からよく知られている近似技法を用いて予測することができるか、または局部的な圧力に敏感な組織運動を用いて測定され得る。これらの圧力訂正は重要であり得る。なぜなら、図１６から、後段声門圧力Ｐ１（電圧Ｖ１として表す）が肺圧力Ｐ０（電圧Ｖ０として表す）の重要な部分になる時、その後、空気流量関数Ｕを定義するための声門エリアの使用は失敗する。必要な修正を持っている改善された計算式が最高品質の刺激関数特性が必要とされる応用例、例えば「妨害」音声のために用いられなくてはならない。声門の運動のために電磁センサーを用いることによって、高感度モードで、使用者は空気流圧力変化によって起こすことを知られている低い振幅の声帯ひだ組織運動（例えば、振動）を測定することができる。このような圧力変動は、例えば、後ろ向きに音響の信号を伝えることによって起こる。声門の開口部に影響を与える振動は同じ電磁センサーによって検知されて他の周囲の組織振動から区別することができる。図１４Ｂに、わずかに変調した声門開口部対時間信号のピークエンベロープ振幅信号のこのような振動の例を示す。これらは音響圧力波が関連付けられることが知られている。なぜなら低い周波数の声門のエンベロープは電子的に濾過されるから、より高周波の振動信号を残し、後者は増幅されて、ラウドスピーカに送ることができるからである。放送された信号はほとんどマイクロホンによって記録された音響音声とほとんど同じであるとして識別可能である。これらの信号は小さく測定され、同様にこれらの効果の大きさを表す計算でも、大抵のケースで小さく示される。応用例における高忠実符号化は重要であり、声門の組織のコンプライアンスが機械的モデルまたは話者認識のために必要とされる際、次の方法が必要とされる追加情報を供給するために用いられる。次に示す７つの方法が、声門伝動圧力変化のための声門空気流対時間において変動を可能にするために記述される。それらは関心のある定義された時間フレームの上に改良された発声の刺激関数記述を形成するために用いられる。１）空気流モデルが声帯伝動圧力の変化によって摂動させられていることは周知であるが、声門開口部信号に対する変化をしてはいけない。空気流量関数対一定の声帯伝動圧力を想定している時間での数値の近似を形成すること。音響の信号から空気流量関数を逆折りたたみすること。適切な変換汎関数を用い、時間フレームのための変換関数を表す係数数値を見いだすこと。未訂正の刺激関数、関連した伝達関数および測定した音響信号パラメータを用いて、時間フレームのための特徴ベクトルを構成すること（他の係数が特徴ベクトル形成の下で以下に記述すると同様に）。この方法で用いられる３つの音声関数は、Ｅ（ｔ）、Ｈ（ｔ）、Ｉ（ｔ）であり、互いに自己整合性である。それらは、多くの特徴ベクトルパラメータ（およびこの様なコードブック）が不完全であるが、しかしそれらはすべて自己整合性であることを認めて、必要な応用例の特定コードブックを発生するのと同様に、リアルタイム特徴ベクトル形成および時間フレーム定義のために用いることができる。多くの応用例に対して、この方法を用いて発生する特徴ベクトルは十分に良好なものである。２）伝達関数の空気流音声モデルと一緒に個別の話者（または平均の人間の声道を用いて）の生理学のデータを用いて、声門から見て前方への伝達関数のインピーダンスから声門の後段の圧力を計算すること。この手順は音声路での空気流と圧力を設計する専門家によく知られている。（種々の声道器官位置を測定するための追加の電磁センサーが機能的な伝達汎関数とその当然のインピーダンスの選択を助けるべきデータを供給するために用いることができる）。声門伝動空気圧力に一次修正をするためにこのインピーダンスを用いること。そうすれば空気流に対する修正を上述の式１〜４から得られる。訂正された刺激関数特徴ベクトルを形成するために訂正された空気流量を用いること。３）電磁センサー信号からのならびにそれを用いて空気流量対センサー信号の関連付けられたモデルからの声門組織および近辺組織の振動を誘発する後段の声門圧力を除去すること。２つの関連した方法の１つを用いること。方法３Ａ）生の電磁センサー刺激信号の濾過を変換または、より高周波のノイズを誘発する音響圧力を除去する回路技法を用いて行うこと。しかし空気流量値を発生するモデルのためおよび次の特徴ベクトル形成のために必要する低周波数刺激関数形状情報を保存すること。方法３Ｂ）電磁センサーからの組織振動信号および後ろ向きの音響伝達関数を決定する音響出力（タイミング遅れを訂正した）を用いること。振動信号のフーリエ変換を音響信号のそれで割り算し、伝達関数の数値（または適合曲線）情報を必要とされる再呼び出しのためにメモリの中へ保存すること。次に、それぞれの時間フレームのために、測定された音響信号出力と関連付けた声門の組織振動レベルを計算するために後ろ向きの伝達関数を用いること。それから「ノイズフリー」の刺激関数信号を得るために、発生する電磁センサーおよび処理された信号から後ろ向きの伝動された音響信号を引き算すること。この信号は、声門の組織および空気流に横切った方向での近くの空気管組織の機械的振動を誘発する後ろ向きの移動している音響音波を表す。この音響波は、声帯ひだエッジの位置に対する効果をほとんど持たず、それで実際の空気流量Ｕに影響を与えない。しかしながら、ある電磁センサーがこのノイズを測定し、それは刺激関数を表す電磁信号の上に現われる（例として図１４Ｂ参照）。このノイズレべルで話者の特定ができる。話者に依存しない刺激関数符号化の高忠実度に対して、このような全体空気流の値と混合した振動信号は望ましくない。４）空気流軸を横断し、局部的な圧力に比例している声門の組織または近辺の管組織動議を検出すること。例えば、空気流軸を横断する方向に圧力に敏感な組織の運動を測定するように最適化された領域制限電磁センサーを使用すること。電磁センサーおよび圧力に敏感な組織の近くに位置している空気圧力センサーからの同時の信号を用いて較正すること。それぞれの時間フレームで、電磁センサーによって測定した圧力を用い、式（４）で空気流修正を決定すること。式（４）で用いられた一定の声門伝動圧力近似の、（使用者定義の）エラー限界を超える後段の声門の圧力変動のための、それらの空気流値を修正すること。５）すべての声帯ひだ運動の方程式と整合しない信号を取り除くことにより、電磁センサーが声門の開口部信号に関して測定したノイズを取り除くこと（Schr oeter，J.Lara，J.N.，Sondhi，M.M．らの「Speech Parameter Extraction Usin g a Vocal Tract/Cord Model」IEEE，1987に記載のような周知のモデルを用いて）。生理学モデルセクションの下部に記述したように、定数を個人の声帯ひだ運動を表す生理学モデル関数に測定しセットするために電磁のセンサーを用いること。よく知られているKalmanモデルまたは濾過技法に基づく他のモデルを用い、モデルと整合しない信号寄与分を濾過すること。６）空気流センサー（または圧力センサーまたはその両者）を後段声門の空気管に挿入し、本質的に同時の電磁センサー信号を用い、上述した式１〜４で示されたモデルと整合しない声門伝動空気流（または圧力）の変化、または空気流対電磁センサー信号の他のモデルのために較正すること。訓練セッションの間に、声道配置および身近な応用例が重要である故に測定された効果である周波数のために、このデータを得ること。それから、それぞれの測定された空気流値（または圧力値またはその両者）を電磁センサー信号値と関連付けられたテーブル検索または適合する曲線を形成すること。ここでの方法の実際の音声応用例の間に、声門の組織運動の電磁センサー信号を得ること。センサー信号を未修正の空気流または圧力のモデル値と関連付け、次に以下のように空気流または圧力値（またはその両者）を修正すること。６Ａ）望ましいモデル方式（例えば、式１〜４）でそれぞれの後段声門か、または声帯伝動圧力の想定を訂正するために電磁センサー対圧力データのテーブルを用いること。もしくは、６Ｂ）逐一修正された値の空気流刺激関数のそれぞれの生の値を直接修正するために電磁センサー対測定流量のテーブルを用いること。修正された圧力または振幅対時間として空気流信号もしくはフーリエ振幅および位相対変換スペースの周波数を記述すること。７）音声路を表す数学方程式で圧力を独立変数にするため、モデルを変えること（回路モデル例として図１７Ｂ参照）。空気流量を従属変数にすること。回路および数学的近似において独立変数と従属変数間で電圧と電流（すなわち、圧力と空気流量）を交換することはよく知られている。図１６，１７Ａおよび１７Ｂを参照すること。上記パラグラフ６）および４）で記述したような応用例で必要とした調音装置条件の範囲のために、電磁センサー信号値対測定圧力のテーブルを構成すること。以上７つの方法は要するに、アルゴリズムはそれぞれの音声時間フレームのための刺激関数Ｅ（ｔ）を得て、上記の７つの方法の１つによる応用例によって必要度に応じそれを修正する。次には、伝達関数のセクションの下部に記述されて、そして応用例のための音声時間フレームのための伝達関数を得るために音響出力からそれを逆たたみ込みする。実験は、上記１）、３Ａ）、６）の方法を有効化した。方法１）はいくつかの音声認識と音声合成応用例のために十分に正確な特徴べクトルを発生するために用いられた。方法３Ａ）は、声帯ひだエリア対時間信号から、高周波ノイズを取り除くために用いられ、方法６）は声道空気流に対して電磁センサーを較正するために用いられた。（音声化特徴ベクトルの形成）空気流量関数データは、最初に、声に出された音声のそれぞれの声門の開閉周期の間に、人間の音声化刺激関数の価値ある記述を供給する。最も重要なことは、使用者が、空気流対時間と声帯ひだ閉鎖時間の持続時間（すなわち、時には声門の「ゼロ」と呼ばれる）の正確な形状を得ることを可能にすることである。図１４Ａ，１４Ｂに、測定された声門の開口部対時間の注釈付きの実験的なデータを示す。典型的な三角形的パルス形状が見られる。個別のピッチ周期のシーケンス（すなわち単一音声時間フレーム周期）が本質的に全部同一で、それゆえ多重時間のフレーム特徴ベクトルは容易に形成される。第二に、このデータは音響信号と電磁センサー信号の間に時間オフセットを示す。これは、声門の組織から反射された電磁信号と声門から口や鼻を出て音響マイクロホンまでの長い経路を行く、より遅い音響信号の間の、タイミングでの伝搬時間の相違により主に起こされる。もしタイミング訂正が必要とされる場合は、咽頭鏡や、空気流、圧力センサー、電磁センサー較正手順、または正確な時間測定を用いて較正手順を取ることができる。声門の空気流（または圧力）振幅対時間を用いることができ、種々の方法で符号化される。それらは、リアルタイムの振幅対時間間隔の記述を含み、それは、適切な変換を用いたり、多項式のような近似関数や、１／２サインサイクル、三角関数や他の関数による形状近似を用いて行なわれる。最小帯域幅伝達のための刺激関数の符号化の１つの例は、声門のエリア関数対時間の三角形の開閉のパラメータとして刺激関数特徴ベクトルを測定し保存することである。それはピッチ周期、ひだが開いている周期の一部（声門がピッチ周期の始めには開く習慣を利用している）、ならびに開口部がピークに達する周期中の場所およびその大きさ（ピークの広さは正規化される）によって示される。この単純な記述は現在用いられている多くの刺激関数よりいっそう正確であり、この例では、それぞれ４から８ビットの内の３つの数のみによって表される。さらに、もしいくつかの周期が、ピッチ周期持続時間と音響出力で「一定」と測定されているなら、このような一連の周期は、単一の周期プラスもう１つの数で、多重ピッチ周期時間フレームを定義して、一定の周期の音響出力の数を表わすことができる。より複雑な刺激関数特徴ベクトル形成方式は、空気流量対時間の１つまたはそれ以上の音響の音声単位が一定で反復的である声門周期のフーリエ変換を行うことである。例としては、０．３秒の持続時間を超えて発声された長い「ａｈ」音素である。特徴ベクトルと時間フレームは十分に一定の音声の０．３秒の持続時間を超えた刺激関数を記述するために形成される。例えば、使用者はピッチまたはピッチ周期である最も高い振幅信号（第一倍振動である）の周波数の場所を記録することができる。加えて、使用者は基本振動、基本振動からのより高い倍振動の位相偏差、基本帯域幅を比較してより高い倍振動の部分振幅レベルを記録することができる。基本振動へのより高い倍振動（例えば、ここで、ｎωｏ＞１０ ωｏ）振幅強度関係は、声帯ひだの仕組みを知って、または実験的に測定されたオクターブ当たりの低下率（通常、−１２ｄｂ）を記録することによりモデル化することができる。多重時間フレームの特徴ベクトルは、いくつかの音声化音声周期にわたって安定した、またはゆっくりと変化する波形信号があるかを試験することによって形成される。安定しているとは、音響振幅および刺激振幅対時間が１つのフレームから次のフレームまでほとんど同一であることを意味し、ほとんど同一であるとは、各々の時間間隔内の振幅が、定義された標準の選ばれた端数以内であることを意味する。この標準への安定度の度合は、時間的に有利に自動的に用いられて使用者により容易に定義することができる。１つまたはそれ以上の自動化された手順を用いる音声時間フレームの安定度を定義するこの方法の性能は、計算の経済性を可能にし、汎関数の記述の正確さを増加したので価値がある。その理由は、それぞれおよびあらゆる音声フレームの上に別の計算を行うことを対比してより反復的な振幅データと一緒にいくつかの音声フレームを用いて１つがただ１つの計算をするのみで良いからである。その上、使用者は、複数の音声時間フレーム間隔にわたる空気流量（または圧力）の刺激の変化を示すゆっくりと変化する関数を定義することができる。減少するピッチ周期の例として音節強調または質問の間に発生するものがある。特徴ベクトルは、定義された時間フレームにわたる機能的変化を示す１つまたは２つの番号といっしょに１つの周期時間フレームから得られた基本的な刺激関数の定数を含む、複数のピッチ周期を持つ時間フレームの間に形成することができる。図１４Ｂに、話者が「ａｈ」という音素を発音するにつれて複数の音声周期の間に音声刺激の安定度がわずかに変化する様子を示す。この手順もまた、平均的話者の音声刺激関数または特定の話者の保存済み特徴ベクトルからの偏差に基づいて特徴ベクトルを定義する手段を提供する。この場合、特徴ベクトルには、絶対値ではなく平均値からの偏差が含まれる。これはリアルタイムで、もしくはフーリエ空間で、またはこれらを混合した技法で実行することが可能である。図９Ａ，９Ｂ，１０Ａ，１０Ｂおよび１１Ａに、連続する３６の声門の開閉音声周期にわたって音素「ａｈ」を発音する男性話者によって取られたデータおよびそれから導き出された音声関数を示す。これらの図には、音響マイクロフォンおよび声門ＥＭセンサーから得られた振幅対時間信号（図９Ａ，９Ｂ）、センサー信号の各々の集合のフーリエ・パワースペクトル（図１０Ａ，１０Ｂ）、および図１０Ａから図１０Ｂのデータを逆たたみ込みすることによって得られた話者の声道伝達関数（図１１Ａ）が示されている。以下に説明する手順を用いて、特徴ベクトルが３００ｍｓという時間フレームの間に形成されたが、この中で、剌激関数の記述子は図１０Ｂ中のフーリエ変換された声門関数から取られている。特徴ベクトルを形成するプロセスを図１２Ａおよび１２Ｂに示す。図９Ａおよび９Ｂに示すようなデータを用いた実験によって、以下に説明する方法を用いてピッチ値を得るための計算時間は従来の音響処理技法を用いた場合の５倍の早さであり、ピッチ値は従来の音響学に基づいた技法より２０％以上も正確であることが分かる。（マスタータイミング）声門開閉サイクルを測定する方法を用いれば、使用者は、多くの音声技術応用例の自動化のために、マスタータイミング間隔すなわち「フレーム」を定義することができる。特に、この方法によって、発生刺激関数周期が、処理ステップで時間フレームを定義するためのマスタータイミングとなることができる。この方式によって使用者は、声門の開閉サイクルの開始と終了を定義することができ、このような１つのサイクルから次のサイクルへの情報を結合する方法が提供されることになる。次の音声時間フレームで得られる音声時間フレームに接続されるはずの１つの音声時間フレームで得られる情報を連結することが可能となる。図１４Ａおよび１４Ｂにマスタータイミングを示すが、この中で、個々の時間フレームは１つの声門サイクル（すなわちピッチ周期）として定義され、関連情報は測定されてラベルが付けられる。図１５Ｂに、「ＬＡＺＹ」と発音された語に対する一連の単一ピッチ周期音声時間フレームを示し、一方、図１５Ａには、同時に測定された音響情報が示されている。絶対ピッチおよび時間フレーム持続時間を定義することができ、さらに、タイミング情報を特徴化してそれを、時間フレーム中に発音された音響音声単位を示す音声フレーム特徴ベクトルの一部として保存する。音声化されなかった音声セグメントが発生する場合は、音声化されなかった剌激に関するセクションで検討する。声門時間周期をマスタータイミング信号として使用することによって使用者は、複数の声門周期から成る時間フレームを定義することができる。図１４Ｂおよび１５Ｂの図示を参照されたい。使用者はアルゴリズム基準をセットして、測定中の音声特徴の「安定度」を定義し、これによって音声化された音声時間フレームがどれくらい続くか判断する。次に、このアルゴリズムは、話者によって発せられたばかりの音響音声単位を示すために使用中の特徴値の「安定度」が存在したピッチ周期がどれくらい用いられたか測定する。上記の例では、このアルゴリズムは、３００ｍｓにわたって音素「ａｈ」が安定して発せられたと判断した。この例では、測定され、充分に安定していると判断された「安定度」変数の内の１つは、３６の声門開閉サイクルという繰り返し周波数であった。次に、このアルゴリズムは、図１２Ａおよび１２Ｂに示すような、時間フレーム持続時間を示した特徴ベクトル、１周期当たりの刺激関数振幅対時間および他の情報を定義した。このような特徴ベクトルは、時間フレームの全持続時間にわたって使用者が必要とする程度にまで、音響音声単位を示すものである。声門周期が複数存在するので、このアルゴリズムは、１つまたは複数の包含されたピッチ周期の間に得られた情報を平均化でき、話者を識別するのに役に立つ平均値からの周期特徴係数の変動（例えばピッチ周期変動）に対して小さな周期を釣り合わせ、さらに、フーリエ変換（または他の変換）を用いて、希望の数の（またはフーリエ変換アルゴリズムが許すだけの数の）ピッチ周期間隔の間の音声刺激関数を決定したりすることができる。音声が音声化された状態からされていない状態に変化する場合、音声化された音声シーケンスの最後の声門開閉周期は、その周期終了を示すために使用すべき「次の」声門サイクルを有しない。ある方式では、このアルゴリズムは、各々の時間フレーム内の各々の声門閉鎖時間の長さがあまり長すぎないか（例えば、先行する声門周期の閉鎖時間より２０％長いか）連続的に試験する。周期が長すぎた場合、このアルゴリズムはこの周期を終了して、例えば、先行する時間フレームで測定された声門関数の端数の閉鎖時間に等しい声門閉鎖持続時間を割り当てる。数種の声門周期で音声の安定度を定義するこの方法によって、計算時間ならびに計算用プロセッサ内の格納空間および多くの応用例に対して必要とされるメモリが節約される。この方法によってまた、音響音声（および他の計測器の出力）が、上記のタイミング手順を用いて得られた他の特徴ベクトル情報と共に音声時間フレーム内でタイミング付けすることができる。本明細書中の多くの例の場合、特徴ベクトルは、プロセッサ内のマスタークロックによって提供される最初の声門周期でタイミング付けされ、その持続時間は安定した声門周期の数によって定義される。このプロセスによって自動的に、かなり音声が圧縮符号化されることになるが、この理由は、安定度の周期を示す特徴ベクトルが、本書で定義するように、１つの声門周期と用いられた声門周期の数を示す１つの数の和に短縮できるからである。上記の手順によって、時間フレームが定義でき、一部の係数値が一連の声門ピッチ周期にわたってゆっくりとしかも予測可能に変化する特徴ベクトルを形成できる特徴値（すなわち係数）がゆっくりと変化する時間フレームをアルゴリズムは次に説明するように定義する。アルゴリズムは計数値（例えばピッチ周期）の変化を測定して、複数の声門サイクルにわたるその一連の変化を所定のモデルに適合させる。その値がモデルに適合しない場合、１つ以上のゆっくりと変化する特徴ベクトル係数を持つ時間フレームは形成されない。計数値の変化が許容範囲を越えて大きすぎる場合、最終の時間周期が定義される。例えば、ピッチ周期が０．５ｍｓ／サイクルだけ線形に減少すると、この変化は５つの連続した声門サイクル間で測定されるが、この理由は質問が発せられたときに話者が単一の音素を発生する間にピッチを「屈曲させる」からである。アルゴリズムはまた、時間フレーム中に測定されているが変化が遅いか否か検査されてはいない他の特徴ベクトル係数を検査し、音声時間フレームをアルゴリズムが定義するに当たって必要とされるほどこれらの係数が充分に安定していることを確認する。このようなタイミングの一例を図１４Ｂに示すが、この中で、最初の音声フレーム周期は８．５ｍｓ、２番目の周期は８．０ｍｓ、３番目の周期は８．０ｍｓとなっている。プロセッサ内のマスタークロックによって最初のフレームの開始のタイミングが３．５ｍｓにセットされ、２番目の周期のそれは１２．０ｍｓ、３番目のそれは２０．５ｍｓにセットされる。最初のフレームを基準としたピッチ偏差は１番目のフレーム基準フレーム当たり−０．５ｍｓである。声門ひだが迅速に閉じてから音響的設定に至る安定時間オフセットは０．７ｍｓであるが、これは、電磁センサー信号とマイクロフォンに遅れて到達する音響信号の間における信号移動の距離と速度の相違が主たる原因である。このような時間オフセット値は、これらの例に用いられるようなフーリエ逆たたみ込みプロセスには影響しない。別のオフセット数は、この方法によって音響・電磁フレームオフセット（またはＡＥＭ数）と定義される。この数は、電磁信号タイミングを基準とした音響信号のタイミングを記録するための値を有する。これによって使用者は、音声フレームの開始を基準とした音響信号のゼロ時間を定義することができる。この特徴化は、唇や他の顔の動きを同期させる必要のある唇同期応用例に対する音声の値を有する。多重ピッチ周期時間フレームの一例は、音素「ａｈ」に対する図１４Ａに示す測定データを用いて定義することができる。最初のピッチ周期を規準として測定された３つのピッチ周期変化が０．５ｍｓ以下であることを試験し、０．５ｍｓという変化が応用例にとって充分安定であると定義することによって、多重周期時間フレームを形成することができる。この一連の特徴ベクトル中の他の情報も試験する必要があり、それも充分安定であると仮定すると（例えば図１４Ａの音響情報は充分安定である）、３声門周期だけ長い時間フレームを示す１つの特徴ベクトル中に多重時間フレームを形成することができる。３ピッチ周期ベクトルのピッチを定義する１つの特別な方法は、３フレームにわたるピッチ周期の平均、すなわち８．１６ｍｓを用いる方法であるが、平均ピッチ偏差もまた測定して保存することができる。この例でも、話者は、声の最後を強調するときに通常発生するように、自身のピッチをゆっくりと上げる（すなわち、ピッチを０．５ｍｓだけ短縮する）。この変化もまたアルゴリズムによって識別され、希望とあれば保存される。これらの方法によって、話者は、プロセッサ内の連続タイミングクロックを用いて、時間フレームの開始、持続時間および終了時間を各々の特徴ベクトルと関連付けすることができる。話者はまた、他の情報（例えば音響信号）に対する電磁センサー情報の絶対的なタイミング情報および相対的なタイミング情報を各々の特徴ベクトルの一部として保存することもできる。このようなタイミング情報を用いて、各々の信号または多重フレームベクトル内に含まれる情報に基づいて、適当な音声順序で、音響情報および他の情報を継続的に再構成することができる。刺激と伝達関数を合成して得られる音響信号が１つの単一声門周期音声フレームより長く継続することが周知である場合、この得られた伝達関数の情報によって、使用者は、次の音声周期に伸張する音響波形の部分を識別することができる。使用者は、関連の時間フレーム内のこのような音響信号振幅情報を必要に応じて使用することができる。ここに記述する方法によって使用者は、電磁センサー以外の計測器で発生器官の状態をさらに同時に測定することができる。個々に示す方法によって使用者は、ビデオ、フィルム、肌電位、磁気コイル期間運動検出器、磁気共振画像、超音波伝搬や他の技法などの測定のための上記のマスタータイミング情報手順を用いて「同時性」を定義することができる。ここに記述する方法によって、このような計測器出力を同期させたり、個々の時間フレームに対する特徴ベクトル中に組み込んだりすることができる。（音声化されない刺激）音声化された音声に対する上記の一般的方法を用いれば、話者の非音声化刺激関数を決定したり、音声フレームタイミングおよび特徴ベクトル係数の値だけでなく非音声化伝達関数を定義したりすることができる。本方法は、１９９６年２月６日に出願された米国特許出願第０８／５９７，５９６号明細書に説明されている音声化／非音声化検出用のアルゴリズム技法を用いる。このアルゴリズムは電磁センサー、特に声帯ひだセンサーの信号を用いて、声門開閉運動なしで音響音声が発生していることを判断する。使用者は、分析によって聴取者に検査され、またはここに記述するような逆たたみ込みされた関数を用いて導き出された適当な修正済みの「白色ノイズ」刺激関数を（自動的または手動で）選択する。このようなノイズ関数の特徴は、その単位周波数間隔当たりのパワースペクトルにある。刺激関数特徴ベクトル情報の場合、スペクトルのパターン（または曲線の適合）が保存可能であるか、応用例にとって必要な少ない非音声化刺激スペクトルの内の１つを表す数値が保存可能であるかいずれかである。他の電子センサー（もし入手可能であれば）を用いて、声道狭窄の発生源（例えば、舌先、唇、舌の裏、声門）を判断することができ、空気かく乱源に対して適切な修正済みの白色ノイズ刺激源を適当なノイズスペクトルで選択することができる。このような発生源が提示されたら、選ばれた刺激関数変換を音響出力変換に分割して、声道の伝達関数の変換を得る。この伝達関数を得るプロセスは、音声化伝達関数の上記の発生方法と同じである。（非音声化音声時間フレームと特徴ベクトル）非音声化刺激関数は、刺激関数を得るために出力信号から伝達関数を逆たたみ込みする処理装置および処理アルゴリズムに関する本セクション中の上記の方法を用いて得ることができる。使用者は最初に、話者に、音響信号が記録される訓練セッション中の音素シーケンスを非音声化音素を用いて話すように依頼する。次に使用者は、文書から得られた、または同一に形成された非音声化音素の音声化された音素を用いて得られた伝達関数を用いて得られた話者の音響路に関する一般的な知識を用いる。その一例として、音声化された音素「ｇ」から得られた伝達関数を用いて、非音声化音素「ｋ」の刺激関数を得る方法がある。使用者は逆たたみ込みを実行して、音響信号から音響路の影響を除去することによって伝達関数を得る。次に使用者は、特定の個人に関する機能的記述を刺激関数特徴ベクトル中の１群の係数として（例えば、ノイズ発生器のスペクトルを決定するために）、リアルタイム技法、変換技法またはこれらの混合技法のいずれかを用いて保存する。この関数および類似の関数の典型的な用途は、音響出力を（リアルタイム発声の間に）逆たたみ込みして、特徴ベクトル情報に関して本セクションで説明されるようなプロセスを用いて、完全な特徴ベクトル情報の伝達関数を得ることである。これで、各々の非音声化音響音声時間フレームに対する全体のまたは部分的な特徴ベクトルが使用者が選択した応用例にとって利用可能となる。以下に示す３つの方法を用いて、音声化された音声が発声されているときに音響音声単位時間フレームを形成することができる。１）音響音声単位の非音声化刺激（例えば１つまたは一連の音素）が発声され、その間はスペクトルに「意義のある」特徴変化がまったく発生しない持続時間を測定する。かく乱から誘導された音のこの安定度定義は通常は、所定の周波数間隔当たりの相対的な振幅変化を容易に測定できる周波数範囲で測定される。この方法の場合、「意義ある変化がない」という表現は、信号レベルの変換が残留する必要がある最初の設定変動（すなわち安定度）の制限値によって定義される。次に、音声処理の間に、音響出力のスペクトルなどの適当な個々の信号および他の入手可能な電子感知された器官運動信号が検査されて、「変化が発生した」か否か判断される。「変化」の１つの例は、声門開閉運動が開始したことが電磁感知されたことを利用して、音声化音声への移行がなされ、これによって非音声化された音声が唯一の刺激であることを停止したことをアルゴリズムに信号通信する。各々の非音声化された時間フレームの持続時間は、音響信号または電磁感知された信号に充分な変化が発生して新しい時間フレームが定義されるまでの安定した非音声化音声の合計時間と定義される。２）デフォルトアルゴリズムは、上記の１）のように５０ｍｓを超える時間（または使用者が選択した他の時間）にわたるデータを蓄積し、さらに、特徴ベクトル係数の安定度になんら変化が発生しなかった場合に５０ｍｓ間の音声フレームを定義するものであると定義される。５０ｍｓ経過する前に音響音声の変化または器官状態の十分な変化が発生したら、フレームは終了され、この事象に対する経過時間は時間フレーム持続時間となる。この変化が発生しない場合、音声フレームは終了され、持続時間で５０ｍｓと定義される。３）一連の音声化された語および句（または正常な音声）を用いて訓練セッションの間に採られた使用者の音声化されたピッチ周期の平均値を非音声化音声セグメントのデフォルト時間周期として用いられる。この非音声化周期は、平均化された時間フレーム持続時間のような端数のある倍数となることがある。ゆっくりと変化する非音声化音声を定義する方法では、非音声化音響スペクトルを１０ｍｓごとに（または使用者が選択した最小のサンプリング周期ごとに）分析して、サンプリング時間当たりの変化の程度を測定する。スペクトルの変化がゆっくりしたものであったりその振幅が低いものである場合、ゆっくりと変化するノイズスペクトルの重みを特徴化する数少ないパラメータによって、より長時間のスケールスペクトルを特徴化することができ、より短期間の変化を、数少ない「ディザーレート」スペクトル合成パラメータによってモデリングすることができ、オンレートパラメータおよびオフレートパラメータによって全体のオンオフ振幅エンベロープをモデリングすることができる。基本的なノイズスペクトル値と共に記載されるこれらの値は、比較的長いセグメントの非音声化音声を示す時間フレームを特徴化した単一の特徴ベクトル中に形成することができる。（合成された音声と非音声化された音声）少数の音声源を、音声化された刺激関数と非音声化された刺激関数の双方を用いて発生する。その一例は、音素「ｅ」（すなわち、のろく発音すると「ａ」）という音声化された母音から口腔中でのさらなる摩擦的剌激を含む音声化された「ｚ」、さらに「ｉ」音へ移行する「ｌａｚｙ」という語である（図１５Ａ，１５Ｂ参照）。２つの刺激源が作動しているこれらの例では、次の手順が用いられる。音声化された刺激が最初に測定され、音響信号から逆たたみ込みされる。しかしながら、伝達関数のフーリエ変換はまだ、非音声化された発生源の修正された白色ノイズによってもたらされた広い帯域スペクトルパワーを包含しているので、必要に応じて除去可能である。このような信号を検出し、処理し、符号化するには次の３つの手順がある。１）伝達関数は、ノーマルポールによってもたらされたものでもなければ声道のゼロ伝達関数で濾過されたものでもないことを示す異常に高い周波数のパターンを持つノイズスペクトルがないか否か試験される。ノイズが検出された場合、そのスペクトル特性を用いて、特徴ベクトル内に保存するために非音声化された刺激関数を選択する。次に、識別された発生源を用いて、伝達関数の第２の逆たたみ込みを実行して、非音声化された刺激関数の影響を除去する。この特徴ベクトルは時間周期に対して形成され、手元にある応用例の２回逆たたみ込みされた伝達関数、音響データ、韻律パラメータ、タイミングおよび制御番号を含む。２）音声化された伝達関数は電磁センサーを用いて測定され、音響信号から逆たたみ込みされる。非音声化されたノイズスペクトルを決定するに際してはなんら特殊な試験は実行しない。その結果もたらされる伝達関数は所定の関数と適合され、非音声化された剌激関数は適合の一部として組み込まれる。その結果は、振幅対周波数空間における通常より高い高周波数バックグラウンドを有する。係数は音声時間フレームの特徴ベクトル内に格納される。この手順はたいていの応用例に対して適切であるが、非常な高忠実度合成音声が必要とされる応用例は例外である。この方法の変更例としては、逆たたみ込みされた数値伝達関数に対して数値的な適合をさせるために用いられる伝達関数にノイズ汎関数を意図的に組み込む方法である。３）１つ以上の追加の電磁センサーを用いて、非音声化された刺激に至りかねない声道の状態を検出する。例えば、舌位置を測定する電子センサーが、舌本体によって、歯の背後にある口蓋に対して声道が閉じられつつあることを示している場合、舌はかく乱空気流を引き起こす位置にある。一例は非音声化された声の「ｓ」であり、追加の発声によって、これは音声化された摩擦音「ｚ」になる。声門センサーおよび舌位置から得た音声化刺激に関する知識を用いて、アルゴリズムは正確な変換を選択し、それを音響波形変換から逆たたみ込みし、ノイズがないか否か試験することができる。次のステップは、ノイズスペクトル形状がないか変換を試験することである。もしそれがあれば、上記１）のように第２の変換で除去する。これによって、特徴ベクトル形成用の刺激関数係数と共に音響伝達関数変換が得られる。この方法が価値がある理由は、使用者が、音声化または非音声化された刺激状態がないか否か、すべての音声フレームを試験する必要がないからである。それでも、その必要があれば、本方法は必要に応じて特徴化を正確に実行する。（伝達関数）人間の発声システムに対する刺激は声道の濾過特性によって修正されて、出力音響音声を発声する。この濾過特性はほとんど線形であり、（大部分は）分かっている。濾過特性は、必要なデータが入手可能である限り線形システム技法によって説明可能である。伝統的に、完全に音響的な手順では必要なデータは提供されない。ここに述べる方法は最初に、必要なデータを得てそれを処理して、発声システムを非常に正確な記述とする。さらに、これらの方法はデータをリアルタイムで迅速に得て、１つ１つの声道構成に対して数少ないパラメータ（すなわち係数）によって人間伝達関数を記述する。その上、ここに述べるこれらの方法は、音声品質にとって重要であるが専門家には良く理解されていない人間の声道伝達関数の態様を述べるものである。これらの方法によって、迅速に連合された音声と関連する迅速に変化する声道構成を記述することができる。これらの方法によって、音声路フィルタ関数の共振および半共振の双方（すなわち、伝達関数のポールおよびゼロ）ならびに、周波数空間においてリアルタイムで、もしくは合成された記述を用いて情報も得ることができる。これらの方法はまた、線形共振伝達関数だけでなく非線形の共振も記述できるが、その理由は、入力によってもたらされる出力を表形式で保存できるからである。（ＡＲＭＡ技法）伝達関数は、信号処理コミュニティには周知である時系列またはｚ変換の手順を利用するＡＲＭＡ（移動平均の自動回帰）技法を呼ばれるポールゼロ近似技法を用いて得ることができる。ＡＲＭＡを用いる音声を符号化するこの方法は、非常に便利で良く定義された数学的技法であり、伝達関数を定義する係数を得ることができる。このような伝達関数は、個々の定義された音声時間フレームに対する声道を定義するものである。ＡＲＭＡ逆たたみ込み方法は、振幅、位相、強度およびタイミングを含む電磁センサー情報および音響情報を実質的に同時に得るステップを含む。特に、本方法は、符号化中の音声時間間隔フレームを１つまたは複数に対するポールゼロＡＲＭＡ記述のポールとゼロを用いて伝達関数を記述する特徴ベクトルを提供する。別法として、ａ／ｂ値記述のａ値およびｂ値を特徴ベクトル係数として用いることによって伝達関数を記述する特徴ベクトルを形成する。（信号処理文献としては、0ppenheim，Schafer「離散時間ディジタル信号処理(Discrete-Time Digital Signal Processing)」Prentice-Hall 1984、またはPeled，Liu「ディジタル信号処理：定理、設計および実現(Digital Signal Processing：Theory，Design，and Implementation)」Wiley，1976を参照されたい）。ポールとゼロによって、声道フィルタの共振と反共振の位置が与えられる。ここに示す方法は、最初に、声道の伝送「ゼロ」周波数を示す基本的な情報を提供する。ポールとゼロ（この代わりにａ値とｂ値でもよいが）によって、出力音響信号に対する人間の声道の共振と反共振の相対的な分布が与えられる。例えば、ＡＲＭＡ関数を用いて、最小自乗法適合ルーチンによって音「ａｈ」に対して１０個のゼロと１４個のポールを選択した。図９Ａと９Ｂに最初に、同時音響と声道電磁センサー信号の測定値を示す。声道フーリエ変換は、最初に音響変換を取り（図1０Ａを参照）次にそれを電磁センサー声門関数変換によって分割する（図1０Ｂを参照）ことによって得られる。逆たたみ込みされた結果は、一連の複素数、すなわち振幅と位相の値によって示される。時間フレームに対する変換振幅対周波数の関係を図１１Ａに示す。１０個のゼロと１４個のポールを用いるＡＲＭＡモデルを次に、結果として得られる声道伝達関数に適合させる。図１１Ａに、ＡＲＭ汎関数に対するデータの数値的適合を示し、図１２Ｂに、音素「ａｈ」に適合するポール／ゼロ値を示す。図１１Ｂに、音素「ａｅ」に対する類似の適合を示す。男性話者が音「ａｈ」を発音した音声時間フレームの特徴ベクトルは、音響音声単位を望みの精度にまで特徴付けるのに必要とされる情報を獲得して、処理して保存することによって形成されたが、この様子を図１２Ａと１２Ｂに示す。特徴ベクトルにはいくつかのタイプの情報が含まれる。特徴ベクトルには用いられる伝達関数のタイプが含まれる。これは、セグメントが単一の音素を含むか複数の音素を含むかを示す。これは音素移行情報、例えば先行する、または後続の音素からの分離の程度を与える。これは、安定刺激の全体時間を示し、全体ベクトル内のフレームの数をカウントする。これはまた、基本波および倍振動のフーリエ振幅および位相を用いた刺激関数の記述を含む。この特徴ベクトルは、図１２Ｂに示すポール値およびゼロ値の係数に基づいた所定のＡＲＭＡ汎関数を用いる。ＡＲＭＡ方式の別法としての汎関数の記述では、図１２Ｃに示す「ａ」係数および「ｂ」係数を使用してもよかった。正規化方法および量子化方法は、図１２Ａに示す特徴ベクトルを形成するのには使用されなかった。初めに、使用者は、話者個人の声のエッセンスを非常に高い精度にまで捕捉することができるが、この理由は、ここに示す方法の使用者は実際のデータを非常に高い程度の精度にまで近似させることができるからである。この近似プロセスは、オリジナル信号中の情報内容および汎関数定義プロセス内で使用される数値方法と首尾一貫して実行される。個々に説明するＡＲＭＡ方法によって使用者は、音声コミュニティには従来は入手不可能であったが人間の声（例えば、特に女性や子供の声）を捕捉するには必要であることが周知であった濾過効果、共振および反共振の効果ならびにフィードバック効果を可能とする。個人の声を特徴化する構造の例は、複雑な鼻構造、非円形の声管、組織コンプライアンス、粘液漕、膜に対するフィードバック効果および他の音響生理的相互作用と関連していることが周知である。（事前定義された限定ＡＲＭＡ汎関数）ＡＲＭＡ汎関数表示が、（音声応用例および市場によって異なるが）使用者の満足する程度に得られたら、使用者は、特定応用例環境におけるあらゆる業務向け用途に対して汎関数表示を「凍結」することができる。例えば、１４ポール・１０ゼロＡＲＭＡ汎関数は、汎用の音声認識応用例向けの用途には最良かもしれないが、別の単一の汎関数または複数の汎関数（例えば、音声化された非鼻音に対する２０ポールと１０ゼロまたは閉口音声化された鼻音に対する８ポールと１０ゼロ）は、別の使用者の応用例にとってはより良い選択かもしれない。使用者は、固定した汎関数を用いるがポールとゼロの位置が異なり、自身の生理的相違を反映するａ係数およびｂ係数を持つ似たタイプの多くの話者（例えば、成人男性のアメリカ英語話者）からデータを採ることを選択することもある。多くの応用例の場合、使用者は、汎関数の定義パラメータを平均化してそれをコードブック形成のために規準特徴ベクトル内に用いる。使用者はまた、システムが個々の話者のための重要な生理的パラメータ（例えば全体の路長）を測定し、これらのデータを個々の話者に対する一次ポールとゼロを事前定義して限定する訓練プロセスまたは適応プロセスを使用することを決定することがある。以下に定義するプロセスを用いて、これらのポール・ゼロ値を、話者の規準集合から得られた値に対して正規化することができる。使用者はこの手順を用い、さらに実験を通して、ＡＲＭＡ展開中の「より重要な」ポールとゼロおよび「重要性の低い」ポールとゼロを定義することができる（この場合、重要さは応用例と値の関数である）。「より重要な」値は、伝達関数データ中で容易に識別され、自動的手段によって適合される周知の主要な路寸法（例えば、声門から唇に至る寸法ならびに口の長さおよび面積）によって固定される。これらの値は個人によって異なることがあるが、そのポールおよびゼロの位置は、個々に示す手順によって容易に測定される。「重要性の低い」とはデータの数値的適合に対する貢献度が小さいようなポールとゼロに対する用語である。ａ、ｂ両係数とも同じように使える。これらの「重要性の低い」（より高い値で）ポールおよびゼロは各々の話者の個別の形質と関連しており、したがって、その値は、直接に測定するのは困難な個人の組織、路の形状、空洞構造および類似の生理的条件の特殊な形質に非常に依存する。伝達関数を示す件数を「より重要な」カテゴリーと「重要性の低い」カテゴリーに分割するというこの方法によって、通信にとって簡略化され有用な特徴ベクトルを発声することができる。例えば、「より重要な」値だけが、フレームごとに送付する必要があるが、「重要性の低い」値は一度だけ送付すればよく、これを使用すれば、ボコーダの受信機端で特徴ベクトルを完了させ、これによって話者の特有の形質を向上させることができる。同様に、「より重要な」値だけを送付すればよく、これによって伝送に必要な帯域幅を最小化することができる。最後に、ＡＲＭＡパラメータから、生理的モデル、回路アナログ的モデルまたはリアルタイム計算ではＡＲＭＡ方式より使用し易い他のモデルと関連するパラメータに関連付ける（マッピングを開発する）ことができる。これらの他の手順を以下に説明する。この手順は効果があることが周知であるが、その理由は、ＡＲＭＡの「ｂ」係数が、事前定義された声道セグメントから反射された信号を表し、「ａ」係数を既知または未知の共振のゼロと関連付けることができるからである。声道セグメントからの信号の反射を、回路メッシュセグメント、すなわち生理的路セグメントからの反射に関連付けすることができる。このように反射物を回路パラメータに変換する光学的手順が周知である。限定汎関数方法は、以前に測定された値に近似であるべきポールおよびゼロ（またはａ係数およびｂ係数）の値を制限するために話者訓練という方法を利用する。これらの限定条件は、周知の声道条件と関連することが周知であるところの音素音を用いる初期訓練によって得られる。音声認識装置を用いる適応訓練もまた、定義段階用に用いられるべき音素を識別する目的で用いることができる。生理的パラメータ、ある種の路構成と密接に関連するようにと選択された音素の伝達関数から抽出される。その一例として、声門から唇に至る単一の管路であるところの音声化された音素「ｅｈ」を用いる方法があるが、その一次伝達関数共振位置が、話者の管の長さの生理的な尺度となる。全体の長さが音「ｅｈ」から分かっているので、音「ａｈ」によって使用者は、管の全体長が声門から舌隆起に至る２つのセクションに分割されるよに自動的に定義することができる。これらの値が分かれば、これらの値を用いて、個々の自然音声フレーム間でのＡＲＭＡ汎関数変数を限定することができる。このプロセスによって、方法を迅速に収束して特徴ベクトル係数を得ることができるが、この理由はほんの少数の適合パラメータを、各々の音声フレームから得られたデータに照らし合わせて試験する必要しかないからである。その上、これらの生理的パラメータによって、話者個人各々の声道を示す寸法の数値が話者の識別に役立つものとなる。（ＡＲＭＡ特徴ベクトル差の符号化）差特徴ベクトル符号化方法によって、各々の特徴ベクトル係数Ｃ_nの差を保存することによって特徴ベクトルを定義することができる。この差は、該当するフレーム内の測定されて得られている値を先行する時間フレーム間に形成された同一の係数から減算することによって形成される。最小帯域幅の符号化（さらに音声圧縮も）の場合は、圧縮は通常は、１つまたは引く数の重要な係数が変化することを停止したことをアルゴリズムが知らせたときの同一セグメント中の以前のフレームの間に得られた値に対して実行される。使用者の音声を１人または複数の規準話者の音声と比較する応用例の場合、規準特徴ベクトルは、追加の認識ステップを用いてコードブックから得られる。このような差特徴ベクトルを形成するこの方法は価値あるものであるがその理由は、現在のフレームと規準フレームとの間で変化していない係数Ｃｎを自動的に識別するからである。その結果、伝送したり保存したりする必要のある情報量が減少する。基準値が応用例に対して事前定義されている場合、完全差ベクトルを形成することができる（ただし、制御係数および他の不変化係数の場合はこの限りではない）。規準話者の特徴ベクトルの例としては、アメリカ英語の男性話者、アメリカ英語女性話者、またはアメリカ英語を話すときに典型的ななまりを持つ外国人話者の音響音声単位を示す例がある。話者のタイプを識別することによって、使用者の音声をより効果的に符号化するために適切な汎関数を選択することができる。同様に、話者自身の係数を前もって測定して、後の識別応用例のための規準セットとして保存することができる。しかしながら、最小情報発声などの応用例が使用中の場合、「混合された」アルゴリズム方式を使用者が選択できるが、この場合、完全で新しい係数値最初の時間フレーム中でのそれが現れるベクトル位置に保存され、次に、係数がまったく変化しないかまたはゆっくりと変化する後続シーケンスの時間フレームの中には、ゼロだけまたは小さな変化値が保存される。差ベクトルを形成する手順は各々の音声フレームに対して実行される。プロセッサは得られた特徴ベクトルを定義された規準ベクトルを比較し、個々の係数の差を減算し、その差を新しい差特徴ベクトルとして保存する。この手順では、規準手順が、該当する音響音声単位ベクトルに対して前もって定義されている必要がある。もっとも簡単な方法は、以前の時間ｔ_i-qで測定されたフレーム中の係数から現在の時間フレームｔ_iで得られた適当な特徴ベクトル係数を減算する方法である。各々の係数差ΔＣ_nは、次式に示すように、時間フレームｔ_iに対する差ベクトルの「ｎ」番目の位置に置かれる。 ΔＣ_n（ｉ，ｑ）＝Ｃｎ（ｔ_i）−Ｃ_n（ｔ_i-q）ｑ＝１という特殊な場合で、さらに、係数差ΔＣ_nが事前定義された値未満であれば、ゼロ値を、差特徴ベクトル中のこのn番目の係数に割り当てることができ、例えば、ΔＣ_n（ｉ、ｉ−１）＝０となる。同様に、いずれかの先行するまたは後続する時間フレームから見たベクトル中に保存された値とベクトル係数との差、例えば、ｑ＞ｉだけでなく、ｑ＜ｉの場合もｔ_i-qは、即座に発生し、さらに必要とあれば、その差値レベルに関して検査することができる。再構成の場合、同じようにゼロであるということによって、後続の応用例アルゴリズムは、最初の先行時間フレーム例えば、検査された特徴ベクトル係数Ｃ_n （ｔ_f）が非ゼロであるｆ＜ｉ−ｑである場合のｔｆに注意するように告げられる。非ゼロ値を見つけたら、係数値ΔＣ_n（ｔ_f）をＣｎ（ｔ_i）の代わりに用いて、後続の応用例で使用する。もし応用例アルゴリズムがＣ_nの絶対値を必要とすれば、完全値特徴ベクトルを、規準係数値を最初に発見したという事前定義された判断を用いて再構成する必要がある。差ベクトルを用いる場合、アルゴリズムは差ベクトルとの差係数値を規準係数値に加算して、該当するフレーム中に係数Ｃ_n（ｔ_i）を発声する。係数ベクトルの測定値を規準ベクトル係数の値と比較する必要がある応用例の場合、２つの方式が考えられる。既知の音声セグメントがすでに記録された規準を持つ話者によって発音されるか、さもなければ音声認識ステップを用いて該当する特徴ベクトルを最初に識別して次に関連する規準特徴ベクトルを発見する必要があるかどちらかである。このようにして、係数は減算されることがあり得るし、差係数を用いて、音響音声単位または時間フレーム中の単位を示す差ベクトルを形成することができる。差を用いるこの方法は、保存または伝送に必要とされる情報量を最小化するためには有用であるが、この理由は多くのベクトル係数がゼロとなるからである。その結果、保存用の空間、計算時間および伝送帯域幅は小さくてすむ。話者に対する絶対特徴ベクトルは、係数ゼロ（または他の不変化記号）に対する定義標準が既知であるかまたは特徴ベクトル、例えば上記の同一ゼロ符号と共に伝送される限り、後になって再構成することができる。電話方式に対する重要性の一例は、応用例で必要とされるすべての音素および他の音響単位に対して、最初に標準話者の特徴ベクトル値を保存するというものである。これらのデータは認識装置のプロセッサとシンセサイザ双方のコードブック中に保存される。次に、音響音声単位を媒体を通じて伝送するときはいつでも、単位記号および規準話者からの使用者話者の偏差だけを伝送するだけでよい。合成されると、受信装置に保存されている平均話者係数と偏差係数の和によって、テキスト記号を音声中に再構成するためのより正確なベクトルが形成される。別の重要な応用例は、既知の音を離す標準的な話者からの偏差を決定するこの方法によって、アルゴリズムは自身をシステムに対して適合させるというものである。ある規準音が発音され、ある差ベクトル係数が所定のレベルを越えた場合、アルゴリズムは、より正確に認識するためまたは他の応用例のために、規準話者のベクトルに対する話者の特長ベクトルの自動的な「正規化」をトリガする。逆に、短期間に差が大きくなりすぎると、アルゴリズムは適当な人物に、システムの使用者に人的変化が発声したことを信号通信する。（音響システムの電気的類似性）刺激関数および伝達関数は、音響システムに関する周知の電気的類似性を用いて、すでに定義したように近似させてもよい。初期のものではあるが全体的な説明は１９６５年のFlanaganを参照されたい。図１６に、刺激関数、声道伝達関数インピーダンスおよび解放インピーダンスを示す人間音響システムの簡略化された電気的類似性を示す。各々の時間フレームに対する等価電気回路の回路パラメータを測定された刺激関数および伝達関数の測定データに適合させることにによって、自動化されたアルゴリズムは「回路」のパラメータ値を決定することができる。この方式の利点は、比較的少ない数のタイプの人間声道共鳴器条件（１０から２０の条件）の各々を１群の回路素子によってモデリングできるが、特定のパラメータ値だけは時間フレームごとの音声音声情報に基づいて決定される。例えば、図１７Ａと１７Ｂに、電気的類似値、例えばＬ、Ｃ、Ｒなどの、音響音声音「ａｅ」に対して用いられる単一管の音響係数を表すパラメータを持つ直状管人間音響システムの電気的類似性を示す。図５に示す逆たたみ込み方式および図１１Ｂに示す伝達関数値を用いて、図１６に示すインピーダンスおよび図１７Ａと１７Ｂに示す回路値を音「ａｅ」に対してアルゴリズムを用いて決定して、回路値を伝達関数データに適合させることができる。特徴ベクトル件数は、汎関数表示として電気的類似伝達関数を用い、さらに、伝達関数を表す電気回路パラメータを用いることによって定義することができる。これらのパラメータは、適切に定義された伝達関数に容易に適合するが、その理由は、ここに示す方法によって、各々の時間セグメントに対してリアルタイムで声道伝達関数から刺激源を分離する方法が分かるからである。特徴ベクトルを形成する方法論に加えて、電気的類似回路パラメータ値は生理的声道値を説明するのに有用であるがその理由は、Ｌが気団を表し、ＲおよびＧがそれぞれ音響的な抵抗とコンダクタンスを示し、Ｃが空気量を示すからである。これらの生理的パラメータもまた特徴ベクトル係数として用いることができる。図１７Ａに示す単一メッシュ回路の場合、声門と口の間の空気量速度伝達関数は、放射負荷を含む次式で与えられる。ここで、γおよびγ_rは図１７Ａ中のメッシュ回路パラメータと関連しており、次のように定義される。Ａ_tおよびＡ_mはそれぞれ喉および口開口部の面積であり、ｋは音の波番号であり、ａは口開口部の半径である。Ａ_t＝Ａ_mであるような単一管の場合（すなわち、声門と口の面積が等しい場合）、伝達関数のポールが次式で与えられる。式１中の生理的パラメータが以下の通りである：Ｌは声道の長さ、ａは口開口部の半径、αは声道和部の抵抗である。典型的な数値としては、Ｆ（ａ、Ｌ）≒ ０．９４、ａ≒５．２ｅ^-4ｃｍ^-1，音の速度ｃ＝３．５ｅ⁴ｃｍ／秒である。低位ポールを決定することができる。低位ポールを用いて、以下の式によって生理的変数を限定することができる。３つの物理的パラメータを、Ｓ平面上の最初の２つのポール位置の測定値から推測することができる。それらはｒ₀、ｒ₁、ω₀ およびω₁であり、伝達関数の最初の２つのポールの対応する実数部および虚数部である。次に、これら３つの物理的パラメータを次式から決定することができる。（生理的パラメータ）上記の情報を得るために用いられる方法を利用して、音声時間フレーム中に離された音響音声単位を示す係数として人間話者の声道の生理的パラメータを用いた特徴ベクトルを発声することができる。ＡＲＭＡモデルを定義するために用いられた伝達関数パラメータ、電気的類似性モデル値およびここに示すリアルタイム技法から得られた値によって、路長、口腔長、空洞体積、口体積、咽頭寸法および空気通路壁のコンプライアンスが定義される。生理的パラメータの他に、特徴ベクトルには、例えば、刺激関数情報、タイミング情報および他の制御情報が含まれる。すると、この生理的情報を特徴ベクトルの係数として使用したり、またはＡＲＭＡ汎関数または他の伝達汎関数の形態中に含めて、係数値を限定することができる。例えば、音素「ａｅ」を発音することによって声門から唇までの路の長さが分かれば、話者の声道の基本的共振が分かり、これが、話者の最低周波数ホルマントを定義することによってデータ分析に対する限定として作用する。ここに示す方法を用いて入手できるデータの例は、図１１Ｂに示す音「ａｅ」の場合の伝達関数データに対するポールゼロの数値的適合を用いることである。最低ホルマントポールf₁は５１６Ｈｚにおいて得られ、単純な式を用いると、放射の項を省いて、次式で声道長が与えられる。同様に、図１１Ａに示す音「ａｈ」に対するポールゼロデータは、声門から舌隆起と舌隆起から唇の和のデータとなる。生理的値の重要な応用例は、これらの値が各々の固有の話者の伝達関数を適当な平均的話者の伝達関数に対して正規化する方法を提供してくれることである。このようにして、ここに示す逆たたみ込み方法によって得られる各ホルマント値は、生理的測定値および瞬間的な測定規準値を用いて新しい値に転送される。生理的パラメータの別の重要な用途は、音素が音声化されるにつれて、声門と声帯ひだの機械的特性を測定することである。声門構造の動きを測定する電磁センサーによって使用者は、声門のメカニズムの機械的値を限定することができる。これらの値には、開口振幅、ピッチからのスプリングおよび質量定数、給湿、および後方伝搬音響波（すなわち、低圧音響波）による交感組織振動からのコンプライアンスが含まれる。「ｕｈ」または「ａｈ」のような低ポスト声門圧力を持った音素（例えば開管音素）などの特殊な音素が校正目的に用いられる。周知の音素に対する生理的条件および刺激関数の差によって、話者の複数の属性を識別することができる。これは上記のような識別目的にも使用可能であるが、各々の使用者の生理的条件に適合させるために用いられる伝達関数形態の最良のタイプを自動的に選択する目的にも使用可能である。その例として、話者の声道寸法の全体的特徴、例えば、成人男子、成人女子、子供および他の音声医師に周知のさまざまな変動を識別する用途である。（音声の符号化）電子センサーおよび音響情報を記録して符号化する目的は、使用者が定義した特定の用途のためにそれを用いることである。ここに示す方法には、電子センサーや音響利用の音声技術にとって価値があり有用なさまざまな物理的、工学的および数学的モデルに対する特徴化パラメータを定義するプロセスが含まれる。これらのプロセスは、時間フレームの定義、係数の平均化、正規化、量子化、および電子センサーや音響データを変換して特徴ベクトルを形成するための関数の適合化を含む処理手順が含まれる。これらの方法はたいていは線形手順であるが、線形技法に限られることはない。非線形手順の例には、音響データまたは伝達関数の対数を採って人間の聴覚機能を反映させたり、関数適合化技法を用いる前に、変換されたデータの周波数縮尺を整形的または非線形的方法で圧縮する（例えば「Ｍｅｌ」縮尺や「Ｂａｒｋ」縮尺）方法が含まれるが、これに限られることはない。このような処理は用途によって異なる。適切な時間フレームに対する特徴ベクトルは、線形のまたは非線形の関数係数を処理済みデータに適合することによって形成されるが、このような特徴ベクトルはコードブック、記憶装置ないしは類似の記録媒体に保存することができる。すべての音声フレームに対して広い周波数範囲にわたって測定されたここに示す方法で発声された大量のデータによって、このデータに適合する関数中に関数形態を固定化するために用いられる係数を定義することができる。例えば、図９Ｂおよび１０Ｂに示す音素「ａｈ」の電磁センサーによるデータは２ＭＨｚで発生したものであり、同時音響データ（図９Ａおよび１０Ａ）は１１ｋＨｚで（１６ビットを用いて）ディジタル化されたものである。これによって、１つの音響ポイント当たり２５０の電磁データポイントが得られるが、これらのデータポイントは、１６ビットの音響データの精度に整合するように平均化される。これによって、各々の公称１０ｍｓの音声フレームの中で、１つの電磁センサー当たり８０の平均化されたデータポイントおよび、８０の音響データポイントが導かれ、これによって１群の汎関数係数が定義される。原則として、８０と１６０の間の数の未知の係数を決定することが可能である。しかしながら、汎関数形態をデータに適合させることに習熟した当業者には、このような多量のデータの集合を用いて、より単純なモデル利用式汎関数形態と関連したより少ない数の係数を定義する方法が知られている。特に、ここに説明する技法のフレキシビリティによって、非常に広範囲にわたるデータ精度およびデータ詳細に対して効果がある電子データ・音響データ収集システムを設計することができる。（単一時間フレームおよび複数時間フレームの特徴ベクトル）ここに示す方法を用いれば、使用者は刺激関数、伝達巻数、音声時間フレームパラメータ、音響パラメータ、ピッチまたは振幅のエンベロープの形状（１つまたは一連の時間フレーム中で得られたもの）などの韻律的情報ならびに制御情報（例えば、伝達汎関数およびフレームクロック時間）を示すことができる。使用者はこれらの情報を容易に、各々の音声時間フレーム用の特徴ベクトル中に組み立てることができる。これらの個別の時間フレーム特徴ベクトルを一緒に結合して、２つ以上の時間フレームにわたって発生する複数の音響音声単位（例えば倍音素または３倍音素の記述子）を示す連結されたベクトルを示すことができる。このような複数時間フレーム特徴ベクトルは、選ばれた言語でのすべての音素、倍音素、３倍音素、複数音素（例えば、すべての語と句）に対して構成可能である。これらのベクトルは迅速な探索と検索用のデータベース（例えばライブラリやコードブック）に保存して、測定済み複数フレーム特徴ベクトルとの比較や、合成音声および他の応用のために使用することができる。多くの時間フレームにわたる音声単位の変動を示す特徴ベクトルを形成する能力は価値あるものであるが、その理由は、一連の個別ベクトル係数の時間変化するパターンがそれと対応する一連の音声フレームによって捕捉されるからである。この方式は、倍音素および３倍音素の情報を保存したり、多くの（例えば１０個以上）音響音声単位の定義されたシーケンスに関するHidden Markovの音声認識統計を用いる際には特に価値あるものとなる。長い持続時間を持つ複数音素音声セグメントを示す特定の例は、単一時間フレームベクトル形成に関して上述したように、係数状態が変化したらいつでも特徴係数を「サンプリング」して定義するものである。状態変化の時間ｔ_iごとに、ｐ個の係数値の特徴ベクトルｃ_n（ｔ_i）（ここでｎ＝１からｐ）が得られる（図１２Ａを参照）。この手順によって、値ｔ₁，ｔ₂，…、ｔ_k…によって注記される変化の特定時間で得られる一連の特徴ベクトル係数群が発生する。例えば、時間値ｔ₁音声フレームの開始時間を示す。しかしながら、ｔ_iはまた、一連のフレーム中におけるフレーム位置を注記する連続フレーム番号を示すこともある。時間フレーム持続時間は通常は、ピッチ周期またはピッチ周期の数（または他の表記形態）として特徴ベクトルに含まれるので、１つのフレームまたは一連のフレーム（すなわち、音声セグメントを具備するもの）によって取られる合計時間を再構成することができる。例えば、以下は開始時間ｔｉ＝ｔ₁，ｔ₂，…ｔ_k各々に対する１群となったｐ個の係数ｃ₁（ｔ_i）、ｃ₂（ｔ_i）、ｃ₃ （ｔ_i），…ｃ_p（ｔ_i）を示すものである。ｃ１（ｔ１），ｃ２（ｔ１），ｃ３（ｔ１），…ｃｐ（ｔ１），ｃ１（ｔ２），ｃ２（ｔ２），ｃ３（ｔ２），…ｃｐ（ｔ２），… ｃ１（ｔｋ），ｃ２（ｔｋ），ｃ３（ｔｋ），…ｃｐ（ｔｋ）この方法は、多くの音響（ＣＡＳＲ）認識システムとは違って１０ｍｓごとにフレーム定義を必要とすることなく、音声セグメント全体を通じて、必須の調音装置情報を捕捉するための適用手順を説明する。係数群のこれらのパターンは、時間ｔ₁で始まり時間ｔ_k＋（最後のフレーム持続時間値）で終わる音声セグメント全体を示す複数時間フレーム特徴ベクトルを形成する。停止時間（すなわち無声音素）を含むことがあるこのようなベクトルは話者一人一人にとって非常に固有のものである。これらは符号化された音声情報を時間的に圧縮し、「変化」状態定義の選択ならびにセンサー、精度およびここに述べる他の考慮をの選択による応用に対して必要とされるすべての情報を保存する。（正規化と量子化）正規化ここに述べる方法によって、共調音されたまたは不完全の調音された音声単位を含めどのタイプの音響音声でも符号化することができる。これらの符号化方法によって、各々の発声された音声セグメントに対する各々の発声された音素を高品質で特徴化できるが、使用者話者の調音が、規準コードブックを発声するために用いられた音響音声単位すなわち音声単位のシーケンスを持つ話者とは異なる場合、認識または他のプロセスは精度をいくぶん失うことになる。ここに述べる方法の、各々の話者の咬交器の生理的情報および神経筋肉情報を特徴化するというユニークな能力によって、各々の固有の話者の伝達関数を適当な規準話者の伝達関数に対して正規化することができる。これらの正規化方法によって、特徴ベクトル係数（または単位のシーケンス）が１人の規準話者またはまたは複数の話者に対して正規化されるので、各々の時間フレーム間に形成される特徴ベクトルの変動が減少する。訓練セッション中、使用者は一連の音声単位または音声単位シーケンスを図３Ａおよび３Ｂに示すようなシステム中に発声する。希望の語彙葉を使用者に発声するようにさせることによって、または自然音声間に音声認識して希望の語彙を選択することによって、１群の特徴ベクトルが選択される。すべての選択された音声時間フレームに対する各々の音声ベクトルの係数は、早い時間に規準話者が発した同じ規準語から得られた特徴ベクトル係数と比較される。このようにして、規準語彙で必要とされる音響音声単位に対するすべての特徴ベクトルが、より早い時間に測定されて、規準コードブックに保存される。このプロセスは、アルゴリズムが各々のベクトル係数測定値ｃ_nを各々の時間フレームに対して規準話者のそれと比較すると開始される。その測定値が事前定義されたレベル（例えば、使用者が選択した２０％のという値）だけ異なる場合、規準コードブック中の係数または話者の特徴ベクトル中の係数のいずれかが変更されることになる。この正規化プロセスは、以下の３つの方法の内の１つを用いて、各々の音声時間フレームに対して実行される。１）コードブックの修正：コードブックにリストアップされており、限られた語彙中の試験済み音響音声単位に関連するすべての特徴ベクトルは、その係数が話者特有の特徴ベクトルの係数に変更される。また、修正する必要がある個別の語音を含むコードブック中にある複数音素音単位シーケンスを変更するプロセスも存在する。修正可能な音響音単位、例えば音素、倍音素および３倍音素は、「誤調音された」音素としばしば関連する。複数音素特徴ベクトルの特定の係数は、訓練中に決定されたままの関連単一音声単位の固有の調音を反映するように変更される。例えば、話者が単語「ｔｈｅ」の内の「ｔｈ」を誤調音すると、語「ｔｈａｔ」中の「ｔｈ」、「ａ」および「ｔ」などのように「ｔｈ」を有するすべての倍音素や３倍音素などは話者の特徴ベクトルに修正される。同様に、複数音素単位を、このアルゴリズムの指定によって定義されるように発音して、比較して、さらに、コードブック中で変更される。この手順によって、話者固有のコードブックが構成される。２）キー音シーケンス修正：訓練セッションの間に、該当言語の話者によって無満足に発音されることが周知であるところの特殊な音響音シーケンスを、話者は調音する。この音響音単位シーケンスはここに示す方法によって測定され、特徴ベクトルが形成される。これらの複数単位の咬交器状態を示す測定された特徴ベクトル係数は、事前定義されたコードブックの位置中の類似の特徴ベクトル係数の代わりに保存される。これによって、部分的に「個人化された」複数音素コードブックが与えられる。３）極値の方法：話者は、話者が自身の咬交器をその極端な位置や速度（例えば、最高位置から最低位置、最高速度から最低速度、最前部から最後部位置）で使用する必要がある一連の訓練用音響音声単位を発音する。直接電子センサーおよび逆たたみ込み方法を用いて、これら極値の特徴べクトル表示を見つけることによって、各々の特徴ベクトル係数を示す係数に対する２つの極値制限が得られる。各々の係数Ｃ_nに対する極値係数値は、_minｃ_nおよび_maxＣ_nによって表される。これら２つの極値を用いて、例えば、最長と最短の声帯ひだ周期および音響音声谷に対する各々の伝達関数係数の内で最大と最小の値を表すことができる。特徴ベクトル係数位置ｃ_n中の各々の係数に対する極値の平均値_aveＣ_n＝（_minＣ_n ＋_maxＣ_n）／２などの他の値も得られる。これらの特殊な値は分離した、しかし「平行な」コードブックに保存されるが、このコードブックには、「使用者極値」、使用者平均および、応用例に対する正規化された特徴ベクトルの形成に用いられる各々の使用者係数ｃｎに対応する他の有用な値が含まれる。極値方法における次のステップは、必要な規準話者の極値、平均値および他の有用な値をも発声することである。各々の規準話者（または複数の話者）は、正規化中の話者の訓練サイクルに対する同じ音単位の１群を調音するように要求される。次に、１群の規準係数極値（さらに平均値などの他の情報）は、分離したしかし「平行な」コードブック中の各々の音響音単位に対する各々の係数ｃｎと関連付けされる。他の有用な値の一例は、中間咬交器係数値を定義する特殊な咬交器状態を表す値である。これらの値は、非線形のまたは誘導された内挿法手順を援助するのに価値がある。これらの方法を正常に用いる間に、話者がなんらかの音単位を発声すると、時間フレームが定義され、特徴ベクトルが発生される。この特徴ベクトルの各々の係数測定値_measＣ_nは、係数ｃ_nに対する話者の係数伸張の最大（_maxＣ_n）と最小（_minｃ_n）の範囲と比較される。話者範囲の２つの極値の間にある係数の測定値の分数ｆｎが、例えば図１８に図示する線形方式を用いて次のように計算される。ｆ_n＝_measｃ_n／（_maxｃ_n−_minｃ_n）次に、係数_measｃ_nは、規準話者の最小範囲と最大範囲を用いて、次のように係数_normalｃ_nによって置き換えられる。 _normalｃ_n=^ref _minｃⁿ＋ｆⁿ＊（^ref _maxｃ_n-^ref _minｃ_n）この式において、ｆ_nは、使用者自身のｃ_n測定値かの情報ならびに、各々の特徴ベクトル係数ｃ_nと関連する使用者および規準話者の極値（さらに他の有用な値も）含む極値に関する「平行な」コードブックからの情報を含んでいる。このようにして、使用者の咬交器の係数範囲の分数は規準話者範囲の分数に対してマッピングされる。この手順は非常に実現し易いが、その理由は、各々の時間フレーム中の音響音声単位は、正規化を必要とする比較的少ない数の係数値（例えば、図１２Ａの係数ｃ₁からｃ_pまでのサブセット）によって特徴化される。ｆ_nに対する他の内挿法技法を、上記の線形技法の他にも、希望に応じて用いても良いことが周知である。さらに、各々の特徴ベクトルにある１つ以上の係数に含まれる数値を持つタイミングや音素記号などの制御係数は上記のようには正規化されないことは明らかである。上記の正規化方法によって使用者は、不完全な調音を修正できるが、その理由は、不完全な咬交器の位置付けと関連する特徴ベクトル係数が、規準話者によって調音され記録された正確な係数値に対して正規化されるからである。その上、共調音は、共調音がもっとも通常に発生する倍音素、３倍音素および類似の音響単位を示す複数音声フレームベクトルを正規化することによって修正される。１人の規準話者または話者グループから判断されたままの複数音素シーケンス中の各々の音素に対する極値（すなわち目標値）が、同じ規準人物から得られた個人的な音素または他の原始的な音声単位とは異なるという重要な事実に注意されたい。すなわち、咬交器は、二次、三次またはより高次の複数音素中に埋め込まれている同一音素を発音するときには、分離された音素と関連するｃ_nの同一の極値には達しない。話者個人の音声化されたピッチ値は、上記のように１人の規準話者または複数の話者の係数に対して正規化され得る重要な係数である。この手順は、該当する音声化された音声フレームに対する話者のピッチ値（すなわち、ピッチ周期の逆数）を表す適当な刺激特徴ベクトル係数ｃ_nを正規化することである。話者と規準コードブック双方のピッチ値の極値には、最大ピッチ、最小ピッチ、さらに必要に応じて中間ピッチ値（例えば、主要母音グループの各々のに対するピッチ値）が含まれる。刺激関数ピッチ値係数の正規化は、上記の一般化係数の場合と同様に進行する。外部ストレスまたは健康要素だけでなく人間の生理的張力レベルは、使用者のピッチ、音声速度および調音程度を変更できるので、これらを用途が許す限り頻繁に修正することが重要である。使用者が話す最初の最初の語を用いて機械をオンしまたは「ログイン」することによって、毎日ピッチを正規化することができる。簡単に認識される母音を用いて適用更新することによって、最大レベルおよび最小レベル、さらに図１８Ａに示すような中間正規化値を修正できる。日が進むに連れ、さらに使用者が疲れたりストレスを持つにつれて、自動的に認識された音響音声単位に基づいた適用修正を用いることができる。（特徴ベクトル係数の量子化）咬交器は、音声音に変化が起きたことを知覚すると、その変化に対して最小量だけ、ある条件を移動または変更する必要があることが研究の結果周知である。（David，Denesによる「人間どうしの通信＝統一見解(Human Communication--A Unified View)」McGraw Hill１９７２年の中のスチーブンス（Stevens）による「音声の量的性質：調音による証拠＝音響データ（Quantal Nature of Speech： Evidence from Articulatory‐Acoustic Data)」を参照されたい）。用途（例えば音声認識や合成）での知覚される差を引き起こさないこれらの特徴係数値およびピッチ値の変化を-緒にして、一定値の「帯域」とグループ分けすることができる。その結果、訓練と合成の実験の間に、使用者は、１人の規準話者または話者グループを用いて、採用中の用途に対して知覚可能な音声変化が検出される係数値の帯域を決定することができる。刺激関数係数を含め、各々の適用可能な特徴ベクトル係数に対して、一定音声知覚に関するこれらの帯域が決定されると、測定された係数値ｃｎは帯域値中に量子化することができる。音声が発生するにつれて、各々の特徴ベクトル係数測定値は最初に正規化され、次に、ほんの少ししかない「区別可能な」値の内の１つ中に「量子化」されたり「詰め込まれる」ということになる。図１８Ｂに、上述され図１８Ａに図示する正規化手順に基づいたこのような手順を図１８Ｂに示す。アルゴリズムは次のように進行する。第一に、特徴ベクトル係数が各々の音声時間フレームに対して測定される。第二に、各々の係数が、図１８Ａに示すような係数に対する規準話者の値に対して正規化される。第三に、各々の正規化された係数値が、係数値が変化し得る一定の受容性の帯域を表すが、使用者が定義したような識別可能な変化をなにも発生しない１つの値中に量子化される。このようにして、係数の連続体をほんの少数の値中にマッピングして、いくつかの帯域を表す。帯域係数値は通常は、帯域の中心値として選択される。正規化された係数、_normalｃ_nが、規準話者の識別可能帯域の内の第２の帯域による範囲に存在する場合、測定値_meanｃ_nは最初に_normalｃ_nにマッピングされ、次に、値²ｃ_n” 中に量子化される。二重アクセント”は、その係数が量子化されていることを意味し、上添え字２は、正規化された特徴ベクトル係数^normalｃ_nの範囲全体を収める帯域の内の第２の帯域であることを意味する。もし使用者が希望すれば、規準発生中およびその使用中に得られた量子化帯域値をさらに量子化することができる。例えば、ｎ個の帯域の各々を０から１（または、使用者の選択による他の範囲の数値）の端数値と関連付けさせて、便利な数としてもよい。例えば、ピッチレートを、それぞれいずれかの話者の低、中および高の周波数ピッチを表す１，２および３などの３つの数に量子化して、例えば７０Ｈｚとか１５０Ｈｚとかまたは類似の物理的に価値のある値などの絶対値としてのピッチ周波数を用いないことが好ましい場合もある。量子化された値を正規化するこの方法は価値あるものであるが、その理由は、これによって装置個通の値と話者固有の値がすべて取り除かれ、テーブルのルックアップ速度と精度が向上するからである。（リアルタイムの測定、記録および逆たたみ込み）ここに説明する方法によって使用者は、希望の適用例に対してほとんど任意の度合いの線形性、動的範囲およびサンプリング帯域幅で、情報を感知し、処理し、保存する適切な技法を選択することができる。これらの方法をコスト、データ価値および携帯性や便利さに対する必要性に応じてさまざまな構成で用いることができる。広範囲にわたる適用例による必要性をフレキシブルに満足させてくれるので、これらの方法は非常に価値高いものとなっている。刺激源信号特徴を関連の音響出力信号特徴に関連付けるためのリアルタイム情報を用いる方法は、複数の用途に対して生理的な情報を得るには価値ある方法である。例えば、これらの手順を、ここに述べる方法に基づいて使用者がシステムを最初に使用する際に、訓練シーケンス中に組み込むことができる。使用者に一連の既知の音素を発音するように要求することによって（または希望のタイミング情報が抽出できるその抽出先であるキー音素を認識する音声認識装置を用いることによって）、アルゴリズムは自動的に使用者に対して適応される。例えば、これらの方法によって、既知の音素が発音されるにつれて、個人の音響管の長さを測定できる。音素「ａｅ」は、主として、声門から唇さらにマイクロフォンに至る音声化された単一管共振によって引き起こされることが分かっている。刺激信号がその長さを走行して音響信号として出力されるのに要する時間を測定してその測定値を用いて、個人の声道の音声モデルに使用されるパラメータを決定することができる。この長さを知ることによってより迅速なモデル適合が可能となるが、その理由は、主要な路濾過特性の内の１つが限定されるからである。また、固有の話者を定義するのに役立つ生理的測定値を与えることによって、話者の識別でも価値あるものである。同様に、鼻音「ｍ」などの他の発声路構成においては、音は声門から鼻通路を通り閉じた口共鳴器中に走行する。２つの信号の和が鼻から出てマイクロフォンに至る。音響エコーは（音声出力中のある周波数をキャンセルして）、閉じた口共鳴器によってもたらされる。他の音素は、管と共鳴器の同様な組み合わせによってもたらされる。声門刺激は別の経路を走行し、別の遅延時間を持つ。ここに述べるリアルタイム方法により、これらの他の路寸法も測定することができる。この方法によって、音響出力からの刺激源をリアルタイムで逆たたみ込みして、有用な声道情報を得ることができる。各々の音声セグメントに対する使用者の声道セグメント寸法および他の特徴値を用いて、次の応用例での声道を示す特徴ベクトルを形成することができる。実験によって、音素「ａｈ」および「ａｅ」に対する生理的値が提供された。（応用例）音声圧縮本方法によって、音声時間圧縮のための自然で物理的に良く説明できる基礎が提供される。上述の方法は、差特徴ベクトル形成、複数時間フレーム特徴ベクトル形成、多重声門周期時間フレーム、ゆっくりと変化する特徴ベクトル時間フレーム、および非音声化された時間フレームの決定に対するものであり、リアルタイムで話された音声よりはるかに少ない時間で音声セグメントを正確に符号化するアルゴリズム記述を示している。これらの方法を単に延長することによって、１つのべクトルに対する無声ＰＬＵ（例えば停止音声セグメント）と１つのベクトルに対する比較的長い非音声化された音声セグメントの双方を崩壊させる方法が示される。これらの方法によって、本質的に一定な音声の時間セグメントを１つの時間フレームおよび１つの代表的な（すなわち圧縮された）特徴ベクトル中に崩壊させることができる。圧縮されたベクトルは、音声を必要に応じてリアルタイムに復活させる方法を示すほんの少しの追加の係数を含む。アメリカ英語では常に「ｑ」の後に続く「ｕ」などの音パターンの冗長性を除去する文法的で統語法的な規則を用いてさらに圧縮することが可能となる。これらの単純化されたパターンは、音声合成の間、送信された音声記号の再構成の間またはメモリに保存された音声から復元することができる。話者の識別ここに述べる特徴ベクトルを形成する方法によって、使用者は、１つまたは複数の音声セグメントから得られた特徴ベクトルを、話者識別目的で規準話者によって話され、コードブック中に保存されている同じ音声セグメントと比較することができる。この目的のための符号化およびタイミング方法は、各々の時間フレームまたは一連の時間フレームにわたって特徴ベクトルを定義することによって自動的に実行することができる。この識別動作は、分離された時間フレームからの特徴ベクトルを用いて、または複数音素時間セグメントを用いて実行することができる。使用者は、使用者が音を繰り返し発音する目的でシステムによって提示された直前に同意された音声セグメント（例えば、名称またはＰＩＮ番号）を用いて識別比較を実行することができる。別法として、音声認識を実行して、自然音声からキー音声セグメントを抽出するようにしてもよい。識別された特徴ベクトルパターン（すなわち複数時間フレーム特徴ベクトル）は規準コードブック中のパターンに圧縮される。上記で説明した規準フレームに照らし合わせてフレーム毎に圧縮することに加えて、使用者の平均ピッチおよびピッチ変動、使用者の発声器官の生理的パラメータおよび使用者からの電磁波反射強度に関する追加の情報（水と組織の組成を試験する）が入手可能である。これらのパラメータは、システムによって使用者に対して要求された初期音から得られたり、使用者が「ログイン」して最初に得られたりする。次に、これらのパラメータは既知の値と比較されるようにシステムによって用いられて、真の話者を表す。この識別プロセスは、各々の時間セグメントに対するコードブックに保存されている係数からの測定された特徴ベクトル係数の距離を比較する測定アルゴリズムを用いる。時間間隔と韻律の値を持つ２０から３０の音素シーケンスで毎秒５から１０音素を話す正常の話者速度が数秒以内で得られる。非常に緻密に認識するためには、数分にも及ぶ音声が必要とされることがあり、非常に高い値を作業するには、全使用期間を通じての話者に対する連続的なキーパターン識別と検証のための音声認識を用いる連続的認識が用いられることがある。サンプリング時間中は、統計的アルゴリズムがデータを処理し、正確な識別の確率を得る。音響センサーと電磁センサーのパターンに加えて、使用者の物理的パラメータをここに述べる方法を用いて得ることができる。寸法、位置、正常位置（例えば正常ピッチ）および組織コンプライアンスなどの発声器官の生理的特徴を得ることができる。また、情報速度だけでなく各々の音響音単位の調音の品質も得られる。各々の話者の固有の調音品質は、倍音素や３倍音素など急速発音される音の組み合わせなどが測定されてすでに保存されているデータと比較される際に強調される。ここに示す方法は、このような複数音素特徴ベクトルがどのように形成されるか、距離の尺度がどのように形成されるか、尺度がどのように比較目的で用いられるか示す。一連の音響音声音にわたって取られた器官の寸法、調音位置および音響音声情報を結合したその時間運動パターンはどの言語を話す各々の話者にとっても非常に特徴的である。この方法によって、特徴ベクトル係数を用いて、使用者の特徴と、ベクトルが形成され事前定義されたライブラリに保存される基となる同じ音響単位を試験された話者が発音したときに定義された特徴との間の距離尺度を定義することができる。１つの測定プロセスの例は、すべての測定され保存されたベクトル係数（制御係数および他の特殊係数は含まれない）間の距離を次式のように得ることである。 Δｃ_n（ｔ_i）＝_measｃ_n（ｔ_i）−_refｃ_n（ｔ_i）ここで、すべての時間フレームはフレーム時間ｔ_iで表されている。次にアルゴリズムは、音シーケンス中のすべての音声時間フレームに対して、すべての係数差Δｃ_n（ｔ_i）の自乗の和の平方根を取る。その値が、使用者による以前の実験に基づいて、事前定義された値未満である場合、使用者話者は有効であると認められる。この例証方法は、すべての適当な係数に対して等しく適用される均一な距離尺度である。不均一な係数重み付け方法、非線形測定プロセスおよび別の統計的試験方法を用いる他の方法は周知である。他の応用例では、話者の生理的または言語的タイプを判断するために平均化された話者（または他のタイプの規準話者）から得られた係数を持つベクトルの規準ライブラリと話者の間でなされる類似の比較手順が用いられる。例えば、アメリカ英語の男性話者、アメリカ英語の女性話者、子供または特定の方言を持つ外国人話者をさまざまな目的で識別することができる。言語識別特徴ベクトル対時間（すなわち、複数時間フレーム特徴べクトル）のパターンは、話者が話している言語を非常によく表すものである。話者が話している言語を判断する方法は次の通りである。本方法は、分離した正規化された（さらに、必要に応じて量子化された）言語のコードブックが、応用例で使用される１群の言語内のすべての言語に対してすでに形成されているという点を除けば、話者識別に関して上記されたと同じ手順を用いる。使用者が既知の試験音を発音したり、またはリアルタイム認識技法を用いて自然音声から試験音を抽出したりすると、アルゴリズムは、基礎として個人的な声門周期特徴べクトルを用いて各々の音声周期に対する特徴ベクトルを形成する。このべクトルは、必要に応じて正規化したり量子化したりすることができる。次に、アルゴリズムはこれらの基本的パターンをより複雑なパターンに形成して、複数の言語コードブックの１つ１つを探索して測定済みパターンが無いか調べる。これらのパターンは各々の言語の固有の識別音パターンを包含するようなものが選ばれる。次に、アルゴリズムは特定のまたは小グループの特徴ベクトル係数（特に声門ピッチパターン）によって表される特定の咬交器位置付けの、複数時価フレーム特徴ベクトルの出現回数の統計を用い、さらに、所与の言語だけと関連する固有の音パターンの出現が無いか探索する。複数成分ベクトル距離を測定して細流の適合を試験する方法がいくつかあるが、これらの方法は本セクションの初めで話者識別に関してすでに説明されている。言語コードブックの１つに対する音声セグメントの最良適合が見つかると、音声の言語が識別され、認識の確率値が必要に応じて入手可能となる。（音声認識）ここに示す方法によって、新たなそして強力な仕方で、任意の言語で話されたすべての音響音声単位を識別することができる。この新しいタイプの認識法は、刺激関数や逆たたみ込みされた伝達関数から得られた処理済み情報、同時に記録され処理された音響情報およびタイミング情報を用いて上述のように定義された特徴ベクトルの使用に基づいている。特徴ベクトルは音響技法だけに基づいたベクトルよりも正確である。その理由は、特徴ベクトルが、音セグメントの音素形成に直接結びついているからである。これは他の方式より正確であるが、その理由は、ポールとゼロの双方が正確にモデリングでき、ピッチを正確にそして迅速に測定でき、特徴ベクトル係数が容易に正規化ないし量子化できて、話者による変動を除去できるからである。このベクトルは、各々の音声時間フレームに対して自動式に、非常に高い確率で、音素（または他の音響音声単位）が定義できるようにするための、冗長度とモデル限定を含む十分な情報で音声単位の状態を定義する。音声セグメントからの測定され処理された音素特徴ベクトルが、音響音声単位の１つのまたは複数の記号を含む保存済み規準ベクトルと関連付けされると、識別がなされる。音響音声単位が識別されると、記号（例えば、文字、ピクトグラム、一連の文字、他の記号）が認識される。音声セグメントの識別記号は、入手されると、自動的にＡＳＣＩＩ（または他のコンピュータ符号）または文字、ピクトグラムまたはテキスト記号を通信チャネルを介して送信するための電話方式符号に符号化する。認識された音響音声記号を「技術的符号」に変換するこのような手順は通信技術の実践者には周知である。トラクト特徴ベクトル（tract feature vectors）および刺激関数を正規化して時間に依存しない音響記述や、正規化速度（すなわち時間ワープ）や共調音や、不完全調音や音素移行を求める方法を用いて、個人間および異なった時間での同じ個人の音声情報の測定パターンの変動を単純化することができる。このようにして、正確な音響音声単位記号をより迅速で正確なコードブックの「ルックアップ」が可能となる。（訓練、テーブルのルックアップおよびテーブル発生）訓練プロセスはここに説明するアルゴリズムによって用いられて、例えば図３Ａ）図３Ｂ）図８または図２０に示すシステムに類似のシステム中に音声セグメントの既知の語葉を調音するように１人の話者（または複数の話者）に要求する。このセグメントの複雑さは単純音素から連続自然音声まで及ぶ。この訓練プロセスによって、ここに説明する代表的なシステムと方法に示す測定装置を用いて既知の音響音声単位に対して測定済み特徴ベクトルの記号との周知の関連付けを構築することができる。システム設計者は、各々の訓練された音セグメントに対する特徴ベクトルを形成してコードブックのロケーションまたはライブラリのロケーション（すなわち、データベース）中に保存するための正規化、量子化、ラベル付けおよび他の必要な操作を含む、ここに示すアルゴリズムから適当な処理アルゴリズムを選択することができる。これらのコードブックのデータセットは、ここに説明するほとんどの応用例にとっての規準として働く。測定された音声特徴ベクトルを同様に形成されたベクトル群と関連付けさせる方法は、データベース探索のための周知の手順を利用する。このような手順によって、アルゴリズムは、測定されたベクトルが保存されているベクトルを整合するデータベース中のロケーションを迅速に発見することができる。手順が示されると、迅速にべクトル距離を測定して、最良の整合を判断し、関連付けの確率を決定する。正規化され量子化され、正確に形成された特徴ベクトルによって、非常に迅速にデータベースを探索できるようになる。（音声認識のための電磁・音響テンプレート整合モデル）特徴ベクトルを用いて、音素テンプレート（すなわちパターン）を整合させたり、関連の音響音声単位を識別したりすることができる。各々の音響音声単位記号は特定の調節器の構成（すなわち音素調節器のパターン）と一意に関連している。これらのパターンを示す形成されたベクトルは、次に、ライブラリデータと比較され、コードブック特徴ベクトルからの「距離」および声門運動に対する「オン」や「オフ」などの論理的動作に基づいて識別される。複数音素を持つ音声セグメントの場合、ベクトル距離を測定する類似の方法を用いてもよい。１つの手順として、すべての関連するベクトル係数の差の自乗の和の平方根を用いるものがある。（制御係数距離は用いられない）。距離が、使用者が定義した値の範囲内であれば、識別が定義され、距離測定値に基づいた関連の確率を希望に応じて識別単位に付与することができる。論理的試験動作を用いることは周知である。特徴ベクトルに対する良く定義された正規化と量子化技法は良く定義されたコードブックの比較に役立つが、その理由は、ベクトルは測定器や話者とは無関係なものとすることができるからである。さらなる利点は、個人的話者の音素シーケンス調音の速度を正規化して、時間整合された音声フレームを発生することができることである。（音声認識のための電磁・音響Hidden Markovモデル）音響出力から剌激関数の電磁センサーによる測定値を逆たたみ込みすることによって音声単位特徴べクトルを形成する方法を用いて、音素のシーケンスを表す音声フレームのシーケンスからデータのベクトルを形成することができる。これらの方法は、多くの連続的な音響単位、例えばシーケンスとなった音素、倍音素および他の複数音素の符号化を示す。このようなベクトルは、電磁・音響Hidden Markovモデル（ＨＭＭ）を用いて自然発声音声に対する記号を識別するためには特に有用である。多くの人間音声セグメントは発声された多くの音素から成り、したがって、多くの音響単位がワードブレークするか以前に発生する。１つ以上の音声フレーム特徴ベクトルだけでなくシーケンスとなった単一音声フレーム特徴ベクトルを、制限された規準特徴ベクトルデータセットの事前保存されたパターンの組み合わせに照らし合わせて試験することができる数値のパターンとして取り扱うことができる。ＨＭＭ統計技法は、これらの測定され形成された特徴ベクトルシーケンスを、コードブック内にある単に限られた数の特徴ベクトルから、アルゴリズムの必要に応じて、構築された試験パターンに関連付けることができる。典型的なコードブックには、５０ＰＬＵおよび１０００から２０００の倍音素に対する事前記録され処理された特徴ベクトルが含まれる。電磁センサー・音響ＨＭＭによって使用者は、既知の語や句を表すこのような一連の特徴ベクトルを観測する確率を比較することによって１つの音素または１パターンとなった複数音素を統計的に識別することができる。この手順を実行するには、音響ベクトルＨＭＭ方式で技術上周知であるように、句を学習して、使用中の語業内の語に対する特徴ベクトルの組み合わせの試験パターンを構築する必要がある。ここに示す方法によって、ＨＭＭ音声認識方法が非常に価値あるものとなるが、その理由は、データが非常に正確で良く定義されるからである。ここに示す方法は、記録された情報を逆たたみ込みし、正規化し、量子化し、時間整合し、さらにモデリングすることによって合理的に特徴ベクトルを識別する非常に正確な手順を提供する。次に、アルゴリズムは、使用中の特定の電磁／音響ＨＭＭ用に必要とされるだけの数の一連の（すなわちマトリクスとなった）特徴ベクトルを形成する。その結果、個人話者の変動のたいていの曖昧さが除去され、音声単位のパターンは話者による変動はほとんどなく、このため、ＨＭＭは非常に正確な識別技法となる。（音声認識の電磁・音響ニューラルネット方法）ニューラルネットアルゴリズムは、特徴ベクトルによって示されたパターンを１つ以上の音響音声単位の記号表示に関連付けるに当たって有用なものである。本方法は訓練周期方法を用いて、ニューラルネット上の調整可能パラメータを電磁・音響入力特徴ベクトルと関連付ける。これらのパラメータは話者にも測定器にも依存しないので、コードブック発生中に規準話者グループだけでなく１人の使用者による音声内に定義されたベクトルは、同じ音響音声単位に対してはほとんど変動がない。リアルタイムの入力特徴ベクトルの関連付けは、周知のニューラルネットアルゴリズム（例えば２つ以上の層を用いるバック伝搬）を用いて実行して、各々の入力を既知の音響音声単位、例えば音素、語または他の音声単位に関連付ける。ここに示す手順の場合、各々の特徴ベクトルは長さが１５０係数あり、３時間フレームを一度に取ると、ニューラルネットに対して約４５０の入力が必要である。（制御ベクトルや同様の特徴ベクトルの係数は入力としては使用されない）。必要出力の計算プロセスを用いてオフラインで一度訓練されると、ネットワークアルゴリズムを使用者のプロセッサにロードして、入力特徴ベクトルから明瞭な出力音声単位に迅速に関連付けされる。（ニューラルネット応用の実践者に周知の方式の場合の音声器官運動の「マイクロ波」Ｘ線検出の詳細は、例えば、１９９２年８月発行のPapcunらによるJ.Acoust．Soc．Am.９２の第一部、６８８ページを参照されたい）。特徴ベクトル係数によって表される咬交器位置に音声音記号を一意に関連付けされるので、各々の特徴ベクトルと関連する記号が正確に識別することができる。（電磁・音響結合確率音声認識）結合確率方法を用いる認識によって、音声認識の精度が向上する。この認識方法は、従来の音声認識（すなわちＣＡＳＲ）情報と一緒に逆たたみ込み方式を結合して用い、さらに、認識情報（すなわちＮＡＳＲ）に基づいた純粋の電磁センサーを用いることに依存している。ステップ１：使用者は従来の音響（ＣＡＳＲ）システムを選択して、音響音声単位または音声単位シリーズ（例えば音素シリーズ）を検査する。ＣＡＳＲシステムは、識別の基準を満足させる１つ以上の識別（例えば「ａｈ」などの音素記号）を選択する。使用者が選択したレベル（例えば８０％）を超える識別確率を持つすべてのこのような識別された単位の最初の集合が形成される。ステップ２：逆たたみ込みプロセスに、ここに示す他の情報を足して用いて、特徴ベクトルを形成する。統計的技法（例えばＨＭＭ）音素テンプレートまたはニューラルネット）の内の１つを用いて、検査中の音声フレーム中に形成された特徴ベクトルと関連する１つ以上の音響音声単位の記号を識別する。この識別結果は、もし事前定義された確率帯域範囲内であれば、識別された音単位記号と関連付けされ（さらにその実際の識別確率も記録され）、識別された音響音単位の第２の集合に追加される。このステップに基づく、認識確率は異なるが許容可能な、他の潜在的単位はこの第２の集合に含まれる。ステップ３：使用者は、使用中の電磁センサーシステムからのデータを選択して、音声時間フレームごとのＮＡＳＲ特徴ベクトルを発生する。ＮＡＳＲシステムは、ＮＡＳＲ識別手順の確率規準を満足させる１つ以上の音響音声単位を推測する。識別された音声単位の記号の第３の集合が、認識確率付きで形成される。ステップ４：ステップ１、２および３はそれぞれ繰り返されて、一度も発見されなかった他のステップで識別された記号に対して識別確率を発生する。すなわち、（例えば）８０％より高い確率を持つステップ１からの識別された単位はステップ２で認識されなかったかもしれない、という理由は、その確率はカットオフ値未満であるからである。確率を結合するためには、各々のステップから得られた記号は他の２つのステップから得られた識別確率を持つ必要がある。第２のサイクルを通じて、記号がいずれかの手順ステップにおいて確率を簡単に割り当てられなかった場合、確率ゼロが割り当てられ得る。ステップ５：アルゴリズムは、その確率に応じて重み付けされて、ステップ１、ステップ２およびステップ３のいずれか、またはその組合せから得られた分離した確率を結合して、最も識別確率の高い音単位を得る。あるアルゴリズムは、ステップ１、２、３の各々から得られた記号の確率の自乗の和の平方根を取ることによって結合確率を得る。逆たたみ込み特徴ベクトルデータおよび他のここに示す手順によって得られる重要で価値あるさらなる特徴は、それが、もしデータの１つまたは２つの分離した集合が使用された場合、上記のデータの結合確率が向上するほどに統計的な測定意識が異なるさらなるデータ相関の程度を与える電磁センサーデータと音響との混合であるということである。この方式はある電磁センサーとマイクロフォンの場合には当てはまるが、使用者が音響マイクロフォン付きの２つ以上の電磁センサーを採用する場合は特に価値あるものとなる。この方式はまた、非常に正確だがしばしば不完全なデータの集合が複数個ある場合は特に効果がある。２つの電磁センサーシステムの一例は、電磁声門運動センサーおよび顎下上向き電磁センサーを用いる。これらのセンサーによって、使用者は次のものに基づいて３つのデータセットを得る：１）各々の時間フレームごとの顎、舌および軟口蓋の信号、２）刺激関数を測定する音響マイクロフォンセンサー、および３）音響マイクロフォンデータ。データ３の集合を用いた記号識別確率は、標準の統計的アルゴリズムを用いて単一のソフトウエア処理システムよって自然に結合することができる。各々の個別のセンサーを用いさらに、３）から２）を逆たたみ込みすることによって、ある記号の集合に対しては高い確率を、そして他のすべての記号に対しては非常に低い確率をもたらす非常に固有の正確な特徴が提供される。３つの集合をすべて一緒に使用することによって、アルゴリズムは、固有の記号に対して非常に高い識別確率を形成する。使用者は、このような組み合わされたシステムを用いることによって、認識目的のもっとも経済的で正確な方法で各々のセンサーとアルゴリズムを用いるか否か選択することができる。この方式によって、識別された音単位に対して経済的な計算と迅速な収束がなされる。（電磁・音響排他的確率音声認識）排他的確率方法は、結合確率音声認識に関する本セクションでのステップ１）から３）の上記の３つの特徴ベクトル集合の形成方法を用いる。本方法は連続的手順を用いて、３つのタイプの認識システムの内のどれによる識別をも統計的に拒絶する。本方法は論理試験を用いて、ある規準を満足しない記号を排除（すなわち拒絶）する。ステップ１：記号識別の確率が使用者が定義した値、例えば８０％を超える限り、該当する１つの音声時間フレームまたは複数フレームに対する音響音単位を識別するＣＡＳＲ方式を用いる。この段階では、確率規準は、手元にあるＣＡＳＲによる識別の同様の確率を持ち得る記号識別値を保持するように設定される。後続のステップは、このステップに基づく曖昧な識別を消去するために用いられる。ステップ２：逆たたみ込みされた特徴ベクトル集合を用いて、（ＣＡＳＲによる）識別の確率規準を満足させるが、ここに示す電磁／音響方法によって形成された特徴ベクトルを用いた識別確率に基づいた記号識別に対する使用者が定義した許容確率未満の、１）に基づいた識別済み音単位を除去する。ステップ３：ＮＡＳＲ電磁センサー識別方法の内の１つ以上を用いて、ステップ２から残存している識別済み音響単位記号の各々の確率をチェックする。ＮＡＳＲシステムの確率規準を満足しない音響音声単位を識別して除去する。残余の高確率の音響単位およびその識別確率はデータセット中に残しておく。ステップ４：ステップ３の後で、標準統計アルゴリズムを用いて、集合に残存している識別済みの音響単位の確率を結合する。これによって、この連続した３ステップの「排除」規準を満足する、通常は１つであるが、少数の音響音声単位が導かれる。このプロセスによって、各々のステップにおいて不十分なデータによってもたらされた曖昧な識別が消去される。識別確率の低い記号はプロセスの前半で除去され、これによってプロセス後半で計算処理を減少させる。このプロセスによって、３つの連続するセンサー・アルゴリズム試験をパスした１つまたは数少ない音響音声単位記号が正確に識別される確率が高くなる。特徴ベクトルを識別する技法の順序を並べ替えることによって、この方法をデータに適用することができる。例えば、逆たたみ込み技法をステップ１で用い、一方、ＣＡＳＲ技法をステップ２で用いることができる。この排除方法はまた、３つの識別ステップではなく２つステップの場合にも効果がある。この方法は、補助センサーからの、または主要センサーの「副産物」としての部分的情報を用いる際に価値あるものとなる。この方法によっては、すべての音響システムかすべての電磁・音響特徴ベクトルシステムのいずれかがさらなる情報無しで成し遂げることができる以上の正確さで音響音単位を識別することができる。例えば、舌電磁センサーで測定された１つ以上の迅速な舌先端の運動の存在は、逆たたみ込みプロセスによって識別された音響単位は、例えば英語の「ｔｈｅ」の「ｔｈ」またはスペイン語やイタリア語の「ｒｏｓａ」の巻き舌音「ｒ」などの舌運動と一致する音素に違いないことを示すものである。ステップ３から得られた特徴ベクトル係数が例えば、迅速な舌運動を示さない場合、記号識別は除去される。十分に高い確率を持つ２つの音声単位の記号が残存している場合、双方とも関連の確率を持つ集合内に存在することになる。使用者は最高の確率を持つ単位だけを選択することができるが、さもなければ、システムが双方の確率が希望の確実性に類似またはそれ未満である場合は、音または句を繰り返すように話者に自動的に要求する。確率規準を満足する認識済み記号が存在しない場合、音響音声単位は曖昧であり、識別された音響単位は確率を持った確実性順で示されていることを示す信号を制御装置に出力することができる。アルゴリズムをプログラムして、このような環境下での解明を繰り返し求めるように話者に自動的に要求することができる。（音声の合成）本方法は、個人的話者からまたは複数の話者の平均化された集合から得られた、保存された電磁センサー・音響データからの高性能で特有な音声の合成を規定する。個人的話者とは、普通の事務労働者から有名な俳優におよぶあらゆる個人を意味する。引続く合成のために用いられることになる音声符号化の処理は、オリジナルの特徴ベクトルがどのようにして符号化されコードブックに保存されるか、に依存する。ここにおける方法は、音声合成のために最適化された特徴ベクトルの集合を形成するために用いることができる。それらは、平均的な話者または、その音響音声が定量化されコードブックに保存される、とくに望ましい話者に基づいてもよい。ステップ１：使用者の合成応用例のために必要とされる各音響音声単位のために、望ましい話者または話者集団の各音響音声単位を記録することによって、参照コードブックを形成する。ここにおける手順に基づいて用いられるであろうすべての音響単位の特徴ベクトルを形成し、これらのベクトルの開始および終了を定義するために、ここにおけるマスタータイミングの技法を用いる。ステップ２：すべての要求される音声単位（音素、倍音、３倍音、句読点規則、指示された抑揚、等）を、それらの検索の目的で、文字テキスト（written te xt book）から識別する市販のテキスト音声変換器を用いる。ステップ３：ステップ２からの音声単位をステップ１で述べられたコードブックの位置に関連付けるための自動探索および検索ルーチンを用いる。ステップ４：ステップ３で述べられたコードブックの位置から、使われる特徴ベクトルを選ぶ。刺激関数および伝達関数に加えて、特徴ベクトル情報は、音声単位のタイミング、フレームからフレームへの結合関係および韻律情報を含む。ステップ５：もし音素から音素への移行がステップ２によって発呼されなければ、次の１つまたはそれ以上を用いて、伝達音響音声単位を生成させる。２つの順次的な音声化された音声単位が、音声化された音声フレームの、声門の閉鎖時間（すなわち、声門のゼロ）において結合され、一方、非音声化されたフレーム（または非音声化−音声化フレーム）は、音響振幅ゼロにおいて結合される。もし、移行の規則が音声化された音素単位間の補間率を述べていれば、それらは、移行時間フレームの持続時間を設定し、先行するまたは次に来る時間フレームにおける別の発声状態に対する関係によって変化する刺激および伝達関数の係数を補間するために用いられる。補間の他の方法は、適正な強度および音声周期に正規化され、ステップ２で呼ばれたどの２つの音素間にも自動的に置かれる、コードブックにプレストアされた倍音素または３倍音素の音響音声パターンを用いることである。ステップ６：各音声時間フレームまたは音声時間フレームの組合わせにおいて発声した音響音声のために韻律法を提供する。例えば、いくつかの音声フレームにわたっての、音声レベル振幅の増大率、安定性の周期、または振幅の減少率を設定するために、韻律規則を用いる。音声シーケンスの開始から終了までのピッチ変化を設定するために、句節法および句読法の規則によって定義されるような韻律規則を用いる。そのような韻律法情報は、ステップ２におけるテキスト音声変換器から得られ、音声に合成されるテキストの要求を満たすためにコードブックから取られる際に、フレームベクトルを変更するために用いられる。ステップ７：刺激関数および伝達関数を、強度レベルといっしょに、たたみ込み、関連する時間フレームに対するディジタル的出力音声表現を生成する。この手順は、次の音声時間フレームに敷街する音響信号を生出す。１つのフレームからの信号は、強度を得るために、波の振幅を加算して２乗する（干渉性加算）、または、振幅を２乗して加算する（非干渉性手順）手順によって、次のフレームに生成した音響信号（すなわち、振幅対時間）に結合される。「ディザリング」、またはフレームからフレームへ特徴ベクトルの係数を変えることを伴なった、これらの方式の組合わせは、人間の音声における短時間の変化をシミュレートすることに役立てられる。このディジタル表現は、ディジタル−アナログ変換器および望まれれば放送送信機を介してアナログに変換される。図１９は、満足すべき音を実験的に生み出した、再構成された音響音声単位「ａｈ」のためのデータを示す。オリジナルに記録された音響データが曲線上の点によって示され、その線は、上述のステップ２から７に従って形成された、再構成された音のスペクトルである。「ａｈ」という音は、手動で選ばれる。（合成された音声を変える方法）音声特徴ベクトルを符号化し保存する方法は、使用者の音声合成の目的を満たすために、オリジナルの符号化を変えるのに用いることができる。ここに述べられる方法は、望まれる音声の変更を達成するためによく定義され自動化された手順を使用者に提供する。例えば、オリジナルの音声ピッチは、望まれる値に変えることができ、音響音声単位の運搬速度は、望まれる速度に変えることができる。それぞれの音声特徴ベクトルにおいて、いくつかの係数は刺激関数を記述する。リアルタイムに（例えば、より少ない時間を取るために、個々の声門の三角関数形を圧縮または展開することによって）または変換空間において（変換された刺激振幅値をより高いまたはより低い周波数ビンに移動することによって）、のいずれにおいても、刺激関数の持続時間を変えることによって、ピッチを高くまたは低く変えることができる。これらの手順は、単位時間当たりの声門の開閉周期の数を増大させ、それから、このより高い（またはより低い）ピッチの刺激関数に、それぞれ新たに定義された音声時間フレームにおいて変化しなかった声道伝達関数をたたみ込むことによって、新しいより高い（またはより低い）ピッチの音声化された出力を得る。ピッチの変化を記述する韻律規則を実行するために、アルゴリズムは、いくつかのピッチ周期を含む音声セグメントの間、ピッチの導関数を生成させる。アルゴリズムは、各フレームの刺激関数ピッチを、最初のピッチ値から次のフレームのわずかに高い（または低い）ピッチ値へ、ゆっくり変化させる。またアルゴリズムは、より自然に聞こえる合成音声を生み出すために、それぞれの構成された時間フレームにおける声門周期持続時間を「ディザリング(dithering)」する。これらの新しい方法は、連続する刺激関数を、それらの声門が閉じている周期の間、結合させるための非常に重要な手順を提供する。このようにして、リアルタイムの音響出力信号のなかに急激な変化（すなわち、引起こされた不連続）が生じない。似たような仕方で、それぞれの音声単位の長さを調整するために、余分な時間フレームを単に加える（または取去る）ことができ、または複数フレーム伝達関数（すなわち、ちょうど多い周期の、一定の刺激関数および伝達関数）を展開することができる。これらの方法を用いて、なにかを話すための時間を延長し、または、言葉をすぐに終えるための話しの速度を上げることができるが、ここにおける方法によって与えられる基本的な音声フレーム「組立ブロック」を用いて、優れた性質の音声を維持することができる。これらの方法の１つの重要な応用は、音声スタジオにおいて録音された俳優の音声の速度を、ビデオ（またはフィルム）媒体上での彼または彼女の顔の動き（例えば、唇）に、同調させることである。顔の発声運動を得るには、唇の動きを記録するための電磁センサーおよび電磁センサー情報を用いて得られた、既知の音声フレームの特徴に関連付けられるビデオまたはフィルム上の主要な顔（例えば唇）の動きを追跡するためのビデオ映像解析器を用いることが必要である。映像解析システムは商業的に入手可能で、ビデオまたはフィルム内のパターンを追跡することができる。ここにおける方法は、使用者が、一連の映像内の顔の動きを追うために、正確な速度で、新しい音声の合成によって音声の経過を同調させることを可能にする。ここにおけるアルゴリズムは、時間フレームの伸長または圧縮によって、追加のフレームの付加または削除によって、無音の音素の付加または削除によるフレームの時間的シフトによって、停止の導入によって、あるフレーム・パターンを一定に保つことによって、および他を伸長することによって、また、話者の顔の動きや身振りに一致する場合を除いて、明瞭な音声が、変化しないような方法で、刺激関数の長さを変えることができる。使用者はまた、話者の伝達関数を望むように変えることができる。使用者は、生理学的または相当する回路モデルを用いて、生理学的パラメータを変更し、新しい伝達関数を構成することができる。例は、声道を長くし、声門を口の直径の比率に変え、または鼻孔の大きさを増大させている。本方法はまた、係数を「もて遊び」、結果する音声を合成することによって、楽しみのために、動物の音を真似るために、調査のために、または特別の「注意を喚起する」通信応用例のために、伝達関数の構成におけるほとんど任意の変化を可能にする。ひとたび、変更された伝達関数が、生理学的モデルの変更の結果として、または実験的に決定された係数を用いて、形成されると、使用者はそれから、コードブックにおける対応する変更を行なう。変更された伝達関数に対応するコードブック内の全ての伝達ベクトル係数が、新しいコードブックを作るために変更される。ここにおける方法は、声道伝達関数、例えばＡＲＭＡ、相当する回路パラメータ、または生理学を基礎とする汎関数を定義するために上述されたいくつかの汎関数が、よく定義され、容易に変更されるので、そのような自動的変更を可能にする。変更された音声を合成するために使用者は、上述の音声合成ステップに従って進む。それぞれの選択された音響音声単位は、変更された伝達関数情報、刺激、韻律法、タイミングの変更、および（同調データを含む）制御情報を含む特徴ベクトルに関連付けられる。１人の人間からまたは平均化された人間から得られた、コードブック内に保存されたデータを変更する別の方法は、与えられた特徴ベクトル内の刺激関数の係数記述子を、より望ましい話者からのそれに替えることである。同様にして、オリジナルの話者からの伝達関数または韻律パターンを、より望ましい話者からのそれに替えることができる。そして使用者は、要求に基づいて、使用者の目的のための音声出力の新しい単位を生成するために、伝達関数の刺激関数へのたたみ込を実行する。一貫させるために、そのような変更は、用いられているコードブック内に保存された全ての関連する特徴ベクトル係数について行われなければならい。例えば、もし１人の人間の声門の係数が別の人間のそれに替えられたならば、すべての特徴ベクトル係数内における全ての刺激関数の係数記述子が指示に従って変えられなければならない。全ての特徴ベクトルの形式が知られており、メモリ内のそれらの位置が知られているために、これを行なうことは容易である。こうして、アルゴリズムの手順は、使用者が、コードブックのベクトルおよびそれらの特定の係数の既知の集合を変更することを可能にする。音声を変更し再構成するためのこれらの方法は、非常に独特な合成刺激関数および伝達関数を生成することを可能にする。変更の方法は、動物の発生システムのモデルを用いることによる動物の音声の生成、物理的に不可能な開閉声門時間関数または伝達関数の構成、非常に高い発声（例えば、１００ｋＨｚでのイルカの音声）を作るためのピッチ周期のシフト、または、音楽的音または色調に伴なうような外部の刺激に反応した刺激関数の変更を含む。つまり、下手な歌手でも、ここにおける方法に似たシステム内で唄うことができ、そして音楽的に正された声が合成され放送される、ということである。または、動物の訓練士がプロセッサに話すことができ、そしてその音声を、動物が訓練されるのに最適化された周波数帯域およびパターンに変えることができるのである。これらの技法は、誇張された生理学的パラメータに基づく、物理的に実現不可能な特徴ベクトルを容易に作ることができる。この技法はまた、愉快な音（例えば、シマリスの声）または望ましい韻律パターンを得るために、特徴ベクトルの交代を作り出す。これらの特別な効果は、娯楽または研究の目的に用いることができ、または他の特別に望まれる効果が、この技法を用いて容易に作ることができる。符号化の方法は、基本的かつ使い易いので、これらの方法は非常に有効で価値が高い。（音声電話方式）（解析合成電話方式・ボコーディング）ここで述べられる音声認識および音声合成の方法は、リアルタイムの解析・合成電話方式（すなわち、ボコーディング）を目的とした、音声符号化および復号の様々な新しい方法を提供する。音声セグメントの特徴ベクトルは音声合成および電話方式伝送のためにすぐに使用可能であるために、特徴ベクトル発声処理を用いることは特に便利である。解析・合成電話方式（すなわち、ボコーディング）の１つの方法は、電磁センサーが声門組織の運動を測定する間、マイクロフォンに向かって話している話者とともにスタートする。図２０は、ボコーディング電話方式送受話器の切取り図を伴なうヘッドの図を示す。送受話器９０は、電磁センサー９１，９２，９３および音響マイクロフォン９４を含む。電磁センサー９１，９２，９３は、好ましくは、特定の組織状態検出のために最適化されたマイクロパワー・レーダーであって、進行中の電磁波を指示し様々な音声組織からの反射電磁波を受信する。例えば、センサー９３は、発声ひだおよび声門の運動の測定のために位置決めされる。送受話器９０はまた、有線または無線の接続器９６を介して外部に接続される送受信装置９５を含む。送受信装置９５はマスタークロック９７に接続されている。マスタークロック９７は音声符号化プロセッサ、認識器コードブック、および記憶装置９８を制御する。記憶装置９８に電磁センサー９１，９２，９３およびマイクロフォン９４が接続されている。制御装置９７はまた、復号器プロセッサ、音声合成器、メモリ、および受信機ラウド・スピーカー１００につながっているコードブック装置９９に接続されている。装置９９およびスピーカー１００は、スピーカー１００が人間の耳を覆うようにして、受話器の中に取付けられている。図２０に示されるいくつかのシステムの機能は、図８に示される機能に類似している。音声は刺激関数を音響出力から逆たたみ込みすることによって解析され、特徴ベクトルは、音声出力のそれぞれの時間フレームを記述することによって形成される。これらの特徴ベクトルの数値係数は、標準的電話方式の符号化および伝送技法を用いて、直接伝送することができる。代わりに、音声音装置は音声認識されることができ、（例えば、ＡＳＣＩＩまたは他のよく知られたコードにおける）認識装置ための記号は伝送することができる。追加的または話者特徴づけ情報は望まれるように伝送することができる。「異なった特徴ベクトル」の形成、および「より重要な」および「重要性の低い」伝達関数係数の識別のための方法は、それらを用いると符号化された声の情報を送るために必要な帯域幅を減少することができるので、電話方式にとって特に有益である。電話方式のリンクの受信側の端において、伝送された信号は声に再構成される。合成手順は、伝送された特徴ベクトルを用いてもよいし、「テキスト音声」処理内において保存された特徴ベクトルの内部的コードブックを用いて、伝送された音声記号から新しい音声を合成してもよい。使用者は、合成音声を望む度合いに応じて「擬人化」するために部分的話者情報を用いて組合わされた方式を用いることができる。代わりに、受信機の自動制御装置は、入ってくる符号化された音声を認識し、その認識された記号情報を、処理または保存の目的でローカル・コンピュータ・システムへ、ファックス受信機か、受信された記号をプリントするためにプリンターへ、または受信機の意図による後での使用のためにアナログ記録システムへ、送ってもよい。ここにおけるボコーディングの方法は、追加的な情報を、各音声フレームにおける伝送された音声情報パケットに添付する処理を含む。この追加的情報は、受信機によって、話者識別のために、音声を変換するために、外国語に変換するために、データを暗号化するために、または帯域幅を最小化するために、用いることができる。このようにして形成された特徴ベクトルの伝送は、電線、光ファイバー、音響（例えば、水面下の通信）のような伝送システムにまたがって、または無線システムにまたがって行なうことができる。本方法はそれから、供給された音響音を電話受話器を介して聴取者に放送する目的で、特徴ベクトルを、話者を表現する音響音に合成することを含む。ボコーディング・システムの音声合成部分は、平均的な話者の特性を用いるために設計することができ、または、非常に高い忠実度の話者-特有な音声を伝送するために設計することができる。高い忠実度の伝送は、可能な最小のものよりも、特徴ベクトル情報のより正確な記述の伝送のために比較的高い帯域幅を用いるが、現在の高忠実度の声の伝送よりもずっと小さな帯域幅を要求する。逆に、最小の帯域幅のシステムは、最小量の声の情報の通信に必要な情報を除いて、話者についての全ての情報を取除く。ボコーディング・コミュニケーション・システムにおける話者が聴取者になり、聴取者が話者になった場合、ボコーディング・システムは、話者から聴取者への、および聴取者から話者へのやり取りを除いて、上記と同様に働く。さらに、その処理はリアルタイムに動作し、それは、認知、符号化、（もし必要なら）認識、および合成が、使用者が話している間に、または聴いている間に行なわれるということを意味する。リアルタイムとは、符号化、伝送、および再合成に関連する時間の遅れが、使用者にとってその処理的遅延が満足できる程度に小さいということを意味する。ここで述べられた符号化、変更、およびタイミングの計算的に効率的な方法は、必要とされる迅速な符号化および合成を可能にする。そうしたシステムの基本が、いくつかの話された基本的音声音を符号化することによって、および符号化された情報を用いてそれらを音響的に合成することによって、実験的に示された。（最小帯域幅伝送符号化）最小伝送符号化は、ここで述べられる識別および符号化を用いて可能となる。１つの方法は、上記の音声圧縮の方法を用いることである。他の方法は、合成の音声認識部分が、言葉の識別または話者特有の最小情報の伝送に帰着したときに可能となる。図２０に示したように、システム内の音声識別を用いることにより、それぞれの音響音声単位は言葉に翻訳され、（例えば、ＡＳＣＩＩ内の）文字コンピュータ・コードが、伝送帯域幅を最小化する目的で、非常に少ないまたは無い、声の特徴づけ情報に従って伝送される。記号の伝送技法は、リアルタイムの音声電話方式より１００倍小さい伝送帯域幅を用いることが知られている。このようにして、この伝送帯域幅の値の圧縮技法は非常に高い。ここにおける符号化の手順を用いる上記の音声圧縮技法は、帯域幅最小化においては非能率的であるが、それは用いるのにより簡単で、話者の音声の特徴のほとんどを保持し、リアルタイムの音声よりも１０倍小さい帯域幅を用いて計算される。帯域幅の縮小（すなわち、帯域幅最小化）は、現在の通信におけるよく知られた符号化技法の多くを用いて達成される。そのほとんどは、使用者に認識可能で、「フレーム」ごとに再伝送しない、情報における伝送の変更のみの原理に基づいている。上述された「差特徴ベクトル」の方法はこの応用例に非常に有効である。さらに、帯域幅の最小化は、この応用例に必要とされる音声特徴づけの最低限度の特性を用いることによって、より一層増強される。音声の特徴づけおよび再構成のための方法は、帯域幅最小化のこれらの手順に特に適している。なぜなら、ここにおけるこれらの方法は、可能な限り単純な音声単位をどのようにして測定し特徴づけるかを示しているからである。例えば、話者の生理学上の部分的な情報は、受信機の処理に送られ、より擬人化された音声再構成のための合成モデルに組み入れることができる。ひとたび得られれば、刺激および伝達関数のこれらの音声「組立」ブロックは、近似され、多くの方法に用いることができる。特に、使用者の要求に適う、次の音声フレームの更新に必要な、「変更情報」におけるよく定義された決定は、その情報が伝送媒体を通して送出される前に、行なわれなければならない。符号化および再合成の技法は、密接にかつ自然に結びついているので、伝送のための最初の符号化および引続く復号および再合成は、直接的かつ経済的である。これらの方法は、価値があり高価な伝送帯域幅を節約するための、コストを削減する重要な手段を提供するので、価値が高い。本方法の別の価値ある使用は、暗号化「オーバーヘッド」または話者識別のような、追加的情報が、現在の固定帯域幅のシステムにおける音の情報とともに伝送されることを可能にすることである。（同時通訳）ここに示すリアルタイム音声符号化、認識、および再合成のための方法は、人工発声システムにおける１つの言語から別の言語へのリアルタイム音声翻訳のために有用なものである。ステップ１：使用者は、図８と図２０に示したように、システムへ向けて発声する。システムはそれぞれの音響音声単位を符号化する。ステップ２：システムは符号化音声単位を認識して、文字や単語の象徴的なテキスト、または絵文字のような他の言語単位を形成する。ステップ３：システムは商用言語Ａから言語Ｂへの翻訳システムを用い、それはステップ２から認識された音響言語単位の象徴的なテキストを得て、それらを言語Ｂのための記号テキストに変換する。ステップ４：システムは特徴ベクトルの中に、韻律則と一緒に言語Ｂの記号を音声コンバータに変換するために商用（または他の）テキストを使用する。ステップ５：システムは言語Ｂで音響音声の中に翻訳された記号を合成する。上記ステップ２におけるこの方法の変形は、コードブックでのそれぞれの認識された単語を関連付けられた外国語単語と関連付けることである。それゆえ翻訳ステップ３およびステップ４での「テキストから音声」は単純な翻訳応用を避けられる。この言語翻訳システムはリアルタイムで稼動して、そして非常にコンパクトである。それは、使用者が１つの言語を発声して別の言語が出てくる携帯用メガホン（例えば図２０、しかし翻訳単位とメガホンは付属している）の中にパッケージすることができる。より複雑で、より正確な翻訳応用のために、それは、図８に示したような据付システムとして製造することができる。（提示と学習）この特徴ベクトル形成の方法は、使用者にフィードバックされるそれぞれの音声単位のために受け取る情報を表示することを可能にする。表示情報はスクリーン上にグラフィックであり、（例えば、話者の声道画像）または情報は、音声化、または印刷、または触覚または電気的刺激によって使用者に伝送することができる。特徴ベクトルの使用は、話者の声道咬交器の大きさおよび位置の視覚表示における生理学的パラメータの支援に基づく。これらは音声訂正、リアルタイム音声支援、音声教育の目的のために使用することができる。なぜならば、試そうとする音のために話者の発声器官の配置における問題を例示するのに情報を使用することができるからである。逆に、ここにある方法は、正しい特徴ベクトルの参照コードブックを使用して、望ましい音のために訂正された発声器官の配置の例示を可能にする。これらの手順は音声訂正のためにそして外国語学習のために非常に価値がある。使用者の音声を認識して、リアルタイムで、障害を持った使用者に音声をバックする特性を伝達する能力は、音声を損なわれた人々に多大な価値をもたらすものである。例えば、耳の聞こえない話者はそれらの音質上に、触覚経由または電気の信号によって彼の皮膚または彼の内部器官に、フィードバック刺激を受けることができる。（結論）本発明は、１つまたはいくつかの連続的な音声時間フレーム間隔のための、任意の話者の正確な音声刺激関数の自動的な手法についての測定および発生方法を含むものである。同時に、音響信号は測定され、１つまたはいくつかの連続的な音声時間フレーム間隔のために音声伝達関数に導いて、刺激関数は音響信号から逆たたみ込みされる。本発明は正確なタイミング方法、これらのデータを特徴ベクトルの中への符号化、およびコードブックへの情報の保存を含むものである。有声音および無声音の２つのタイプの刺激関数があり、少数の音しか両方一緒には使用しない。音声化された刺激関数を発生するために、声門を通過する空気流量、または後段の声門圧力は電磁波を使用して声門組織の場所の測定によって測定される。声門の開口部の区域を通っての空気流は、声帯ひだの開閉時の声門地域の反射レベルの変化を測定するために電磁センサーを使用し、次いで空気流を得るために較正とモデルを使用して音声化された音声の間に測定することができる。同様に、圧力も測定できる。電磁センサーが話者の声箱（喉仏）の前部または側面から反射変化を測定する。エリア開口部の分析的な計算が、開口部からの電磁反射のモデル従属汎関数から得られる。エリアを得る第二の技法は、測定された話者の声門の代表的集合の開口部エリアの光学的画像と共に反射電磁信号を関連付けることである。第三の技法は、一方または両方の声門開口部の端から、センサーの視線内で正確に反射を追って、光学的画像でそのような信号を較正するために１つまたはそれ以上の領域制限電磁センサーを使用することである。第四の方法は、本来の場所で、電磁信号対較正された訓練期間の間の代表話者の空気流または圧力センサー信号のテーブルを構成することである。既知の式、または声門の開口部（声帯ひだの間に）を通過した空気流量を定義した較正が、一定の声帯伝動圧力の条件の下で、絶対または相対的な方法で空気流量対時間を定義するのに使用することができる。この空気流量関数は、それぞれの時間フレームのために人間の声道の音声化した刺激関数の新しく、かつ価値ある記述を供給するものである。同様に、後段の声門の空気圧力は、必要ならば、声帯伝動の圧力想定の訂正および他の応用ために較正され、得ることができる。音声化された刺激関数のための時間の関数としての空気流の変化は、予測の時間フレームの間に声帯伝動圧力が一定でないケースにおいて予測することができる。このプロセスは予測伝達関数から計算された背圧を利用させ、それは一次空気流修正をするためにその後使用される。予測は、周波数の関数またはそれが圧力変動のために組織運動の直接測定を用いるとして、背圧変化のために正しい声門運動を決定する許された声門運動のモデルを使用する。音響学的に発生するノイズは、ノイズ信号を引き算するためにマイクロフォン情報を使用して、または声門運動信号から音響信号を濾過するフーリエ変換技法を使用して声門信号から除去することができる。リアルタイムおよび変換空間（フーリエ変換またはＺ変換）での空気流量刺激関数の汎関数形状は、声門のゼロの（または閉の）時間を含めて近似することができる。刺激特徴ベクトルは測定された刺激関数に近似汎関数（またはテーブル）を定義することによって、および定義された時間フレームの数値のデータに適合する汎関数を記述する一連の数値係数を得ることによって構成される。音声フレーム時間間隔の数は、刺激関数と音響出力の両方が一定である間に決定される。定数はリアルタイムまたは変換空間における、受容できる変化の帯域の中で残っている信号として定義される。特徴ベクトルは刺激関数およびとそれの間に２つの関数が一定でいる間の定義された時間フレームの数の両方を記述して定義することができる。空気流量刺激関数のゆっくり変化している汎関数形式（ピッチ周期のような）および対応する音響出力も、いくつかの音声時間フレーム間隔上に、決定され、刺激関数を記述した特徴ベクトルが定義され、汎関数が定義された時間フレームのために変化する。振幅のような他の遅い変化も同様に記述することができる。測定された刺激関数は、騒音と背圧項を含めて、平均的な話者と、平均的な話者のまたは特定の話者の音声化された刺激関数からの偏差（すなわち、相違）の上に基づいて定義した特徴ベクトルとを比較することができる。これはリアルタイムまたはフーリエ空間で行うことができる。同様に、差特徴ベクトルは最近得られた特徴あるベクトルと、より早い時間フレームから得られたそれと比較することにより形成することができる。本発明はまた、音声処理の間に時間フレームの定義のためのマスタータイミング単位として音声化された刺激関数周期を用いることを含むものである。これは、声門の開閉サイクルの開始と終了の定義、サイクルの中で声門の閉鎖（すなわち、無空気流）時間の取得、および得られた前のまたは次の時間フレームで得たそれへの音声時間フレームが得たすべての情報の連結のために次への１つのそのようなサイクルとの結合を含むものである。１つまたは多重の時間フレームタイミング単位測定は、同時の音声器官条件およびビデオ、磁気共鳴画像、電気的な皮膚の電位、空気流、または超音波伝達のような他の条件から行うことができる。本発明は、自動的に発生した時間フレーム情報の特徴ベクトルの一部としての特性化および保存、それぞれの音声時間フレームを連続的なタイミングクロック時計と関連付け、特徴ベクトルの一部としてこの絶対タイミング情報を保存、音声再構成、視覚画像を持つ同時音声、訓練または人工声帯のための発声器官条件の視覚化、話者認識、外国語翻訳、符号化電話方式の目的のためのこのように定義された時間フレームの使用を含む。本発明は定義された音声時間フレームの間に、音声が声帯ひだ運動なしで起ったと判断することによって話者の無声音の刺激関数を予測する方法を含む。「改良された白色ノイズ」刺激関数はその後、聴取者および、周知の音のために測定された音響出力をシミュレートするために平均的話者（話者の言語で）の周知の伝達関数を刺激して正確な刺激関数を供給するための、分析によって有効とされた汎関数形式から選ばれる。第二の方法は、音響出力から無声音のために周知の伝達関数を逆たたみ込みして、測定された無声音刺激関数源を得ることである。音声単位時間フレームは、無声音の音声が関与する音声時間フレームの間に話者によって発音されている時、定義される。アルゴリズムは、音響スペクトルがそれを超えて一定である持続時間を単純に測定して、フレーム持続時間であるその時間を記録する。または、スペクトル安定性および時間を用いて、音声化音声周期の前後からの音声化した音声時間フレーム持続時間の外挿または内挿により、または前もって定められた時間フレーム周期を用いることにより、（例えば５０ｍｓ）定義される。望ましい無声音刺激関数の特徴ベクトルは刺激関数が一定かまたはゆっくりと変化するその間に１つまたはそれ以上の音声時間フレーム間隔のフーリエ変換によって定義される。その間に声道の無声音刺激が一定またはゆっくりと変化が起こる無声音の音声フレームの数は決定され、刺激関数、時間フレーム持続時間、定義された時間フレームを超えた刺激関数の遅い変化を記述して特徴ベクトルが定義される。本発明は、人間の話者の音響出力の測定および記録の方法を含み、同時に電磁センサー信号で、１つまたはそれ以上の音声時間フレームの間のそして十分な直線性、ダイナミックレンジ、使用者の応用のためのサンプリング帯域幅での情報を保存する方法を含む。音声時間隔フレームまたは複数フレームの間に記録したマイクロフォン電圧振幅対時間信号は、リアルタイムまたはフーリエ周波数空間で記録された音響出力関数からの刺激関数を逆たたみ込みする目的のために特性化される。情報は、記録されたマイクロフォン電圧対時間信号から選択され、それは統計学的に有効で、望ましい時間フレームまたは複数の時間フレームの間に次の処理の目的のために音圧振幅対時間または音圧フーリエ振幅および位相対周波数を特性化する。唇からマイクロフォンへの音響の放射伝達関数は、フーリエ空間またはリアルタイム空間で、装置人工物を除去して、伝達関数を単純化し、続く処理ステップで逆たたみ込み手順のより速い収束を可能にするために、逆たたみ込みすることができる。本発明は、１つまたはいくつかの連続的な音声時間フレームに対し、人間の話者からの測定された音響音声出力から発声システム源関数を逆たたみ込みする電磁音声器官位置または速度情報（例えば、声帯ひだ）を使用する方法を含む。これはそれを超えた逆たたみ込みが行われる時間フレームまたは複数時間フレームの間の使用される人間の声道の伝達関数の正確な代表数値を可能にするものである。逆たたみ込みはリアルタイムで、時系列技法、速いフーリエ変換技法、モデルに基づく変換技法、データ処理と逆たたみ込みの分野のエキスパートによく知られている他の技法によりなされる。１つのまたはそれ以上の音声時間間隔フレームの間に用いた人間話者の声道伝達関数は、変換されたマイクロフォン音響圧力信号を変換された刺激発生源信号で割り算することによる周知の逆たたみ込み技法（それがＡＲＭＡアプローチと関連付けられたような）を使用することによって得られる。唇からマイクロフォン伝達関数、または他の既知の汎関数は、既知の汎関数に適合させて、または他の周知の数値の技法で逆たたみ込みすることによって必要に応じ、得ることができる。個別の器官の配置の位置についての追加の情報、およびこのような声道の形状については、他の電磁センサーデータの使用を通して得ることができ、同時の音響のデータの有無にかかわらず、最も良い収束または最も正確な適合のための最適な伝達関数汎関数構造を決定する。例としては、それぞれの音声時間間隔フレームのためにＡＲＭＡ汎関数記述の中にポールまたはゼロの適切な数を選択することである。音声伝達関数特徴ベクトルはフーリエ変換または他の技法を用い、音響出力関数からの刺激関数の逆たたみ込みからの振幅および位相対周波数間隔から定義することができる。関数は数値のテーブルによって定義されるか、または既知の汎関数形式によって適合化され、数のパラメータ係数を関連付けることができる。本発明は、移動平均の自動回帰（ＡＲＭＡ）技法で用いられるような周知のポールゼロ（または時系列ａ、ｂ係数）近似技法を使用することにより伝達関数の近似方法を含むものである。変換関数特徴ベクトルは、音声時間間隔フレームまたは複数のフレームのために振幅、位相、汎関数形式のタイプ、汎関数係数の定義、特徴ベクトルの持続時間、他の必要な情報を得ることを含んで形成される。ポール表示およびゼロ表示または音声時間間隔フレームまたは重要なフレームのＡＲＭＡ記述子ａ，ｂ表示を使用することにより、伝達関数を記述する機能ベクトルは形成される。さらに使用するポールやゼロの数（または代わりに音声時間間隔フレームまたは重要なフレームのＡＲＭＡ記述子のａ，ｂ値）を原則として固定する定義されたＡＲＭＡ汎関数形態を使用することでも形成される。前に示した既知のタイプの話者から各ベクトル素子にいろいろな相違を記憶することにより、または過去時間フレームからいろいろな相違を一定の使用期間記憶することにより、相違「ポール・ゼロ」（またはａ,ｂ）特徴ベクトルを定義することが本発明に含まれる。さらに主要な路寸法を示す「より重要な」ポール・ゼロ（またはａ，ｂ）値、および個々の話者特有の音声を示す「重要性の低い」値の定義も本発明には含まれる。音声時間間隔フレームのための伝達関数「特徴ベクトル」形成もその一部である人間の声道音響システムを予知することにより、前もって示されている音響システムに似た、一般に良く知られている電子式または機械式のものを使用して伝達関数を概算することが本発明に含まれている。電気的類似性・モデルでインピーダンス（すなわちＺの）または回路値(すなわちＬ、Ｃ、Ｒ、Ｇの値)を使用することにより伝達関数を示す特徴ベクトルが形成される。前に示したタイプの話者から、すなわち前の時間フレームで得た係数から各ベクトル素子に相違を記憶することで特徴ベクトルの定義が可能となる。特徴ベクトルと刺激関数情報を使用して、話者の生理学上のパラメータを定義することができる。伝達関数パラメータは電気的類似性・モデルを定義するために使用され、路長、口腔長、副鼻洞容積、口腔容量、咽頭容量、空気通過壁コンプライアンス、これ以外の音響音声専門家が知るパラメータが、このパラメータと関連がある。質量、スプリング定数、声道膜の潤いを示すために刺激関数情報が使用される。声道構成のために測定し導いた伝達関数が表示して、重要な音声時間間隔フレームの間に話者が使用するその生理的寸法を使い、伝達関数を表示する機能ベクトルを形成することができる。特徴ベクトルとして前に示した既知のタイプの話者、すなわち前の時間フレームで得た係数から各特徴ベクトル素子にいろいろな相違を記憶することでも特徴ベクトルは形成される。各時間フレームおよび多重時間フレームの定義法、すなわち「ベクトル中のベクトル」である音声特徴ベクトルを本発明は含んでいる。その構成要素は使用者が示す必要な情報、刺激関数特徴ベクトル、音声路伝達関数特徴ベクトル、韻律学特徴ベクトル、音響特徴ベクトルからの情報、タイミング情報および必要数の時間フレームにわたる使用言語の応用例のための音響音単位すべての制御情報である。訓練期間にこのようなベクトルを取得しデータベース（すなわちライブラリまたはコードブック）の中に記憶することが本発明には含まれる。データベースは、リアルタイムに、迅速なリサーチや検索が行なえるよう設計されている。各特徴ある話者の明確な定義、個々または平均的話者の集合から基準となる話者を定義すること、または正規化を使い仮想の話者に係数を置き換えること、すなわち汎関数とその係数の人為的修正などがこの方法には含まれる。さらに一回以上の音声フレームにわたりこのようなベクトルの形成がそこには含まれ、そしてそのベクトルにはすべての音節、音素、ＰＬＵ,倍音素、３倍音素、複数音素、単語、句、および使用言語と応用例に必要なこれ以外の構造に対して上記の形成が含まれる。汎関数のタイプに包合された記憶特徴ベクトル情報およびある話者の定義特徴ベクトル係数は、対象の話者の発生した文を平均的な話者のものに正規化するために使用される。話者固有の刺激関数および既知音の伝達関数係数を訓練期間に同じ音で基準話者の刺激関数および伝達関数係数と比較することにより個々の相違をこの方法は認識する。最も簡単な方法は基準話者特徴ベクトルを使用者のものと置き換えることであり、第二の方法は難解な音声合成を表示する特徴ベクトルを置き換えることである。これらによりコードブックが擬人化され、比較が正確に、そしてベクトルの検索が特徴あるものになる。第三の方法は極値の方法で、その中で使用者の特徴係数ベクトルの各係数の極値から基準話者の極値までマッピングが行われる。応用例に必要なすべての音単位の係数範囲極値がこの値には含まれ、それは訓練期間に取得される。次に時間フレーム毎に取得された特徴ベクトル係数は線形断片マッピングを使用して基準話者のものに正規化される。この方法により個々の言語音の可変性の多くが取り除かれ、話者独自の特徴ベクトルが時間フレーム毎に形成される。このようにして音声音を記憶ライブラリの中の音記号と高い識別の確率で関連づけることが可能となる。さらにこの方式により計測器の可変性も取り除かれる。応用例の識別可能帯域を表す限定した集合の値に、正規化した特徴ベクトル係数を量化することがこの方法には含まれる。明らかに咬交器は著しい音声の相違に対してその位置を変え、一定量を調節し、使用者が大切と思うようにする必要がある。安定していると理解される計数値の帯域はシステムのセットアップおよび訓練の間に測定される。正規化された各係数は取得されると調音装置の「量化された」側面を表す値の一つにマップされる。係数自体を使い、コードブック・アドレスに直接アドレスすることで、対応する記憶規準特徴ベクトルを探し出すテーブル直接索引がこの方式により可能となる。緩慢な変化または変化がベクトル係数では全く起こらないような時間フレームの完全な特徴ベクトルは一個の音声フレームを表示する特徴ベクトルになってしまうことがある。さらに崩壊した特徴ベクトルに含まれるのは、連続した一定の時間フレームの全記録持続時間を表示する追加の係数および緩慢な変化のモデルを全シーケンスにわたり一個または数個の係数で示す係数である。この手順は音声圧縮の方法であり、過多の情報を取り除き、しかし応用例に適した数の話者の特性はとどめる。一個以上の時間フレームに対する完全な特徴ベクトルは、話者を識別し、その識別の統計量を提供する目的で、既知の人間に関する記憶した情報に例えることができる。自動的にこのような比較が実行されるのは、いくつかの時間フレーム単位、分離した時間フレーム単位、または目的の話者の識別に関する記憶情報が実行したライブラリから利用可能な単位のシーケンスにおいてである。話者は配列済みの単語を発音、またはシステムが提示した情報に反応することができる。すなわち、システムが音声認識を使い、単位のシーケンスを認識し前に作成したライブラリから得た目的の話者の識別に関する記憶情報とそれらを比較することができる。話されている言語を知らずに音声を符号化して、その言語の識別のため一連のコードブックから一個以上の言語を検索する方法を本発明は提供している。各言語の音、音パターン、言語認識を得る特にユニークな音をこのプロセスは利用している。ある言語の音単位すべてを識別するために原則として特徴ベクトルを使用する音声認識の方法が本発明には含まれる。その正確さのためここでその方法に直接応用可能な最も簡単な認識技法は音声テンプレート方式である。特徴ベクトルが表示するのは冗語やモデル制約を含む十分な情報を持った音声単位という条件であり、音声の音素（または他の単純な音声音単位）は時間周期で定義可能であり、コードブックに記憶した作成済みベクトルに直接突き合わせることができる。検討中の、かつては非常に高い確率で識別できた音単位は記号と関連がある。記号は文字、ＡＳＣＩＩコンピュータ・コード、ピクトグラム記号、電話技法コードになりうるし、音声認識、統合、電話技法そして似たような活動に知られる他の符号化にもなりうる。本発明に含まれる音声認識の第二の方法は複数時間フレーム特徴ベクトル上で、Hidden Markov Model（ＨＭＭ）技法を使用して試験済み時間フレームで発音されている音素のシーケンスを統計的に識別する。特徴ベクトルは非常に正確なため、この方式が早く、正確になり、大きな自然言語、連続音声語彙を収容する。通常の音声認識のＨＭＭ方法として良く知られる学習位相がこれに含まれる。試験済み時間フレームの中で倍音素、３倍音素、複数音素、単語、単語シーケンスを識別するためにＨＭＭ技法の使用が可能である。本発明は特徴ベクトル上で結合の確率を使用し、多重センサー入力で試験済みの時間フレームで発音されている音素のシーケンスを統計的に識別する。結合の確率には最初の段階での通常の音声認識の使用が含まれる。それは一個以上の音単位の識別を推定して、次の段階で識別の確率を記録する。第二の段階は逆たたみ込みで得られた電磁・音響定義特徴ベクトルを使用して、音単位の識別を別々に推定し、非音響ケースに第二のセットの確率推定を割り当てることである。第三段階は電磁センサー情報だけを使用し、第三セットの識別した音声単位およびその確率が作成される。最終段階で各推定の確率を結合して、全音響システム、電磁・音響、全電磁特徴ベクトル・システムのどれかが単独で実行した場合より正確な単語単位の識別が可能とする。結合確率技法により試験済み時間フレームの中で倍音素、３倍音素、複数音素、単語、および単語シーケンの識別が可能となる。本発明には特徴ベクトル上で結合確率を使用する方法が含まれ、いくつかの異なるセンサー情報集合で試験済みの時間フレームで発音されている音響的に似た音素を統計的に区別する。結合確率とは、例えば通常の音声認識技法で始まり、一個以上の音単位の識別を推定することである。それらは同じような確率で通常の音響技法だけで定義される可能性がある（すなわち統計的な意味で曖昧さが残る）。第二段階は、例えば一個以上の音響的に識別された音素をもつ電磁・音響定義特徴ベクトルを使い、音単位の識別を別々に推定して、電磁・音響発生ベクトルに基づく確率の推定を各曖昧な音単位に割り当てることである。第二段階から最小の確率と一致しない第一段階からの音単位はすべてこれ以上検討しない。（すなわち除外される）。これにより計算時間が減少する。なぜなら初期に除去された単位はもはや検討しないからである。第三段階は電磁センサー情報だけを使用して、第一段階と第二段階から残っている音単位のテストが可能であり、そして判定基準に合わなければ、除外される。最終段階は各推定の可能性を結合して、全音響システムまたは全電磁・音響特徴ベクトルシステムが実行しうる以上に正確に残存する単語単位を識別することである。このようにして第一段階から識別した単位のすべてが除外できる（すなわちこの例の中で音響的に識別した音単位）が、以下の段階のために記憶特徴ベクトルのライブラリと比較して定義された基準に合うものは除かれる。センサー方式の順序は交換可能である。結合確率技法は試験済みの時間フレームの中で倍音素、３倍音素、複数音素、単語、および単語シーケンスを識別することができる。本発明はニューラル・ネットワーク・アルゴリズムを使用する方法を含み、記述したパターンを対応する音単位の記号表示と結びついた特徴ベクトルと関連づける。この方法は通常の訓練法を使用して、ニューラルネットワーク（入力特徴ベクトルの正規化と量化が含まれる）、話者（一人以上）の平均化およびニューラル・ネットワーク・アルゴリズム（逆伝搬、二個以上の層など）による入力と既知の単語または他の音声単位の関連づけを行う。この方法で入力されたデータは非常に良く定義され、話者に依存せず、正確であるため、一度訓練したネットワークは識別された発生音声単位記号に入力特徴ベクトルを与える。個々の話者のために得た記憶電磁センサーから高品質で特有の音声を合成する方法が本発明に含まれる。個々の話者とは平均的労働者の口述または有名な俳優の音声を符号化することである。音声の特質はオリジナルの特徴ベクトルの符号化の特質、コードブックへの記憶、検索方法と連結方法に基づいている。初めに必要な音声単位が記録、符号化、そしてコードブックの中に関連する記号と共に記憶される。次にコードブックから目的の音声特徴ベクトルを検索するため、文章体テキストから、必要な音声単位すべて（音素、倍音素、３倍音素など）を識別する音声トランスレータへ商業用テキストが使用される。次に使用する音単位、単位のタイミングへのおよび韻律学が選択される。発生音関数を作り出すために刺激関数を伝達関数と絡み合わせ、さらに音声インタバル・セグメントを結合させるタイミングの「マーク」として声門を閉じる時間周期を優先的実施態様で使用することで単位は結合する。最後に韻律は各音声単位または音声単位の合成に与えられる、すなわち特に韻律は音のレベルを設定して、フレージングおよび句読法により表示されるとピッチが単位の初めから最後まで変化する。手順により関数値と道関数の選択が容易になるため他の連結方式も使用可能である。本発明には記憶音声特徴ベクトルを変えることにより合成音声を変更する方法が含まれる。単位時間毎に声門の開閉周期の数を増やし、次にそれぞれの定義された長の特徴時間周期のための声道伝達関数と比較的高いピッチの刺激を絡み合わせることでピッチは変化する。刺激関数のディスクリプタを圧縮してこれは行われ、最後に似たような短かくなったパターンが得られる。個々の音声特徴定義された正規化した音声特徴ベクトルに変更可能である。さらに音声の持続時間は声門周期のユニットの沈黙周期を含む音声フレームを加減することで短くなったり長くなったりする。自動的に得たデータに基づき鼻腔の大きさを増したり声道を長くしたりするような通常の方法で生理的パラメータ変えることにより話者の伝達関数の変更は行われる。生理的パラメータが変更すると、次に調査中の時間フレームのために声道の新しい生理に基づき（刺激ベクトル素子および韻律学ベクトル素子と共に）新しい伝達関数ベクトルが形成される。発声合成改良のために要求があればたたみ込みが行われる前に、理想に近い話者の刺激関数、または特定の話者のための伝達関数か韻律学パターンの代用が可能である。合成刺激関数（すなわち非物理的開閉形である高ピッチ）の発生が可能となる。すなわち（誇張した生理的パラメータに基づく）非物理的伝達関数または娯楽、音声リサーチ、動物リサーチまたは訓練、特に目的とする効果を得るための楽しい（amusing）、または目的とする韻律パターンの発生が可能である。電話技法セット伝送マイクロフォンに発音する話者の特長ベクトルを符号化する目的の符号化技法が本発明には含まれている。この符号化には話者の識別、必要な場合に音声の変更など望むときに情報を追加して伝送にとって適切な符号に特徴ベクトルを変更することが含まれている。音声のリアルタイム音声認識が発生して、対応する記号が識別され、帯域幅が劇的に減少して伝送される。この方法により暗号化が容易になり外国語の翻訳、伝線、光ファイバまたは無線によりリアルタイムに符号化した単位を伝送することが可能となる。電話通信により聴取者に変化した音響音を流すために話者を表す音響音声に符号化した音声（すなわち記号や地区長ベクトル）を合成する方法がこの方法には含まれる。音声合成は記憶済みの平均的な話者の特質の識別、伝送や合成に使用するために設計することが可能であり、それにより「異なる特徴ベクトル」の伝送、「最も重要な」汎関数適合条件および「重要性の低い」伝送汎関数適合条件を使い、部分的情報を伝送することが可能となる。非常に高いフィデリティ話者特有の音声を伝送して特徴ベクトル情報の比較的正確な記述子を伝送するために相対的に高い帯域幅を使用できるよう、または帯域幅を最小化するため最小の特性を使用できるように音声合成を設計することも可能である。聴取者が話者になり話者が聴取者になる場合を除き、逆コミュニケーション・チャネルは同じ様に動作する。話者が話をしている間または音声が合成されている間に、しかも使用者が納得する短時間の遅れで、認識、符号化、合成が生じるということがリアルタイムの意味である。本発明には、結果として音声認識が単語識別になる場合、識別処理手順を使用しての電話符号化が含まれる。伝送の帯域幅を最小化する目的で最小量の話者の声の特性化情報と共に、またはこの情報なしで単語特性コンピュータ・コード（すなわちＡＳＣＩＩ）は伝送される。単語（すなわち言語記号で文字、ピクトグラム、他の記号の様なもの）伝送は現在の音声電話技法より１００倍少ない伝送帯域が必要であると言われており、このためこの伝送の価値は非常に高い。多くの応用例に対して使用者へのコミュニケーション・フィードバックがこの方法に含まれるのは、音響情報ばかりでなく生理的情報が正確に符号化され表示やフィードバックに利用できるためである。音声の矯正、外国語の学習にとり発声器官は話者が器官の位置を間違えたことを示す。耳の不自由な話者に対して、誤った発音が識別され視覚単位、触知単位、または電気刺激単位でフィードバックされる。特定的に説明した実施態様の変更や修正は、添付クレームによってのみ限定されることを意図する発明の範囲から逸脱することなく実行可能である。

Claims

【特許請求の範囲】１．話者の音声器官に向けて電磁放射を出力するステップと、前記音声器官から散乱した電磁放射を検出して音声器官情報を得るステップと、前記話者から出力された音響音声を検出して、音響音声情報を得るステップと、音声符号化アルゴリズムを用いて前記電磁音声器官情報を前記音響音声情報に結合して、前記話者の刺激関数および声道伝達関数を得るステップとを含む、音声を特徴化する方法。２．音声時間フレームを定義するステップをさらに含む、請求項１に記載の方法。３．前記音声時間フレームの開始時間、停止時間および持続時間を定義するステップをさらに含む、請求項２に記載の方法。４．各々の音声時間フレームに対して特徴ベクトルを形成するステップをさらに含む、請求項２に記載の方法。５．前記音響音声情報から前記音声刺激関数を逆たたみ込みして、逆たたみ込みされた伝達関数を発生するステップをさらに含む、請求項１に記載の方法。６．前記逆たたみ込みされた伝達関数を数学的モデルに適合させることによって特徴ベクトルを形成するステップをさらに含む、請求項５に記載の方法。７．前記特徴ベクトルが、数値的テーブルのルックアップ、フーリエ変換、ＡＲＭＡモデル技法、音響システムの電気的もしくは機械的アナログモデル、ならびに前記音響システムの器官寸法の生理的・音響的モデルの内の１つによって形成される、請求項６に記載の方法。８．発生器官の寸法および位置を示す電磁センサー情報を用いて前記伝達関数の数学的モデルを選択するステップをさらに含む、請求項６に記載の方法。９．リアルタイム測定値を用いて前記伝達関数を得るステップをさらに含む、請求項８に記載の方法。１０．前記電磁放射が声門領域に出力され前記声門領域から反射されて、近傍フィールドモード、中間フィールドモードまたは遠隔フィールドモードで感知される、請求項１に記載の方法。１１．前記音声時間フレームが、反射電磁波を用いて声門の開閉を測定することによって定義される、請求項２に記載の方法。１２．２つ以上の正門開閉時間フレームから１つの複合時間フレームを定義するステップをさらに含む、請求項１１に記載の方法。１３．前記電磁信号が圧力および体積空気流の少なくとも一方にリアルタイムで変換されるように電子センサーを事前に校正するステップをさらに含む、請求項１１に記載の方法。１４．数値テーブル値によって、または前記数値テーブル値に数学的関数モデルを適合させることによって、音声化された刺激関数特徴ベクトルが定義される、請求項１１に記載の方法。１５．非音声化された音声に対する刺激関数を得るステップをさらに含む、請求項２に記載の方法。１６．電磁検出された声門開閉が存在し、音響出力が存在しないことによって、非音声化された音声時間フレームを定義するステップをさらに含む、請求項１５に記載の方法。１７．音声化された音声時間フレームと非音声化された音声時間フレームが結合した特徴ベクトルを形成するステップをさらに含む、請求項１１に記載の方法。１８．差特徴ベクトルを形成するステップをさらに含む、請求項４に記載の方法。１９．前記伝達関数を、主要声道構成を定義する「重要な」ポールゼロ項と話者の特徴的な発声器官の物理的および音響的状態を定義する「重要度の低い」ポールゼロ項に分割するステップをさらに含む、請求項６に記載の方法。２０．特徴ベクトルを保存済み特徴ベクトル情報と比較して、話者を識別するステップをさらに含む、請求項４に記載の方法。２１．特徴ベクトルを多くの言語コードブック中の保存済み特徴ベクトル情報と比較して、前記話者が使用している言語を識別し、これによって音響音声単位を形成するステップをさらに含む、請求項４に記載の方法。２２．話者の特徴ベクトルを１つ以上の規準話者に対して正規化するステップをさらに含む、請求項４に記載の方法。２３．連続係数値帯域の特徴ベクトルを、各々の係数によって定義される明瞭な使用者識別可能な用途関連の少数の音声状態を表す少数の明瞭な係数値に量子化するステップをさらに含む、請求項４に記載の方法。２４．ある言語におけるすべての音響単位に対して、１つ以上の刺激関数特徴ベクトル、声道伝達関数特徴ベクトル、韻律特徴ベクトル、タイミング、アルゴリズム制御係数、隣接するフレーム接続性係数および音響特徴ベクトルを結合することによって音響音声単位特徴ベクトルを定義するステップをさらに含む、請求項４に記載の方法。２５．ある言語で使用されるすべての音響音声単位に対する記号を識別して前記記号をライブラリ、コードブックまたはデータベースに保存することによって前記結合された特徴ベクトルを発生するステップをさらに含む、請求項２４に記載の方法。２６．１人以上の話者の刺激関数、伝達関数、音響関数、韻律関数およびタイミング関数に基づいて特徴ベクトル係数を平均化して、規準話者音響音単位特徴ベクトルを形成して、コードブックまたはデータベースに保存するステップをさらに含む、請求項２４に記載の方法。２７．１人以上の話者の刺激関数、伝達関数、音響関数、韻律関数、隣接するフレーム接続性関数およびタイミング関数特徴ベクトル係数および関数表示を修正して、修正済み音響音単位特徴ベクトルを形成して、コードブックまたはデータベースに保存するステップをさらに含む、請求項２４に記載の方法。２８．第２の言語での外国語の語または句の記号を、１人または複数の話者によって符号化された第１の言語の各々の単位と関連付けて、コードブックまたはデータベースに保存するステップをさらに含む、請求項２５に記載の方法。２９．前記音響音声単位特徴ベクトルをライブラリ、コードブックまたはデータベースに保存するステップをさらに含む、請求項２４に記載の方法。３０．前記特徴ベクトルに基づいて、ある言語におけるすべての音単位を識別するステップをさらに含む、請求項４に記載の方法。３１．テンプレート整合技法、ＨＭＭ技法、ニューラルネット技法、２つ以上の識別アルゴリズムの結合確率方法および２つ以上の識別アルゴリズムによる試験によって、識別済み単位を一連の試験で除去する排除方法から成るグループから選択された方法で、ある言語におけるすべての音響音声単位を識別するステップをさらに含む、請求項３０に記載の方法。３２．識別された言語単位の記号を持つ各々の音響音声単位を識別するステップをさらに含む、請求項３０に記載の方法。３３．電磁音響音声および音響音声の器官の情報に基づいて音声を合成するステップをさらに含む、請求項１に記載の方法。３４．規準話者特徴ベクトルのコードブックを発生して記号を識別するステップと、音声変換器に送られるテキストを用いて、合成用の音声単位を識別するステップと、前記音単位およびタイミングを選択するステップと、選択済み音特徴ベクトルを保存済みのデータベースから提供するステップと、前記音単位を連結して音声音シーケンスとするステップと、韻律規則を用いて、特徴ベクトル係数または特徴ベクトル係数のシーケンスを修正するステップと、個々の音の時間時間を修正するステップと、前記修正済み伝達関数で前記修正済み刺激関数をたたみ込みすることによって音特徴を発生し、これによって、出力音関数を発生するステップとによって音声が合成される、請求項３３に記載の方法。３５．刺激関数振幅対時間関数上の位置を測定して、音声間隔セグメントを一緒に結合するステップをさらに含む、請求項３４に記載の方法。３６．音声フレームセグメントを結合するために、タイミングマーカーとして声門閉鎖中の時間を用いるステップをさらに含む、請求項３５に記載の方法。３７．音響音声単位を符号化し、前記符号を受信システムに送信し、さらに、前記送信された符号を音響音声に再構築するステップをさらに含む、請求項１に記載の方法。３８．前記符号が記号符号である、請求項３７に記載の方法。３９．前記符号を修正して最小情報を送信し、さらに、規準話者のローカル保存されたコードブックを用いて前記符号を音響音声に再構築するステップをさらに含む、請求項３７に記載の方法。４０．関連する外国語記号または音声符号を得て、前記外国語記号を前記受信システムに送信して、前記外国語で音響音声に再構築するステップをさらに含む、請求項３７に記載の方法。４１．第１の言語で前記音響音声単位を符号化し、前記符号化された情報を前記第１の言語に基づいて送信し、前記送信された符号化済み単位を認識し、関連する言語記号または音声符号を前記受信システムでのシステムコードブックから得られた第２の言語で得て、さらに、前記受信システムでの前記第２の言語で音響音声を再構築するステップをさらに含む、請求項３７に記載の方法。４２．前記音声時間フレームに対する前記特徴ベクトル内の符号化されている音声器官による調音品質を、視覚画像、印刷情報、音響メッセージ、ならびに触覚刺激および電気刺激の少なくとも一方から成るグループから選択された交信手段を用いて、前記話者または他者に返信するステップをさらに含む、請求項４に記載の方法。４３．前記音声セグメント中の各々の連続時間フレームに対する一連の特徴ベクトルを形成するステップと、前記シーケンス中の各々の特徴ベクトルに対する前記特徴ベクトル係数を、前記連続時間フレームの間の１つ以上の係数における変化を示す事前定義されたモデルに照らし合わせて比較するステップと、前記係数が前記事前定義されたモデルの規準を満足する複数の時間フレームに対する１つの代表的特徴ベクトルを形成するステップと、前記代表的特徴ベクトルに、前記事前定義されたモデルを示す余分の係数および前記モデルに対するパラメータ適合値を加算するステップと、前記複数時間フレームの合計持続時間を余分の係数として、前記代表的複数時間フレーム特徴ベクトルに加算するステップと、圧縮されたセグメントを電子的に保存または送信するステップとによって音声セグメントが圧縮されることを特徴とする請求項２４に記載の方法。