JP2000507377A - 画像合成 - Google Patents

Abstract

(57)【要約】 （例えば合成言語を伴った）顔の動画を合成することが入力フォニームストリングを一連の口の形すなわちビゼーム（Visemes）に変換して実行される。とくにある形が各母音に対してと子音を含んだ各遷移について生成される。

Description

【発明の詳細な説明】 画 像 合 成 この発明は、例えば合成言語を伴う動く画像の合成に関する。 この発明によると、話された言葉と整合がとれていて、眼に見えるアーティキ ュレーション（articulation）を備えた顔の動画を表わす信号を生成する方法が 提供されており、その構成は： 発話の継続している部分に対応する音声学上の表示（発音表記）のシーケンス を受領することと； 第１の類型の各発音表記に対して口の形を識別することと； 第１の類型の発音表記から第２の類型の発音表記への各遷移と、第２の類型の 発音表記から第１の類型の発音表記への各遷移と、第２の類型の発音表記から第 ２の類型の発音表記への各遷移とに対して口の形を識別することと； 識別された形を含んでいる画像フレームのシーケンスを生成することとを含ん でいる。 第１と第２の類型はそれぞれ母音と子音であってもよい。したがって、この発 明の好ましい実施態様は話されたことばと整合がとれていて眼に見えるアーティ キュレーションを備えた顔の動画を表わす信号を生成する方法であって、その構 成は： 発話の継続するフォニームに対応する初音表記のシーケンスを受領することと ； 各母音フォニームに対する口の形を識別することと； 母音フォニームから子音フォニームへの各遷移と、子音フォニームから母音フ ォニームへの各遷移と、子音フォニームから子音フォニームへの各遷移とに対し て口の形を識別することと； 識別された形を含む画像フレームのシーケンスを生成することとを含んでいる 。 子音と母音フォニーム間の各遷移に対して口の形を識別することは母音フォニ ームと子音フォニームとの関数として実行され、また２つの子音間の各遷移に対 して口の形を識別することは２つの子音フォニームの第１のものと、それに続く か先方する直近の母音フォニームの関数として実行されてよい。代って、２つの 子音間の各遷移に対する口の形の識別は２つの子音フォニームの第１のものとそ れを直近で続く母音フォニームか、それがないときには先行する母音フォニーム の関数として実行されてよい。 好ましいのは、各遷移に対する識別はこういった遷移と関係して上で特定した フォニームだけの関数として実行されることである。代って、識別は同じ単語内 の少くとも１つの他のフォニームの関数として実行することもできる。 好ましいやり方では、各識別された口の形に対して、その形を特定する指令と 、中間の指令でその各々が前と後との指令によって特定される形の中間の形を特 定する指令を生成してもよいようにする。 この発明の別な特徴では、話された言葉と整合する眼に見えるアーティキュレ ーションをもつ顔の動画を表わす信号を生成するための装置が用意されており、 その構成は： 動作時に発話の継続する部分に対応する発音表記のシーケンスを受領し、それ に応答して 第１の類型の各発音表記に対して口の形を識別し、また 第１の類型の発音表記から第２の類型の発音表記への各遷移と、第２の類型の 発音表記から第１の類型の発音表記への各遷移と、及び第２の類型の発音表記か ら第２の類型の発音表記への各遷移とに対して口の形を識別するようにされた手 段と； 該識別された形を含む画像フレームのシーケンスを生成するための手段とを含 んでいる。 この発明の実施態様を、例を用いて、添付の図面を参照して記述して行く。 図１は、実施態様の要素を示す機能ブロック図である。 図２は、ヒトの頭部の画像を合成する際に使われる針金枠‘ワイヤフレーム’の 平面図、正面図、及び側面図を示す。 図３は、ヒトの頭部の画像の口の部分を合成する際に使われる‘ワイヤフレーム ’の同様な図である。 図４は、‘affluence’（アフルーエンス）と言うときのヒトの頭を表わすため に画像のシーケンスを合成するときに最大の母音の口の形が生ずる場所を示す。 図５は、同じ単語‘affluence’で最大の母音から子音（及びその逆）の遷移の 口の形が生ずる場所を示す。 図６は、同じ単語‘affluence’のアーティキュレーションで残っている口の形 を示す。 図７は、同じ単語‘affluence’のアーティキュレーションで口の形の間の遷移 を示す。 図８は、画像合成ユニットのための指令信号に発音信号をほん訳するためのユニ ットの部品を模式的に示す構成図である。 図９は、実施態様の装置の動作を示す流れ図である。 図１０は、二重母音と破擦音を成分要素フォニームに変換するプロセスを示す流 れ図である。 図１１Ａないし１１Ｄは入力フォニームファイルに基いて中間出力ファイルを作 るためのプロセスを示す。 図１２は、中間出力ファイルに基づいて最大の口の形の本質とタイミングとを特 定するファイルを作るためのプロセスを示す。 図１３Ａと１３Ｂとは最大の口の形と中間の口の形との両方を特定するファイル を作るためのプロセスを示す。 図１の装置は、話されることになる単語を、テキストの形で受領し、対応する 言語をオーディオ信号の形で生成し、かつ顔の動画の表示のための対応するビデ オ信号を生成し、同じ言語と対応している口のアーティキュレーションをもった 顔（例えばヒトの顔であったり漫画であったりする）とするような機能を有して いる。ここでの記述にあたっては、口のアーティキュレーションとしばしば言う がこのアーティキュレーション（特定の発音をする際に含まれる全体としての発 声器官の調節や動きを指す：articulation）は唇、口の内部（ときとして歯と舌 とを含めて）、あご、及びその周辺の動きも含んでいると理解されたい。例えば 全体としての頭部の動きや回転、眉の動きといった他の動きもまた、結果として 得られる画像を一層リアルなものとするために含まれていてよい。 記憶されているテキストファイルもしくは他の所望のファイルからのテキスト が、入力１でいずれかの便利な規格表示（例えばＡＳＣ１１コード）に従った文 字コードの形態で受領される。これは通常構成の言語合成器によって受領される が、ここでは二つの別な部品、すなわち、テキストから発音表記への変換器２は 通常の綴り字を発音表記、例えばフォニームのリストと各々の継続時間に変える ものとして、また言語合成器だけのもの３はこのリストをオーディオ周波数波形 に変えるものとして示されている。いずれのフォニーム組も使用できるが、ここ での記述の目的ではイギリスのＲＰ−ＳＡＭＰＡ組の使用をして、場合には次の 表１に記したイギリス英語（British English）の３８の個別フォニームを識別 すると仮定している。 音声合成器は通常のものであり、ここではもっと記述することをしない。 フォニームリストはほん訳ユニット４で受領され、それについては以下でもっ と詳細に記述する。このユニット４は、フォニームリストから、一連の指令信号 を生成し、顔に必要とされる口のアーティキュレーションを特定して、フォニー ムリストに対応したやり方でそれが動くようにし、それによって合成器３により 生成された言語信号と対応する動きとなるようにする。 これらの指令信号は画像合成ユニット５によって受領される。このユニットは 単一ビデオフレームもしくは所望の顔の静止画のビットマップ画像をその中に記 憶していて、この顔を示す連続したビデオ信号を、動きを伴って生成するように 働く。はっきりしていることはこのビデオ信号が希望するどの規格のものでもよ く、ここでは毎秒２５フレームをもつシステム１(System 1)信号を仮定している 。動きは三次元ワイヤフレームモデルの助けをかりて生成される。典型的なこの 種のモデルは図２に示されており、口の部分については図３で拡大して示されて いる。三次元空間内には多数の点（頂点）があり、またこれら頂点を結ぶ直線が ファセット（facet）呼ばれる三角形の領域を定義している。実際の装置では、 記憶されたデータの組としてモデルが存在し、言い換えると、各頂点に対して頂 点番号とそのｘ，ｙ，ｚ座標とがあり、また各ファセットに対してファセット番 号とそのファセットの隅を形成する３つの頂点の番号とがデータとして記憶され ている。初期化段階では、ユニット５はこの基準モデルの各ファセットとビット マップ画像の対応する領域との間の写像を判断する。変更されたモデルを繰返し 定義することによって動きが作り出され、変更されたモデルでは１又は複数の頂 点が基準モデル内で占有していた位置から別な位置に行っていると想定する。ユ ニット５はそこで新しい二次元のビットマップ画像を生成する必要がある。これ をするのは、変更したモデルのいずれかのファセットすなわち基準モデルに対し て動いた１又は複数の頂点を識別することにより、このようなファセットの各々 に対して、補間プロセスを採用し、このプロセスではもとのビットマップの三角 形領域がマッピングによって移動もしくはひずむかあるいは両方をして新しいビ ットマップ画像内で三角形領域を占有し、このマッピングによって変更したモデ ルのファセットに対応がとれる。このような新しいビットマップが出力信号の各 フ レーム（すなわち毎４０ミリ秒）に対して生成される。画像合成ユニット５の動 作と実施についてももっと詳しいことについては、W.J.Welsh，S.Searby and J. B.Waite “Model Based Image Coding”，Brit.Telecom.Tech.J.vol8，No.3，Ju ly 1990を参照とする。 画像合成ユニット５を駆動するために必要とされる指令は、原理上、４０ミリ 秒毎に、基準モデルとは違う位置の各頂点の番号を、その新しい座標と一緒にユ ニット５に送れることになっている。しかしながら関心のある動作速度では、ユ ニット５は動作ユニットの記憶された組を含んでおり、その各々はデータエント リィが次の構成のものとなっている： −動作ユニット番号（例えば０ないし２５５）（１バイト） −この動作ユニットで影響される頂点の番号 −このような各頂点に対して： その頂点の番号（２バイト） 基準モデル内のその位置からのｘ座標変位（２バイト） 基準モデル内のその位置からのｙ座標変位（２バイト） 基準モデル内のその位置からのｚ座標変位（２バイト） （もしその方がよければ、無論前のフレームに対するｘ，ｙ，ｚのシフトが 使える）。 そこで各指令は単に動作ユニット番号に、この動作ユニットによって特定され る動きの量を変えるためのスケーリング因子（例えば０ないし２５５）を追随さ せたもので構成されてもよいし；あるいはもし望むのであればいくつかを含んで もよい（試作段階では最大５が可能であった）。ユニット５は指令を受領すると 、動作ユニットを一覧対照し、記憶している座標シフト（適切にスケールが作ら れているものとする）を特定の頂点に対して使用する。もし指令が２つの動作ユ ニットを含み、その両方が特定の頂点の変位を特定するのであれば、この変位は ２つの変位の単なるベクトル和である。 ほん訳ユニット４の動作についてここで見ることとし、visemeという概念を導 入することが便利である。話された単語がフォニームと呼ばれる要素単位（elem ental unit）で構成されると見ることができるのと全く同じに視覚言語（visual speech）もビゼーム（viseme(s)：phonemeを音から視覚visionに置きかえた用語 ）で構成されていると見ることができる。すなわち、四角言語の最小単位であり 、目視可能なアーティキュラトリイ（調音）ユニットの最小認識単位である。基 本的には、ビゼームは口の形であり、ほん訳ユニットの課題は、どんなビゼーム が要求されているかと、それらがいつ発生するかという時刻とを判断して、４0 ミリ秒間隔で指令を発生し、さらに、必要とされる間隔で必要とされるビゼーム を生成し、間に入るフレームのために適当な中間形状を生成することである。 ほん訳ユニットの動作に重要なのは、フォニームとビゼームとの間に１対１の 対応が存在しないという考え方である。まず、なにがしかのフォニームは視覚的 に類似し、ときには区別が不能である。たとえば、子音／ｐ／と／ｂ／とは視覚 的には同一であり、発生の程度が違うだけで、発生器官のアーティキュレーショ ンは同じである。したがって、フォニームは群形成をすることができ、同じ群の フォニームではビゼーム生成に関する限りは同一と考えられる。いろいろな群形 成が可能で、典型的な群形成を以下の表２に示す。 （注：二重母音がないが、処理前に構成要素母音に分割されるためである） 第２に、母音の音と口の形との間の関連性を定義することは可能であるが、子 音についてはそうはならず、子音では口の形が近くのフォニームに依存して変り 、とくに母音のフォニームの近くで変る。この実施態様では口の形は母音と、子 音とフォニームとの組合せとの両方に関連性がある。子音を含む遷移にはかなり の数が存在する。しかし、第１の簡略化が可能であり、子音から子音への遷移が 後続の母音（もしくはポーズの前の単語の終りでは先行する母音）による大きな 影響を受けていることを観察することによってされ、２つのうちの第２の子音は 若干の効果はあるが、全くぼんやりしたものでなく、無視できるものである。こ の実施態様は各子音から子音の遷移に小音−母音もしくは母音−子音の組合せを 関連づけることによりこの利点を採用している。こうして、システムによって処 理される必要がある口の形の数を少く保っている。 例を用いてこの実施態様の動作を示すために、もしテキストから発音表記へ変 換するユニット２が単語‘affluence’を表わす信号を受けたとすると、このユ ニットはフォニームリスト/＃：/ /｛/ /ｆ/ /ｌ/ /u/ /＠/ /ｎ/ /ｓ/ /＃：/をほん訳ユニット４に出力することになる。このフォニームリストを受 領するとほん訳ユニット４はフォニームリストを処理するように動作して一連の 指令信号を出力する。出力指令信号は図４ないし７に示されていて、その各々は また入力フォニームリストの内容を、すなわちフォニーム自体とその継続期間を サンプルで（この例ではサンプルレートは８ｋＨｚである）示している。 まず、この出力には３つの指令信号でこの単語内の母音に対応するものが含ま れている。これらが図４に示されていて、下側の図は母音/｛/，/ｕ/及び/＠/が 識別され、各々はその母音に割当てられたビゼームが判断されたことを示すバー （棒）でしるしをつけられていて、母音の中点で生じるようにとられている。 出力はさらに母音−子音と子音−母音遷移と関連する口の形を特定する指令信 号を含んでいる。これが図５に示されていて、ここではバーは母音−子音もしく は子音−母音の境界における口の形を示している。これは子音−子音遷移を残し ている。前に述べたように、この遷移１は主として第１の子音とそれに続く子音 とによって特徴づけられるものとして見られている。したがって、/f/から/ｌ/ への遷移が図６で表わされていて、子音−母音組合せ、/ｆ/から/ｕ/、に対する 口の形となっている。/ｎ/から/ｓ/への遷移は次に続く母音がなく、それ故に使 われる口の形は/＠/から/ｓ/の母音−子音組合せに、すなわち先行する母音の使 用、に対応したものである。先行と後続の無音（静寂期間/＃：/は無論、閉じた 口をもつ（すなわち、基準ワイヤフレームモデルの）顔で表わされる。 図６でバーでしるしをした時刻の瞬間には（あるいはこれらの瞬間の一番近い ４０ミリ秒期間では、ほん訳ユニット４は画像合成ユニット５に対して問題とな っている口の形に適したスケーリング因子と動作ユニットとを特定する指令を送 る。これらの瞬間の間の４０ミリ秒では、２つの口の形の中間の口の形を特定す る指令を送る必要がある。例えば、｛ｆとマークを付けた瞬間とｆｕとマークを 付けた瞬間との間では２つの動作ユニットを特定する指令を送り、それがそれぞ れ母音−子音組合せ、/｛/から/ｆ/へと、子音-母音組合せ、/ｆ/から/ｕ/へ、 とに対応しており、縮小したスケーリンク因子には無関係であり，それよって２ つの形の間で滑らかな遷移が得られるようにする。したがって、２つの瞬間の間 の途中の点ｘ％では、組合せ、/｛/から/ｆ/、のための動作ユニットにはスケー ル因子としてそのスケール因子の（１−ｘ／１００）倍が｛ｆ点で送られ、それ と一緒に組合せ/ｆ/から/ｕ/のための動作ユニットにはスケール因子としてその スケール因子のｘ／１００倍がfu点で送られる。図７はこのプロセスを図式的に 示している。中間コマンド信号を作るという目的には無音フォニームと関連の口 の形は無音フォニームの中心が到達する前の後続の口の形によっては影響されて いないことが分かる。 上記表２の１１の群については７つの子音群があり、また３つの母音群と１つ のいわゆる“両方の”群とがあった。この“両方の”群には母音フォニームと子 音フォニームとが含まれている。したがって、無音を含む遷移を無視すると、必 要とされる母音と、母音−子音及び子音−母音組合せのすべては母音群と、母音 群−子音群及び子音群−母音群の組合せで次の表３に示すものによって表わすこ とができる。表３ 母音 ４ 子音群から母音群への組合せ ２１ 母音群から子音群への組合せ ２１ 両方の群から他の群への組合せ １０ 他の群から両方の群への組合せ １０ 両方の群から両方の群への組合せ ２ 合計 ６８ これら６８の母音群と群の組合せの若干のものは同じ口の形に対応している； さらに若干の口の形は他のものと似ており、主としてプロポーションに違いがあ る。換言すれば同じ動作ユニットにより作ることができるが、違ったスケーリン グ因子を備えている。（後述するところであるが、）動作ユニットの判断の間に 、６８の母音群と群の組合せとは１１の動作ユニットと適当なスケーリング因子 で表わされることが見付かった。表４はこれらを記述したもので、動作ユニット についての記述と、スケーリング因子とともに増大する特徴についての記述と、 この動作ユニットによって表わすことができる母音群と群の組合せとのリストも 添えてある。与えられた母音群と群の組合せに対応するそれぞれの口の形を作る のに使われることになるスケーリング因子も示されている。 当業者であれば、多数の動作ユニットを定義してもよいことが分ると思うが、 その場合、母音群と群の組合せとは動作ユニットの間でもっと精細に分けられる ことになる。 ほん訳ユニット４は適当にプログラムされた処理ユニットという手段で実現さ れ、これが図８ではプロセッサ１０、プログラムメモリ１１、及び多数のメモリ でルックアップ表を含むもので構成されている。とくにここには二重母音表１２ 、フォニーム群表１３、及び動作ユニット表１４を含んでいる。明りょうにする ためにこれらが別に示してはあるが、無論、単一のメモリが実際にはプログラム とルックアップ表とを含むことができる。メモリ１１内に記憶されているプログ ラムの動作を図９ないし１３に示す流れ図を参照してこれから詳細に説明して行 く。 図９の流れ図は全体としての装置の動作を簡単に示しており、図１０ないし１ ３によって表わされるアルゴリズムがそこで発生するようなコンテキストを設定 している。このアルゴリズムはプログラムメモリ１１内に記憶されていて、動作 ユニットファイル（動作ユニットとスケーリング因子とを含む）を生成するよう に実行でき、このファイルは画像合成ユニット５に送られることになる指令信号 に対する基礎を形成している。したがって、段階１００の初期化に続いて、言語 合成器のテキストから発音表記へのユニット２によって受領されたテキストメッ セージは段階１０４でフォニームファイルを作る。このファイルの受領がほん訳 ユニット４で認識されると（段階１０６、Text-To-Speech）、ほん訳が行なわれ （段階１０８）てフォニームリストが動作ユニットファイルとされる（段階１１ ０で作られる）。これが画像合成ユニット５へ（段階１１２で）送られる指令信 号に対する基礎を形成し、同時にフォニールファイルが合成器３に送られる。も し望めば無音（静寂）の間に（段階１１４）もしくは言語の間に（段階１１６） 、追加の動作ユニットがランダムな（もしくは他の）頭部の動きを作るようにす ることができる。 段階１０８の動作は図１０に示した流れ図によって示されたプログラム段階を 用いて二重母音と破擦音の拡張をすることで始まる。このプログラムはフォニー ムファイルの各要素を順に読み（段階１２０）、２つの文字によってそのフォニ ームが表されているかどうかを判断する（段階１２２）。もしそうであれば、こ のプログラムはプロセッサが要素をその構成要素文字に分けて、それらの文字に よって表わされる２つのフォニームで要素を置換える。各々の継続期間は分けら れた二重母音又は破擦音フォニームの継続期間の半分に設定される。フォニーム 出力のリスト内のフォニームの数を測定する可変の（noofphoneme：フォニーム の数を意味する）は１だけ増分される（段階１２６）。そうでなければ、この要 素はフォーニムリストに加えられる（段階１２８）。 二重母音表１２の助けを得て/ａＩ/，/ａＵ/，及び/ｅＩ/のような二重母音を フォニーム対/｛/＋/I/，/｛/＋/Ｕ/，及び/Ｅ/＋/Ｉ/にそれぞれ変換すること が例示のプログラム段階で実行可能なことが分ると思う。同様に、このプログラ ムは破擦音/ｄＺ/と/ｔＳ/とを２つのフォニームに分けるように実行できる。 次に要素毎に図１０に示したプロセスで作られたフォニームリストの検査が続 く（図１１Ａ−１１Ｄ）。最初の無音フォニームの後の各要素に対して、フォニ ームの組合せもしくは母音と関係する時間間隔とが中間の出力フィル内に記録さ れる。したがって、各エントリィはフォニーム組合せもしくは母音で前の口の形 の瞬間と現在の口の形の瞬間との間で作られることになるものを時間間隔と一緒 に識別する（すなわち、この時間間隔は図６のバーの間の距離に対応している） 。以下に別段の記述をするほかは、各エントリィの後にプログラムは判断段階１ ８０に戻って、フォニームリストの最終要素に到達しているかどうかを判断する 。もしそうであれば、フォニームリストの検査は終る。もし到達していなければ 、プログラムは現在の要素の分類段階１３０に戻る。 フォニームリストを検査するために、各要素に対してその要素が母音であるか 、子音であるか、または無音であるかが判断される（図１１Ａ−段階１３０）。 現在の要素分類段階１３０で母音が見付かるとすると、図１１Ｂに示した段階 が実行される。先ず、フォニームリストの中で前のフォニームが無音か、子音か 、母音かを見付ける（段階１４０）。前のフォニームが無音フォニームであると 、そのときは母音の口の形の前の時間間隔が母音継続期間の半分と無音継続期間 の半分との和に設定される（段階１４１）。無音から母音への遷移がそこで計算 された時間間隔と一緒に中間出力ファイルに入れられる（段階１４２）。もし前 のフォニームが母音フォニームであると、そのときは母音の口の形の間の時間間 隔は現在の母音の継続期間の半分と前の母音の継続期間の半分との和に設定され る（段階１４３）。再び、母音自体（例えば/＠/）と関連する時間間隔がそこで 中間出力ファイルに入れられる（段階１４４）。もし前のフォニームが子音フォ ニームであると、そのときは前のフォニームの前のフォニームが無音かどうかが 判断される（段階１４５）。そのときは、前の口の形からの時間間隔が現在の母 音の継続時間の半分に設定され（段階１４６）、その母音が計算された時間間隔 と一緒に中間出力ファイルに入れられる（段階１４７）。もしそうでなければそ のときは、前の口の形からの時間間隔は子音の継続時間に設定され（段階１４８ ）、子音から母音への組合せ（例えば/ｌ/から/ｕ/）と関連の時間間隔とが中間 出力ファイルに入れられる（段階１４９）。この点で、プログラムは判断段階１ ８０に戻らずに、遷移ファイル内に別のエントリィが行なわれるようにされ（段 階１４６，１４７）、このエントリィには現在の母音と母音自体（例えば/ｕ/） の継続時間の半分に等しい時間間隔を含んでいる。 図１１Ｂの段階のもつ１つの効果は現在の母音に対応する口の形が母音フォニ ームの中央と一致することを確かにすることである。 現在のフォニーム分類段階（１３０）で無音が見付かるときは、図１１Ｃの段 階が実行される。先ず、フォニームリスト内の前のフォニームが無音か、子音か 母音かが見付けられる（段階１５０）。もし前のフォニームが無音であると、そ のときは誤りが表示される（段階１５１）。もし無音の前に母音があれば、その ときは前の口の形からの時間間隔が母音の継続期間の半分と無音の継続期間の半 分との和に設定され（段階１５２）、母音から無音への遷移が中間出力ファイル 内に時間間隔と一緒に記録される（段階１５３）。もし前のフォニームが子音で あれば、そのときは最後の口の形からの時間間隔が子音の継続期間と現在の無音 の継続期間の半分とに設定される（段階１５４）。この場合、母音−子音組合せ から母音への遷移（例えば/＠ｓ/から/＃：１/）と関連の時間間隔とが中間出力 ファイルに入力される（段階１５５）。 もし段階１３０で子音が見付かると、図１１Ｄに示した段階が実行される。ま ず前のフォニームが母音、無音、もしくは子音として分類される（段階１６０） 。もし母音であれば、そのときは時間間隔が母音の継続時間の半分に設定され（ 段階１６１）、母音−子音の組合せ（例えば/｛/から/ｆ/）は時間間隔と一緒に 中間出力ファイル内に記録される（段階１６２）。前のフォニームが子音であ れば、そのときはプログラムが母音フォニームについてフォニームリストの前方 探査を行なう（段階１６３）。もし子音−母音組合せ（前の子音と後の母音の組 合せ）（例えば/ｔ/から/ｕ/へ）と関連の時間間隔（前の子音の継続期間に等し い）が中間出力ファイル内に入れられる（段階１６４，１６５）。前方探査で母 音が見付からなければ（段階１６３）、そのときはプログラムはプロセッサに母 音の後方探査をさせる（段階１６６）。もしこの探査が成功すれば、そのときは 母音−子音組合せ（初期の母音と現在の子音のもので、例えば/＠/から/ｓ/へ） が関連する時間間隔（前の子音の継続期間に等しい）と一緒に記録される（段階 １６７，１６８）。もし、前方探査も後方探査もともに母音を見付けないと、誤 り表示が生ずる（段階１６９）。現在の子音に直近の先行フォニームが無音であ るとして見付かると、そのときは母音に対する前方探査が行なわれる（段階１７ ０）；もし母音が見付かると、現在の子音と先行する無音の継続期間の半分との 和に等しい時間間隔が無音から子音−母音組合せへの遷移と一緒に中間出力ファ イル内に記録される（段階１７１，１７２）。もし母音が何も単語内で見付から ないときは誤りが表示される（段階１７３）。 図１２では、母音とフォニームの組合せで中間出力ファイル内にあるものがル ックアツプ表１３にアクセスして母音群とフォニーム群の組合せに変換される。 原理的にはこの内容は上述の表２内に設定されたようなものであり、したがって 、各母音もしくはフォニームの組合せが群番号に変る。しかし、各群を群番号で 表わすのではなく、その群の１つの指定されたフォニームによって表わすのがも っと便利であることが見付かっている。例えば、フォニーム/ｐ/，/ｂ/，及び/ ｍ/は全部が/ｐ/に変えられる。これをするためには、プロセッサは図１２に示 したプログラムによって制御される。中間出力ファイル内の各要素に対して、要 素の類型が次の１つであると判断がされる（段階１９０）：母音（段階１９２が 実行される）；母音／子音組合せ（段階１９４が実行される）；母音／無音遷移 （段階１９６が実行される）；あるいは組合せから無音への遷移（段階１９８が 実行される）。段階（１９２，１９４，１９６，１９８）は各構成要素母音もし くは子音を、群を表わすために選ばれた母音または子音に変換することができる 。このプロセスは群／群組合せリストに戻るが、今では上述のように、最大６ ８の異なる母音群と子音群の組合せを含んでいる。 図１３Ａと１３Ｂでは、結果として得られる群リストが動作ユニットルックア ップ表１４を用いて動作ユニットファイルに変換され、群／群組合せリスト内の 各要素を表わす動作ユニットを見付けるようにする。（ルックアップ表１４の内 容は上記表３のコラム３，１及び４内に設定されているものであるか、あるいは もし好ましい選択肢であれば、コラム３内の代表的なフォニームを伴うものとす る。）この動作ユニットファイルはそこで４０ミリ秒間隔で生成される指令信号 のシーケンスを発生するために使用される。 もっと詳しく述べると、変換プロセスは群リストから第１の要素をフェッチす ることで始まり（段階２００）、その後動作ユニットルックアップ表はその要素 に関連する動作ユニットとスケーリング因子とを決める（段階２０１）。次に第 １の要素に関連する時間間隔内で完全な４０ミリ秒期間の数を計算する（段階２ ０２）。初期動作ユニットのスケーリング因子が次に期間の数で除算されて増分 値を与えるようにする（段階２０３）。このプロセスは次に命令のループ（段階 ２０４）に入り、各４０ミリ秒期間に対する指令信号を作る。指令信号内のスケ ーリング因子は命令のループが実行される度毎に（ゼロから）計算された増分だ け増加される。 群リスト内の次の要素がそこでフェッチされ（図１３Ｂの段階２０５）、対応 する動作ユニットとスケーリング因子とが動作ユニットルックアップ表１４を用 いて見付けられる（段階２０６）。段階２０２のように、群リストの要素に関連 する時間間隔内の４０ミリ秒期間全体の数が見付けられる（段階２０７）。前の ように、現在の要素に関連する動作ユニットのスケーリング因子が計算された期 間の数で除算されて増分値が求められる（段階２０８）。群リスト内の前の要素 のスケーリング因子が同じ数で除算されて減分値が求められる（段階２０９）。 このプロセスは次に命令のループに入って、出力すべき指令信号を計算する。こ れには前の要素との関係で作られた動作ユニットと群リスト内の現在の要素に関 連する動作ユニットとの重みづけした組合せを含んでいる。前の動作ユニットに 与えられる重みづけは各４０ミリ秒期間に対する減分値だけスケーリング因子を 減分することにより減らされ、現在の動作ユニットに与えられる重みづけは各４ ０ミリ秒期間に対する増分値だけ（ゼロから）スケーリング因子を増すことによ り増加される。このようにして、指令信号出力は１つの口の形から次へと段階的 な遷移して行く。 同じような動作（段階２０６ないし２１０）が群リスト内の後続の各要素に適 用され、最終要素に到達するまで進む。 指令信号が動作ユニットファイルに基づいて生成されて、４０ミリ秒間隔で画 像合成ユニット５に送られて、頭部の画像を生成できるようにし、頭部にはテキ ストから言語への合成器の出力に対応しているアーティキュレーションを備える ようにする。 これまでの議論から、ビゼームあるいはある母音に対して選ばれた口の形は、 その母音に先んじて選ばれたものであること、母音−子音（もしくはその逆）の 組合せに選ばれた口の形はその組合せに対して先行して割当てられたものである こと、また子音−子音遷移のために選ばれた口の形は同じ文脈（コンテキスト） 内の子音の第１のものに先行して割当てられたものであること−言い換えると、 この例では同じ次に来る母音（あるいはデフォルトであるか、先行している母音 ）をもつものであることが気付くと思う。もし望むのであれば、必要とされる動 作ユニットの数を増すという負担を伴うけれども、口の形の選定はもっと文脈に 依存するようにしてもよい。例えば、子音−母音遷移に対する口の形を選ぶのに 、子音とその次の母音とだけ依存するのではなく、前の母音にも依存するように （すなわち母音−子音−母音の組合せに依存するように）選択してもよいことに なろう。子音−子音遷移に対する選択は第１の子音と後続及び先行の両母音（も しあれば）に依存するようにできるし、または実際に２つの子音と２つの母音に 依存するようにできる。 これまでには、動作ユニットが画像合成ユニット５内でどのように生成される かについて余り触れるところがにかった。試作品ではこれが達成されており、必 要とされる６８の母音群と母音群／子音群組合せの全部を含んだ人間の話した単 語をビデオ記録し、かつフレームグラバ（獲得手段）を用いてこの記録の静止画 フレームを表示して、これらのフレームで母音に対応するものと、子音／母音組 合せに対応するものとを人手によって識別できるようにした。一度これらのフレ ームが（ビットマップ形式で）識別されてしまうと、次はこれらのフレームを表 わす基準ワイヤフレームモデルからの変位を判断する必要があった。これは一致 プログラムを用いて行われ、このプログラムはワイヤフレームモデルを与えられ たビットマップ画像に一致させるのに必要な変形を計算するものである。

Claims (1)

1. 【特許請求の範囲】 １．話された言葉と整合がとれていて眼に見えるアーティキュレーションを備 えた顔の動画を表わす信号を生成する方法であって、その構成は： 発話の継続している部分に対応する発音表記のシーケンスを受領することと； 第１の類型の各発音表記に対して口の形を識別することと； 第１の類型の発音表記から第２の類型の発音表記への各遷移と、第２の類型の 発音表記から第１の類型の発音表記への各遷移と、第２の類型の発音表記から第 ２の類型の発音表記への各遷移とに対して口の形を識別することと； 該識別された形を含んでいる画像フレームのシーケンスを生成することとを含 む方法。 ２．話された言葉と整合がとれていて眼に見えるアーティキュレーションを備 えた顔の動画を表わす信号を生成する方法であって、その構成は： 発話の継続するフォニームに対応する発音表記のシーケンスを受領することと ； 各母音フォニームに対する口の形を識別することと； 母音フォニームから子音フォニームへの各遷移と、子音フォニームから母音フ ォニームへの各遷移と、及び子音フォニームから子音フォニームへの各遷移とに 対する口の形を識別することと； 識別された形を含んでいる画像フレームのシーケンスを生成することとを含む 方法。 ３．子音と母音とのフォニーム間の各遷移に対する口の形の識別が母音フォニ ームと子音フォニームとの関数として実行される請求項２記載の方法。 ４．２つの子音フォニーム間の各遷移に対する口の形の識別が２つの子音フォ ニームの第１のものと、その前後の直近の母音フォニーム関数として実行される 請求項２又は３記載の方法。 ５．２つの子音フォニーム間の各遷移に対する口の形の識別が２つの子音フォ ニームと第１のものと、それに続く直近のもしくはそれがないときには先行する 母音フォニーム関数として実行される請求項２又は３記載の方法。 ６．前記識別が請求項３，４，５のいずれか１項で特定されたフォニームだけ の関数として実行されるその請求項記載の方法。 ７．前記識別が同じ単語内の少くとも１つの他のフォニームの関数としても実 行される請求項３，４，５のいずれか１項記載の方法。 ８．各識別された口の形に対してその形を特定する指令を生成し、かつ前と後 との指令によって特定された形の中間の形を各々が特定する中間指令を生成する ことを含む前記請求項１ないし８のいずれか１項記載の方法。 ９．話された言葉と整合がとれていて眼に見えるアーティキュレーションをも つ顔の動画を表わす信号を生成するための装置であって、その構成は： 動作時に発話の継続する部分に対応する発音表記のシーケンスを受領し、それ に応答して第１の類型の各発音表記に対してと、口の形を識別し、また第１の類 型の発音表記から第２の類型の発音表記への各遷移に対してと、第２の類型の発 音表記から第１の類型の発音表記への各遷移に対してと、第２の類型の発音表記 から第２の類型の発音表記への各遷移に対してとの口の形を識別するようにされ た手段と； 識別された形を含む画像フレームのシーケンスを生成するための手段とを含ん でいる装置。 １０．添付図面を参照して実質的に記述された、話された言葉と整合する眼で 見る顔の動画を表わす信号を生成する方法。 １１．添付図面を参照して実質的に記述された、話された言葉と整合する眼で 見るアーティキュレーションを備えた顔の動画を表わす信号を生成するための装 置。