JP2000507377A - 画像合成 - Google Patents

画像合成

Info

Publication number
JP2000507377A
JP2000507377A JP9534137A JP53413797A JP2000507377A JP 2000507377 A JP2000507377 A JP 2000507377A JP 9534137 A JP9534137 A JP 9534137A JP 53413797 A JP53413797 A JP 53413797A JP 2000507377 A JP2000507377 A JP 2000507377A
Authority
JP
Japan
Prior art keywords
vowel
consonant
transition
phony
phonetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9534137A
Other languages
English (en)
Other versions
JP2000507377A5 (ja
JP4037455B2 (ja
Inventor
ブリーン、アンドリュー・ポール
ボウアーズ、エマ・ジェーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of JP2000507377A publication Critical patent/JP2000507377A/ja
Publication of JP2000507377A5 publication Critical patent/JP2000507377A5/ja
Application granted granted Critical
Publication of JP4037455B2 publication Critical patent/JP4037455B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • G10L2021/105Synthesis of the lips movements from speech, e.g. for talking heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 (例えば合成言語を伴った)顔の動画を合成することが入力フォニームストリングを一連の口の形すなわちビゼーム(Visemes)に変換して実行される。とくにある形が各母音に対してと子音を含んだ各遷移について生成される。

Description

【発明の詳細な説明】 画 像 合 成 この発明は、例えば合成言語を伴う動く画像の合成に関する。 この発明によると、話された言葉と整合がとれていて、眼に見えるアーティキ ュレーション(articulation)を備えた顔の動画を表わす信号を生成する方法が 提供されており、その構成は: 発話の継続している部分に対応する音声学上の表示(発音表記)のシーケンス を受領することと; 第1の類型の各発音表記に対して口の形を識別することと; 第1の類型の発音表記から第2の類型の発音表記への各遷移と、第2の類型の 発音表記から第1の類型の発音表記への各遷移と、第2の類型の発音表記から第 2の類型の発音表記への各遷移とに対して口の形を識別することと; 識別された形を含んでいる画像フレームのシーケンスを生成することとを含ん でいる。 第1と第2の類型はそれぞれ母音と子音であってもよい。したがって、この発 明の好ましい実施態様は話されたことばと整合がとれていて眼に見えるアーティ キュレーションを備えた顔の動画を表わす信号を生成する方法であって、その構 成は: 発話の継続するフォニームに対応する初音表記のシーケンスを受領することと ; 各母音フォニームに対する口の形を識別することと; 母音フォニームから子音フォニームへの各遷移と、子音フォニームから母音フ ォニームへの各遷移と、子音フォニームから子音フォニームへの各遷移とに対し て口の形を識別することと; 識別された形を含む画像フレームのシーケンスを生成することとを含んでいる 。 子音と母音フォニーム間の各遷移に対して口の形を識別することは母音フォニ ームと子音フォニームとの関数として実行され、また2つの子音間の各遷移に対 して口の形を識別することは2つの子音フォニームの第1のものと、それに続く か先方する直近の母音フォニームの関数として実行されてよい。代って、2つの 子音間の各遷移に対する口の形の識別は2つの子音フォニームの第1のものとそ れを直近で続く母音フォニームか、それがないときには先行する母音フォニーム の関数として実行されてよい。 好ましいのは、各遷移に対する識別はこういった遷移と関係して上で特定した フォニームだけの関数として実行されることである。代って、識別は同じ単語内 の少くとも1つの他のフォニームの関数として実行することもできる。 好ましいやり方では、各識別された口の形に対して、その形を特定する指令と 、中間の指令でその各々が前と後との指令によって特定される形の中間の形を特 定する指令を生成してもよいようにする。 この発明の別な特徴では、話された言葉と整合する眼に見えるアーティキュレ ーションをもつ顔の動画を表わす信号を生成するための装置が用意されており、 その構成は: 動作時に発話の継続する部分に対応する発音表記のシーケンスを受領し、それ に応答して 第1の類型の各発音表記に対して口の形を識別し、また 第1の類型の発音表記から第2の類型の発音表記への各遷移と、第2の類型の 発音表記から第1の類型の発音表記への各遷移と、及び第2の類型の発音表記か ら第2の類型の発音表記への各遷移とに対して口の形を識別するようにされた手 段と; 該識別された形を含む画像フレームのシーケンスを生成するための手段とを含 んでいる。 この発明の実施態様を、例を用いて、添付の図面を参照して記述して行く。 図1は、実施態様の要素を示す機能ブロック図である。 図2は、ヒトの頭部の画像を合成する際に使われる針金枠‘ワイヤフレーム’の 平面図、正面図、及び側面図を示す。 図3は、ヒトの頭部の画像の口の部分を合成する際に使われる‘ワイヤフレーム ’の同様な図である。 図4は、‘affluence’(アフルーエンス)と言うときのヒトの頭を表わすため に画像のシーケンスを合成するときに最大の母音の口の形が生ずる場所を示す。 図5は、同じ単語‘affluence’で最大の母音から子音(及びその逆)の遷移の 口の形が生ずる場所を示す。 図6は、同じ単語‘affluence’のアーティキュレーションで残っている口の形 を示す。 図7は、同じ単語‘affluence’のアーティキュレーションで口の形の間の遷移 を示す。 図8は、画像合成ユニットのための指令信号に発音信号をほん訳するためのユニ ットの部品を模式的に示す構成図である。 図9は、実施態様の装置の動作を示す流れ図である。 図10は、二重母音と破擦音を成分要素フォニームに変換するプロセスを示す流 れ図である。 図11Aないし11Dは入力フォニームファイルに基いて中間出力ファイルを作 るためのプロセスを示す。 図12は、中間出力ファイルに基づいて最大の口の形の本質とタイミングとを特 定するファイルを作るためのプロセスを示す。 図13Aと13Bとは最大の口の形と中間の口の形との両方を特定するファイル を作るためのプロセスを示す。 図1の装置は、話されることになる単語を、テキストの形で受領し、対応する 言語をオーディオ信号の形で生成し、かつ顔の動画の表示のための対応するビデ オ信号を生成し、同じ言語と対応している口のアーティキュレーションをもった 顔(例えばヒトの顔であったり漫画であったりする)とするような機能を有して いる。ここでの記述にあたっては、口のアーティキュレーションとしばしば言う がこのアーティキュレーション(特定の発音をする際に含まれる全体としての発 声器官の調節や動きを指す:articulation)は唇、口の内部(ときとして歯と舌 とを含めて)、あご、及びその周辺の動きも含んでいると理解されたい。例えば 全体としての頭部の動きや回転、眉の動きといった他の動きもまた、結果として 得られる画像を一層リアルなものとするために含まれていてよい。 記憶されているテキストファイルもしくは他の所望のファイルからのテキスト が、入力1でいずれかの便利な規格表示(例えばASC11コード)に従った文 字コードの形態で受領される。これは通常構成の言語合成器によって受領される が、ここでは二つの別な部品、すなわち、テキストから発音表記への変換器2は 通常の綴り字を発音表記、例えばフォニームのリストと各々の継続時間に変える ものとして、また言語合成器だけのもの3はこのリストをオーディオ周波数波形 に変えるものとして示されている。いずれのフォニーム組も使用できるが、ここ での記述の目的ではイギリスのRP−SAMPA組の使用をして、場合には次の 表1に記したイギリス英語(British English)の38の個別フォニームを識別 すると仮定している。 音声合成器は通常のものであり、ここではもっと記述することをしない。 フォニームリストはほん訳ユニット4で受領され、それについては以下でもっ と詳細に記述する。このユニット4は、フォニームリストから、一連の指令信号 を生成し、顔に必要とされる口のアーティキュレーションを特定して、フォニー ムリストに対応したやり方でそれが動くようにし、それによって合成器3により 生成された言語信号と対応する動きとなるようにする。 これらの指令信号は画像合成ユニット5によって受領される。このユニットは 単一ビデオフレームもしくは所望の顔の静止画のビットマップ画像をその中に記 憶していて、この顔を示す連続したビデオ信号を、動きを伴って生成するように 働く。はっきりしていることはこのビデオ信号が希望するどの規格のものでもよ く、ここでは毎秒25フレームをもつシステム1(System 1)信号を仮定している 。動きは三次元ワイヤフレームモデルの助けをかりて生成される。典型的なこの 種のモデルは図2に示されており、口の部分については図3で拡大して示されて いる。三次元空間内には多数の点(頂点)があり、またこれら頂点を結ぶ直線が ファセット(facet)呼ばれる三角形の領域を定義している。実際の装置では、 記憶されたデータの組としてモデルが存在し、言い換えると、各頂点に対して頂 点番号とそのx,y,z座標とがあり、また各ファセットに対してファセット番 号とそのファセットの隅を形成する3つの頂点の番号とがデータとして記憶され ている。初期化段階では、ユニット5はこの基準モデルの各ファセットとビット マップ画像の対応する領域との間の写像を判断する。変更されたモデルを繰返し 定義することによって動きが作り出され、変更されたモデルでは1又は複数の頂 点が基準モデル内で占有していた位置から別な位置に行っていると想定する。ユ ニット5はそこで新しい二次元のビットマップ画像を生成する必要がある。これ をするのは、変更したモデルのいずれかのファセットすなわち基準モデルに対し て動いた1又は複数の頂点を識別することにより、このようなファセットの各々 に対して、補間プロセスを採用し、このプロセスではもとのビットマップの三角 形領域がマッピングによって移動もしくはひずむかあるいは両方をして新しいビ ットマップ画像内で三角形領域を占有し、このマッピングによって変更したモデ ルのファセットに対応がとれる。このような新しいビットマップが出力信号の各 フ レーム(すなわち毎40ミリ秒)に対して生成される。画像合成ユニット5の動 作と実施についてももっと詳しいことについては、W.J.Welsh,S.Searby and J. B.Waite “Model Based Image Coding”,Brit.Telecom.Tech.J.vol8,No.3,Ju ly 1990を参照とする。 画像合成ユニット5を駆動するために必要とされる指令は、原理上、40ミリ 秒毎に、基準モデルとは違う位置の各頂点の番号を、その新しい座標と一緒にユ ニット5に送れることになっている。しかしながら関心のある動作速度では、ユ ニット5は動作ユニットの記憶された組を含んでおり、その各々はデータエント リィが次の構成のものとなっている: −動作ユニット番号(例えば0ないし255)(1バイト) −この動作ユニットで影響される頂点の番号 −このような各頂点に対して: その頂点の番号(2バイト) 基準モデル内のその位置からのx座標変位(2バイト) 基準モデル内のその位置からのy座標変位(2バイト) 基準モデル内のその位置からのz座標変位(2バイト) (もしその方がよければ、無論前のフレームに対するx,y,zのシフトが 使える)。 そこで各指令は単に動作ユニット番号に、この動作ユニットによって特定され る動きの量を変えるためのスケーリング因子(例えば0ないし255)を追随さ せたもので構成されてもよいし;あるいはもし望むのであればいくつかを含んで もよい(試作段階では最大5が可能であった)。ユニット5は指令を受領すると 、動作ユニットを一覧対照し、記憶している座標シフト(適切にスケールが作ら れているものとする)を特定の頂点に対して使用する。もし指令が2つの動作ユ ニットを含み、その両方が特定の頂点の変位を特定するのであれば、この変位は 2つの変位の単なるベクトル和である。 ほん訳ユニット4の動作についてここで見ることとし、visemeという概念を導 入することが便利である。話された単語がフォニームと呼ばれる要素単位(elem ental unit)で構成されると見ることができるのと全く同じに視覚言語(visual speech)もビゼーム(viseme(s):phonemeを音から視覚visionに置きかえた用語 )で構成されていると見ることができる。すなわち、四角言語の最小単位であり 、目視可能なアーティキュラトリイ(調音)ユニットの最小認識単位である。基 本的には、ビゼームは口の形であり、ほん訳ユニットの課題は、どんなビゼーム が要求されているかと、それらがいつ発生するかという時刻とを判断して、40 ミリ秒間隔で指令を発生し、さらに、必要とされる間隔で必要とされるビゼーム を生成し、間に入るフレームのために適当な中間形状を生成することである。 ほん訳ユニットの動作に重要なのは、フォニームとビゼームとの間に1対1の 対応が存在しないという考え方である。まず、なにがしかのフォニームは視覚的 に類似し、ときには区別が不能である。たとえば、子音/p/と/b/とは視覚 的には同一であり、発生の程度が違うだけで、発生器官のアーティキュレーショ ンは同じである。したがって、フォニームは群形成をすることができ、同じ群の フォニームではビゼーム生成に関する限りは同一と考えられる。いろいろな群形 成が可能で、典型的な群形成を以下の表2に示す。 (注:二重母音がないが、処理前に構成要素母音に分割されるためである) 第2に、母音の音と口の形との間の関連性を定義することは可能であるが、子 音についてはそうはならず、子音では口の形が近くのフォニームに依存して変り 、とくに母音のフォニームの近くで変る。この実施態様では口の形は母音と、子 音とフォニームとの組合せとの両方に関連性がある。子音を含む遷移にはかなり の数が存在する。しかし、第1の簡略化が可能であり、子音から子音への遷移が 後続の母音(もしくはポーズの前の単語の終りでは先行する母音)による大きな 影響を受けていることを観察することによってされ、2つのうちの第2の子音は 若干の効果はあるが、全くぼんやりしたものでなく、無視できるものである。こ の実施態様は各子音から子音の遷移に小音−母音もしくは母音−子音の組合せを 関連づけることによりこの利点を採用している。こうして、システムによって処 理される必要がある口の形の数を少く保っている。 例を用いてこの実施態様の動作を示すために、もしテキストから発音表記へ変 換するユニット2が単語‘affluence’を表わす信号を受けたとすると、このユ ニットはフォニームリスト/#:/ /{/ /f/ /l/ /u/ /@/ /n/ /s/ /#:/をほん訳ユニット4に出力することになる。このフォニームリストを受 領するとほん訳ユニット4はフォニームリストを処理するように動作して一連の 指令信号を出力する。出力指令信号は図4ないし7に示されていて、その各々は また入力フォニームリストの内容を、すなわちフォニーム自体とその継続期間を サンプルで(この例ではサンプルレートは8kHzである)示している。 まず、この出力には3つの指令信号でこの単語内の母音に対応するものが含ま れている。これらが図4に示されていて、下側の図は母音/{/,/u/及び/@/が 識別され、各々はその母音に割当てられたビゼームが判断されたことを示すバー (棒)でしるしをつけられていて、母音の中点で生じるようにとられている。 出力はさらに母音−子音と子音−母音遷移と関連する口の形を特定する指令信 号を含んでいる。これが図5に示されていて、ここではバーは母音−子音もしく は子音−母音の境界における口の形を示している。これは子音−子音遷移を残し ている。前に述べたように、この遷移1は主として第1の子音とそれに続く子音 とによって特徴づけられるものとして見られている。したがって、/f/から/l/ への遷移が図6で表わされていて、子音−母音組合せ、/f/から/u/、に対する 口の形となっている。/n/から/s/への遷移は次に続く母音がなく、それ故に使 われる口の形は/@/から/s/の母音−子音組合せに、すなわち先行する母音の使 用、に対応したものである。先行と後続の無音(静寂期間/#:/は無論、閉じた 口をもつ(すなわち、基準ワイヤフレームモデルの)顔で表わされる。 図6でバーでしるしをした時刻の瞬間には(あるいはこれらの瞬間の一番近い 40ミリ秒期間では、ほん訳ユニット4は画像合成ユニット5に対して問題とな っている口の形に適したスケーリング因子と動作ユニットとを特定する指令を送 る。これらの瞬間の間の40ミリ秒では、2つの口の形の中間の口の形を特定す る指令を送る必要がある。例えば、{fとマークを付けた瞬間とfuとマークを 付けた瞬間との間では2つの動作ユニットを特定する指令を送り、それがそれぞ れ母音−子音組合せ、/{/から/f/へと、子音-母音組合せ、/f/から/u/へ、 とに対応しており、縮小したスケーリンク因子には無関係であり,それよって2 つの形の間で滑らかな遷移が得られるようにする。したがって、2つの瞬間の間 の途中の点x%では、組合せ、/{/から/f/、のための動作ユニットにはスケー ル因子としてそのスケール因子の(1−x/100)倍が{f点で送られ、それ と一緒に組合せ/f/から/u/のための動作ユニットにはスケール因子としてその スケール因子のx/100倍がfu点で送られる。図7はこのプロセスを図式的に 示している。中間コマンド信号を作るという目的には無音フォニームと関連の口 の形は無音フォニームの中心が到達する前の後続の口の形によっては影響されて いないことが分かる。 上記表2の11の群については7つの子音群があり、また3つの母音群と1つ のいわゆる“両方の”群とがあった。この“両方の”群には母音フォニームと子 音フォニームとが含まれている。したがって、無音を含む遷移を無視すると、必 要とされる母音と、母音−子音及び子音−母音組合せのすべては母音群と、母音 群−子音群及び子音群−母音群の組合せで次の表3に示すものによって表わすこ とができる。表3 母音 4 子音群から母音群への組合せ 21 母音群から子音群への組合せ 21 両方の群から他の群への組合せ 10 他の群から両方の群への組合せ 10 両方の群から両方の群への組合せ 2 合計 68 これら68の母音群と群の組合せの若干のものは同じ口の形に対応している; さらに若干の口の形は他のものと似ており、主としてプロポーションに違いがあ る。換言すれば同じ動作ユニットにより作ることができるが、違ったスケーリン グ因子を備えている。(後述するところであるが、)動作ユニットの判断の間に 、68の母音群と群の組合せとは11の動作ユニットと適当なスケーリング因子 で表わされることが見付かった。表4はこれらを記述したもので、動作ユニット についての記述と、スケーリング因子とともに増大する特徴についての記述と、 この動作ユニットによって表わすことができる母音群と群の組合せとのリストも 添えてある。与えられた母音群と群の組合せに対応するそれぞれの口の形を作る のに使われることになるスケーリング因子も示されている。 当業者であれば、多数の動作ユニットを定義してもよいことが分ると思うが、 その場合、母音群と群の組合せとは動作ユニットの間でもっと精細に分けられる ことになる。 ほん訳ユニット4は適当にプログラムされた処理ユニットという手段で実現さ れ、これが図8ではプロセッサ10、プログラムメモリ11、及び多数のメモリ でルックアップ表を含むもので構成されている。とくにここには二重母音表12 、フォニーム群表13、及び動作ユニット表14を含んでいる。明りょうにする ためにこれらが別に示してはあるが、無論、単一のメモリが実際にはプログラム とルックアップ表とを含むことができる。メモリ11内に記憶されているプログ ラムの動作を図9ないし13に示す流れ図を参照してこれから詳細に説明して行 く。 図9の流れ図は全体としての装置の動作を簡単に示しており、図10ないし1 3によって表わされるアルゴリズムがそこで発生するようなコンテキストを設定 している。このアルゴリズムはプログラムメモリ11内に記憶されていて、動作 ユニットファイル(動作ユニットとスケーリング因子とを含む)を生成するよう に実行でき、このファイルは画像合成ユニット5に送られることになる指令信号 に対する基礎を形成している。したがって、段階100の初期化に続いて、言語 合成器のテキストから発音表記へのユニット2によって受領されたテキストメッ セージは段階104でフォニームファイルを作る。このファイルの受領がほん訳 ユニット4で認識されると(段階106、Text-To-Speech)、ほん訳が行なわれ (段階108)てフォニームリストが動作ユニットファイルとされる(段階11 0で作られる)。これが画像合成ユニット5へ(段階112で)送られる指令信 号に対する基礎を形成し、同時にフォニールファイルが合成器3に送られる。も し望めば無音(静寂)の間に(段階114)もしくは言語の間に(段階116) 、追加の動作ユニットがランダムな(もしくは他の)頭部の動きを作るようにす ることができる。 段階108の動作は図10に示した流れ図によって示されたプログラム段階を 用いて二重母音と破擦音の拡張をすることで始まる。このプログラムはフォニー ムファイルの各要素を順に読み(段階120)、2つの文字によってそのフォニ ームが表されているかどうかを判断する(段階122)。もしそうであれば、こ のプログラムはプロセッサが要素をその構成要素文字に分けて、それらの文字に よって表わされる2つのフォニームで要素を置換える。各々の継続期間は分けら れた二重母音又は破擦音フォニームの継続期間の半分に設定される。フォニーム 出力のリスト内のフォニームの数を測定する可変の(noofphoneme:フォニーム の数を意味する)は1だけ増分される(段階126)。そうでなければ、この要 素はフォーニムリストに加えられる(段階128)。 二重母音表12の助けを得て/aI/,/aU/,及び/eI/のような二重母音を フォニーム対/{/+/I/,/{/+/U/,及び/E/+/I/にそれぞれ変換すること が例示のプログラム段階で実行可能なことが分ると思う。同様に、このプログラ ムは破擦音/dZ/と/tS/とを2つのフォニームに分けるように実行できる。 次に要素毎に図10に示したプロセスで作られたフォニームリストの検査が続 く(図11A−11D)。最初の無音フォニームの後の各要素に対して、フォニ ームの組合せもしくは母音と関係する時間間隔とが中間の出力フィル内に記録さ れる。したがって、各エントリィはフォニーム組合せもしくは母音で前の口の形 の瞬間と現在の口の形の瞬間との間で作られることになるものを時間間隔と一緒 に識別する(すなわち、この時間間隔は図6のバーの間の距離に対応している) 。以下に別段の記述をするほかは、各エントリィの後にプログラムは判断段階1 80に戻って、フォニームリストの最終要素に到達しているかどうかを判断する 。もしそうであれば、フォニームリストの検査は終る。もし到達していなければ 、プログラムは現在の要素の分類段階130に戻る。 フォニームリストを検査するために、各要素に対してその要素が母音であるか 、子音であるか、または無音であるかが判断される(図11A−段階130)。 現在の要素分類段階130で母音が見付かるとすると、図11Bに示した段階 が実行される。先ず、フォニームリストの中で前のフォニームが無音か、子音か 、母音かを見付ける(段階140)。前のフォニームが無音フォニームであると 、そのときは母音の口の形の前の時間間隔が母音継続期間の半分と無音継続期間 の半分との和に設定される(段階141)。無音から母音への遷移がそこで計算 された時間間隔と一緒に中間出力ファイルに入れられる(段階142)。もし前 のフォニームが母音フォニームであると、そのときは母音の口の形の間の時間間 隔は現在の母音の継続期間の半分と前の母音の継続期間の半分との和に設定され る(段階143)。再び、母音自体(例えば/@/)と関連する時間間隔がそこで 中間出力ファイルに入れられる(段階144)。もし前のフォニームが子音フォ ニームであると、そのときは前のフォニームの前のフォニームが無音かどうかが 判断される(段階145)。そのときは、前の口の形からの時間間隔が現在の母 音の継続時間の半分に設定され(段階146)、その母音が計算された時間間隔 と一緒に中間出力ファイルに入れられる(段階147)。もしそうでなければそ のときは、前の口の形からの時間間隔は子音の継続時間に設定され(段階148 )、子音から母音への組合せ(例えば/l/から/u/)と関連の時間間隔とが中間 出力ファイルに入れられる(段階149)。この点で、プログラムは判断段階1 80に戻らずに、遷移ファイル内に別のエントリィが行なわれるようにされ(段 階146,147)、このエントリィには現在の母音と母音自体(例えば/u/) の継続時間の半分に等しい時間間隔を含んでいる。 図11Bの段階のもつ1つの効果は現在の母音に対応する口の形が母音フォニ ームの中央と一致することを確かにすることである。 現在のフォニーム分類段階(130)で無音が見付かるときは、図11Cの段 階が実行される。先ず、フォニームリスト内の前のフォニームが無音か、子音か 母音かが見付けられる(段階150)。もし前のフォニームが無音であると、そ のときは誤りが表示される(段階151)。もし無音の前に母音があれば、その ときは前の口の形からの時間間隔が母音の継続期間の半分と無音の継続期間の半 分との和に設定され(段階152)、母音から無音への遷移が中間出力ファイル 内に時間間隔と一緒に記録される(段階153)。もし前のフォニームが子音で あれば、そのときは最後の口の形からの時間間隔が子音の継続期間と現在の無音 の継続期間の半分とに設定される(段階154)。この場合、母音−子音組合せ から母音への遷移(例えば/@s/から/#:1/)と関連の時間間隔とが中間出力 ファイルに入力される(段階155)。 もし段階130で子音が見付かると、図11Dに示した段階が実行される。ま ず前のフォニームが母音、無音、もしくは子音として分類される(段階160) 。もし母音であれば、そのときは時間間隔が母音の継続時間の半分に設定され( 段階161)、母音−子音の組合せ(例えば/{/から/f/)は時間間隔と一緒に 中間出力ファイル内に記録される(段階162)。前のフォニームが子音であ れば、そのときはプログラムが母音フォニームについてフォニームリストの前方 探査を行なう(段階163)。もし子音−母音組合せ(前の子音と後の母音の組 合せ)(例えば/t/から/u/へ)と関連の時間間隔(前の子音の継続期間に等し い)が中間出力ファイル内に入れられる(段階164,165)。前方探査で母 音が見付からなければ(段階163)、そのときはプログラムはプロセッサに母 音の後方探査をさせる(段階166)。もしこの探査が成功すれば、そのときは 母音−子音組合せ(初期の母音と現在の子音のもので、例えば/@/から/s/へ) が関連する時間間隔(前の子音の継続期間に等しい)と一緒に記録される(段階 167,168)。もし、前方探査も後方探査もともに母音を見付けないと、誤 り表示が生ずる(段階169)。現在の子音に直近の先行フォニームが無音であ るとして見付かると、そのときは母音に対する前方探査が行なわれる(段階17 0);もし母音が見付かると、現在の子音と先行する無音の継続期間の半分との 和に等しい時間間隔が無音から子音−母音組合せへの遷移と一緒に中間出力ファ イル内に記録される(段階171,172)。もし母音が何も単語内で見付から ないときは誤りが表示される(段階173)。 図12では、母音とフォニームの組合せで中間出力ファイル内にあるものがル ックアツプ表13にアクセスして母音群とフォニーム群の組合せに変換される。 原理的にはこの内容は上述の表2内に設定されたようなものであり、したがって 、各母音もしくはフォニームの組合せが群番号に変る。しかし、各群を群番号で 表わすのではなく、その群の1つの指定されたフォニームによって表わすのがも っと便利であることが見付かっている。例えば、フォニーム/p/,/b/,及び/ m/は全部が/p/に変えられる。これをするためには、プロセッサは図12に示 したプログラムによって制御される。中間出力ファイル内の各要素に対して、要 素の類型が次の1つであると判断がされる(段階190):母音(段階192が 実行される);母音/子音組合せ(段階194が実行される);母音/無音遷移 (段階196が実行される);あるいは組合せから無音への遷移(段階198が 実行される)。段階(192,194,196,198)は各構成要素母音もし くは子音を、群を表わすために選ばれた母音または子音に変換することができる 。このプロセスは群/群組合せリストに戻るが、今では上述のように、最大6 8の異なる母音群と子音群の組合せを含んでいる。 図13Aと13Bでは、結果として得られる群リストが動作ユニットルックア ップ表14を用いて動作ユニットファイルに変換され、群/群組合せリスト内の 各要素を表わす動作ユニットを見付けるようにする。(ルックアップ表14の内 容は上記表3のコラム3,1及び4内に設定されているものであるか、あるいは もし好ましい選択肢であれば、コラム3内の代表的なフォニームを伴うものとす る。)この動作ユニットファイルはそこで40ミリ秒間隔で生成される指令信号 のシーケンスを発生するために使用される。 もっと詳しく述べると、変換プロセスは群リストから第1の要素をフェッチす ることで始まり(段階200)、その後動作ユニットルックアップ表はその要素 に関連する動作ユニットとスケーリング因子とを決める(段階201)。次に第 1の要素に関連する時間間隔内で完全な40ミリ秒期間の数を計算する(段階2 02)。初期動作ユニットのスケーリング因子が次に期間の数で除算されて増分 値を与えるようにする(段階203)。このプロセスは次に命令のループ(段階 204)に入り、各40ミリ秒期間に対する指令信号を作る。指令信号内のスケ ーリング因子は命令のループが実行される度毎に(ゼロから)計算された増分だ け増加される。 群リスト内の次の要素がそこでフェッチされ(図13Bの段階205)、対応 する動作ユニットとスケーリング因子とが動作ユニットルックアップ表14を用 いて見付けられる(段階206)。段階202のように、群リストの要素に関連 する時間間隔内の40ミリ秒期間全体の数が見付けられる(段階207)。前の ように、現在の要素に関連する動作ユニットのスケーリング因子が計算された期 間の数で除算されて増分値が求められる(段階208)。群リスト内の前の要素 のスケーリング因子が同じ数で除算されて減分値が求められる(段階209)。 このプロセスは次に命令のループに入って、出力すべき指令信号を計算する。こ れには前の要素との関係で作られた動作ユニットと群リスト内の現在の要素に関 連する動作ユニットとの重みづけした組合せを含んでいる。前の動作ユニットに 与えられる重みづけは各40ミリ秒期間に対する減分値だけスケーリング因子を 減分することにより減らされ、現在の動作ユニットに与えられる重みづけは各4 0ミリ秒期間に対する増分値だけ(ゼロから)スケーリング因子を増すことによ り増加される。このようにして、指令信号出力は1つの口の形から次へと段階的 な遷移して行く。 同じような動作(段階206ないし210)が群リスト内の後続の各要素に適 用され、最終要素に到達するまで進む。 指令信号が動作ユニットファイルに基づいて生成されて、40ミリ秒間隔で画 像合成ユニット5に送られて、頭部の画像を生成できるようにし、頭部にはテキ ストから言語への合成器の出力に対応しているアーティキュレーションを備える ようにする。 これまでの議論から、ビゼームあるいはある母音に対して選ばれた口の形は、 その母音に先んじて選ばれたものであること、母音−子音(もしくはその逆)の 組合せに選ばれた口の形はその組合せに対して先行して割当てられたものである こと、また子音−子音遷移のために選ばれた口の形は同じ文脈(コンテキスト) 内の子音の第1のものに先行して割当てられたものであること−言い換えると、 この例では同じ次に来る母音(あるいはデフォルトであるか、先行している母音 )をもつものであることが気付くと思う。もし望むのであれば、必要とされる動 作ユニットの数を増すという負担を伴うけれども、口の形の選定はもっと文脈に 依存するようにしてもよい。例えば、子音−母音遷移に対する口の形を選ぶのに 、子音とその次の母音とだけ依存するのではなく、前の母音にも依存するように (すなわち母音−子音−母音の組合せに依存するように)選択してもよいことに なろう。子音−子音遷移に対する選択は第1の子音と後続及び先行の両母音(も しあれば)に依存するようにできるし、または実際に2つの子音と2つの母音に 依存するようにできる。 これまでには、動作ユニットが画像合成ユニット5内でどのように生成される かについて余り触れるところがにかった。試作品ではこれが達成されており、必 要とされる68の母音群と母音群/子音群組合せの全部を含んだ人間の話した単 語をビデオ記録し、かつフレームグラバ(獲得手段)を用いてこの記録の静止画 フレームを表示して、これらのフレームで母音に対応するものと、子音/母音組 合せに対応するものとを人手によって識別できるようにした。一度これらのフレ ームが(ビットマップ形式で)識別されてしまうと、次はこれらのフレームを表 わす基準ワイヤフレームモデルからの変位を判断する必要があった。これは一致 プログラムを用いて行われ、このプログラムはワイヤフレームモデルを与えられ たビットマップ画像に一致させるのに必要な変形を計算するものである。

Claims (1)

  1. 【特許請求の範囲】 1.話された言葉と整合がとれていて眼に見えるアーティキュレーションを備 えた顔の動画を表わす信号を生成する方法であって、その構成は: 発話の継続している部分に対応する発音表記のシーケンスを受領することと; 第1の類型の各発音表記に対して口の形を識別することと; 第1の類型の発音表記から第2の類型の発音表記への各遷移と、第2の類型の 発音表記から第1の類型の発音表記への各遷移と、第2の類型の発音表記から第 2の類型の発音表記への各遷移とに対して口の形を識別することと; 該識別された形を含んでいる画像フレームのシーケンスを生成することとを含 む方法。 2.話された言葉と整合がとれていて眼に見えるアーティキュレーションを備 えた顔の動画を表わす信号を生成する方法であって、その構成は: 発話の継続するフォニームに対応する発音表記のシーケンスを受領することと ; 各母音フォニームに対する口の形を識別することと; 母音フォニームから子音フォニームへの各遷移と、子音フォニームから母音フ ォニームへの各遷移と、及び子音フォニームから子音フォニームへの各遷移とに 対する口の形を識別することと; 識別された形を含んでいる画像フレームのシーケンスを生成することとを含む 方法。 3.子音と母音とのフォニーム間の各遷移に対する口の形の識別が母音フォニ ームと子音フォニームとの関数として実行される請求項2記載の方法。 4.2つの子音フォニーム間の各遷移に対する口の形の識別が2つの子音フォ ニームの第1のものと、その前後の直近の母音フォニーム関数として実行される 請求項2又は3記載の方法。 5.2つの子音フォニーム間の各遷移に対する口の形の識別が2つの子音フォ ニームと第1のものと、それに続く直近のもしくはそれがないときには先行する 母音フォニーム関数として実行される請求項2又は3記載の方法。 6.前記識別が請求項3,4,5のいずれか1項で特定されたフォニームだけ の関数として実行されるその請求項記載の方法。 7.前記識別が同じ単語内の少くとも1つの他のフォニームの関数としても実 行される請求項3,4,5のいずれか1項記載の方法。 8.各識別された口の形に対してその形を特定する指令を生成し、かつ前と後 との指令によって特定された形の中間の形を各々が特定する中間指令を生成する ことを含む前記請求項1ないし8のいずれか1項記載の方法。 9.話された言葉と整合がとれていて眼に見えるアーティキュレーションをも つ顔の動画を表わす信号を生成するための装置であって、その構成は: 動作時に発話の継続する部分に対応する発音表記のシーケンスを受領し、それ に応答して第1の類型の各発音表記に対してと、口の形を識別し、また第1の類 型の発音表記から第2の類型の発音表記への各遷移に対してと、第2の類型の発 音表記から第1の類型の発音表記への各遷移に対してと、第2の類型の発音表記 から第2の類型の発音表記への各遷移に対してとの口の形を識別するようにされ た手段と; 識別された形を含む画像フレームのシーケンスを生成するための手段とを含ん でいる装置。 10.添付図面を参照して実質的に記述された、話された言葉と整合する眼で 見る顔の動画を表わす信号を生成する方法。 11.添付図面を参照して実質的に記述された、話された言葉と整合する眼で 見るアーティキュレーションを備えた顔の動画を表わす信号を生成するための装 置。
JP53413797A 1996-03-26 1997-03-24 画像合成 Expired - Fee Related JP4037455B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP96302060 1996-03-26
EP96302060.7 1996-03-26
PCT/GB1997/000818 WO1997036288A1 (en) 1996-03-26 1997-03-24 Image synthesis

Publications (3)

Publication Number Publication Date
JP2000507377A true JP2000507377A (ja) 2000-06-13
JP2000507377A5 JP2000507377A5 (ja) 2004-11-25
JP4037455B2 JP4037455B2 (ja) 2008-01-23

Family

ID=8224860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53413797A Expired - Fee Related JP4037455B2 (ja) 1996-03-26 1997-03-24 画像合成

Country Status (8)

Country Link
EP (1) EP0890168B1 (ja)
JP (1) JP4037455B2 (ja)
KR (1) KR20000005183A (ja)
CN (1) CN1214784A (ja)
AU (1) AU2167097A (ja)
CA (1) CA2249016C (ja)
DE (1) DE69715175T2 (ja)
WO (1) WO1997036288A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016841B2 (en) 2000-12-28 2006-03-21 Yamaha Corporation Singing voice synthesizing apparatus, singing voice synthesizing method, and program for realizing singing voice synthesizing method

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2346788B (en) * 1997-07-25 2001-02-14 Motorola Inc Parameter database of spatial parameters and linguistic labels
EP0982684A4 (en) * 1998-03-11 2001-05-09 Mitsubishi Electric Corp MOTION IMAGE GENERATION DEVICE AND LEARNING DEVICE VIA IMAGE CONTROL NETWORK
CA2323421C (en) * 1998-03-11 2008-09-23 Entropic, Inc. Face synthesis system and methodology
IT1314671B1 (it) * 1998-10-07 2002-12-31 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'animazione di un modellosintetizzato di volto umano pilotata da un segnale audio.
SG87837A1 (en) 1998-10-08 2002-04-16 Sony Computer Entertainment Inc Portable toy, portable information terminal, intertainment system, and recording medium
JP2003503925A (ja) * 1999-06-24 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報ストリームのポスト同期
KR100395491B1 (ko) * 1999-08-16 2003-08-25 한국전자통신연구원 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법
US6766299B1 (en) 1999-12-20 2004-07-20 Thrillionaire Productions, Inc. Speech-controlled animation system
GB0008537D0 (en) 2000-04-06 2000-05-24 Ananova Ltd Character animation
GB0030148D0 (en) * 2000-12-11 2001-01-24 20 20 Speech Ltd Audio and video synthesis method and system
US6661418B1 (en) 2001-01-22 2003-12-09 Digital Animations Limited Character animation system
DE10214431B4 (de) * 2002-03-30 2005-11-10 Ralf Dringenberg Verfahren und Vorrichtung zur Visualisierung von Audiodaten
KR100754430B1 (ko) * 2004-10-08 2007-08-31 비쥬텍쓰리디(주) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
CN1991982A (zh) * 2005-12-29 2007-07-04 摩托罗拉公司 一种使用语音数据激励图像的方法
GB2468140A (en) * 2009-02-26 2010-09-01 Dublin Inst Of Technology A character animation tool which associates stress values with the locations of vowels
JP2018091954A (ja) * 2016-12-01 2018-06-14 オリンパス株式会社 音声認識装置、及び音声認識方法
CN108847234B (zh) * 2018-06-28 2020-10-30 广州华多网络科技有限公司 唇语合成方法、装置、电子设备及存储介质
CN111260761B (zh) * 2020-01-15 2023-05-09 北京猿力未来科技有限公司 一种生成动画人物口型的方法及装置
CN113205797B (zh) * 2021-04-30 2024-03-05 平安科技(深圳)有限公司 虚拟主播生成方法、装置、计算机设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4913539A (en) * 1988-04-04 1990-04-03 New York Institute Of Technology Apparatus and method for lip-synching animation
JP2518683B2 (ja) * 1989-03-08 1996-07-24 国際電信電話株式会社 画像合成方法及びその装置
US5313522A (en) * 1991-08-23 1994-05-17 Slager Robert P Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader
US5608839A (en) * 1994-03-18 1997-03-04 Lucent Technologies Inc. Sound-synchronized video system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016841B2 (en) 2000-12-28 2006-03-21 Yamaha Corporation Singing voice synthesizing apparatus, singing voice synthesizing method, and program for realizing singing voice synthesizing method

Also Published As

Publication number Publication date
AU2167097A (en) 1997-10-17
WO1997036288A1 (en) 1997-10-02
DE69715175T2 (de) 2003-05-15
DE69715175D1 (de) 2002-10-10
CN1214784A (zh) 1999-04-21
EP0890168A1 (en) 1999-01-13
CA2249016C (en) 2002-12-03
KR20000005183A (ko) 2000-01-25
JP4037455B2 (ja) 2008-01-23
EP0890168B1 (en) 2002-09-04
CA2249016A1 (en) 1997-10-02

Similar Documents

Publication Publication Date Title
JP2000507377A (ja) 画像合成
Ezzat et al. Miketalk: A talking facial display based on morphing visemes
Graf et al. Visual prosody: Facial movements accompanying speech
US6208356B1 (en) Image synthesis
US6250928B1 (en) Talking facial display method and apparatus
US5657426A (en) Method and apparatus for producing audio-visual synthetic speech
Mattheyses et al. Audiovisual speech synthesis: An overview of the state-of-the-art
EP0831460A2 (en) Speech synthesis method utilizing auxiliary information
JP2003530654A (ja) キャラクタのアニメ化
JP4543263B2 (ja) アニメーションデータ作成装置及びアニメーションデータ作成プログラム
KR101089184B1 (ko) 캐릭터의 발화와 감정표현 제공 시스템 및 방법
KR100300962B1 (ko) 음성합성을위한립싱크방법및그장치
KR20080018408A (ko) 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체
Ezzat et al. Videorealistic talking faces: A morphing approach
Haryanto et al. A Realistic Visual Speech Synthesis for Indonesian Using a Combination of Morphing Viseme and Syllable Concatenation Approach to Support Pronunciation Learning.
Breen et al. An investigation into the generation of mouth shapes for a talking head
KR100754430B1 (ko) 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체
JP3755503B2 (ja) アニメーション制作システム
EP0982684A1 (en) Moving picture generating device and image control network learning device
EP0144731B1 (en) Speech synthesizer
Lacerda et al. Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing
KR20010088139A (ko) 텍스트 데이터 입력에 대응한 입모양 출력장치 및 그 방법
JPH0792904A (ja) 手話合成装置
US20230245644A1 (en) End-to-end modular speech synthesis systems and methods
Morishima et al. A facial image synthesis system for human-machine interface

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070514

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070625

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees