JP2001501346A - バーチャルリアリティにおいて顔の動きを感知するためのシステム - Google Patents

Abstract

(57)【要約】 ヘッドマウントと着用者の頭との間の相対的運動を抑制するよう構成されるヘッドマウントを含む、コンピュータにより作られるアニメーションをリアルタイムで操作するためのシステムが提供される。ヘッドマウントにより作り出されるデータをリアルタイムで処理するコンピュータにヘッドマウントは結合される。ヘッドマウントの着用者の顔の動きにより作り出されるデータは、リアルタイムで処理され、したがって、バーチャルリアリティプログラムにおける漫画などの対象は、着用者が行なうものと同じ、着用者の顔の表情に類比する顔の表情を有する。複数のカメラが、運動を表示するデータを作り出すため、着用者の顔の異なった局所的領域における運動を感知するため着用者の顔の異なつた局所的領域をモニタする。カメラは、カメラの精密な位置付けのため可撓性アームによりヘッドマウントに取付けられる。カメラは、着用者の顔の、口、あごおよびほおならびに眉および前頭領域の各々ならびに着用者の目の一方をモニタする。モニタされる領域の各々において着用者の顔に取付けられる反射材料部分が、着用者の変化する顔表情を表示するデータを作り出すカメラの能力を高める。着用者の顔の表情が変化していく間、変化する表情を表わすデータは連続的に処理され、したがって、漫画は着用者を連続的に模倣する顔の表情を有する。

Description

【発明の詳細な説明】 バーチャルリアリティにおいて顔の動きを感知するためのシステム 発明の分野 この発明は一般にバーチャルリアリティシステムに関し、特に、リアルタイム 環境において、着用者の顔の動きを追跡し、かつシステムによって作成されたデ ータをバーチャルリアリティに統合するためのシステムに関する。 発明の背景 バーチャルリアリティ（“ＶＲ”）システムは、三次元の仮想世界をなすシミ ュレートされた環境の経験を提供する、コンピュータによって作られたシステム である。これらのＶＲシステムはたとえば、商業用飛行シミュレータ、エンター テイメントシステム、コンピュータゲームおよびビデオアーケードゲームなどの 多くの種々の用途に用いられている。 多くのバーチャルリアリティシステムでは典型的に、コンピュータによって形 成されたバーチャルリアリティの世界を知覚によって受けることを可能にする、 ヘッド取付デバイスを参加者が着用する。このシステムはまた、ポイントデバイ ス、またはセンサおよびアクチュエータを含む特定的な形態のグローブなどの、 仮想世界における対象と相互作用するための相互作用手段を含む。いくつかの高 度なシステムでは、これもまたセンサおよびアクチュエータを含むフルボディス ーツがさらに提供され、これによりユーザが仮想世界の対象に影響を及ぼしたり 仮想世界の対象を実感することができる。 コンピュータによって作られたアニメーションは有力なメディア形態となりつ つある。コンピュータによって作られたアニメーションは全長モーションピクチ ャ、犯罪の再現、および子供用の漫画などの短長フィルムの作成などの用途にも 同時に用いられている。しかしながら、コンピュータによって作られた公知のア ニメーションの欠点は、表示のためにアニメーションを動かす前に、製図者がコ マ割り漫画のコマに描くように漫画または他のアニメーションを形成するために 、 アニメーションをコンピュータにプログラミングすることである。さらに、フィ ルムまたはテレビのシーンとは対照的に、漫画は、アクター（actor）のパフォ ーマンス、または多くのフィルムまたはビデオ媒体に共通な他の視覚情報によっ て駆動される音声または音ではなく、音声または音情報によって駆動されること が周知である。音によって駆動されるというこの漫画の特徴により、リアルタイ ムの視覚的な相互作用が、視覚情報の音を有する外部源から、または音情報と視 覚情報との間で排除される。 コンピュータによって作られた公知のアニメーションのさらなる欠点は、アニ メートされた（animated）キャラクターにはリアルタイムの精巧な表情がないた め不自然であることである。また、アニメーションが示される間にコンピュータ のアニメーションと相互作用することが不可能である。したがって、「リアルタ イム」でコンピュータのアニメーションと相互作用し、アニメーションが動く際 に参加者がアニメーションと相互作用できるシステムを提供することが有利であ ろう。 リアルタイムでアニメーションと相互作用するための１つの手段は、コンピュ ータがアニメーションを同時に表示して動かす際にコンピュータに適切なデータ を送信するデータ入力手段を提供することであろう。コンピュータによって受取 られたデータは後に、動いているアニメーションに統合され、リアルタイムでア ニメーションを変化させることができる。 ルベルジ他（LeBerge et al.）の米国特許第５，５０７，７１６号には、睡眠 中の人間に明晰夢を誘導するために用いられる装置および方法が開示されている 。開示されている装置および方法は、バーチャルリアリティシステムにおいて主 要な多くの特徴を含む。システムはフェースマスクを有するヘッドバンドを含む 。フェースマスクは２つの赤外線発光検出器対を含み、一方の検出器対は目の動 きを感知するためのものであり、他方の検出器対は体の動きを感知するためのも のである。光および音などの低強度の知覚刺激をもたらす状態テストボタンおよ びコンポーネントもまた、開示されているフェースマスクに含まれる。赤外線検 出器対からの電圧の変動をモニタリングして、予め定められたシーケンスの電圧 を発生するために、マイクロプロセッサが与えられる。正しいシーケンスが発生 す ると、マイクロプロセッサはマスクの刺激発生コンポーネントをトリガして活性 状態にし、睡眠中の人間が明晰状態になるよう指示を与える。 シトリック（Sitrick）の米国特許第５，５５３，８６４号は、ユーザ入力デ バイスと関連ビデオディスプレイとを有するビデオゲームアダプタインターフェ イス装置に向けられる。ユーザは区別可能な視覚イメージ表現を選択して、ビデ オゲームのオーディオビジュアル表象に関連付ける。各ユーザは自分が選択する イメージによって識別される。ユーザの区別には、色、サイズ、グラフィックス または形状が用いられ得る。１つの実施例では、各ユーザの顔の、デジタル化さ れたイメージが、区別可能な表現として用いられる。これに代えて、ユーザの識 別として、各ユーザが独自なイメージを生成するか、または予め定められた組の 視覚イメージのうちの１つを選択することもできる。好ましくは、アダプタはビ デオゲームシステムと、ユーザイメージを含む記憶カードとに結合される。後に 、システムは、記憶カードからの選択されたユーザイメージをビデオゲームのオ ーディオビジュアル表象に統合し、さらにはユーザイメージをビデオゲームプレ ーに統合し得る。 公知のバーチャルリアリティシステムのさらなる欠点は、その中に共通なへッ ドセットが着用者の頭部まわりで移動しやすいことである。これは、着用者の頭 部がデータを与える場合には不利である。ヘッドセットが着用者の頭部に対して 移動すると、不正確なデータが作成されることとなる。 オグデン（Ogden）の米国特許第５，５７２，７４９号には、バーチャルリア リティシステムに用いるためのヘルメット取付デバイスが開示されており、これ は、顎用ストラップを刺激することなく所望の位置においてユーザの頭部にヘル メットがしっかりと取付られることを可能にする。開示されているヘルメットは 保持部付きのライナを含み、これは、テーマパークなどでの用途のために、着用 者の頭部に対して迅速に取外可能である。しかしながら、開示されているヘルメ ットの欠点は、これもまた着用者のヘッドのまわりで実質的に移動しやすいこと である。 ヘッドマウントと着用者の頭部との相対的な移動を抑制するように構成された ヘッドマウントを含む、コンピュータによって作られたアニメーションをリアル タイムで注意深く操作するためのシステムが必要である。 さらに、正確なデータ入力をユーザの頭部からバーチャルリアリティシステム に送ることが可能なシステムが必要である。 発明の目的 したがって、この発明の目的は、コンピュータによって作られたアニメーショ ンをリアルタイムで操作するためのシステムを提供することである。 この発明の別の目的は、ヘッドマウントと着用者のヘッドとの間の相対的な移 動を抑制するように構成されたヘッドマウントを含む、コンピュータによって作 られたアニメーションをリアルタイムで操作するためのシステムを提供すること である。 この発明のさらなる目的は、アニメートされたキャラクターに自然な表情を与 える、コンピュータによって作られたアニメーションをリアルタイムで操作する ためのシステムを提供することである。 この発明のさらなる目的は、ヘッド取付センサ入力システムであって、着用者 の種々の顔領域の動きを追跡するように構成されたヘッドマウントを含み、コン ピュータによって作られたアニメーションを操作するデータを作成するためのも のを提供することである。 この発明のさらなる別の目的は、実質的に軽いヘッドマウントを含む、コンピ ュータによって作られたアニメーションをリアルタイムで操作するためのシステ ムを提供することである。 発明の概要 この発明のこれらおよび他の目的および利点は、コンピュータによって作られ たアニメーションをリアルタイムで操作するためのシステムを提供することによ って達成され、このシステムは、精巧な表情を検出し、これらの表情に関連して コンピュータアニメーションをリアルタイムで操作する多数のセンサを与える。 この発明の好ましい実施例は、ヘッドマウントと着用者の頭部との間の相対的な 移動を抑制するように構成されたヘッドマウントを含む。ヘッドマウントの好ま しい実施例は、連結用データケーブルを介してコンピュータに結合され、ヘッド マウントによって作成されたデータをリアルタイムで処理する。 この発明の好ましい実施例では、ヘッドマウントを着用するアクターなどの人 間の顔の動きによって作成されたデータ（「移動データ」）が、リアルタイムで データを処理するためのコンピュータに送信される。移動データは、コンピュー タで動いているバーチャルリアリティプログラムの漫画の人物といった対象が、 アクターの行動とともに、アクターの表情に類似した表情を持つように、連続し て処理される。 したがって、この発明の好ましい実施例のシステムにおいて、ヘッドマウント を着用するアクターによって制御される、バーチャルリアリティコンピュータに よって作られたキャラクターは、たとえば、漫画があたかも別の人間であるかの ように人間が実際に漫画と相互作用しているように見えるインタビュー状況にお いて、インタビューされる人と話すことができる。さらに、漫画の表情を向上さ せるために周辺手段が提供され得る。 この発明の好ましい実施例のヘッドマウントは、不正確なデータの作成を防止 するために、ヘッドマウントと着用者の頭部との間の相対的な移動を抑制するよ うに特に構成される。ヘッドマウントは剛性額部を有するヘルメット部分を含み 、この剛性額部は、着用者の頭部の正面領域と前頭部とを係合してそれらの間の 移動を抑制するように構成される。着用者の頭部の後頭領域まわりに延び、かつ 好ましくは、さまざまな異なったサイズの頭部を有する着用者がしっかりと着用 できるように調節可能であるヘッドマウントがさらに含まれる。 ヘッドマウントをコンピュータに結合するために、ヘルメット部分に固定され 、かつデータケーブルに結合されたデータ送信フレームが提供される。ヘルメッ ト部分およびフレームは好ましくは軽量の適切な剛性材料を含むため、ヘッドマ ウントは実質的に軽く、およそ１ポンドの重量である。 この発明の好ましい実施例のシステムは、顔全体を感知するために１つのカメ ラしか設けない先行技術とは対照的に、好ましくは赤外線感知性の複数のカメラ を含み、このカメラは、着用者の顔のいくつかの種々の局所的領域をモニタリン グして、これらの領域の各々における動きを感知するためのものである。好まし い実施例において、カメラは、着用者の顔の口および顎領域、ほお領域ならびに 睫および前頭領域の各々をモニタリングするために提供される。第４のカメラに より、着用者の目の一方の瞳孔の動きおよび瞬きがモニタリングされる。 各カメラは、カメラと連結用データケーブルとを結合するための位置付け可能 な可撓性アームに装着される。位置付け可能なアームは、カメラの位置を維持し たままで、モニタリングされる着用者の顔の局所的領域の上方に所望のカメラが 高精度で位置付けられるようにする。好ましくは、各カメラには、そのレンズに 隣接して発光源が備えられる。各カメラの発光源は、着用者の顔の、隣接する領 域を照らし、表情を示す移動データを作成するために領域の動きを感知するカメ ラの能力を高める。 発明の好ましい実施例において、モニタリングされた領域の各々において着用 者の顔に反射性材料を付着する。着用者の表情は彼らの会話または意図的に作ら れた原稿通りの表情によって変化するため、反射性材料は隣接するカメラの光源 から発光した光をカメラのレンズに反射し、その領域での移動を示すデータ（「 移動データ」）を作成する。着用者の目をモニタリングするカメラにより、瞳孔 の動きおよび瞬きを示す移動データが作成される。各カメラからのデータはリア ルタイムでコンピュータに同時に送信され、対象の表情および目の動きをリアル タイムで連続して変化させる。 この発明の好ましい実施例では、アニメートされたイメージを支持するために 必要な情報を含むデータベースがまず設計される。その後、好ましいヘッドマウ ントによって作成された移動データがアニメーションデータベースと相互作用し 、それを操作し、変更された表情のイメージをもたらす。 したがって、着用者の表情が変化する際に、変化する表情を表わす移動データ がコンピュータに送信されて処理され、アクターの表情および目の動きを模倣す る、連続して変化する表情および目の動きを漫画の人物が持つことが可能になる 。ヘッドマウントと着用者の頭部とは相対的に移動しない。アクターは、カメラ によって不正確なデータが作成されることなく、自由に動き回ったりダンスする ことさえできる。ヘッドマウントの構成は着用者には負担をかけず、ヘッドマウ ントは軽量であるため、着用者の首部および肩部を疲れさせることなく着用者が ヘ ッドマウントをしばらくの間着用できるようにする。 さらに、ヘッドマウントはマイクロフォンを備えてもよい。マイクロパリティ ーパフォーマンス（micropality performance）では、アクターに別個に音声パ フォーマンスを記録させたり、または別のアクターに、バーチャルリアリティの 相互作用の音声部分を行なわせたりする必要はない。 好ましい実施例において、調節可能なミニビデオカメラは、顔に付着した３ｍ 反射材料を照らす、狭い帯域幅の赤外線光源を受けるようにフィルタリングされ る。画像処理によってｘおよびｙ方向にリアルタイムで反射点が追跡され、デー タコレクタＰＣに報告される。１つの顔面追跡器には４つのカメラがある。４つ 中１つは目の追跡専用であり、他の３つは眉毛および口領域に集中する。ヘッド セットは極度に軽量であり、ボディスーツを着たパフォーマーによって同時に着 用され得る。システムはｘ，ｙモーションデータをリアルタイムで変換して１組 の、三次元の幾何学的な顔の彫刻（データベース）の形態にし、これらが組合せ られ、無数の変形を有するキャラクターの、リアルタイムでコンピュータによっ て作られた１つの頭部になり、同期録音（lip sync）および表情をもたらすよう にする。 図面の簡単な説明 本発明の上述のおよび他の特徴、構造、利点および目的は、以下の詳細な説明 および添付の図面から十分に理解されるであろう。添付した図面の各々は、本発 明の実施例の正確な描写ととらえられてはならず、説明の目的のみで提供された ものであって、添付の明細書と関連して解釈されるものである。 図１は、本発明の、コンピュータによって作られるアニメーションをリアルタ イムで操作するためのシステムにおける、ヘッドマウントの好ましい実施例の正 面立面図である。 図２は、本発明のヘッドマウントの好ましい実施例を、ユーザによって着用さ れた状態で示す、側面立位断面図である。 図３は、本発明のヘッドマウントの側面立面図である。 図４は、着用者の顔面の、モニタリングされる複数の局所的領域であって、そ れら各領域内の動きを感知して着用者の顔の表情の変化を判定するための局所的 領域を示す、正面立面図である。 図５は、本発明のシステムの好ましい実施例に従った、局所的顔面領域におけ る動きをモニタリングするための、顔面運動検出手段を示す正面斜視図である。 好ましい実施例の詳細な説明 以下の説明は、当業者が本発明を使用できるように提供されたものであり、発 明者によって現在考えられる、本発明を実施するための最良のモードを記載する 。しかし、本発明の一般原理を以下に述べたので、当業者には種々の変更例が容 易に明らかであろう。 図１から図３を参照して、コンピュータによって作られたアニメーションをリ アルタイムで操作するためのシステムの好ましい実施例を、包括的に１０で示す 。これは、本発明の原理に従って構築されたヘッドマウント１２を含む。本発明 のヘッドマウント１２は、好ましくは、ヘッドマウント１２と着用者１６の頭１ ４との間の相対運動を禁止するように構成される。本発明のシステム１０は、連 結用データケーブル２０を介してコンピュータ１８に結合されたヘッドマウント １２を含む。データケーブル２０は、ヘッドマウント１２によって生成されたデ ータをリアルタイムで処理する。 本発明のシステム１０において、たとえば着用者がアクターであった場合に、 着用者１６の顔の動きによって生成された移動データは、コンピュータ１８に伝 送されて、そのデータがリアルタイムで処理される。この移動データは連続的に 処理されて、コンピュータ１８上で動くバーチャルリアリティプログラム内の漫 画の人物等の対象が、アクター１６が動くにつれてアクター１６の顔の表情に対 応しかつそれに相似する顔の表情を持つようにする。本発明のシステム１０にお けるヘッドマウント１２を着用したアクター１６によって制御されるバーチャル リアリティの漫画の人物は、たとえばインタビューの状況において、インタビュ ーされる人間と会話することが可能である。この際、その人間は、漫画の人物が あたかも別の人間であるかのように、その漫画の人物と実際に対話しているかの ように見える。さらに、漫画の人物の顔の表情を強化するために、周辺手段（図 示せず）が設けられてもよい。 図面の図１から図３を参照して、本発明の好ましい実施例においては、ヘッド マウント１２は、誤ったデータが生成されることのないように、ヘッドマウント １２と着用者１６の頭１４との相対運動を禁止するよう構成される。ヘッドマウ ント１２は、着用者の頭１４の前面領域および前頭部２６（図２から最もよくわ かる）をとらえてそれらの間の動きを禁止するよう構成された剛性額部２４を有 する、ヘルメット部２２を含む。 剛性額部２４は、底面Ｂと、底面Ｂとほぼ垂直に延びる横断面Ｔとで曲線が付 けられており、それにより、額部２４は着用者１６の前面領域および前頭部２６ と噛合う複合曲線を形成する。額部２４は好ましくは、好適な公知の、強度が高 く硬質かつ軽量の高分子材料から成形され、当該技術分野において公知の方法を 使用して製造される。 ヘルメット２２はさらに、額部２４に取付けられた、調節可能なヘッドバンド ２８を含む。ヘッドバンド２８は、着用者の頭１４の後頭部領域３０のまわりに 延びるよう構成され、好ましくは、ヘッドマウント１２が種々の異なるヘッドサ イズの着用者によって安全に着用されるようヘルメット２２の周囲を調節できる ように、調節が可能である。ヘッドバンド２８は、額部２４に取付けられて調節 用ストラップ３４と連動するよう固定された、可撓性バンド３２を含む。連動さ れるストラップ３４にはノブ３６が結合され、時計回りまたは時計と反対回りに 回転されて、ヘルメット２２の周囲を変化させるようヘッドバンド２８の長さが 調節される。 好ましい実施例においては、好適な発泡樹脂の詰め物が額部２４の内側４０に 取付けられ、バンド３２の内側４２にも取付けられてもよい。この詰め物３８は 、額部２４と着用者の前頭部２６との間の摩擦係数を増すために設けられるもの で、額部２４が前頭部２６のまわりで滑らないようにするものである。詰め物３ ８はまた、汗を吸収して、着用者１６が快適にそれを使用できるようにする。 データ伝送フレーム４４が、ヘッドマウント１２をコンピュータ１８に連結す る。好ましい実施例においては、データフレーム４４は、ヘルメット２２のまわ りに延びて額部２４に固定された、中空の、曲線状の管を含む。フレーム４４は 、 額部２４の近辺で終結する、端部４６を有する。 データフレーム４４は好ましくは、たとえばアルミニウム等の、軽量かつ剛性 の金属合金を含む。以後に詳しく説明する、ヘッドマウント１２を構成する要素 の各々とともに、フレーム４４およびヘルメット２２は実質的に軽量の材料を含 み、それにより、ヘッドマウント１２は約０．５ポンドから１．５ポンドの好ま しい重量範囲を有するようになる。ヘッドマウント１２が軽量であるため、着用 者１６は首や肩を痛めることなく、かなりの時間にわたってヘッドマウントを着 用することが可能となる。その構成自体も、着用者の負担となることはない。 ここで図面を参照して、本発明の好ましい実施例１０はさらに、複数の顔面運 動モニタ手段５０を含む。このモニタ手段５０は、着用者の顔面５２の複数の局 所的領域における動きを継続して記録して、着用者１６の顔の表情の変化を表わ す、顔面表情移動データを連続的に生成する。好ましい実施例においては、モニ タ手段５０は、ほお領域５４、口およびあご領域５６、ならびに、眉および前頭 部領域５８をモニタリングするよう提供される。第４のモニタ手段５０Ａは、目 の領域６０をモニタリングして、着用者の目６２の一方の瞳孔の動きおよびまば たきをモニタリングする。 好ましくは、モニタ手段５０は、着用者の顔面５２の局所的領域５４、５６、 ５８をモニタリングするための、たとえば、日本、スワにある、チノン株式会社 によって製造されたもの等の、赤外線感知カメラを含む。これらのカメラは、各 領域における動きを感知して、顔の表情を示すデータを生成する。目をモニタリ ングするカメラ５０Ａは、目の領域６０を継続的にモニタリングして、目の動き およびまばたきを示すデータを生成する。さらに、カメラ５０は、望ましくない 環境光を遮るための、公知のローパスフィルタ手段（図示せず）を有するよう構 成される。 カメラ５０の各々には、好ましくは、複数の発光源６４が設けられる。発光源 ６４は、レンズ６６に隣接して、全体の視野を遮ることなくレンズの中央のでき るだけ近辺に取付けられる。本発明のシステム１０の好ましい実施例においては 、発光源６４は、モニタリングされるべき隣接する顔面領域５４、５６、５８、 ６０を照射するために焦点が合った光源を提供するよう、各カメラ５０のレンズ ６ ６の近辺に位置付けられた、発光ダイオード６４を含む。光源６４は、着用者の 顔面５２の隣接した領域を照射して、カメラがより正確にモニタリングされる顔 面領域５４、５６、５８、６０における動きを検出して、顔の表情および目の動 きを表わすデータを生成できるようにする。 本発明の現時点における好ましい実施例においては、目をモニタリングするカ メラ５０Ａには４個ないし８個の複数のＬＥＤ６４が設けられて、目６２に光を 充満させる。多数のＬＥＤ６４が目をモニタリングするカメラ５０Ａに設けられ るのは、瞳孔の動きおよびまばたきがレンズ６６内に反射される光なしにモニタ リングされるためである。 ここで再び図１から図３を参照して、カメラ５０の各々は、カメラ５０を連結 用データケーブル２０を介してコンピュータ１８に結合するための、位置付け可 能な可撓性アーム６８に装着される。位置付け可能なアーム６８は、所望のカメ ラ５０をモニタリングされるべき局所的領域５４、５６、５８、６０上に精密に 位置付けることが可能である。アーム６８は、フレーム４４の端部４６に取付け られたコネクタ７２に装着される端部７０を有する。アーム６８Ａは、額部２４ に取付けられて眉および前頭部領域５８をモニタリングするためのカメラ５０を 支える。 位置付け可能なアーム６８は、中空であって、カメラ５０の出力からカメラ５ ０を支えるアーム６８を介して、中空のデータフレーム４４を介して、データケ ーブル２０内に、およびコンピュータ１８へと続く、閉じたデータ線経路を提供 する。これにより、無関係なデータ線が着用者１６の視線または着用者によって なされる動きを妨害することはなくなる。 位置付け可能なアーム６８は、好ましくは、カメラ５０の各々をモニタリング されるべき所望の領域の上に位置付けかつ所望の位置を維持するように、一連の 関節付玉継手型連継手を含む。アーム６８は、Delrin（商標）等の、好適な硬質 高分子材料から製造される。アーム６８を含む一連の中空の関節付玉継手型連継 手は、モジュラ調節可能冷却剤ホースにしばしば使用される。これは、Lake Osw ego，Oregonの、Lockwood Products Inc.によって製造されて、商標“Loc-Line ”の下、販売されているもの、および、MinnesotaのCedar Berg Corporationによって製造されて、商標“Snap-Loc”の下、販売されているもの がある。 ここで図４を参照して、複数の表皮位置表示手段７４が、着用者１６の顔面５ ２の表皮７６に、局所的顔面領域５４、５６、５８の各々内に接着される。この 表示手段７４の水平方向および垂直方向の動きが、顔の表情の変化を表示するた めの隣接するカメラ５０に、表皮７６の動きを伝える。 着用者１６がたとえばうなったりあざ笑ったりと、原稿通りの顔の表情を意図 的に作ったり話したりする際に、その顔の表情を作る筋肉の収縮によって表皮７ ６が動き、応じて、モニタリングされる領域５４、５６、５８の１または複数に おける表示手段７４が動く。表示手段７４が動くと、光源６４によって発せられ る光が隣接するカメラ５０のレンズ６６内に反射して、表示手段７４の水平およ び垂直位置の変化を示して、その変化する顔の表示を表わす移動データを継続的 に生成する。 好ましい実施例においては、表皮位置表示手段７４の各々は、たとえばMinnes otaの、Minnesota Mining and Manufacturing社によって製造される公知の反射 テープ等の、反射材料の部分を含む。反射テープ７４の１または複数の部分が、 モニタリングされるべき領域の寸法、着用者１６が作るものと期待されるかまた は望まれる顔の表情、および、たとえば唇７７等のモニタリングされるべき領域 の所望の位置、等のファクタに応じて、モニタリングされる領域５４、５６、５ ８の各々において着用者の顔面５２に接着されてもよい。 したがって、顔の表情の移動データは、着用者１６の顔の表情および目の動き をモニタリングする各カメラ５０によって継続的に生成されて、データケーブル ２０を介してコンピュータ１８へと連続的に伝送される。移動データはその後、 リアルタイムでコンピュータによって処理されて、着用者１６の動きに対応する 表情および目の動きを表わすデータベース（図示せず）が連続的に増大する。こ れにより、コンピュータ１８上で動くバーチャルリアリティプログラム内の対象 が、着用者の顔の表情が動くにつれて、それに相似する顔の表情を有するように なる。 再び図１および図２を参照して、ヘッドマウント１２には適宜、一体型マイク ロホン７８が設けられてもよい。マイクロホン７８は、ヘッドマウント１２を着 用するアクター１６が、完全なるバーチャルリアリティの演技を行なうことを可 能にし、アクター１６が音声の演技を別個に録音したり、別のアクターがバーチ ャルリアリティの対話の音声部分を演じる必要がなくなる。マイクロホン７８は 、カメラ５０のうち所望の１つに固定されるが、好ましくは、ほお領域５４また は口およびあご領域５６のいずれかをモニタリングするカメラ５０に取付けられ て、これらのカメラのうち何れかが、アクターの口の近傍に位置付けられる。 以上により、着用者の顔の表情が変化するのに応じて、その変化する表情をあ らわすデータによって、漫画の人物がアクターを真似て顔の表情および目の動き を連続的に変化することができるようになる。ヘッドマウントと着用者の頭との 間に相対運動がないために、アクターは自由に動くことができ踊ることも可能で る。このとき、カメラが不正確なデータを生成することはない。 以上に、コンピュータによって生成されたアニメーションをリアルタイムで操 作するためのシステムについて説明した。これは、ヘッドマウントと着用者の頭 との間の相対運動を禁止するよう構成された、ヘッドマウントを含む。本発明の システムの好ましい実施例においては、着用者の顔の動きによって生成された移 動データは、コンピュータへとリアルタイムで伝送されて処理される。これによ り、コンピュータ上で動くバーチャルリアリティプログラム内の漫画の人物等の 対象が、着用者の顔の表情が変化した時点でそれに相似した顔の表情を有するよ うにすることができる。 当業者には、本発明の範囲および精神から離れることなく、上に記載した好ま しい実施例の種々の適用例および修正例が思い付かれるであろう。したがって、 本発明は、添付の請求の範囲内で、ここに例示した以外の方法でも実施が可能で あると理解されたい。

───────────────────────────────────────────────────── 【要約の続き】 表示するデータを作り出すカメラの能力を高める。着用 者の顔の表情が変化していく間、変化する表情を表わす データは連続的に処理され、したがって、漫画は着用者 を連続的に模倣する顔の表情を有する。

Claims (1)

1. 【特許請求の範囲】 １．バーチャルリアリティコンピュータシステムにおいて使用するためのヘッド マウントであって、前記ヘッドマウントは、 着用者の頭の上にヘッドマウントを着用するためのヘルメットを含み、ヘルメ ットは頭とヘッドマウントとの間の相対的な運動を抑制するため頭に係合するよ う構成され、前記ヘッドマウントはさらに、 複数の顔の領域の各々での運動を表示する移動データを作り出ずため複数の顔 の領域内の顔の動きを検出するための手段と、 移動データをコンピュータシステムに連続的に伝送するための手段とを含む、 ヘッドマウント。 ２．ヘルメットは、着用者の頭とヘッドマウントとの間の運動を抑制するため、 ヘルメットの周囲を調節するための手段を含む、請求項１に記載のバーチャルリ アリティコンピュータシステム。 ３．顔面運動検出手段は、複数の光感知式イメージ受信手段を含み、前記イメー ジ受信手段は、受信される光の量の変化をモニタしかつ対応する着用者の表皮の 位置変化を表示する、請求項１に記載のバーチャルリアリティコンピュータシス テム。 ４．着用者の目の動きおよびまばたきを連続的に検出し、かつ、目の動きおよび まばたきを表示する移動データを連続的に作り出すための少なくとも１つの眼球 運動検出手段をさらに含む、請求項１に記載のバーチャルリアリティコンピュー タシステム。 ５．顔の領域の１つに各検出手段を位置付けるための複数の位置付け手段をさら に含む、請求項１に記載のバーチャルリアリティコンピュータシステム。 ６．伝送のための手段はさらに、ヘッドマウントをコンピュータシステムに結合 するためのデータケーブルを含む、請求項１に記載のバーチャルリアリティコン ピュータシステム。 ７．バーチャルリアリティコンピュータシステムにおいて使用するためのヘッド マウントであって、前記システムは、ヘッドマウントにより作られるデータを連 続的に処理するためのコンピューティング手段を含み、前記ヘッドマウントは、 着用者の頭とヘッドマウントとの間の相対的運動を抑制するよう構成されるヘ ルメットを含み、前記ヘルメットは、頭とヘッドマウントとの間の運動を防止す るよう頭の正面領域および前頭に係合するよう構成される額部およびヘルメット の周囲を調節するための手段を含み、前記ヘッドマウントはさらに、 複数の顔の領域内の運動をモニタするための複数の顔面運動検出手段を含み、 各検出手段は連続的に感知し移動データを作り出し、前記ヘッドマウントはさら に、 各検出手段を位置付けるための手段と、 移動データをコンピューティング手段に伝送するための手段とを含み、移動デ ータは、連続的に処理され、したがって、コンピューティング手段におけるコン ピュータで作られた対象は、着用者の自然な顔の表情に類似したコンピュータで 作られた顔の表情を有する、ヘッドマウント。 ８．検出手段はさらに、目の動きおよびまばたきを連続的に検出しかつ目の動き およびまばたきを表示する移動データを連続的に作り出すための眼球運動検出手 段を含む、請求項７に記載のバーチャルリアリティコンピュータシステム。 ９．顔の領域を照らすための光源手段をさらに含み、光源手段は、顔の領域内の 運動を感知する検出手段の能力を高める、請求項８に記載のバーチャルリアリテ ィコンピュータシステム。 １０．額部は、実質的に剛性でありかつ頭の前頭との間の運動を抑制するよう頭 の前頭と噛合うための複合曲線を形成するよう構成され、 周囲調節手段はさらに、額部に添えられかつヘルメットの周囲を調節するため 着用者の頭のまわりに延びるよう構成される調節可能ヘッドバンドを含み、した がって、ヘッドマウントは異なった頭の大きさに対処でき同時に各着用者の頭の 上に確実に保持される、請求項８に記載のバーチャルリアリティコンピュータシ ステム。 １１．検出手段は、少なくとも、口、ほおおよび前頭領域ならびに少なくとも１ つの目をモニタするため設けられる、請求項９に記載のバーチャルリアリティコ ンピュータシステム。 １２．位置付け手段は、ヘルメットに結合される複数の位置付け可能アームを含 み、前記位置付け可能アームは、各顔面運動検出手段を所望の顔の領域に位置付 けるため設けられかつ検出手段の位置を維持するためのものである、請求項１１ に記載のバーチャルリアリティコンピュータシステム。 １３．顔面運動検出手段とコンピューティング手段との間にデータ経路を設ける ため顔面運動検出手段をコンピューティング手段に結合するためのデータケーブ ルをさらに含み、前記検出手段はデータケーブルを通じてコンピューティング手 段に移動データを連続的に伝送する、請求項１２に記載のバーチャルリアリティ コンピュータシステム。 １４．バーチャルリアリティコンピュータシステムにおいて使用するためのヘッ ドマウントであって、前記システムは、ヘッドマウントにより作られるデータを 連続的に処理するためのコンピューティング手段を含み、前記ヘッドマウントは 、 着用者の頭とヘッドマウントとの間の相対的運動を抑制するよう構成されるヘ ルメットを含み、前記ヘルメット部は、額部が着用者の頭との間の運動を抑制す るよう、着用者の頭に係合するため、着用者の頭の正面領域および前頭と噛合う よう構成される複合曲線を形成するよう、底面と底面に対し実質的に垂直に延び る横断面において湾曲する剛性の額部を含み、前記ヘルメットはさらに、額部に 取付けられかつ着用者の頭の後頭領域に延びるよう構成される調節可能ヘッドバ ンドを含み、前記ヘッドバンドはヘルメットの周囲を調節するため調節可能であ り、したがって、ヘッドマウントは異なった頭の大きさに対処するよう寸法付け られ得同時にヘッドマウントが各着用者の頭の上に確実に保持され、前記ヘッド マウントはさらに、 複数の局所的な顔の領域内で着用者の顔に取付けられる複数の表皮位置表示手 段を含み、前記表示手段の運動は変化する顔の表情を表示し、前記ヘッドマウン トはさらに、 複数の顔の領域内での顔の動きをモニタするための複数の顔面運動モニタ手段 を含み、各モニタ手段は、着用者の変化する顔の表情を表わす顔表情移動データ を連続的に作り出すため隣接する位置表示手段の運動を連続的にトラッキングし 、前記ヘッドマウントはさらに、 着用者の目の動きおよびまばたきを表示する移動データを連続的に作り出すた め、着用者の一方の目の動きおよびまばたきを連続的にモニタするための眼球運 動モニタ手段と、 着用者の顔のモニタされる領域を照らしかつ着用者のモニタされる目を照らす ための光源手段とを含み、前記光源手段は代表的顔表情および眼球運動データを 作り出すため、モニタされる顔の領域および目における運動を検出する、モニタ 手段の能力を高め、前記ヘッドマウントはさらに、 モニタ手段を所望の位置に維持するため、モニタされるべき所望の顔の領域お よび目の上に各モニタ手段を精密に位置付けるための複数の位置付け可能可撓性 アームと、 各モニタ手段により作られた移動データをコンピューティング手段に伝送する ための手段とを含み、モニタ手段により作られた顔表情および眼球運動データは 、データを連続的に処理するため着用者の変化する顔の表情および目の運動をト ラッキングするためコンピューティング手段に連続的に伝送され、したがって、 コンピューティング手段において動かされるバーチャルリアリティプログラム内 の対象は、着用者の顔の上で生じる着用者の顔の表情および目の動きに類似する 顔の表情および目の動きを有する、ヘッドマウント。 １５．さらに、 各モニタ手段はレンズに反射される光を感知するためのカメラを含み、各カメ ラは隣接する表皮位置表示手段によりそのレンズに反射される光の量を、連続的 に顔の表示データを作り出すため表示手段の位置変化を決定するためにモニタし 、眼球モニタカメラは目の瞳孔によってそのレンズへ反射される光の欠如により 、目の動きおよびまばたきを表示するデータを作り出し、さらに、 各表皮位置表示手段は、着用者の顔に取付けられる反射材料部分を含み、反射 材料部分は、着用者の変化する顔の表情および目の動きを表わすデータを連続的 に作り出すため、複数のモニタされる顔の領域の各々における顔の運動により顔 の表情データが作り出され、かつ、眼球モニタカメラにより眼球運動データが作 り出されるよう、口、あご、ほお、眉および前頭領域からなるグループから選択 される複数の局所的な顔の領域において着用者に取付けられ、したがって、対象 は、生じる着用者の顔の表情に類似する顔の表情を有する、請求項１４に記載の バーチャルリアリティコンピュータシステム。 １６．過剰な環境光をフィルタで取除くためのローパスフィルタ手段を有する赤 外線感知カメラを含むカメラと、 各カメラのレンズに隣接して取付けられかつそのまわりに位置付けられる複数 の発光ダイオードを含む光源手段とをさらに含み、前記発光ダイオードはモニタ される隣接する顔の領域を照らすための焦点の合った光源を提供する、請求項１ ５に記載のバーチャルリアリティコンピュータシステム。 １７．複数の発光ダイオードは、眼球を光で充満させるため、眼球モニタカメラ のレンズに隣接して取付けられかつそのまわりに位置付けられ、発光ダイオード の数は約４個から約８個までの範囲内である、請求項１６に記載のバーチャルリ アリティコンピュータシステム。 １８．ヘッドマウントはさらに、ヘルメット部に固定されるデータ伝送フレーム を含み、前記データフレームは額部に隣接して終端する端部を有するヘルメット 部のまわりに延びる中空の管を含み、フレームの端部はデータケーブルを通じて カメラをコンピューティング手段に結合するため再位置付け可能アームの端部に 結合するよう構成され、再位置付け可能アームは、各カメラの出力からカメラを 支持する中空のアームを通り、中空のデータフレームを通りデータケーブルへそ してコンピューティング手段へいく、閉じたデータ線経路を提供するため中空で あり、したがって、外部データ線が着用者の視線または着用者の運動に干渉しな い、請求項１４に記載のバーチャルリアリティコンピュータシステム。 １９．再位置付け可能可撓性アームは各々、モニタされるべき所望の領域上に各 カメラを位置付けかつ所望の位置を維持するための一連の関節付玉継手型連継手 を含む再位置付け可能中空管を含む、請求項１８に記載のバーチャルリアリティ コンピュータシステム。 ２０．額部は、硬質高分子材料を含み、データフレームは軽量アルミニウム合金 を含み、したがってヘッドマウントの重量は約０．５ポンドから１．５ポンドの 範囲内である、請求項１９に記載のバーチャルリアリティコンピュータシステム 。 ２１．データをバーチャルリアリティコンピュータシステムに提供するための方 法であって、 バーチャルイメージを表わずコンピュータデータベースを作成するステップと 、 複数の移動データの組を獲得するステップとを含み、各移動データの組はユー ザの顔の上の複数の顔の領域の１つの運動を表わし、前記方法はさらに、 少なくとも２つの移動データの組をデータベースと相互作用させるステップと 、 移動データの組とデータベースとの相互作用からアニメートされたイメージを 作成するステップとを含む、データをバーチャルリアリティコンピュータシステ ムに提供するための方法。 ２２．データをバーチャルリアリティコンピュータシステムに提供するための装 置であって、 バーチャルイメージを表わすコンピュータデータベースと、 複数の移動データの組とを含み、各移動データの組はユーザの顔の上の複数の 顔の領域の１つの運動を表わし、前記装置はさらに、 少なくとも２つの移動データの組をデータベースに提供するための伝送手段と 、 移動データの組とデータベースとの相互作用から、アニメートされたイメージ を作成するためのコンピューティング手段とを含む、データをバーチャルリアリ ティコンピュータシステムに提供するための装置。