JP2009521759A - モーションキャプチャにおける眼球運動データ置換 - Google Patents

モーションキャプチャにおける眼球運動データ置換 Download PDF

Info

Publication number
JP2009521759A
JP2009521759A JP2008547788A JP2008547788A JP2009521759A JP 2009521759 A JP2009521759 A JP 2009521759A JP 2008547788 A JP2008547788 A JP 2008547788A JP 2008547788 A JP2008547788 A JP 2008547788A JP 2009521759 A JP2009521759 A JP 2009521759A
Authority
JP
Japan
Prior art keywords
eye movement
movement data
actor
motion
motion capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008547788A
Other languages
English (en)
Other versions
JP5021676B2 (ja
Inventor
スコット,レミントン
ゴードン,デミアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2009521759A publication Critical patent/JP2009521759A/ja
Application granted granted Critical
Publication of JP5021676B2 publication Critical patent/JP5021676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

【課題】
【解決手段】モーションキャプチャにおける眼球運動データ置換方法であって、第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取すること、前記第2の動作主のための眼球運動データとして、前記第1の動作主から撮取された前記眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現すること、を備え、前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を発生する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行う。
【選択図】図1

Description

本発明は、グラフィックおよびアニメーションに関し、より具体的には、モーションキャプチャを通じて生成されたデータを用いて、グラフィックおよびアニメーションにおける眼球運動データを置換すること、に関する。
モーションキャプチャシステムは、実在の物の動作を撮り、それをコンピュータで生成された対象へマップするものである。このようなシステムは、動画やビデオゲームの製作において、コンピュータグラフィックアニメーション作成用のソースデータとして用いられる物体/人物のデジタル表現を作成するために、しばしば使用されている。
一般的なモーションキャプチャシステムは、一定空間を取り囲み、様々な場所にマーカーが装着されたスーツを着用した動作主の動作を撮取する、複数の固定モーションキャプチャカメラを有する(例えば、体と手足に装着された小さな反射マーカーを有する)。カメラは、マーカーを照らしながら、異なった角度から動作主の動作を記録する。このシステムは、その後、イメージを分析し、各フレーム内の動作主のスーツに取り付けられたマーカーの位置(例えば、空間的座標)および方向を特定する。マーカーの場所を追跡することによって、このシステムはマーカーの空間的表現を時間に亘って作成し、動作中の動作主のデジタル表現を構築する。この動作はその後、デジタルモデルへ適用され、動作主および/または実演の完全なCG表現を製作するため、テクスチャード加工され、レンダリングされる。この技術は、特殊効果会社が用い、多くの人気映画の中での現実的なアニメーションを製作している。
例えばキーフレーミングのような、従来のアニメーション技術におけるモーションキャプチャシステムの利点は、リアルタイム可視化の機能である。最適データを撮取するために、動作主が物理的な動作を変更することができるようにしながら、製作チームは、リアルタイム又はほぼリアルタイムで動作主の動作の空間表現を評価できる。さらに、モーションキャプチャシステムは、他のアニメーション技術を駆使しても簡単には再生できない物理的な動作のかすかなニュアンスを検出し、それによって、ありのままの動作をより正確に反映したデータを生成する。結果的に、モーションキャプチャシステムによって集められたソースマテリアルを用いて作成されたアニメーションは、より実物そっくりな外観を表現するだろう。
これらのモーションキャプチャシステムの利点にもかかわらず、従来のモーションキャプチャの欠点は、動作主の眼にはマーカーを取り付けることができないため、正確な眼球運動を撮取することが難しいことである。
本発明の実施形態は、モーションキャプチャにおける眼球運動データ置換を提供する。 第一の実施形態は、モーションキャプチャにおける眼球運動データ置換方法であって、第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取すること、前記第2の動作主のための眼球運動データとして、前記第1の動作主から撮取された前記眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現すること、を備え、前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を発生する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行う。
別の実施形態は、モーションキャプチャにおける眼球運動データ置換方法であって、モーションキャプチャセッションの後で、アニメーターから眼球運動データを撮取すること、前記モーションキャプチャセッションの間に得られた眼球運動データを、前記アニメーターから撮取された前記眼球運動データで置換すること、を備え、前記アニメーターから眼球運動データを撮取することにおいて、前記アニメーターは干渉信号を生成する顔面筋肉の最小限の動作で眼球運動データのみを生成するための実演を行う。
その他本発明の特徴および利点は、当業者が以下の詳細な説明および添付図面を参照すればより容易に理解するだろう。
本発明の実施形態は、モーションキャプチャによって生成されたデータを用いて、グラフィックおよびアニメーションにおける眼球運動データ置換を含む。
本説明を読めば、当業者にとって、様々な代替的な実施形態および代替的な用途における発明の改良方法が明らかになるだろう。しかしながら、本発明の様々な実施形態は以下に説明され、これらの実施形態は、本発明の範囲を何ら制限するものではないことは認識されよう。様々な代替的な実施形態の詳細な説明は、添付された請求項において説明される本発明の範囲または幅を制限するために解釈されるべきではない。
図1は、モーションキャプチャシステム100を図示するブロック図である。このモーションキャプチャシステム100は、N個のモーションキャプチャ(MOCAP)カメラからの入力データを処理するために設定されたモーションキャプチャ処理装置110を有する。入力データは、複数の体と顔のマーカーからの撮取されたマーカーデータを含む。モーションキャプチャ処理装置110は、また、適切な電極インタフェイス130を通じて複数の眼球運動電極対へと通信するように構成されている。モーションキャプチャ処理装置110は、関連したデータファイルの記憶ができるように構成されたデータ記憶デバイス120を有するプログラム可能なコンピュータをさらに含んでもよい。当分野で周知のように、1つ以上のコンピュータワークステーションは、マルチグラフィックアーティストがコンピュータグラフィックアニメーションの作成の過程において記憶されたデータファイルを扱うことができるように、ネットワークを用いてモーションキャプチャシステム110と接続されるようにしてもよい。モーションキャプチャ処理装置110は、娯楽産業のための3Dグラフィックス及びアニメーションの作成を可能とする市販のソフトウェアパッケージにより供給されるようなコンピュータグラフィックアニメーションシステムをさらに含んでもよい。コンピュータグラフィックアニメーションシステムは、モーションキャプチャ処理装置110からの完全に分離されたコンピュータハードウェアおよびソフトウェアシステムを備えてもよく、または代替的に通常のハードウェアおよびソフトウェアシステムの一部として、モーションキャプチャ処理装置110(つまり“プラグイン”として)と合体してもよいと、理解すべきである。
眼球運動電極対は、電極140A、140B、および142A、142Bを有し、それぞれの導電体150A、150Bおよび152A、152Bを通じて電極インタフェイス130と接続されている。また、接地電極144は導電体154を通じて電極インタフェイス130と接続している。第一の実施形態では、眼球運動は眼球から眼電図(EOG) を入手および測定することによって検出される。
図2は、眼の位置に関して、EOG電極対140A、140B、142A、142Bおよび接地電極144についての指定された位置を示す。眼に近接した電極対の位置210および212(電極対140Aおよび140Bに対応する)は、眼球の左右の動作に連動した信号の検出に適している。片眼の上下にある電極対の位置220および222(電極対142A、142Bに対応する)は、眼の動作の上下に連動した信号の検出に適している。接地電極位置230(接地電極144に対応する)は、額に位置している。接地電極144は、首、肩、肘、等のように顔面筋肉の活用および動作による干渉を受けない体の場所ならばどんな場所であっても貼ることができることに注意されたい。額は、顔面筋肉の活動に干渉されずに、その他の電極に極めて接近しているため、設置電極としては都合の良い位置を代表するものである。動作主の二つの眼を表わす双極子は平行に動くため、片眼からの上下動作を受け取ることだけが必要である。EOG電極は、化粧用の接着剤を使用するなどの従来の方法により、指定された位置の動作主の皮膚表面へ取り付けることが出来る。
図3は、人間の眼300の側断面図である。角膜302は眼の表面前方に位置し、物体から反射された光線を伝達する面を与える。光線は、角膜302、レンズ304、硝子体312によって曲げられ、反射され、集光される。眼底308は、網膜306を含む眼の凹面内部を与える。レンズ302は、網膜306上へ物体のイメージを集光し、網膜306は、光線を、視神経310を通じて脳へ伝達される電気的刺激へ変換する。技術的に理解されるように、角膜302と眼底308の間には電位が存在する。この電位は、測定可能な電場を発する双極子で構成され、電場の変化量が、眼の動作と関連付けられるようになっている。
図4Aおよび4Bは、電極対140A、140Bによって囲まれた2つの双極子を示す。2つの双極子は動作主の眼400L、400Rのそれぞれと一致する。図4Aに示されるように、電極140A、140Bの間で測定された電場は、双極子(つまり眼)が前方を向いているときにはゼロ(null)である。図4Bでは、双極子は右に向けられ、それによって電極140A、140Bの間に正の電界を生じさせている。接地に対する電極140A、140B間の電場変化量は、眼に関する適切な位置情報を与える。この電場変化量は、名目的な前方向からおおよそ±20度の範囲についての眼球運動に関してほとんど線形のままである。
さて、図1に戻り、モーションキャプチャ処理装置110は、EOG電極によって検出された信号を処理および増幅させるものである。処理された信号は、動作主の頭部と顔のデジタルモデルにおいて眼を生き生きと描写するのに用いられる(2004年11月8日に出願され、参照することにより本願に組み込まれる“コンピュータグラフィックスについての顔面筋肉および眼球運動を追跡するシステムおよび方法”についてのU.S.特許出願10/984,488を参照)。しかしながら、モーションキャプチャセッションの間、動作主が活発に顔面の筋肉を動かすと、筋肉の動作からの信号は、EOG電極から検出された信号としばしば干渉する。したがって、この問題を打破するため、キャプチャセッションの間に撮取された眼球運動データは、時々“眼の吹き替え”(音声吹き替えと同様である)と呼ばれる過程でアニメーターから記録された新しい眼球運動データで後処理において置換することができる。
第一の実施形態では、キャプチャセッションの間に撮取された眼球運動データは、上述したEOG技術を使用することができ、そして眼球運動データは、後処理にアニメーターから記録された新しい眼球運動データで置換される。別の実施形態では、眼球運動データは、後処理においてアニメーターから記録されたデータによって供給されるから、モーションキャプチャ処理装置は、キャプチャセッションの間の動作主の眼球運動を無視する。
モーションキャプチャセッション500(ビートと呼ばれる)の間、図5Aに示すように、マーカーが装着されたスーツを着用した動作主510はキャプチャ空間530の中で実演し、視野512内のキャプチャ物体(又はその他の背景物体)520のグループを有する。図示された実施形態では、キャプチャ物体のグループ520は特定方向522へ動く。別の実施形態では、グループ520内のキャプチャ物体は互いに異なる方向へ動いても良い。
第一の実施形態では、動作主510の視野512内のキャプチャ物体520のグループは、同じキャプチャ空間530内のほかの動作主および物体を含んでいる。このように、本実施形態では、キャプチャ空間530の辺りまたは動作主510上にある1つ以上のカメラは、“視界の点”(POV)のイメージ(つまり、動作主の眼によって見るイメージ)を撮取し、記録する。別の実施形態では、キャプチャ物体520のグループは、キャプチャ空間530の外で撮取され、または生成された仮想キャプチャ物体を含む。このように、本実施形態では、POVイメージは、撮取され/生成され、そしてオフラインで記録され、また、動作主は、想像上の/仮想の物体と連動し、反応する。POVイメージは、コンピュータグラフィックイメージとしてコンピュータシステム上で生成されることができる。
図5Bを参照すると、モーションキャプチャセッション500が終了した後、後処理セッション540は開始される。後処理セッション540では、アニメーター570が、キャプチャセッション500の間、動作主510から撮取された眼球運動データを置換するため、眼球運動データを生成するための実演を行う。後処理セッションでは、アニメーター570は眼球運動データのみを生成するための実演を行っているので、干渉信号を生成してしまうアニメーターの顔面筋肉運動は、最小限に保たれるだろう。
後処理セッション540は、図2に示すように、同様の設定でEOG電極を身につけるアニメーター570を含む。そして、アニメーター570は、記録されたPOVイメージ550を表示する仮想現実ゴーグル560を装着する。表示されたPOVイメージ550は、仮想現実ゴーグル560へダウンロードまたはストリームされることができる。このように、仮想現実ゴーグル560によって、アニメーター570は、動作主510がモーションキャプチャセッション中に見たか、または仮想的に見たであろうものを見ることが出来る。後処理部は、仮想現実ゴーグル560上に表示されたPOBイメージ550へ反応して、眼を動かすアニメーター570の眼球運動を記録する。そして、アニメーター570から撮取され、記録された眼球運動データは、動作主510から撮取された眼球運動データを置換するのに用いられる(“眼の吹き替え”)。
図6は、モーションキャプチャにおける眼球運動データ置換方法を示したフローチャートである。モーションキャプチャセッションの間、動作主に取り付けられたマーカーの動作は複数のモーションキャプチャカメラによって撮取される。さらに、動作主は、顔面のモーションデータを生成する顔面筋肉を活発に動かす。上述のように、610において、EOG電極を用いて動作主の眼球運動も撮取される。さらに、POBイメージは、612において撮取され又は生成され、614において記録される。そして、モーションキャプチャセッションが終了した後、アニメーターは動作主から撮取された眼球運動データを置換するために、眼球運動データを生成するための実演を行う。このように、616において、EOG電極はアニメーターに装着される。618では、POBイメージは仮想現実(VR)ゴーグルへダウンロードまたはストリームされる。620において、アニメーターは、VRゴーグルを装着し、622においてアニメーターの眼球運動が撮取される。624において、動作主の眼球運動データはアニメーターの眼球運動データで置換される。
図7Aは、コンピュータシステム700およびユーザ702を示す。ユーザ702は、モーションキャプチャデータを処理するためコンピュータシステム700を使用することが出来る。コンピュータシステム700は、眼球運動データ置換ユニット712を記憶および実行し、眼球運動データ置換ユニット712は、モーションキャプチャデータを同期させ、処理する。
図7Bは、眼球運動置換ユニットを含む図7Aのコンピュータシステム700の一実施形態のブロック図を示す。コンピュータシステム700は、コントローラ710、メモリー720、記憶装置730、メディアデバイス740、ユーザインタフェイス750.入力/出力(I/O)インタフェイス760、そしてネットワークインタフェイス770を有する。これらのコンポーネントはコモンバス780によって相互接続されている。選択的には、中央におけるコントローラが星型になっているように、異なった接続配置が用いられることも可能である。
コントローラ710は、プログラム可能な処理装置であり、コンピュータシステム700およびそのコンポーネントの動作を制御する。コントローラ710は、メモリー720または内臓されたコントローラメモリー(図示されていない)からの指令を取り込み、システムを制御するためにこれらの指令を実行する。その実行において、コントローラ710は、ソフトウェアシステムとして眼球運動データ置換ユニット712を提供する。選択的には、このサービスはコントローラ710またはコンピュータシステム700における個別コンポーネントとして実施できる。
メモリー720は、コンピュータシステム700のほかのコンポーネントによる使用のためにデータを一時的に記憶する。第一の実施形態では、メモリー720は、RAMとして実施される。第一の実施形態では、メモリー720は、フラッシュメモリーおよび/またはROMとして、長期記憶または固定記憶装置も含む。
記憶装置730は、コンピュータシステム700のその他のコンポーネントで用いるデータ、例えば眼球運動データ置換ユニット712によって使用される記憶データ、を一時的または長期的に記憶する。第一の実施形態では、記憶装置730はハードディスクドライブである。
メディアデバイス740は、取り外し可能なメディアを受け取り、挿入されたメディアに対してデータを読み、および/または、書き込む。第一の実施形態では、メディアデバイス740は光学ディスクドライブである。
ユーザインタフェイス750は、コンピュータシステム700のユーザからのユーザ入力を受け取り、ユーザへ情報を提供するための、コンポーネントを有する。第一の実施形態では、ユーザインタフェイス750は、キーボード、マウス、音声スピーカー、ディスプレイを有する。コントローラ710は、コンピュータシステム700の動作を調整するため、ユーザからの入力を利用する。
I/Oインタフェイス760は、対応するI/Oデバイスに接続するため、1つ以上のI/Oポート、例えば、外部記憶装置または追加デバイス(プリンターまたはPDA)を含む。第一の実施形態では、I/Oインタフェイス760のポートは、例えば、USPポート、PCMCIAポート、シリアルポート、および/またはパラレルポート、のようなポートを有する。別の実施形態では、I/Oインタフェイス760は、外部デバイスと、無線で通信するためのワイヤレスインタフェイスを有する。
ネットワークインタフェイス770は、例えば、イーサネット(登録商標)接続をサポートするRJ-45または“Wi-Fi”インタフェイス(802.11)のような、有線および/または無線のネットワーク接続を有する。
コンピュータシステム700は、コンピュータシステムで一般的な追加ハードウェアおよび追加ソフトウェア(電源、冷却、動作システム)を有するが、図7Bでは、簡略化するために、これらのコンポーネントは特に示されていない。別の実施形態では、コンピュータシステムの異なる構成を採用することも出来る(異なるバスまたは記憶装置構成またはマルチプロセッサ構成)。
図8は、眼球運動データ置換ユニット800を図示したブロック図である。図示された実施形態では、眼球運動データ置換ユニット800は、モーションキャプチャセッションに続いて、アニメーターから眼球運動データを撮取するアニメーター眼球運動キャプチャユニット810を有する。ユニット800は、また、キャプチャセッションの間に撮取されたモーションキャプチャデータを受け取り、動作主からの眼球運動データでアニメーター眼球運動置換ユニット810から受け取ったアニメーターの眼球運動データを置換する、置換ユニット820を有する。置換ユニット820からの合成出力は、“眼の吹き替えを行った”モーションキャプチャデータである。
本発明の様々な具体的な実施形態は、上述のとおりである。しかしながら、本発明への追加実施も、実現可能であり、かつ本発明の範囲内であることは、当業者であれば理解するだろう。例えば、異なる技術(EOG電極の使用以外)は、仮想環境に応じて、アニメーターの眼球運動を撮取するために利用できる。1つの例では、1つ以上のデジタルカメラは、表示されたPOVイメージに応じた、アニメーターの眼球運動を光学的に撮取するためのVRゴーグルに組み込まれる。別の例では、1つ以上のデジタルカメラが、アニメーターの眼の前面に配置され、透明なVRゴーグルを通してアニメーターの眼球運動を光学的に撮取する。さらに、本実施形態は、モーションキャプチャセッションの間実演している動作主および、後処理セッションの間実演しているアニメーターについて述べているが、その2つの項目は取り替えることができ、例えば、第一の動作主および第二の動作主または両者のセッションは、単一の動作主によって実演されることができる。
したがって、本発明は、上述したこれらの実施形態のみに限定されるものではない。
本発明の詳細である、本構成および本動作の両者は、添付図面の研究によって一部集めることができるだろう。図中では、参照数字は部品を参照する。
図1は、モーションキャプチャシステムを図示するブロック図である。 図2は、眼の位置に関してEOG電極対および接地電極についての指定された位置を示す。 図3は、人間の眼の側断面図である。 図4Aは、双極子(すなわち眼)が前方を向いているとき、電極間の測定された電場がゼロ(null)となることを示す。 図4Bは、右へ向いた双極子を示し、それによって電極間に正の電場が生ずる。 図5Aは、モーションキャプチャセッションの一例を示す。 図5Bは、後処理セッションの一例を示す。 図6は、モーションキャプチャにおける眼球運動データ置換方法を示したフローチャートである。 図7Aは、コンピュータシステムおよびユーザを示す。 図7Bは、眼球運動置換ユニットを含む図7Aのコンピュータシステムの一実施形態のブロック図を示す。 図8は、眼球運動データ置換ユニットを図示したブロック図である。

Claims (28)

  1. モーションキャプチャにおける眼球運動データ置換方法であって、
    第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取すること、
    前記第2の動作主のための眼球運動データとして、前記第1の動作主から撮取された前記眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現すること、
    を備え、
    前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を発生する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行うことを特徴とする眼球運動データ置換方法。
  2. さらに、前記モーションキャプチャセッションの間に前記第2の動作主から眼球運動データを撮取すること、
    を備えることを特徴とする請求項1の眼球運動データ置換方法。
  3. 前記第2の動作主から眼球運動データを撮取することは、前記第2の動作主の眼球運動を表示する信号を測定するためのEOG電極を用いて測定することを含むことを特徴とする請求項2の眼球運動データ置換方法。
  4. さらに、前記第2の動作主の視点からイメージ(POV)を撮取することおよび記録すること、を備えることを特徴とする請求項1の眼球運動データ置換方法。
  5. さらに、前記第2の動作主の視点からイメージ(POV)を生成することおよび記録すること、
    を備えることを特徴とする請求項1の眼球運動データ置換方法。
  6. 前記第1の動作主から眼球運動データを撮取することは、
    前記第1の動作主へEOG電極を取り付けること、
    前記第2の動作主のPOVイメージをVRゴーグルにダウンロードすること、
    前記EOG電極からの信号を用いて前記第1の動作主の眼球運動を測定すること、
    を含むことを特徴とする請求項1の眼球運動データ置換方法。
  7. さらに、前記モーションキャプチャセッションの間、前記第2の動作主から眼球運動データを撮取すること、
    を備え、
    前記第2の動作主から眼球運動データを撮取することにおいて、前記第2の動作主は顔面モーションデータを生成するために顔面筋肉を活発に動かすことを特徴とする請求項6の眼球運動データ置換方法。
  8. 前記第1の動作主から撮取された眼球運動データを表現することは、前記第2の動作主から撮取された前記眼球運動データを、前記第1の動作主から撮取された前記眼球運動データで置換すること、を含むことを特徴とする請求項7の眼球運動データ置換方法。
  9. 請求項1の眼球運動データ置換方法を用いて作成された少なくとも1つのイメージを記憶するように設定された記憶媒体。
  10. 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項9の記憶媒体。
  11. モーションキャプチャにおける眼球運動データ置換方法であって、
    モーションキャプチャセッションの後で、アニメーターから眼球運動データを撮取すること、
    前記モーションキャプチャセッションの間に得られた眼球運動データを、前記アニメーターから撮取された前記眼球運動データで置換すること、
    を備え、
    前記アニメーターから眼球運動データを撮取することにおいて、前記アニメーターは干渉信号を生成する顔面筋肉の最小限の動作で眼球運動データのみを生成するための実演を行うことを特徴とする眼球運動データ置換方法。
  12. 請求項11の眼球運動データ置換方法を用いて作成された少なくとも1つのイメージを記憶するように設定された記憶媒体。
  13. 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項12の記憶媒体。
  14. モーションキャプチャにおける眼球運動データ置換方法であって、
    モーションキャプチャセッションの後で、アニメーターから眼球運動データを光学的に撮取すること、
    前記モーションキャプチャセッションの間に得られた眼球運動データを、前記アニメーターから光学的に撮取された前記眼球運動データで置換すること、
    を備えることを特徴とする眼球運動データ置換方法。
  15. 請求項14の眼球運動データ置換方法を用いて作成された少なくとも1つのイメージを記憶するように設定された記憶媒体。
  16. 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項15の記憶媒体。
  17. コンピュータ可読な記憶メディアに記憶され、モーションキャプチャにおける眼球運動データを置換するためのコンピュータプログラムであって、
    第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令を備え、
    前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を生成する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行うことを特徴とするコンピュータプログラム。
  18. さらに、前記第2の動作主のために、前記第1の動作主から前記眼球運動データとして撮取された眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
  19. さらに、前記モーションキャプチャセッションの間に前記第2の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
  20. 前記第2の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令は、
    前記第2の動作主の眼球運動を表示するEOG電極信号を測定することをコンピュータに実行させる実行可能命令を含むことを特徴とする請求項19のコンピュータプログラム。
  21. さらに、前記第2の動作主の視点からイメージ(POV)を撮取および記録することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
  22. さらに、前記第2の動作主の視点からイメージ(POV)を生成および記録することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
  23. 前記第1の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令は、
    前記第2の動作主のPOVイメージをVRゴーグルにダウンロードし、
    前記第1の動作主へ取り付けられたEOG電極からの信号を用いて前記第1の動作主の眼球運動を測定する、
    ことをコンピュータに実行させる実行可能命令を含むことを特徴とする請求項17のコンピュータプログラム。
  24. さらに、前記モーションキャプチャセッションの間に、前記第2の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令を備え、
    前記第2の動作主から眼球運動データを撮取することにおいて、前記第2の動作主は顔面モーションデータを生成するために顔面筋肉を活発に動かすことを特徴とする請求項23のコンピュータプログラム。
  25. 前記コンピュータに前記第1の動作主から撮取した眼球運動データを表現させる実行可能命令は、
    前記第2の動作主から撮取した眼球運動データを、前記第1の動作主から撮取した眼球運動データで置換することをコンピュータに実行させる実行可能命令を含むことを特徴とする請求項24のコンピュータプログラム。
  26. モーションキャプチャにおける眼球運動データ置換装置であって、
    前記第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、前記第1の動作主から眼球運動データを撮取する手段と、
    前記モーションキャプチャセッションの間に前記第2の動作主から撮取された眼球運動データを、前記第1の動作主から撮取された眼球運動データで置換する手段と、
    を備え、
    前記第1の動作主から眼球運動データを撮取する手段において、前記第1の動作主は干渉信号を生成する顔面筋肉の最小限の動作で眼球運動データのみを生成するための実演を行うことを特徴とする請求項24の眼球運動データ置換装置。
  27. 請求項26の眼球運動データ置換装置を用いて作成された少なくとも1つのイメージを記憶するように設定されたことを特徴とする記憶媒体。
  28. 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項27の記憶媒体。
JP2008547788A 2005-12-23 2006-12-22 モーションキャプチャにおける眼球運動データ置換 Expired - Fee Related JP5021676B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US75347605P 2005-12-23 2005-12-23
US60/753,476 2005-12-23
US11/614,872 2006-12-21
US11/614,872 US7764283B2 (en) 2005-12-23 2006-12-21 Eye movement data replacement in motion capture
PCT/US2006/062575 WO2007076489A2 (en) 2005-12-23 2006-12-22 Eye movement data replacement in motion capture

Publications (2)

Publication Number Publication Date
JP2009521759A true JP2009521759A (ja) 2009-06-04
JP5021676B2 JP5021676B2 (ja) 2012-09-12

Family

ID=38193055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008547788A Expired - Fee Related JP5021676B2 (ja) 2005-12-23 2006-12-22 モーションキャプチャにおける眼球運動データ置換

Country Status (8)

Country Link
US (1) US7764283B2 (ja)
EP (1) EP1964068A2 (ja)
JP (1) JP5021676B2 (ja)
KR (1) KR101276429B1 (ja)
AU (1) AU2006330460B2 (ja)
CA (1) CA2634980A1 (ja)
NZ (1) NZ569288A (ja)
WO (1) WO2007076489A2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144153B1 (en) * 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US8736616B2 (en) * 2009-09-15 2014-05-27 Sony Corporation Combining multi-sensory inputs for digital animation
JP7084375B2 (ja) 2016-08-17 2022-06-14 ペズ,ギド,ピー 電気化学的エネルギー変換及び貯蔵のためのシステム及び方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US20210034318A1 (en) * 2019-07-31 2021-02-04 Vspatial, Inc. Shared volume computing architecture of a virtual reality environment and related systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282627A (ja) * 1993-03-25 1994-10-07 A T R Tsushin Syst Kenkyusho:Kk 視線アニメーション表示装置
JPH0830803A (ja) * 1994-07-12 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 人物動画編集装置
JP2006520971A (ja) * 2003-03-13 2006-09-14 ソニー ピクチャーズ エンターテインメント デジタル顔モデルのアニメーション化のためのシステム及び方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6998996A (en) * 1995-10-08 1997-05-15 Face Imaging Ltd. A method for the automatic computerized audio visual dubbing of movies
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
CA2227361A1 (en) * 1998-01-19 1999-07-19 Taarna Studios Inc. Method and apparatus for providing real-time animation utilizing a database of expressions
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
US6231187B1 (en) 1999-02-11 2001-05-15 Queen's University At Kingston Method and apparatus for detecting eye movement
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6950104B1 (en) 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282627A (ja) * 1993-03-25 1994-10-07 A T R Tsushin Syst Kenkyusho:Kk 視線アニメーション表示装置
JPH0830803A (ja) * 1994-07-12 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 人物動画編集装置
JP2006520971A (ja) * 2003-03-13 2006-09-14 ソニー ピクチャーズ エンターテインメント デジタル顔モデルのアニメーション化のためのシステム及び方法

Also Published As

Publication number Publication date
EP1964068A2 (en) 2008-09-03
AU2006330460A1 (en) 2007-07-05
NZ569288A (en) 2011-06-30
WO2007076489A2 (en) 2007-07-05
KR20080085181A (ko) 2008-09-23
JP5021676B2 (ja) 2012-09-12
US7764283B2 (en) 2010-07-27
US20070146368A1 (en) 2007-06-28
WO2007076489A3 (en) 2008-04-17
AU2006330460B2 (en) 2012-05-24
CA2634980A1 (en) 2007-07-05
KR101276429B1 (ko) 2013-06-19

Similar Documents

Publication Publication Date Title
KR102581453B1 (ko) 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리
CN105264478B (zh) 全息锚定和动态定位
AU2006282764B2 (en) Capturing and processing facial motion data
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
JP2021524061A (ja) Hmd環境での高速中心窩レンダリングのための予測及びgpuに対する最新の更新を伴う視線追跡
CN108136258A (zh) 基于跟踪眼部运动来调整图像帧
US11380072B2 (en) Neutral avatars
JP2022534799A (ja) 空間コンピューティングのための写実的キャラクタ構成
JP5021676B2 (ja) モーションキャプチャにおける眼球運動データ置換
JP2022537817A (ja) 動的オクルージョンのための高速の手のメッシュ化
GB2546589A (en) Virtual training system
Nel Low-Bandwidth transmission of body scan using skeletal animation
Shanbhag et al. Face to Face Augmented Reality-Broadening the Horizons of AR Communication
PATTI Reducing motion sickness on mobile phone based VR applications using 6DoF tracking
Apostolopoulos Navigating a virtual environment using eye movements
GFY HMD-Based Facial Performance Capture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091111

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100630

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111019

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120604

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees