JP2009521759A - モーションキャプチャにおける眼球運動データ置換 - Google Patents
モーションキャプチャにおける眼球運動データ置換 Download PDFInfo
- Publication number
- JP2009521759A JP2009521759A JP2008547788A JP2008547788A JP2009521759A JP 2009521759 A JP2009521759 A JP 2009521759A JP 2008547788 A JP2008547788 A JP 2008547788A JP 2008547788 A JP2008547788 A JP 2008547788A JP 2009521759 A JP2009521759 A JP 2009521759A
- Authority
- JP
- Japan
- Prior art keywords
- eye movement
- movement data
- actor
- motion
- motion capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 31
- 210000001097 facial muscle Anatomy 0.000 claims abstract description 15
- 210000001508 eye Anatomy 0.000 claims description 27
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 10
- 238000012805 post-processing Methods 0.000 description 10
- 230000005684 electric field Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Abstract
【解決手段】モーションキャプチャにおける眼球運動データ置換方法であって、第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取すること、前記第2の動作主のための眼球運動データとして、前記第1の動作主から撮取された前記眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現すること、を備え、前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を発生する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行う。
【選択図】図1
Description
Claims (28)
- モーションキャプチャにおける眼球運動データ置換方法であって、
第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取すること、
前記第2の動作主のための眼球運動データとして、前記第1の動作主から撮取された前記眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現すること、
を備え、
前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を発生する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行うことを特徴とする眼球運動データ置換方法。 - さらに、前記モーションキャプチャセッションの間に前記第2の動作主から眼球運動データを撮取すること、
を備えることを特徴とする請求項1の眼球運動データ置換方法。 - 前記第2の動作主から眼球運動データを撮取することは、前記第2の動作主の眼球運動を表示する信号を測定するためのEOG電極を用いて測定することを含むことを特徴とする請求項2の眼球運動データ置換方法。
- さらに、前記第2の動作主の視点からイメージ(POV)を撮取することおよび記録すること、を備えることを特徴とする請求項1の眼球運動データ置換方法。
- さらに、前記第2の動作主の視点からイメージ(POV)を生成することおよび記録すること、
を備えることを特徴とする請求項1の眼球運動データ置換方法。 - 前記第1の動作主から眼球運動データを撮取することは、
前記第1の動作主へEOG電極を取り付けること、
前記第2の動作主のPOVイメージをVRゴーグルにダウンロードすること、
前記EOG電極からの信号を用いて前記第1の動作主の眼球運動を測定すること、
を含むことを特徴とする請求項1の眼球運動データ置換方法。 - さらに、前記モーションキャプチャセッションの間、前記第2の動作主から眼球運動データを撮取すること、
を備え、
前記第2の動作主から眼球運動データを撮取することにおいて、前記第2の動作主は顔面モーションデータを生成するために顔面筋肉を活発に動かすことを特徴とする請求項6の眼球運動データ置換方法。 - 前記第1の動作主から撮取された眼球運動データを表現することは、前記第2の動作主から撮取された前記眼球運動データを、前記第1の動作主から撮取された前記眼球運動データで置換すること、を含むことを特徴とする請求項7の眼球運動データ置換方法。
- 請求項1の眼球運動データ置換方法を用いて作成された少なくとも1つのイメージを記憶するように設定された記憶媒体。
- 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項9の記憶媒体。
- モーションキャプチャにおける眼球運動データ置換方法であって、
モーションキャプチャセッションの後で、アニメーターから眼球運動データを撮取すること、
前記モーションキャプチャセッションの間に得られた眼球運動データを、前記アニメーターから撮取された前記眼球運動データで置換すること、
を備え、
前記アニメーターから眼球運動データを撮取することにおいて、前記アニメーターは干渉信号を生成する顔面筋肉の最小限の動作で眼球運動データのみを生成するための実演を行うことを特徴とする眼球運動データ置換方法。 - 請求項11の眼球運動データ置換方法を用いて作成された少なくとも1つのイメージを記憶するように設定された記憶媒体。
- 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項12の記憶媒体。
- モーションキャプチャにおける眼球運動データ置換方法であって、
モーションキャプチャセッションの後で、アニメーターから眼球運動データを光学的に撮取すること、
前記モーションキャプチャセッションの間に得られた眼球運動データを、前記アニメーターから光学的に撮取された前記眼球運動データで置換すること、
を備えることを特徴とする眼球運動データ置換方法。 - 請求項14の眼球運動データ置換方法を用いて作成された少なくとも1つのイメージを記憶するように設定された記憶媒体。
- 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項15の記憶媒体。
- コンピュータ可読な記憶メディアに記憶され、モーションキャプチャにおける眼球運動データを置換するためのコンピュータプログラムであって、
第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、第1の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令を備え、
前記第1の動作主から眼球運動データを撮取することにおいて、前記第1の動作主は干渉信号を生成する顔面筋肉の最小限の動作で前記眼球運動データのみを生成するための実演を行うことを特徴とするコンピュータプログラム。 - さらに、前記第2の動作主のために、前記第1の動作主から前記眼球運動データとして撮取された眼球運動データを、前記モーションキャプチャセッションの間に得られたモーションデータと組み合わせて表現することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
- さらに、前記モーションキャプチャセッションの間に前記第2の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
- 前記第2の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令は、
前記第2の動作主の眼球運動を表示するEOG電極信号を測定することをコンピュータに実行させる実行可能命令を含むことを特徴とする請求項19のコンピュータプログラム。 - さらに、前記第2の動作主の視点からイメージ(POV)を撮取および記録することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
- さらに、前記第2の動作主の視点からイメージ(POV)を生成および記録することをコンピュータに実行させる実行可能命令を備えることを特徴とする請求項17のコンピュータプログラム。
- 前記第1の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令は、
前記第2の動作主のPOVイメージをVRゴーグルにダウンロードし、
前記第1の動作主へ取り付けられたEOG電極からの信号を用いて前記第1の動作主の眼球運動を測定する、
ことをコンピュータに実行させる実行可能命令を含むことを特徴とする請求項17のコンピュータプログラム。 - さらに、前記モーションキャプチャセッションの間に、前記第2の動作主から眼球運動データを撮取することをコンピュータに実行させる実行可能命令を備え、
前記第2の動作主から眼球運動データを撮取することにおいて、前記第2の動作主は顔面モーションデータを生成するために顔面筋肉を活発に動かすことを特徴とする請求項23のコンピュータプログラム。 - 前記コンピュータに前記第1の動作主から撮取した眼球運動データを表現させる実行可能命令は、
前記第2の動作主から撮取した眼球運動データを、前記第1の動作主から撮取した眼球運動データで置換することをコンピュータに実行させる実行可能命令を含むことを特徴とする請求項24のコンピュータプログラム。 - モーションキャプチャにおける眼球運動データ置換装置であって、
前記第2の動作主についてのモーションデータが撮取されたモーションキャプチャセッションの後で、前記第1の動作主から眼球運動データを撮取する手段と、
前記モーションキャプチャセッションの間に前記第2の動作主から撮取された眼球運動データを、前記第1の動作主から撮取された眼球運動データで置換する手段と、
を備え、
前記第1の動作主から眼球運動データを撮取する手段において、前記第1の動作主は干渉信号を生成する顔面筋肉の最小限の動作で眼球運動データのみを生成するための実演を行うことを特徴とする請求項24の眼球運動データ置換装置。 - 請求項26の眼球運動データ置換装置を用いて作成された少なくとも1つのイメージを記憶するように設定されたことを特徴とする記憶媒体。
- 前記少なくとも1つのイメージは、動画を形成するように設定されたことを特徴とする請求項27の記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US75347605P | 2005-12-23 | 2005-12-23 | |
US60/753,476 | 2005-12-23 | ||
US11/614,872 | 2006-12-21 | ||
US11/614,872 US7764283B2 (en) | 2005-12-23 | 2006-12-21 | Eye movement data replacement in motion capture |
PCT/US2006/062575 WO2007076489A2 (en) | 2005-12-23 | 2006-12-22 | Eye movement data replacement in motion capture |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009521759A true JP2009521759A (ja) | 2009-06-04 |
JP5021676B2 JP5021676B2 (ja) | 2012-09-12 |
Family
ID=38193055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008547788A Expired - Fee Related JP5021676B2 (ja) | 2005-12-23 | 2006-12-22 | モーションキャプチャにおける眼球運動データ置換 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7764283B2 (ja) |
EP (1) | EP1964068A2 (ja) |
JP (1) | JP5021676B2 (ja) |
KR (1) | KR101276429B1 (ja) |
AU (1) | AU2006330460B2 (ja) |
CA (1) | CA2634980A1 (ja) |
NZ (1) | NZ569288A (ja) |
WO (1) | WO2007076489A2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8144153B1 (en) * | 2007-11-20 | 2012-03-27 | Lucasfilm Entertainment Company Ltd. | Model production for animation libraries |
US8736616B2 (en) * | 2009-09-15 | 2014-05-27 | Sony Corporation | Combining multi-sensory inputs for digital animation |
JP7084375B2 (ja) | 2016-08-17 | 2022-06-14 | ペズ,ギド,ピー | 電気化学的エネルギー変換及び貯蔵のためのシステム及び方法 |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
US20210034318A1 (en) * | 2019-07-31 | 2021-02-04 | Vspatial, Inc. | Shared volume computing architecture of a virtual reality environment and related systems and methods |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06282627A (ja) * | 1993-03-25 | 1994-10-07 | A T R Tsushin Syst Kenkyusho:Kk | 視線アニメーション表示装置 |
JPH0830803A (ja) * | 1994-07-12 | 1996-02-02 | Nippon Telegr & Teleph Corp <Ntt> | 人物動画編集装置 |
JP2006520971A (ja) * | 2003-03-13 | 2006-09-14 | ソニー ピクチャーズ エンターテインメント | デジタル顔モデルのアニメーション化のためのシステム及び方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU6998996A (en) * | 1995-10-08 | 1997-05-15 | Face Imaging Ltd. | A method for the automatic computerized audio visual dubbing of movies |
US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
CA2227361A1 (en) * | 1998-01-19 | 1999-07-19 | Taarna Studios Inc. | Method and apparatus for providing real-time animation utilizing a database of expressions |
US6351269B1 (en) * | 1998-04-17 | 2002-02-26 | Adobe Systems Incorporated | Multiple image morphing |
US6231187B1 (en) | 1999-02-11 | 2001-05-15 | Queen's University At Kingston | Method and apparatus for detecting eye movement |
US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
US6950104B1 (en) | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
GB2412431B (en) | 2004-03-25 | 2007-11-07 | Hewlett Packard Development Co | Self-calibration for an eye tracker |
-
2006
- 2006-12-21 US US11/614,872 patent/US7764283B2/en not_active Expired - Fee Related
- 2006-12-22 KR KR1020087017921A patent/KR101276429B1/ko not_active IP Right Cessation
- 2006-12-22 AU AU2006330460A patent/AU2006330460B2/en not_active Ceased
- 2006-12-22 EP EP06846798A patent/EP1964068A2/en not_active Withdrawn
- 2006-12-22 CA CA002634980A patent/CA2634980A1/en not_active Abandoned
- 2006-12-22 WO PCT/US2006/062575 patent/WO2007076489A2/en active Application Filing
- 2006-12-22 JP JP2008547788A patent/JP5021676B2/ja not_active Expired - Fee Related
- 2006-12-22 NZ NZ569288A patent/NZ569288A/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06282627A (ja) * | 1993-03-25 | 1994-10-07 | A T R Tsushin Syst Kenkyusho:Kk | 視線アニメーション表示装置 |
JPH0830803A (ja) * | 1994-07-12 | 1996-02-02 | Nippon Telegr & Teleph Corp <Ntt> | 人物動画編集装置 |
JP2006520971A (ja) * | 2003-03-13 | 2006-09-14 | ソニー ピクチャーズ エンターテインメント | デジタル顔モデルのアニメーション化のためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1964068A2 (en) | 2008-09-03 |
AU2006330460A1 (en) | 2007-07-05 |
NZ569288A (en) | 2011-06-30 |
WO2007076489A2 (en) | 2007-07-05 |
KR20080085181A (ko) | 2008-09-23 |
JP5021676B2 (ja) | 2012-09-12 |
US7764283B2 (en) | 2010-07-27 |
US20070146368A1 (en) | 2007-06-28 |
WO2007076489A3 (en) | 2008-04-17 |
AU2006330460B2 (en) | 2012-05-24 |
CA2634980A1 (en) | 2007-07-05 |
KR101276429B1 (ko) | 2013-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102581453B1 (ko) | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 | |
CN105264478B (zh) | 全息锚定和动态定位 | |
AU2006282764B2 (en) | Capturing and processing facial motion data | |
US11861062B2 (en) | Blink-based calibration of an optical see-through head-mounted display | |
JP2021524061A (ja) | Hmd環境での高速中心窩レンダリングのための予測及びgpuに対する最新の更新を伴う視線追跡 | |
CN108136258A (zh) | 基于跟踪眼部运动来调整图像帧 | |
US11380072B2 (en) | Neutral avatars | |
JP2022534799A (ja) | 空間コンピューティングのための写実的キャラクタ構成 | |
JP5021676B2 (ja) | モーションキャプチャにおける眼球運動データ置換 | |
JP2022537817A (ja) | 動的オクルージョンのための高速の手のメッシュ化 | |
GB2546589A (en) | Virtual training system | |
Nel | Low-Bandwidth transmission of body scan using skeletal animation | |
Shanbhag et al. | Face to Face Augmented Reality-Broadening the Horizons of AR Communication | |
PATTI | Reducing motion sickness on mobile phone based VR applications using 6DoF tracking | |
Apostolopoulos | Navigating a virtual environment using eye movements | |
GFY | HMD-Based Facial Performance Capture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091111 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100630 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111019 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120604 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120614 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |