JP2012185624A - 三次元顔モデルデータ生成装置 - Google Patents
三次元顔モデルデータ生成装置 Download PDFInfo
- Publication number
- JP2012185624A JP2012185624A JP2011047591A JP2011047591A JP2012185624A JP 2012185624 A JP2012185624 A JP 2012185624A JP 2011047591 A JP2011047591 A JP 2011047591A JP 2011047591 A JP2011047591 A JP 2011047591A JP 2012185624 A JP2012185624 A JP 2012185624A
- Authority
- JP
- Japan
- Prior art keywords
- face
- texture
- facial expression
- face model
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【解決手段】人物表情撮影部1は、被写体となる人物の映像を撮影する。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、表情を表現するために必要な制御点の座標を抽出する。顔モデル変形部4は、抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。顔テクスチャ切り出し部5は、顔に相当する領域を、撮影した人物映像から切り出す。テクスチャ貼付部6は、被写体の表情付き形状データに対し、取得したテクスチャを貼付する。表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う。
【選択図】図1
Description
本発明は、三次元モデルデータを生成する装置に関するものある。本発明の特徴は、人物の顔の表情を精細に表現するために、実写の被写体映像をテクスチャとして用いていること、及びリアルタイムでの顔についてのモデルデータの生成を可能とするために、当該モデルデータの制御点を最小限に抑えていることにある。
図2は、本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。人物表情撮影部1は、最終的に表示するCGモデルの被写体となる人物の映像を撮影する(ステップS1)。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する(ステップS2)。顔モデル変形部4は、表情データ取得部2で抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する(ステップS3)。
2 表情データ取得部
3 顔モデル保持部
4 顔モデル変形部
5 顔テクスチャ切り出し部
6 テクスチャ貼付部
7 表示部
Claims (1)
- 被写体となる人物の映像を撮影する人物表情撮影手段と、
前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、
予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、
前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、
前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、
前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段と
を備えることを特徴とする三次元顔モデルデータ生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011047591A JP2012185624A (ja) | 2011-03-04 | 2011-03-04 | 三次元顔モデルデータ生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011047591A JP2012185624A (ja) | 2011-03-04 | 2011-03-04 | 三次元顔モデルデータ生成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012185624A true JP2012185624A (ja) | 2012-09-27 |
Family
ID=47015673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011047591A Pending JP2012185624A (ja) | 2011-03-04 | 2011-03-04 | 三次元顔モデルデータ生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012185624A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221092A1 (ja) | 2017-05-31 | 2018-12-06 | ソニー株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
US10185875B2 (en) | 2013-10-04 | 2019-01-22 | Casio Computer Co., Ltd. | Image processing device, image display device, image processing method, and medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0662385A (ja) * | 1992-04-14 | 1994-03-04 | Philips Electron Nv | 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ |
JP2002517859A (ja) * | 1998-06-08 | 2002-06-18 | マイクロソフト コーポレイション | 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム |
-
2011
- 2011-03-04 JP JP2011047591A patent/JP2012185624A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0662385A (ja) * | 1992-04-14 | 1994-03-04 | Philips Electron Nv | 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ |
JP2002517859A (ja) * | 1998-06-08 | 2002-06-18 | マイクロソフト コーポレイション | 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム |
Non-Patent Citations (2)
Title |
---|
CSNG200501401004; 佐藤一,外2名: '"顔面筋動作に基づく形状変形とテクスチャの張替えによる三次元人物顔画像の再構築"' 電子情報通信学会論文誌 Vol.J88-D-II,No.7, 20050701, p.1126-1142, 社団法人電子情報通信学会 * |
JPN6013057967; 佐藤一,外2名: '"顔面筋動作に基づく形状変形とテクスチャの張替えによる三次元人物顔画像の再構築"' 電子情報通信学会論文誌 Vol.J88-D-II,No.7, 20050701, p.1126-1142, 社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10185875B2 (en) | 2013-10-04 | 2019-01-22 | Casio Computer Co., Ltd. | Image processing device, image display device, image processing method, and medium |
WO2018221092A1 (ja) | 2017-05-31 | 2018-12-06 | ソニー株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
KR20200014280A (ko) | 2017-05-31 | 2020-02-10 | 소니 주식회사 | 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Olszewski et al. | High-fidelity facial and speech animation for VR HMDs | |
US11783524B2 (en) | Producing realistic talking face with expression using images text and voice | |
JP6644833B2 (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
Achenbach et al. | Fast generation of realistic virtual humans | |
US11736756B2 (en) | Producing realistic body movement using body images | |
CN111641844B (zh) | 直播互动方法、装置、直播系统及电子设备 | |
Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
JP6251489B2 (ja) | 画像解析装置、画像解析方法、及び画像解析プログラム | |
JP2018538593A (ja) | 表情検出機能を備えたヘッドマウントディスプレイ | |
JP2013524357A (ja) | ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法 | |
US9196074B1 (en) | Refining facial animation models | |
US20080204453A1 (en) | Method and apparatus for generating three-dimensional model information | |
KR20150113751A (ko) | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 | |
US8854376B1 (en) | Generating animation from actor performance | |
WO2015000286A1 (zh) | 基于增强现实的三维互动学习系统及方法 | |
JP2009075880A (ja) | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム | |
CN107610239B (zh) | 一种脸谱的虚拟试戴方法及装置 | |
CN110660076A (zh) | 一种人脸交换方法 | |
Li et al. | Lightweight wrinkle synthesis for 3d facial modeling and animation | |
EP3847628A1 (en) | Marker-less augmented reality system for mammoplasty pre-visualization | |
JP5731462B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
JPH10240908A (ja) | 映像合成方法 | |
Asthana et al. | Facial performance transfer via deformable models and parametric correspondence | |
JP2012185624A (ja) | 三次元顔モデルデータ生成装置 | |
Purps et al. | Reconstructing facial expressions of HMD users for avatars in VR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130122 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140325 |