JP2012185624A - 三次元顔モデルデータ生成装置 - Google Patents

三次元顔モデルデータ生成装置 Download PDF

Info

Publication number
JP2012185624A
JP2012185624A JP2011047591A JP2011047591A JP2012185624A JP 2012185624 A JP2012185624 A JP 2012185624A JP 2011047591 A JP2011047591 A JP 2011047591A JP 2011047591 A JP2011047591 A JP 2011047591A JP 2012185624 A JP2012185624 A JP 2012185624A
Authority
JP
Japan
Prior art keywords
face
texture
facial expression
face model
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011047591A
Other languages
English (en)
Inventor
Shiro Ozawa
史朗 小澤
Kazuyuki Iso
和之 磯
Yasuko Ando
康子 安藤
Akira Ishii
亮 石井
Yasuhiro Yao
泰洋 八尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011047591A priority Critical patent/JP2012185624A/ja
Publication of JP2012185624A publication Critical patent/JP2012185624A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】低い計算コストで高品質な顔を表現することができる三次元顔モデルデータ生成装置を提供する。
【解決手段】人物表情撮影部1は、被写体となる人物の映像を撮影する。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、表情を表現するために必要な制御点の座標を抽出する。顔モデル変形部4は、抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。顔テクスチャ切り出し部5は、顔に相当する領域を、撮影した人物映像から切り出す。テクスチャ貼付部6は、被写体の表情付き形状データに対し、取得したテクスチャを貼付する。表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う。
【選択図】図1

Description

本発明は、人物の顔の表情を精細にリアルタイムで表現するための三次元顔モデルデータ生成装置に関する。
人物やキャラクタなどをコンピュータグラフィックス(CG)で表現する手法が多く利用されている。テレビ番組などにおいては、リアルタイムで役者の体勢や、表情などをセンシングして、CGキャラクタのポーズや、表情などに反映させることで効果的なCG演出を行っている。
特に、エンターテインメント分野を中心に、仮想キャラクタだけでなく、リアルな人物ひいては役者自身のCGモデルを用いてリアルタイム表示する手法もある。バーチャルリアリティや、立体視映像を用いた表現においては、被写体自身をリアルタイムでCGモデル(三次元モデル)化することがとても重要である。
リアルタイムで被写体自身のCGモデルを表現する手法としては、ステレオ計測や、奥行きカメラによって直接形状を含めて取得する手法(例えば非特許文献1参照)と、モーションキャプチャによって取得した姿勢・表情データを、予め作成したCGモデルの骨格や、表情制御点などに当てはめる手法(例えば非特許文献2参照)との2つが主流となっている。
A Robust 3D Face Recognition Algorithm Using Passive Stereo Vision(東北大学) R-CAST(株式会社ビジュアルサイエンス研究所)
上述した非特許文献1に記載されている、直接形状を含めて取得する手法には、計測精度が表情の品質に直結するが、ほとんどの撮影条件で十分な品質を確保できない(撮影条件に左右されやすい)という問題がある。特に、ノイズやゆらぎなどが大きな品質低下をもたらすという問題がある。
一方で、非特許文献2に記載されている、予めCGモデルを作成して動きを当てはめる手法は、生成される映像としては、CGがベースとなっているため、非特許文献1の手法が抱えるような品質に関する問題点はない。しかし、表情の表現力を高めると、より多くの制御点や、ポリゴンなどが必要になるため、より計算コストを必要とするという問題がある。また、多くの制御点、及びポリゴンを利用した場合でも、CGであることの違和感があるという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、低い計算コストで高品質な顔を表現することができる三次元顔モデルデータ生成装置を提供することにある。
上述した課題を解決するために、本発明は、被写体となる人物の映像を撮影する人物表情撮影手段と、前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段とを備えることを特徴とする三次元顔モデルデータ生成装置である。
この発明によれば、低い計算コストで高品質な顔を表現することができる。
本発明の実施形態によるリアルタイム三次元顔モデルデータ生成装置の構成を示すブロック図である。 本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。
以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、三次元モデルデータを生成する装置に関するものある。本発明の特徴は、人物の顔の表情を精細に表現するために、実写の被写体映像をテクスチャとして用いていること、及びリアルタイムでの顔についてのモデルデータの生成を可能とするために、当該モデルデータの制御点を最小限に抑えていることにある。
本発明は、予めCGモデルを作成して動きを当てはめる技術をベースとし、顔の表情データ取得後に人物の顔の部分だけを切り出し、表情に応じて変形させた顔形状モデルのテクスチャとして貼付することを特徴とする。これにより、リアルタイムの現在の表情画像をテクスチャとして貼り付けることができ、より高い品質をもった違和感の無い表現を、必要最小限の制御点での低計算コストで実現し、従来の課題を解決するものである。
図1は、本発明の実施形態によるリアルタイム三次元顔モデルデータ生成装置の構成を示すブロック図である。図1において、人物表情撮影部1は、最終的に表示するCGモデルの被写体となる人物の映像を撮影する。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する。顔に相当する領域は、後述の顔モデル保持部3のテクスチャに相当する。また、制御点の座標は、顔モデル保持部3の形状データを特徴付ける点に相当する。
なお、表情データ取得部2の機能は、参考文献1(インターネット<URL:http://www.seeingmachiness.com/produuct/faceapi/>)、参考文献2(叶 冠峰,「顔動画像からの特徴点抽出を用いた表情認識」,岐阜大学,平成17年2月3日)などで実現可能である。これら参考文献1、2では、撮影した人物映像の中から、特徴点を抽出し、抽出した特徴点の中から、顔や、口、鼻などの人間の顔を構成する特徴と同等の配置や、形状を持つ点を抽出する。さらに、抽出した基本的な顔の位置から、おおよその眉毛の位置や、口の開き具合などを画像処理によって推定することができる。
顔モデル保持部3は、予め作成された被写体の形状データ、及びテクスチャを持つCGレンダリング向けの顔モデルを保持する。なお、被写体の完全なモデルでない場合、つまり簡易化したものや、一般化したものもあり得る。簡易化したものとは、計測などによって得られた人物の顔の形状データを、CGクリエイターなどが手作業で形状の間引きをしてデータ量を軽減したものである。一般化したものとは、複数人の顔の形状データを簡易化し、さらにそれらの形状を統計処理して平均したものである。
顔モデル変形部4は、表情データ取得部2で抽出した表情向けの制御点の座標を用い、顔モデル保持部3に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。変形手法については、参考文献3(Coding, Analysis, Interpretation, and Recognition of Facial Expressions (Georgia Institute of Technology))に代表されるように、制御点となるポリゴン頂点と、周辺のポリゴン頂点とを弾性体モデルで表現して変形させるなど様々な手法が存在する。
なお、顔モデル保持部3に保持されている顔モデルから、人物表情撮影部1で撮影した人物に対応する顔モデルを特定する方法としては、手動でマッチングする方法が考えられる。また、最初から顔モデル保持部3には、被写体となる人物の顔モデルしか保持しないよう当該顔モデル保持部3を構成することも考えられる。さらに、顔画像から人物を識別する手法を利用することも考えられる。但し、この場合には、顔モデル保持部3に、識別用のデータを別途持つ必要があり、表情データ取得部2の処理に際して、当該識別用データを用いて撮影された人物を識別する処理が必要になる。
顔テクスチャ切り出し部5は、表情データ取得部2で抽出した顔に相当する領域を、撮影した人物映像からテクスチャとして切り出す。テクスチャ貼付部6は、顔モデル変形部4で生成した被写体の表情付き形状データに対し、顔テクスチャ切り出し部5で切り出したテクスチャを貼付する。
なお、テクスチャを貼付しない部分については、予め顔モデル保持部3で保持しているテクスチャを貼付しておく。テクスチャの貼付には、被写体と被写体を撮影したカメラとの相対位置を求め、そのカメラ位置に撮影した顔領域を表示するプロジェクタが存在すると想定し、顔モデルの再投影をするプロジェクションマッピング(インターネット<URL:http://www.asr.co.jp/user/nobo/bk/bk08.html>)などを代表とするCGにおける一般的なマッピング手法を用いることが可能である。
表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う。レンダリングには、DirectX(登録商標)や、OpenGL(登録商標)など一般的なレンダリング手法を利用することが可能である。
次に、本実施形態の動作について説明する。
図2は、本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。人物表情撮影部1は、最終的に表示するCGモデルの被写体となる人物の映像を撮影する(ステップS1)。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する(ステップS2)。顔モデル変形部4は、表情データ取得部2で抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する(ステップS3)。
次に、顔テクスチャ切り出し部5は、表情データ取得部2で抽出した顔に相当する領域を、撮影した人物映像から切り出す(ステップS4)。テクスチャ貼付部6は、顔モデル変形部4で生成した被写体の表情付き形状データに対し、顔テクスチャ切り出し部5で取得したテクスチャを貼付する(ステップS6)。表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う(ステップS7)。
上述した実施形態によれば、実際の被写体映像からテクスチャを切り出すため、表情変化によって生じる皺などの細かな陰影などを含む高品質な顔を表現することができる。
また、本実施形態によれば、詳細な表情は、テクスチャで表現できるため、細かな表情再現のための詳細な形状データや、制御点データなどが不要となるため、低い計算コストで表示することができる。
1 人物表情撮影部
2 表情データ取得部
3 顔モデル保持部
4 顔モデル変形部
5 顔テクスチャ切り出し部
6 テクスチャ貼付部
7 表示部

Claims (1)

  1. 被写体となる人物の映像を撮影する人物表情撮影手段と、
    前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、
    予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、
    前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、
    前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、
    前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段と
    を備えることを特徴とする三次元顔モデルデータ生成装置。
JP2011047591A 2011-03-04 2011-03-04 三次元顔モデルデータ生成装置 Pending JP2012185624A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011047591A JP2012185624A (ja) 2011-03-04 2011-03-04 三次元顔モデルデータ生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011047591A JP2012185624A (ja) 2011-03-04 2011-03-04 三次元顔モデルデータ生成装置

Publications (1)

Publication Number Publication Date
JP2012185624A true JP2012185624A (ja) 2012-09-27

Family

ID=47015673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011047591A Pending JP2012185624A (ja) 2011-03-04 2011-03-04 三次元顔モデルデータ生成装置

Country Status (1)

Country Link
JP (1) JP2012185624A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221092A1 (ja) 2017-05-31 2018-12-06 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US10185875B2 (en) 2013-10-04 2019-01-22 Casio Computer Co., Ltd. Image processing device, image display device, image processing method, and medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0662385A (ja) * 1992-04-14 1994-03-04 Philips Electron Nv 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ
JP2002517859A (ja) * 1998-06-08 2002-06-18 マイクロソフト コーポレイション 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0662385A (ja) * 1992-04-14 1994-03-04 Philips Electron Nv 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ
JP2002517859A (ja) * 1998-06-08 2002-06-18 マイクロソフト コーポレイション 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200501401004; 佐藤一,外2名: '"顔面筋動作に基づく形状変形とテクスチャの張替えによる三次元人物顔画像の再構築"' 電子情報通信学会論文誌 Vol.J88-D-II,No.7, 20050701, p.1126-1142, 社団法人電子情報通信学会 *
JPN6013057967; 佐藤一,外2名: '"顔面筋動作に基づく形状変形とテクスチャの張替えによる三次元人物顔画像の再構築"' 電子情報通信学会論文誌 Vol.J88-D-II,No.7, 20050701, p.1126-1142, 社団法人電子情報通信学会 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185875B2 (en) 2013-10-04 2019-01-22 Casio Computer Co., Ltd. Image processing device, image display device, image processing method, and medium
WO2018221092A1 (ja) 2017-05-31 2018-12-06 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
KR20200014280A (ko) 2017-05-31 2020-02-10 소니 주식회사 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램

Similar Documents

Publication Publication Date Title
Olszewski et al. High-fidelity facial and speech animation for VR HMDs
US11783524B2 (en) Producing realistic talking face with expression using images text and voice
JP6644833B2 (ja) アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
Achenbach et al. Fast generation of realistic virtual humans
US11736756B2 (en) Producing realistic body movement using body images
CN111641844B (zh) 直播互动方法、装置、直播系统及电子设备
Ersotelos et al. Building highly realistic facial modeling and animation: a survey
JP6251489B2 (ja) 画像解析装置、画像解析方法、及び画像解析プログラム
JP2018538593A (ja) 表情検出機能を備えたヘッドマウントディスプレイ
JP2013524357A (ja) ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法
US9196074B1 (en) Refining facial animation models
US20080204453A1 (en) Method and apparatus for generating three-dimensional model information
KR20150113751A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
US8854376B1 (en) Generating animation from actor performance
WO2015000286A1 (zh) 基于增强现实的三维互动学习系统及方法
JP2009075880A (ja) 仮想顔モデル変形装置及び仮想顔モデル変形プログラム
CN107610239B (zh) 一种脸谱的虚拟试戴方法及装置
CN110660076A (zh) 一种人脸交换方法
Li et al. Lightweight wrinkle synthesis for 3d facial modeling and animation
EP3847628A1 (en) Marker-less augmented reality system for mammoplasty pre-visualization
JP5731462B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
JPH10240908A (ja) 映像合成方法
Asthana et al. Facial performance transfer via deformable models and parametric correspondence
JP2012185624A (ja) 三次元顔モデルデータ生成装置
Purps et al. Reconstructing facial expressions of HMD users for avatars in VR

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130122

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140325