JP2000331190A

JP2000331190A - 仮想変身装置

Info

Publication number: JP2000331190A
Application number: JP11140496A
Authority: JP
Inventors: Tatsumi Sakaguchi; 竜己坂口; Atsushi Otani; 淳大谷
Original assignee: ATR Media Integration and Communication Research Laboratories
Current assignee: ATR Media Integration and Communication Research Laboratories
Priority date: 1999-05-20
Filing date: 1999-05-20
Publication date: 2000-11-30

Abstract

(57)【要約】【構成】人物の顔を撮影した顔画像から顔領域を抽出
し、その顔領域の重心から目領域および口領域を検出す
る。そして、目領域および口領域の位置に基づいて顔の
軸の傾きおよび顔の軸周りの回転の少なくとも一方を検
出し、それに基づいて仮想環境内に再現される３次元モ
デルの頭部を変形させ、頭部の動作を再現する。また、
目領域における黒目領域の位置を検出することによって
視線方向が検出され、３次元モデルの頭部は視線方向に
向けられる。また、仮想環境内においては、その視線方
向が仮想カメラ位置とされる。さらに、仮想環境内の背
景およびオブジェクトは３次元モデルによって再現さ
れ、アバタは仮想環境内のオブジェクトに触れることが
できる。【効果】仮想環境内において人物の頭部の動作および視
線方向を再現することができる。また、仮想環境内にお
けるユーザの没入感を向上させることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は仮想変身装置に関し、
特にたとえば仮想環境内に人物を３次元ＣＧ（コンピュ
ータグラフィックス）モデルで実時間で再現する、仮想
変身装置に関する。

【０００２】

【従来の技術】従来、仮想環境を生成するシステムとし
て、本願発明者らがAGM SIGGRAPH98において発表した
“Shall We Dance?”というシステムがある。[AGM SIGG
RAPH98 Conf. Abstracts and Applications,p124(199
8)] この“Shall We Dance?”というシステムは、人物の全
身の姿勢および顔の表情を非接触方式である画像処理に
よって実時間で推定し、仮想３次元空間内に３次元ＣＧ
モデルによって実時間で再現していた。

【０００３】

【発明が解決しようとする課題】しかしながら、従来技
術では、人物の頭部の動作は身体姿勢の検出部で検出さ
れるものの、その精度は低く、再現画像の品質の低下を
避けるため、ＣＧでの再現時には頭部の動作は再現され
なかった。そのため、たとえば首を傾げる動作やうなづ
くといった動作を再現することができなかった。

【０００４】また、従来技術では、顔表情の推定は行な
うものの、視線の追跡は行なわれていなかった。そのた
め、再現される３次元ＣＧキャラクタの顔については目
は全く動いておらず、再現画像がリアリティに欠け、非
常に不自然であった。

【０００５】さらに、従来技術では、仮想環境をとらえ
るカメラ視線は一方向に固定されており、ユーザは第３
者的立場でしか仮想環境内のシーンを見ることが出来な
かった。そのため、自分がどのように仮想環境内に投影
されているかを確認するのには都合がよいが、ユーザの
没入感が低下するという問題点があった。

【０００６】また、さらに、従来技術では、仮想環境内
の背景は２次元の平面にマッピングされた絵でしかな
く、仮想環境内にはアバタしか存在していなかった。そ
のため、アバタは仮想環境内のオブジェクトに触れたり
することができず、ユーザは仮想環境に対する没入感を
高めることができなかった。

【０００７】それゆえに、この発明の主たる目的は仮想
環境内において人物の頭部の動作および視線方向を再現
することのできる仮想変身装置を提供することである。

【０００８】また、この発明の他の目的は、仮想環境に
おけるユーザの没入感を向上させることのできる、仮想
変身装置を提供することである。

【０００９】

【課題を解決するための手段】第１の発明は、人物を撮
影した入力画像を入力する画像入力手段、入力画像から
顔領域を抽出する顔領域抽出手段、顔領域から目領域を
検出する目領域検出手段、目領域から口領域を推定する
口領域推定手段、目領域と口領域とから人物の顔の軸の
傾きおよび顔の軸周りの回転の少なくとも一方を検出す
る頭部動作検出手段、および仮想環境内に再現される３
次元モデルを予め記憶しておく３次元モデル記憶手段を
備える仮想変身装置において、顔の軸の傾きおよび顔の
軸周りの回転の少なくとも一方に基づいて３次元モデル
の頭部を変形させるモデル変形手段を備えたことを特徴
とする、仮想変身装置である。

【００１０】第２の発明は、人物の視線方向を検出する
視線方向検出手段を備え、３次元モデルの頭部は視線方
向に向けられる、仮想変身装置である。

【００１１】第３の発明は、視線方向に基づいて仮想環
境をとらえる仮想カメラ位置を決定する仮想カメラ位置
決定手段を備える、仮想変身装置である。

【００１２】第４の発明は、仮想環境内の背景およびオ
ブジェクトは３次元モデルとして再現される、仮想変身
装置である。

【００１３】

【作用】第１の発明では、人物の顔を撮影した入力画像
を、顔の肌色領域を「０」、顔の肌色領域以外を「１」
として２値化する。そして、顔の肌色領域から顔の重心
を検出し、その重心の斜め上方にあるホールの位置を目
領域と決定する。また、人体の構造情報から、重心より
も下方で右目と左目との間の垂直２等分線上の所定の位
置に口領域を決定する。そして、目領域および口領域の
位置関係から顔の軸の傾きおよび顔の軸周りの回転の少
なくとも一方を検出する。具体的には、水平軸に対する
両目を結ぶ線がなす角度が顔の軸の傾き角とされる。ま
た、右目領域と左目領域との間の間隔の大きさによって
顔の軸周りの回転角を判断する。つまり、間隔の大きさ
が小さくなればなるほど顔は回転しているとみなされ
る。そして、検出された顔の軸の傾き角および顔の軸周
りの回転角の少なくとも一方に基づいて、予め記憶され
ている３次元モデルの頭部を変形させる。

【００１４】第２の発明では、目領域を黒目領域を
「１」、白目領域を「０」として２値化する。そして、
目領域全体の中で黒目領域がどこにあるかを検出するこ
とで視線の方向を推定する。そして、３次元モデルの頭
部を視線方向に向ける。

【００１５】第３の発明は、視線方向に基づいてアバタ
の頭部位置を決定し、そのアバタの視点を仮想環境をと
らえる仮想カメラ位置とする。

【００１６】第４の発明は、仮想環境内の背景およびオ
ブジェクトにはダイナミクス特性がモデリングされ、背
景およびオブジェクトは、仮想空間内において３次元モ
デルとして再現される。

【００１７】

【発明の効果】これらの発明によれば、人物の顔の軸の
傾き角および顔の軸周りの回転角の少なくとも一方と視
線方向とに基づいて３次元モデルの頭部を変形し、仮想
環境内において、人物の頭部の動作および視線方向を再
現することができる。また、仮想環境をとらえる仮想カ
メラ位置を３次元モデルの視線方向に置くことおよび仮
想環境内の背景やオブジェクトを３次元モデルで再現す
ることによって、ユーザの仮想環境に対する没入感を向
上させることができる。

【００１８】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００１９】

【実施例】図１に示すこの実施例の仮想変身装置１０
は、カラーカメラ（以下、単に「カメラ」という。）１
２を含み、カメラ１２は、電動雲台１４上に設置され、
人物の顔を正面から撮影する。

【００２０】そして、カメラ１２から出力された人物の
顔画像は、顔表情認識装置１６へ入力される。顔表情認
識装置１６はパソコン程度の処理能力を有するコンピュ
ータであり、後に詳細に説明するが、顔の軸の傾き，顔
の軸周りの回転，視線方向および顔の表情を検出する。
また、顔表情認識装置１６は電動雲台１４を制御し、カ
メラ１２の撮影角度を調整し、カメラ１２の画角の中心
に顔画像の重心がくるようにする。つまり、カメラ１２
は、常に、人物の顔が画像の中心付近にくるように制御
される。

【００２１】顔表情認識装置１６によって得られた顔の
軸の傾き，顔の軸周りの回転，視線方向および顔の表情
の情報は、通信回線を通じて、仮想環境合成装置１８へ
送られる。この仮想環境合成装置１８もまたパソコン程
度の処理能力を有するコンピュータであり、顔表情認識
装置１６から送られてくる顔の軸の傾き等のデータに基
づいて予め記憶していた３次元ＣＧモデルを変形させ、
「アバタ」と呼ばれる被験者の分身の人物画像を仮想環
境内に再現する。

【００２２】以下、図２および図８に示すフローチャー
トを用いてこの実施例の動作について説明する。まず、
図２に示すフローチャートを参照して顔画像認識装置１
６における実施例の動作について説明する。

【００２３】図２を参照して、まず、ステップ１では、
図３（ａ）に示すように、カメラ１２によって撮影され
た人物（被験者）の顔画像が、顔表情認識装置１６へ入
力される。

【００２４】次に、ステップＳ３では、その顔画像を、
肌色領域を「０」、肌色領域以外を「１」として２値化
する。つまり、顔画像は、図３（ｂ）に示すように、白
黒の２値画像に変換される。

【００２５】ステップＳ５では、図３（ｃ）に示すよう
に、ステップＳ３で得られた２値画像における肌色領域
の重心を検出する。

【００２６】ステップＳ７では、ステップＳ５で検出さ
れた重心が入力画像の中心からどれだけずれているかを
算出する。

【００２７】そして、次のステップＳ９では、ステップ
Ｓ７で算出された“ずれ”に応じて、次の画像取り込み
のために、肌色領域の重心が入力画像の中心にくるよう
に電動雲台１４を制御する。

【００２８】次に、図４に示すフローチャートを用いて
図２の動作の前処理の方法について説明する。

【００２９】図４を参照して、まず、ステップＳ５１で
は、人物の顔が写っていない背景画像を取得する。次
に、ステップＳ５３では、その背景に人物の顔が登場し
た画像を撮影する。そして、ステップＳ５５では、背景
差分法によって人物の顔画像を抽出する。なお、背景差
分法とは、顔の存在する画像（入力画像）から顔の存在
しない画像（背景画像）を差し引くことによって、顔画
像だけを抽出する方法である。

【００３０】ステップＳ５７では、一般に知られている
ＲＧＢ空間（ＲＧＢがそれぞれたとえば２５６階調で表
現される空間）における「肌色空間」を参考にして、ス
テップＳ５５で得られた顔画像の肌色領域を抽出する。

【００３１】そして、ステップＳ５９では、その肌色部
分からその人物（被験者）や照明固有の肌色インデック
スを作成する。

【００３２】ステップＳ６１では、肌色領域の重心を検
出する。なお、顔の重心は鼻の上にあるので、ここで検
出された重心の位置は鼻の位置とされる。

【００３３】ステップＳ６３では、目の初期位置を検出
する。ここでは、先のステップＳ５９で作成した肌色イ
ンデックスに基づいて、顔の肌色領域を「０」、顔の肌
色領域以外を「１」として顔画像を２値化する。そし
て、図３（ｄ）に示すように、先のステップＳ６１で検
出された重心すなわち鼻の位置の斜め上方にあるホール
（黒い部分）を検出し、そのホールの位置を目の初期位
置と決定する。

【００３４】そして、ステップＳ６５では、口の初期位
置を推定する。ステップＳ６１およびステップＳ６３に
よって鼻と目の位置が決まると、人体の構造情報から口
の位置が推定される。具体的には、重心すなわち鼻の位
置よりも下方で、右目と左目との間の垂直２等分線上の
所定の位置に口の初期位置を決定する。

【００３５】このようにして、前処理を行なうことによ
って、目と口の初期位置と、両者の相対位置を求めてお
く。

【００３６】図２に戻って、ステップＳ１１では目領域
を追跡する。図５を参照して、前処理によって得られた
目領域に、瞳の中心を通る縦のラインのテンプレートを
作成する。図５に実線で示した、縦６４pixel，横１pix
elの小領域がテンプレートに相当する領域である。

【００３７】そして、そのテンプレートによって目領域
を探索することによって、そのフレームでの目の位置を
検出する。すなわち、テンプレートマッチングによって
目の位置を追跡する。また、このテンプレートは、瞳の
中心を通る縦のラインであるため、図６に示すように、
頭部の傾きや回転に影響されず、目の位置を正確に追跡
することができる。

【００３８】そして、ステップＳ１３では、視線方向を
検出する。視線方向の検出方法を説明すると、まず、先
のステップＳ９で検出された目領域を、白目の領域を
「０」、黒目の領域を「１」として２値化する。そし
て、黒目領域の重心を検出し、目領域全体における黒目
領域の位置を検出することにより視線方向を検出する。
つまり、目領域全体の重心に対する黒目領域の重心のズ
レによって視線方向を判断する。

【００３９】そして、ステップＳ１５では、前処理によ
って得られた目と口の相対的な位置関係に基づいて口の
位置を推定する。

【００４０】ステップＳ１７では、顔表情の認識を行
う。顔表情の認識は、本願発明者が“電子情報通信学会
論文誌D-II,Vol.J80-D-II,No.6,pp.1547-1554（１９９
７年６月）”に発表した手法によって行なわれる。

【００４１】これは、２次元離散コサイン変換によって
画像を空間周波数領域に変換し、顔部位の変化に対応す
る各周波数帯域での電力変化を捉えることによって、顔
表情の認識を行なうものである。具体的には、目と口の
形状変化を検出することによって、顔表情の認識を行な
っている。

【００４２】ステップＳ１９では、顔の軸の傾きおよび
顔の軸周りの回転の少なくとも一方を検出する。図７を
参照して、顔の傾きについては、水平軸に対する両目を
結ぶ線がなす角度θが顔の軸の傾き角とされる。そし
て、顔の軸周りの回転については、右目領域と左目領域
との間の間隔Ｄの大きさから顔の軸周りの回転角が判明
する。つまり、間隔Ｄの大きさが小さくなればなるほど
顔は回転しているとみなされる。なお、顔の軸の傾きお
よび顔の軸周りの回転は必ずしも両方とも検出する必要
は無く、検出されるのはどちらか一方だけでもよい。

【００４３】ステップＳ２１では、ステップＳ１９で検
出された顔の軸の傾き角および顔の軸周りの回転角の少
なくとも一方に基づいて、先のステップＳ１３で検出さ
れた視線方向を補正する。

【００４４】そして、ステップＳ２３では、以上のよう
にして得られた顔の軸の傾き，顔の軸周りの回転，視線
方向および顔の表情の情報を、通信回線を通じて、仮想
環境合成装置１８へ送信する。

【００４５】次に、図８に示すフローチャートを参照し
て仮想環境合成装置１８における実施例の動作について
説明する。

【００４６】図８を参照して、ステップＳ２５では、顔
画像認識装置１６で検出された、顔の軸の傾き，顔の軸
周りの回転，視線方向および顔の表情のデータが仮想環
境合成装置１８へ入力される。

【００４７】そして、ステップＳ２７およびステップＳ
２９では、予め用意されたアバタ用の頭部モデルおよび
身体モデルを顔画像認識装置１６から入力されたデータ
に基づいて変形する。

【００４８】まず、ステップＳ２７では、顔表情認識装
置１６で検出された顔の表情に基づいて頭部モデルの表
情に、予め用意されている、平静，怒り，悲しみ，喜
び，驚き等の表情を選択する。

【００４９】次に、ステップＳ２９では、顔表情認識装
置１６で検出された顔の軸の傾きおよび顔の軸周りの回
転の少なくとも一方に基づいて頭部モデルを変形させ、
たとえば首を傾げる動作やうなずきといった頭部の動作
を再現する。

【００５０】また、顔の軸の傾きおよび顔の軸周りの回
転の少なくとも一方と、本件とは別の身体姿勢検出装置
から検出される身体の姿勢とに基づいて、頭部モデルお
よび身体モデルを変形させる。そして、変形された頭部
モデルおよび身体モデルからなるアバタは、後述するス
テップＳ３５において、仮想空間内に配置される。

【００５１】ステップＳ３１では、顔表情認識装置１６
で検出された視線方向および先のステップＳ２９で変形
された頭部モデルおよび身体モデルに基づいて、アバタ
の頭部位置を決定する。つまり、アバタの頭部位置は、
アバタの視線方向に向けられる。

【００５２】ステップＳ３３では、仮想カメラ位置を決
定する。ステップＳ３１でアバタの頭部位置が決定され
ると、そこが仮想環境内におけるアバタの視点すなわち
仮想カメラ位置となる。つまり、仮想環境内では、アバ
タの視線方向に仮想カメラ位置が置かれる。

【００５３】また、従来どおりに、仮想環境内のシーン
を第３者的立場で見る視点に仮想カメラ位置を置くこと
もできる。そして、仮想カメラ位置は、用途に応じてあ
るいはユーザの任意によって、自在に切り換えることが
できる。

【００５４】ステップＳ３５では、アバタが仮想空間内
に配置される。このとき、他のアバタのモデルも仮想空
間内に配置される。また、背景やオブジェクトを含めた
シーン全体も３次元モデルとして仮想空間内に配置され
る。これらの３次元モデルには、それぞれ、ダイナミク
ス属性すなわち運動および変形に必要な、重さ，摩擦係
数，体積等の各種の属性がモデリングされている。ま
た、ジオメトリ属性すなわち位置および形に関する属性
や、影や色に影響する光源による属性もモデリングされ
ている。よって、アバタは、シーン内の全てのオブジェ
クトとインタラクションすることが可能であり、ユーザ
が操るアバタは仮想空間内において、たとえばコップを
テーブルから叩き落す等の様々なアクションをすること
ができる。

【００５５】ステップＳ３７では、空間のダイナミクス
が計算される。これは、アバタやオブジェクトのうち、
初期運動が与えられているもの、つまり動いているもの
についての位置特性が計算される。

【００５６】そして、ステップＳ３９では、アバタ同士
あるいはアバタとオブジェクトとの間に衝突が生じるか
どうかが判断される。なお、衝突は、アバタないしオブ
ジェクトの外形線が接触した場合に衝突したと判断され
る。ここで、衝突したと判断された場合はステップＳ４
１へ進み、衝突してないと判断された場合はステップＳ
４３へ進む。

【００５７】ステップＳ４１では、衝突したアバタやオ
ブジェクトについて、両者を衝突したままの状態すなわ
ち抵触した状態にしておくか、あるいは、両者を回避す
なわち離れさせるかの処理を行う。

【００５８】そして、ステップＳ４３では、レンダリン
グを行なう。このとき、レンダリングはアバタの視点か
ら行なわれる。つまり、仮想空間内に配置されたアバタ
の視点から見た映像が再現される。また、仮想カメラ位
置を切り換えることによって、仮想空間内のシーンを第
３者的立場で見た視点によるレンダリングを行なうこと
もできる。つまり、仮想環境内に再現される３次元モデ
ルの表示方向は自在に切り換えることができる。そし
て、再現された３次元モデルは、ステップＳ４５におい
て、モニタへ表示される。

【００５９】上記の実施例には、さらに、以下のような
発明が含まれる。

【００６０】前記目領域と口領域とに基づいて前記人物
の顔表情を検出する顔表情検出手段をさらに備え、前記
３次元モデルの頭部は前記顔表情に基づいて選択される
請求項１ないし４のいずれかに記載の仮想変身装置。

【００６１】前記顔表情検出手段は、前記目領域および
口領域の位置ないし前記目領域および口領域の開き具合
から前記顔表情を検出する、上記仮想変身装置。

【００６２】前記画像入力手段は前記入力画像の撮影角
を制御する撮影角制御手段を備える、請求項１記載の仮
想変身装置。

【００６３】前記顔領域抽出手段は前記入力画像から前
記人物の肌色領域を抽出する肌色領域抽出手段を備え、
前記顔領域は前記肌色領域に基づいて抽出される、請求
項１記載の仮想変身装置。

【００６４】前記目領域検出手段は前記顔領域の重心を
検出する重心検出手段を備え、前記目領域は前記重心に
基づいて検出される、請求項１記載の仮想変身装置。

【００６５】前記口領域は、前記重心に基づいて検出さ
れる、請求項１記載の仮想変身装置。

【００６６】前記視線方向検出手段は、前記目領域から
黒目領域を抽出し、前記黒目領域の重心を検出し、前記
重心の位置に基づいて前記人物の視線方向を検出する、
請求項２記載の仮想変身装置。

【００６７】前記仮想カメラ位置は前記仮想環境内のシ
ーンを第３者的立場から見る視点に切り換えることがで
きる、請求項３記載の仮想変身装置。

【００６８】前記仮想環境内では前記３次元モデル同士
の衝突が検出される、請求項４記載の仮想変身装置。

【図面の簡単な説明】

【図１】この発明の一実施例である仮想変身装置を示す
ブロック図である

【図２】顔画像認識装置における実施例の動作を説明す
るためのフローチャートである。

【図３】人物の顔画像を示す図解図である。

【図４】前処理の方法を説明するためのフローチャート
である。

【図５】目領域の追跡方法を説明するための図解図であ
る。

【図６】目領域の追跡方法を説明するための図解図であ
る。

【図７】顔の軸の傾きおよび顔の軸周りの回転を検出す
る方法を説明するための図解図である。

【図８】仮想環境合成装置における実施例の動作を説明
するためのフローチャートである。

【符号の説明】

１０ …仮想変身装置１２ …カラーカメラ１４ …電動雲台１６ …顔表情認識装置１８ …仮想環境合成装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者大谷淳京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール知能映像通信研究所内Ｆターム(参考） 5B050 BA09 BA12 CA05 CA08 DA08 EA12 EA13 EA19 EA28 FA02 5B057 BA02 BA17 BA29 CE08 CF10 DA08 DC06 DC08 DC25

Claims

【特許請求の範囲】

【請求項１】人物を撮影した入力画像を入力する画像入
力手段、前記入力画像から顔領域を抽出する顔領域抽出手段、前記顔領域から目領域を検出する目領域検出手段、前記目領域から口領域を推定する口領域推定手段、前記目領域と口領域とから前記人物の顔の軸の傾きおよ
び顔の軸周りの回転の少なくとも一方を検出する頭部動
作検出手段、および仮想環境内に再現される３次元モデ
ルを予め記憶しておく３次元モデル記憶手段を備える仮
想変身装置において、前記顔の軸の傾きおよび前記顔の軸周りの回転の少なく
とも一方に基づいて前記３次元モデルの頭部を変形させ
るモデル変形手段を備えたことを特徴とする、仮想変身
装置。
【請求項２】前記人物の視線方向を検出する視線方向検
出手段を備え、前記３次元モデルの頭部は前記視線方向
に向けられる、請求項１記載の仮想変身装置。
【請求項３】前記視線方向に基づいて前記仮想環境をと
らえる仮想カメラ位置を決定する仮想カメラ位置決定手
段を備える、請求項１または２に記載の仮想変身装置。
【請求項４】前記仮想環境内の背景およびオブジェクト
は３次元モデルとして再現される、請求項１記載の仮想
変身装置。