JP2003108980A

JP2003108980A - 頭部領域抽出装置およびリアルタイム表情追跡装置

Info

Publication number: JP2003108980A
Application number: JP2001304116A
Authority: JP
Inventors: Shoji Tanaka; 昭二田中; Satoshi Tanaka; 聡田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-04-11
Anticipated expiration: 2021-09-28
Also published as: JP3432816B2

Abstract

(57)【要約】【課題】任意の照明条件で撮影された、不特定人物の
顔画像から、計算能力が低いハードウェアでも実時間で
頭部の３次元的な動きを計測し得ること。【解決手段】現照明環境下での対象人物の顔の一部の
画像をサンプリングする肌色サンプリング手段６と、こ
の肌色サンプリング手段６のサンプリングデータに基づ
き、肌色抽出のための肌色抽出パラメータを調整する肌
色抽出パラメータ調整手段７と、この肌色抽出パラメー
タ調整手段７によって調整された肌色抽出パラメータを
用いてキャプチャ映像から肌色領域を抽出する肌色領域
抽出手段８と、肌色領域抽出結果から最大領域を抽出す
ることにより頭部領域を抽出する頭部領域抽出手段９と
を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、本人の顔を送信す
る代わりにＣＧキャラクタの映像を相手に送信すること
によって人物映像を互いに通信するテレビ電話など通信
システムに適用され、特にカメラによって撮像された顔
の映像から頭部の３次元的な姿勢情報と顔の表情を計測
し、この計測結果に基づいてＣＧキャラクタの動きを制
御する代理応答によるリアルタイム表情追跡装置に関す
るものである。

【０００２】

【従来の技術】例えば、図３０は、特開２０００−３３
１１９０号公報に示された従来の仮想変身装置（第１の
従来技術）を示すものであり、この仮想変身装置は、顔
画像を入力するビデオカメラと、ビデオカメラを回転さ
せる電動雲台と、ビデオカメラから入力された顔画像か
ら顔の軸の回転、あるいは顔の軸周りの回転と視線方向
を検出し、両目および口の形状変化を検出する顔画像認
識装置と、この計測結果に基づいてＣＧ（コンピュータ
グラフィックス）で構築された仮想空間のキャラクタを
制御する仮想環境合成装置とを備えている。

【０００３】この第１の従来技術では、ビデオカメラか
ら入力された顔画像を、予め設定したＲＧＢ空間上に構
築された肌色モデルに従って肌色を１、肌色以外を０と
する２値化処理を行う。次に、２値化した顔領域の重心
を求め、重心が画像の中心になるように電動雲台装置を
制御し、カメラのアングルを修正する。次に、重心位置
に基づき顔領域内に存在する穴を両目および口として検
出する。次に、予め設定したテンプレートを用いたテン
プレートマッチングにより目領域を追跡し、黒目の位置
から視線方向を求める。また、両目を結んだ直線と画像
の水平軸との角度を計測し、さらに、両目間の距離か
ら、顔の軸周りの回転を検出する。そして、両目および
口の周囲画像を離散コサイン変換したときの各周波数帯
域での電力変化を捉えることで、両目および口の形状変
化を計測する。以上の計測結果に基づいてＣＧで構築さ
れた仮想空間のキャラクタの頭部および表情を制御す
る。

【０００４】また、特開２０００-２５９８３１号公報
の表情検出装置（第２の従来技術）では、連続する各フ
レームの画像において、選択した複数の特徴点を追跡
し、各フレーム毎に前記複数の特徴点を頂点とするドロ
ネー網を構成し、このドロネー網を用いて表情筋モデル
を特徴点の移動に基づき変位させることにより、表情筋
モデルの変化を求めるようにしている。

【０００５】また、特開平１１−３０６３４８号公報
（第３の従来技術）においては、大きさが固定のウィン
ドウマスクを画像全体に走査し、マスク内の輝度分散を
正規化することにより、照明条件が変化しても安定して
対象物の特徴量を抽出可能とした対象物検出装置に関す
る発明が開示されている。

【０００６】

【発明が解決しようとする課題】第１の従来技術では、
カメラで撮影した顔画像を肌色モデルに基づいて２値化
し、顔領域内の穴を見つけ、顔領域の重心位置からそれ
らを目および口に対応させている。しかしながら、本
来、顔の凹凸から生じる影やハイライトの影響があるの
で、第１の従来技術では、照明条件を慎重に設定しなけ
れば目および口のみを穴として検出するのは非常に困難
である。また、この第１の従来技術は、頭部の３軸（Ｘ
軸、Ｙ軸、Ｚ軸）周りの回転を同時に計測することがで
きず、さらに、顔の軸周りの回転を、両目間の距離によ
り求めているため、例えば顔がカメラから遠ざかるある
いは近づくと、必然的に両目間の距離が変化することか
ら、実際には回転させていないのにも関わらず、回転し
ているとみなされるなど問題があった。

【０００７】また、第２の従来技術では、３次元姿勢を
計測するために顔画像中の多数の特徴点を追跡する必要
があるため、計算能力の低いハードウェアではリアルタ
イム処理が困難である問題があった。

【０００８】また、第３の従来技術では、大きさが固定
されたマスク領域を用いることから、個人差や撮影距離
によって顔領域の大きさが変化することへの対応処理が
困難である。

【０００９】この発明は上記に鑑みてなされたもので、
任意の照明条件で撮影された、不特定人物の顔画像か
ら、計算能力が低いハードウェアでも実時間で頭部の３
次元的な動きを計測し、かつ両目および口の開閉状態を
計測し、その結果を用いてＣＧキャラクタの頭部の動き
および表情を制御するリアルタイム表情追跡装置を得る
ことを目的としている。

【００１０】

【課題を解決するための手段】上記目的を達成するため
この発明にかかるリアルタイム表情追跡装置は、順次所
定のフレームレートで入力される映像をキャプチャする
映像入力手段と、前記キャプチャした画像から頭部画像
を抽出する頭部領域検出手段と、前記抽出した頭部領域
から両目および口を含む各部位の候補領域を抽出する部
位領域候補抽出手段と、抽出した候補領域の中から各部
位の位置を検出する部位検出追跡手段と、前記検出した
両目、口の検出位置に基づいて頭部の３次元姿勢を計測
するとともに、両目および口の開閉状態を計測する頭部
３次元姿勢・表情計測手段とを備え、前記計測した頭部
の３次元姿勢および両目および口の開閉状態に基づいて
ＣＧキャラクタの動きを制御するリアルタイム表情追跡
装置であって、前記頭部領域抽出手段は、現照明環境下
での対象人物の顔の一部の画像をサンプリングする肌色
サンプリング手段と、この肌色サンプリング手段のサン
プリングデータに基づき、肌色抽出のための肌色抽出パ
ラメータを調整する肌色抽出パラメータ調整手段と、こ
の肌色抽出パラメータ調整手段によって調整された肌色
抽出パラメータを用いてキャプチャ映像から肌色領域を
抽出する肌色領域抽出手段と、肌色領域抽出結果から最
大領域を抽出することにより頭部領域を抽出する頭部領
域抽出手段とを備えたことを特徴とする。

【００１１】この発明によれば、使用する照明環境下で
対象人物（利用者）の肌色をサンプリングし、このサン
プリングデータを用いて肌色抽出のための肌色抽出パラ
メータを調整するようにしており、この肌色抽出の結果
から最大領域を抽出することで、キャプチャ画像中から
頭部領域全体を抽出するようにしている。

【００１２】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部領域抽出手段
は、肌色領域抽出手段による肌色領域抽出後の２値画像
に膨張収縮処理を加えることを特徴とする。

【００１３】この発明によれば、肌色領域抽出手段によ
る肌色領域抽出後の２値画像に膨張収縮処理を加えるこ
とで、目、鼻、口以外の微小な領域や裂け目が除去され
た肌色領域を得る。

【００１４】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部領域抽出手段
は、前記膨張収縮処理後の２値画像と、画素値が全て肌
色に対応する論理値レベルであるマスク画像との排他的
論理和を求め、この排他的論理和がとられた画像の頭部
領域以外を非肌色に対応する論理値レベルとした画像と
前記膨張収縮処理後の２値画像との論理和を求めること
で、頭部領域全体を抽出することを特徴とする。

【００１５】この発明によれば、膨張収縮処理後の２値
画像と、画素値が全て肌色に対応する論理値レベルであ
るマスク画像との排他的論理和を求め、この排他的論理
和がとられた画像の頭部領域以外を非肌色に対応する論
理値レベルとした画像と前記膨張収縮処理後の２値画像
との論理和を求める簡単な論理演算を用いて頭部領域を
抽出するようにしている。

【００１６】つぎの発明にかかるリアルタイム表情追跡
装置は、順次所定のフレームレートで入力される映像を
キャプチャする映像入力手段と、前記キャプチャした画
像から頭部画像を抽出する頭部領域検出手段と、前記抽
出した頭部領域から両目および口を含む各部位の候補領
域を抽出する部位領域候補抽出手段と、抽出した候補領
域の中から各部位の位置を検出する部位検出追跡手段
と、前記検出した両目、口の検出位置に基づいて頭部の
３次元姿勢を計測するとともに、両目および口の開閉状
態を計測する頭部３次元姿勢・表情計測手段とを備え、
前記計測した頭部の３次元姿勢および両目および口の開
閉状態に基づいてＣＧキャラクタの動きを制御するリア
ルタイム表情追跡装置であって、前記部位領域候補抽出
手段は、前記頭部領域検出手段によって抽出された頭部
領域の輝度を平均化・正規化する頭部領域輝度平均化手
段と、この輝度平均化・正規化後の画像を用いて頭部領
域中の両目および口の候補領域を抽出する画素選別手段
とを備えることを特徴としている。

【００１７】この発明によれば、頭部領域検出手段によ
って抽出された頭部領域の輝度を平均化・正規化し、該
輝度平均化・正規化された画像を用いて頭部領域中の両
目および口の候補領域を抽出するようにしている。

【００１８】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部領域輝度平均化
手段は、頭部領域を複数の小領域に分割し、各小領域毎
にヒストグラム平均化処理を行うことを特徴とする。

【００１９】この発明によれば、頭部領域を複数の小領
域に分割し、各小領域毎にヒストグラム平均化処理を行
うようにしている。

【００２０】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記ヒストグラム平均化
処理では、所定の閾値を越えた頻度をもつ画素値の頻度
を他の画素値に分散させる処理を加えることを特徴とす
る。

【００２１】この発明によれば、ヒストグラム平均化処
理では、所定の閾値を越えた頻度をもつ画素値の頻度を
他の画素値に分散させるようにしている。

【００２２】つぎの発明にかかるリアルタイム表情追跡
装置は、順次所定のフレームレートで入力される映像を
キャプチャする映像入力手段と、前記キャプチャした画
像から頭部画像を抽出する頭部領域検出手段と、前記抽
出した頭部領域から両目および口を含む各部位の候補領
域を抽出する部位領域候補抽出手段と、抽出した候補領
域の中から各部位の位置を検出する部位検出追跡手段
と、前記検出した両目、口の検出位置に基づいて頭部の
３次元姿勢を計測するとともに、両目および口の開閉状
態を計測する頭部３次元姿勢・表情計測手段とを備え、
前記計測した頭部の３次元姿勢および両目および口の開
閉状態に基づいてＣＧキャラクタの動きを制御するリア
ルタイム表情追跡装置であって、前記部位検出追跡手段
は、前記部位領域候補抽出手段によって検出された両
目、口の候補領域から両目および口の領域を夫々特定す
る部位検出手段と、前記部位検出手段によって、両目お
よび口の領域が特定できない場合に、現フレームで特定
された部位領域の位置と、この特定された部位領域の前
フレームでの位置とを用いて移動ベクトルを求め、この
移動ベクトルを用いて前記特定できなかった部位の位置
を特定する部位追跡手段とを備えることを特徴とする。

【００２３】この発明によれば、部位検出手段によって
両目および口の領域が特定できない場合には、現フレー
ムで特定された部位領域の位置と、この特定された部位
領域の前フレームでの位置とを用いて移動ベクトルを求
め、この移動ベクトルを用いて特定できなかった部位の
位置を特定している。

【００２４】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記部位検出手段は、前
フレームについての部位領域の中心座標を中心に一定の
大きさの矩形領域を設定し、その矩形領域中に存在する
現フレーム候補領域を求め、求めた候補領域夫々につい
て、判別式Ｅ＝｜ＳＰ−ＳＣ｜＋ＯＰ＋Ｄを用いて評価
値Ｅを夫々取得し、ＳＰ：前フレームおける部位領域の画素数、ＳＣ：現フレームにおける候補領域の画素数、ＯＰ：現フレームにおける候補領域のみを非肌色に対応
する論理値レベルとした部位領域マスク画像と、前フレ
ームにおける部位領域のみを非肌色に対応する論理値レ
ベルとした部位領域マスク画像との排他的論理和を求め
たときに、画素値が非肌色に対応する論理値レベルとな
る画素数、Ｄ：前フレームにおける部位領域の中心と候補領域の中
心との距離、評価値Ｅが最も小さな候補領域を各部位領域として特定
することを特徴としている。

【００２５】この発明によれば、前フレームについての
部位領域の中心座標を中心に一定の大きさの矩形領域を
設定し、その矩形領域中に存在する現フレーム候補領域
を求め、求めた候補領域夫々について、判別式Ｅ＝｜Ｓ
Ｐ−ＳＣ｜＋ＯＰ＋Ｄを用いて評価値Ｅを夫々取得し、
評価値Ｅが最も小さな候補領域を各部位領域として特定
する。

【００２６】つぎの発明にかかるリアルタイム表情追跡
装置は、順次所定のフレームレートで入力される映像を
キャプチャする映像入力手段と、前記キャプチャした画
像から頭部画像を抽出する頭部領域検出手段と、前記抽
出した頭部領域から両目および口を含む各部位の候補領
域を抽出する部位領域候補抽出手段と、抽出した候補領
域の中から各部位の位置を検出する部位検出追跡手段
と、前記検出した両目、口の検出位置に基づいて頭部の
３次元姿勢を計測するとともに、両目および口の開閉状
態を計測する頭部３次元姿勢・表情計測手段とを備え、
前記計測した頭部の３次元姿勢および両目および口の開
閉状態に基づいてＣＧキャラクタの動きを制御するリア
ルタイム表情追跡装置であって、前記頭部３次元姿勢・
表情計測手段は、最初に検出した両目および口の位置か
ら３次元空間上の仮想平面を設定するアフィン基底設定
手段と、前記検出した両目および口位置から頭部の左右
および上下方向の回転量を推定する頭部回転量推定手段
と、前記検出した両目および口位置から得た４点の座標
を結ぶ矩形を前記推定した頭部の左右および上下方向の
回転量を用いて歪ませ、該歪ませた矩形の４点の座標を
用いて頭部の３次元姿勢を推測する姿勢計測手段と、頭
部の動きに応じて両目および口の開閉状態を推測する開
閉状態計測手段とを備えることを特徴とする。

【００２７】この発明によれば、最初に検出した両目お
よび口の位置から３次元空間上の仮想平面を設定し、検
出した両目および口位置から頭部の左右および上下方向
の回転量を推定し、前記検出した両目および口位置から
得た４点の座標を結ぶ矩形を前記推定した頭部の左右お
よび上下方向の回転量を用いて歪ませ、該歪ませた矩形
の４点の座標を用いて頭部の３次元姿勢を推測し、さら
に頭部の動きに応じて両目および口の開閉状態を推測す
るようにしている。

【００２８】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部回転量推定手段
は、両目領域を結ぶ直線をＸ軸とし、Ｘ軸に垂直で口領
域の中心位置を通る直線をＹ軸とした頭部のローカル座
標系を設定し、このローカル座標系において求めた頭部
領域の外接矩形の左右の辺と片目との相対距離と、外接
矩形の上下の辺と口領域との相対距離から頭部の左右、
上下方向の回転量をそれぞれ推定することを特徴とす
る。

【００２９】この発明によれば、両目領域を結ぶ直線を
Ｘ軸とし、Ｘ軸に垂直で口領域の中心位置を通る直線を
Ｙ軸とした頭部のローカル座標系を設定し、このローカ
ル座標系において求めた頭部領域の外接矩形の左右の辺
と片目との相対距離と、外接矩形の上下の辺と口領域と
の相対距離から頭部の左右、上下方向の回転量をそれぞ
れ推定するようにしている。

【００３０】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記開閉状態計測手段
は、前記姿勢計測手段によって推定した頭部の３次元姿
勢情報を用いて対象人物が正面を向いたときの両目およ
び口領域を再現することに基づき両目および口の開閉状
態を計測することを特徴とする。

【００３１】この発明によれば、推定した頭部の３次元
姿勢情報を用いて対象人物が正面を向いたときの両目お
よび口領域を再現することに基づき両目および口の開閉
状態を計測するようにしている。

【００３２】

【発明の実施の形態】以下に添付図面を参照して、この
発明にかかるリアルタイム表情追跡装置の好適な実施の
形態を詳細に説明する。このリアルタイム表情追跡装置
は、本人の顔を送信する代わりにＣＧキャラクタの映像
を相手に送信することによって人物映像を互いに通信す
るテレビ電話など通信システムに適用される。

【００３３】以下、本発明の実施の形態を図１〜図２０
を用いて説明する。図１は、本実施の形態のリアルタイ
ム表情追跡装置の概念的構成を示すものである。

【００３４】この図１に示すリアルタイム表情追跡装置
は、例えばパーソナルコンピュータ、ワークステーショ
ンに実行させるプログラムの機能構成を示すものであ
る。この図１に示すリアルタイム表情追跡装置は、ビデ
オカメラ８０などの映像取込手段から入力された映像を
取り込むための映像入力手段１と、映像入力手段１を介
して入力された人物映像から頭部領域を検出する頭部領
域検出手段２と、頭部領域検出手段２で抽出された頭部
領域から両目および口となる候補領域を抽出する部位領
域候補抽出手段３と、部位領域候補抽出手段３で抽出し
た候補領域から両目、口領域を検出し、毎時変化する位
置を追跡し、さらに各部位の開閉状態を計測する部位検
出追跡手段４と、部位検出追跡手段４で検出した両目お
よび口位置から頭部の３次元姿勢および表情を計測する
頭部３次元姿勢・表情計測手段５とを備えている。

【００３５】さらに、頭部領域検出手段２は、撮影され
る環境下（照明環境下など）で人物の肌色をサンプリン
グする肌色サンプリング手段６と、肌色サンプリング手
段６でサンプリングした肌色情報に基づいて肌色抽出パ
ラメータを調整する肌色抽出パラメータ調整手段７と、
肌色抽出パラメータ調整手段７で調整された肌色抽出パ
ラメータに基づいて入力映像から肌色画素を抽出し、抽
出した画素を塊（領域）ごとに分類する肌色領域抽出手
段８と、抽出した肌色領域の中から頭部領域を選択し頭
部領域中の穴、裂け目などの小領域などを全て埋める
（肌色に置換する）ことにより人物の頭部に関わる全て
の画素を領域として抽出する頭部領域抽出手段９とを備
えている。

【００３６】部位領域候補抽出手段３は、頭部領域の輝
度値を平均化する頭部領域輝度平均化手段１０と、両目
および口の候補領域を抽出する画素選別手段１１とを備
えている。

【００３７】部位検出追跡手段４は、部位領域候補抽出
手段３で抽出された両目および口の候補領域からそれぞ
れに対応する領域を特定する部位検出手段１２と、部位
検出手段１２で検出した両目および口の初期位置を記憶
する初期位置設定手段１３と、前フレームまでに記憶し
た各部位の位置から現フレームにおける位置を検出する
部位追跡手段１４とを備えている。

【００３８】頭部３次元姿勢・表情計測手段５は、初期
位置設定手段１３で設定された各部位の初期位置に基づ
き頭部３次元姿勢を求めるための基準となるアフィン基
底を設定するアフィン基底設定手段１５と、頭部の水平
軸および垂直軸周りの暫定的な回転量を求める頭部回転
量推定手段１６と、部位検出手段１２で検出した各部位
の位置からアフィン基底設定手段１５で設定した仮想３
次元空間上の点に対応する映像中の２次元の点から頭部
の３次元姿勢を計測する姿勢計測手段１７と、各部位
（両目、口）の開閉状態を計測することで表情を追跡す
る開閉状態計測手段１８とを備えている。

【００３９】キャラクタ制御装置９０は、頭部３次元姿
勢・表情計測手段５から入力された頭部の３次元姿勢お
よび各部位（両目、口）の開閉状態を用いて三次元のＣ
Ｇキャラクタを制御することで、ビデオカメラ８０で撮
像した利用者の動き、表情に追従させてＣＧキャラクタ
の動き、表情をリアルタイムに変化させる。

【００４０】図２は、図１のリアルタイム表情追跡装置
のキャリブレーションフェーズの動作の概要を説明する
ためのフローチャートである。図３は、図１のリアルタ
イム表情追跡装置のトラッキングフェーズの動作の概要
を説明するためのフローチャートである。これら図２お
よび図３を用いてリアルタイム表情追跡装置の動作の概
略を説明する。

【００４１】リアルタイム表情追跡装置で行われる動作
手順には、頭部の動きを追跡するための情報として両目
および口の位置および無表情時の状態等を取得するキャ
リブレーションフェーズと、実際に頭部の動きおよび両
目および口を追跡し、頭部姿勢と両目および口の開閉状
態つまり表情を計測するトラッキングフェーズがある。

【００４２】キャリブレーションフェーズでは、まず、
映像入力手段１によってビデオカメラ８０からの映像を
キャプチャする（ステップＳ１００）。なお、人物の映
像をビデオカメラ８０で撮像する際に、ユーザに対して
「カメラに対して正面を向き、両目を開け、口を閉じ
る」ように指示することで、無表情時の人物映像を得
る。つぎに、頭部領域検出手段２において、撮影環境下
におけるユーザの肌色をサンプリングし（ステップＳ１
１０）、このサンプリングデータを用いて予め設定した
肌色抽出パラメータの調整を行う（ステップＳ１２
０）。そして、調整した肌色抽出パラメータを用いて実
際に肌色領域を抽出し（ステップＳ１３０）、抽出した
領域の中から頭部領域を検出する（ステップＳ１４
０）。次に、部位領域候補抽出手段３において、抽出し
た頭部領域から両目、口の候補領域を抽出し（ステップ
Ｓ１５０）、部位検出追跡手段４において両目領域およ
び口領域をそれぞれ検出し（ステップＳ１６０）、検出
した両目および口領域から各部位の位置、大きさ、テン
プレートの初期値を記憶する（ステップＳ１７０）。最
後に、頭部３次元姿勢・表情計測手段５において、求め
た両目および口の位置に基づき、トラッキングフェーズ
において頭部の３次元的姿勢情報を求めるためのアフィ
ン基底（３次元空間上の仮想点）を設定する（ステップ
Ｓ１８０）。

【００４３】トラッキングフェーズでは、映像入力手段
１によってビデオカメラ８０からの映像をキャプチャす
る（ステップＳ２００）。頭部領域検出手段２において
は、キャリブレーションフェーズで設定した肌色抽出パ
ラメータを用いてキャプチャした映像中から肌色を抽出
し（ステップＳ２１０）、抽出した領域から頭部領域を
検出する（ステップＳ２２０）。次に、部位領域候補抽
出手段３において、両目および口の候補領域を抽出する
（ステップＳ２３０）。つぎに、部位検出追跡手段４
は、前フレームで検出した両目および口位置に基づき、
部位領域候補抽出手段３で抽出した候補領域の中から現
フレームにおける両目および口領域を検出する（ステッ
プＳ２４０）。次に、頭部３次元姿勢・表情計測手段５
において、部位検出追跡手段４で検出した両目および口
位置（２次元画像点）と予め設定した３次元空間上の仮
想点から頭部の３次元的姿勢情報を計測し（ステップＳ
２５０）、その計測情報に基づいて両目および口の開閉
状態を計測する（ステップＳ２６０）。最後に、計測し
た両目および口の開閉状態情報及び頭部の姿勢情報はキ
ャラクタ制御装置９０に入力され、キャラクタ制御装置
９０によってＣＧキャラクタの頭部の動きおよび表情が
制御される（ステップＳ２７０）。

【００４４】［キャリブレーションフェーズ］次に、図
１のリアルタイム表情追跡装置のキャリブレーションフ
ェーズにおける動作を図４〜図１７を用いて詳細に説明
する。

【００４５】（ａ）頭部領域検出手段２での処理まず、図４〜図１０を用いて頭部領域検出手段２が行う
図２のステップＳ１１０〜Ｓ１４０の処理の詳細につい
て説明する。

【００４６】図４は、頭部領域検出手段２における肌色
サンプリング手段６の動作を説明するための図である。
図５は、肌色サンプリング手段６および肌色抽出パラメ
ータ調整手段７の動作を説明するためのフローチャート
である。

【００４７】まず、使用する照明環境下におけるユーザ
の肌色をサンプリングするために、図４に示すように、
キャプチャ映像１９に重ねて、サンプリング領域を指定
するためのサンプリングウィンドウ２０を表示する（ス
テップＳ３００）。次に、ユーザは、マウスあるいはそ
の他のポインティングデバイスやキーボード等を用い
て、サンプリングウィンドウ２０を頬あるいは額などの
肌色のみ抽出可能な位置に移動させ、サンプリング可能
であることをシステムに伝える（ステップＳ３１０）。
なお、最初に表示したサンプリングウィンドウ２０の位
置に合わせてユーザ自身が頭を動かして位置を調整して
も良い。

【００４８】次に、サンプリングウィンドウ２０内の全
ての画素の色を肌色抽出のための色空間（肌色モデル空
間）に写像し（ステップＳ３２０）、写像画素の写像空
間での最大値および最小値を用いて予め設定した肌色抽
出パラメータを調整する（ステップＳ３３０）。

【００４９】ここで、肌色抽出空間は、例えば、輝度変
化に比較的ロバストな色空間を新たに構築するとか、画
素の色データ空間（Ｒ、Ｇ、Ｂ空間）上で構築するなど
の方法を用いる。ここでは、下記のような、輝度変化に
比較的ロバストな色空間を用いることにする。

【００５０】Ｒ（レッド），Ｇ（グリーン），Ｂ（ブル
ー）を各画素の色の３原色の成分だとすると、まず、次
式により色を正規化する。

【００５１】ｃ１＝arctan（Ｒ／max（Ｇ，Ｂ））……式（１）ｃ２＝arctan（Ｇ／max（Ｒ，Ｂ））……式（２）ｃ３＝arctan（Ｂ／max（Ｒ，Ｇ））……式（３）

【００５２】上記式で正規化した色をさらに次式で変換
する。

【００５３】Ｃ１＝ｃ２／ｃ１ ……式（４）Ｃ２＝ｃ３／ｃ２ ……式（５）

【００５４】肌色領域抽出手段８では、式（４）および
式（５）でＲＧＢ空間からＣ１−Ｃ２空間に変換した色
が、次式（６），（７）で定義した肌色範囲に入ってい
るか否かを判断することにより入力画像から肌色領域を
抽出する。ｔｈ１＜Ｃ１＜ｔｈ２ ……式（６）ｔｈ３＜Ｃ２＜ｔｈ４ ……式（７）

【００５５】肌色抽出パラメータ調整手段７では、この
肌色抽出の際に用いる肌色抽出パラメータ（閾値）ｔｈ
１〜ｔｈ４を、肌色サンプリング手段６のサンプリング
データを用いて異なる照明条件あるいは各人の肌色の違
いに適応して可変するようにしている。すなわち、肌色
抽出パラメータ調整手段７は、肌色サンプリング手段６
でサンプリングした画素のＲＧＢデータをＣ１-Ｃ２空
間に写像し、その時の最大値、最小値をＣ１、Ｃ２につ
いてそれぞれ求め、Ｃ１についての最小値で閾値ｔｈ１
を、Ｃ１についての最大値で閾値ｔｈ２を、Ｃ２につい
ての最小値で閾値ｔｈ３を、Ｃ２についての最大値で閾
値ｔｈ４を夫々変更する。

【００５６】以上のように、使用する照明環境下におい
て利用者の肌色をサンプリングすることにより肌色抽出
性能を向上させることができ、また、照明の輝度変化に
頑強な色空間を用いることにより簡易なパラメータ調整
でも肌色抽出性能をさらに向上させることが可能とな
る。

【００５７】次に図６〜図１０を用いて肌色領域抽出手
段８および頭部領域抽出手段９の動作を説明する。図６
は、肌色領域抽出手段８と頭部領域抽出手段９の動作を
説明するためのフローチャートである。

【００５８】肌色抽出パラメータ調整手段７で調整した
肌色抽出パラメータを用いてもなお照明環境によっては
顔の一部にハイライトが発生したり、皺や影などにより
頭部領域を肌色抽出のみで正確に抽出することは困難で
ある。そのため、肌色領域抽出手段８で抽出された肌色
領域の中で最も大きい領域を頭部領域として判定し、抽
出漏れによる穴や裂け目などの目、鼻、口などの部位以
外の小領域を頭部領域から除去する頭部領域修復処理を
行うことにより頭部全体を適切に抽出可能とする。

【００５９】肌色領域抽出手段８においては、キャプチ
ャした画像の全ての画素の色データを肌色モデル空間に
写像し（ステップＳ４００）、式（６）および式（７）
で定めた閾値ｔｈ１〜ｔｈ４内にある画素を抽出し（ス
テップＳ４１０）、抽出した画素を４連結あるいは８連
結で統合するラベリング処理（連続した図形をグループ
分けして番号付けする処理）を実行することにより、個
々のブロック領域（塊）に領域分割する（ステップＳ４
２０）。そして、ラベリング処理の結果、得られるブロ
ック領域の中から面積（画素数）が最大の領域を選択
し、それを頭部領域とする（ステップＳ４３０）。

【００６０】図７に、このようにして選択された頭部領
域を含む画像を示す。この時点では、ハイライトや影、
両目、口、鼻などの暗い部分が抽出されていないため、
頭部領域には、図７に示すように、穴や裂け目などの小
領域２１が発生している場合が多い。

【００６１】そこで、頭部領域抽出手段９は、まず裂け
目部分を修復する。裂け目部分の修復は、肌色領域抽出
後の肌色画素を１、それ以外を０とした２値画像に対し
て、膨張収縮処理を行うことで達成する。膨張収縮処理
は、図８に示すような膨張マスク２２および収縮マスク
２３を設定し、以下の膨張処理と収縮処理を繰り返し行
うことで、前述の裂け目や小さい穴などを埋めるもので
ある。膨張処理は、注目画素の近傍の画素値を膨張マス
ク２２で設定した画素値に置き換えることにより領域を
膨張させるものである。収縮処理は、注目画素の近傍画
素の内、収縮マスク２３で設定した０でない画素の画素
値が収縮マスク２３の画素値と同値である場合に注目画
素を残し、同値で無い場合に注目画素の値を０とするこ
とにより領域を収縮するものである。上記膨張収縮処理
により、図９（ａ）に示すような裂け目２４が修復さ
れ、図９（ｂ）のようになる。また、この処理により微
小の穴も埋めることが可能である。

【００６２】膨張収縮処理により頭部領域に発生した裂
け目が修復されたことにより、後は頭部領域内の全ての
穴に対応する小領域を埋めることにより頭部全体を一領
域として抽出することが可能となる。この穴埋め処理に
は、図１０に示すような、論理演算処理が用いられる。

【００６３】まず、裂け目修復処理により得られた頭部
領域画像２６と、画素値が全て１のマスク２７との排他
的論理和を求める。その結果、背景領域と頭部領域内の
穴が得られる。次に、得られた画像２８から、画像の外
辺に接している領域（背景領域）を除去し、除去した画
像２９と元の頭部領域画像２６との論理和を求めること
により、頭部全体を一領域として抽出することが可能と
なる（３０が論理和がとられた画像、ステップＳ４４
０）。

【００６４】このように、簡単な論理演算処理により頭
部領域を抽出できるので、高速処理が可能となる。

【００６５】（ｂ）部位領域候補抽出手段３での処理つぎに、図１１および図１２を用いて部位領域候補抽出
手段３が行う図２のステップＳ１５０の処理の詳細につ
いて説明する。図１１は、部位領域候補抽出手段３の動
作を説明するためのフローチャートである。

【００６６】部位領域候補抽出手段３では、照明条件が
変化することに応じた輝度変化に頑強に対応可能とする
ために、頭部領域検出手段２によって抽出された頭部領
域に対して適応型ヒストグラム平均化法を用いて頭部領
域のコントラストを一定に保つ処理を行う。まず、頭部
領域輝度平均化手段１０は、頭部領域の外接矩形を求
め、その外接矩形領域を例えば８×８の小領域に分割す
る（ステップＳ５００）。つぎに、頭部領域輝度平均化
手段１０は、各小領域毎にヒストグラム平均化処理を行
う（ステップＳ５１０）。

【００６７】ヒストグラム平均化処理は、次のようにし
て行う。まず、各小領域毎に画素値と頻度の関係を示す
ヒストグラムを求める。次に、累積頻度（頻度の各階級
（画素値）までの累計）を求め、各累積頻度を累積頻度
の最大値で割って、各累積頻度の比率を求める。そし
て、求めた比率に小領域内の画素値の最大値を掛け合わ
せ、四捨五入により小数点以下を丸める。ここで得られ
た値が、平均化後の画素値となる。最後に、平均化後の
画素値の頻度を、平均化前の頻度から求める。

【００６８】例えば、図１３に示すように小領域内の画
素値が０から７の範囲内にあり、その頻度が図１３に示
す通りであった場合、平均化後のそれぞれの画素値の頻
度は図１４に示す通りになる。例えば、平均化後の画素
値が４の場合、画素値４に対応する平均前の画素値は２
と３であるため、その頻度は、９＋２＝１１となる。

【００６９】ここで、上記のとおり適応型ヒストグラム
平均化法では、特にコントラストが低い小領域におい
て、領域内の大半の画素値がヒストグラムの極大点に割
り当てられることから、ノイズが多く発生する可能性が
ある。そこで、図１２（ａ）に示すようにある閾値を超
えた頻度をもつ画素値３１が存在する場合には、図１２
（ｂ）に示すように、それらの頻度を他の画素値に分散
させる処理を行うようにしており、これによりノイズの
発生を抑えることが可能である。

【００７０】以上の処理により、常に一定のコントラス
トを得られることから、画素選別手段１１では、一定の
閾値ｔｈａを用い、頭部領域内の輝度値が閾値ｔｈａ以
下の画素（暗い画素）を論理レベル１とし、それ以外を
論理レベル０とし（ステップＳ５２０）、さらに、画素
値が１の画素を４連結あるいは８連結で結合し領域分割
する（ステップＳ５３０）。最後に、微小領域を除去す
ることにより、各部位（両目と口と鼻）の候補領域を抽
出できる（ステップＳ５４０）。

【００７１】以上のように、頭部全体を一領域として抽
出し、その頭部領域のコントラストを常に一定にする処
理を施すことにより、両目や口の部位領域の抽出処理を
固定の閾値ｔｈａを用いて実行することができる。した
がって、高速処理が可能となり、かつ輝度変化に頑強な
システムを構築することができる。

【００７２】（ｃ）部位検出追跡手段４での処理次に、図１５および図１６を用いて部位検出追跡手段４
がキャリブレーションフェーズにおいて行う図２のステ
ップＳ１６０およびＳ１７０の動作を説明する。図１５
は、キャリブレーションフェーズにおける部位検出追跡
手段４の動作を説明するためのフローチャートである。

【００７３】まず、部位検出手段１２は、頭部領域検出
手段２で抽出した頭部領域の重心を求める（ステップＳ
６００）。この重心位置は、周知の距離変換処理などを
用いて求める。

【００７４】距離変換処理とは、画像中のオブジェクト
の各画素値を、各画素位置から背景領域への最短距離に
置き換える変換処理である。距離の概念としては、最も
単純な市街地距離（４連結距離）とチェス盤距離（８連
結距離）がよく使われる。ここでは、市街地距離を用い
たアルゴリズムを説明する。

【００７５】Step1. まず、入力画像を二値化した各画
素データをｆ_i,jとし、Ｄ_i,jを初期化変換された多値デ
ータとした場合、次のように初期化変換する。すなわ
ち、画素値が１の頭部領域内の画素は、多値データ∞
（実際には、１００などの大きな値）に置換し、画素値
が０の背景画素は、０に置換する。

【数１】

【００７６】Step2. 初期化した画像を左上から右下に
向かって走査し、次の規則で逐次Ｄ´_i,jを更新する。Ｄ″_i,j＝min（Ｄ′_i,j，Ｄ″_i-1,j＋１，Ｄ″_i,j-1＋１）……式（９）

【００７７】Step3. 先のStep2で得られたＤ″_i,jに対
して、右下から左上に向かって走査し、次の規則で逐次
Ｄ″_i,jを更新する。Ｄ_i,j＝min（Ｄ′_i,j，Ｄ″_i+1,j＋１，Ｄ″_i,j+1＋１）……式（１０）

【００７８】上式（１０）によって得られたＤ_i,jが距
離画像の各画素データとなる。したがって、これら得ら
れた距離画像から、距離値が最大となる画素を求め、こ
の画素を頭部領域の重心とする。

【００７９】距離画像変換の特徴は、領域の形が変化し
ても安定した重心位置を求めることがある。なお、距離
画像変換を用いず、画素の座標値の平均により重心を求
めても良い。

【００８０】部位検出手段１２は、部位領域候補抽出手
段３で抽出された両目、口、鼻についての候補領域の中
から、先のステップＳ６００で求めた頭部領域の重心に
最も近い候補領域を鼻領域とみなす（ステップＳ６１
０）。

【００８１】つぎに、部位検出手段１２は、図１６に示
すように、上記特定した鼻領域から一定の方向と距離に
頭部領域の大きさに比例した大きさの左目マスク３３、
右目マスク３４、口マスク３５を設定する。

【００８２】設定したマスク領域の中からそれぞれ重心
位置に最も近い領域をそれぞれ右目、左目、口領域とす
る（ステップＳ６２０）。

【００８３】次に初期位置設定手段１３において、各部
位領域の中心位置と両目の外側の端点３６ａ、３７ａの
位置を記憶する（ステップＳ６３０）。最後に、右目、
左目および鼻に関する検出領域のうち、右目、左目、口
領域内の画素値を１とし、それ以外を０とした部位領域
マスク画像を各部位について夫々生成し、これらの部位
領域マスク画像を記憶する。（ステップＳ６４０）。こ
の部位領域マスク画像は、トラッキングフェーズでの第
１番目のフレームについての部位追跡処理に用いられ
る。また、部位検出手段１２は、各部位領域（左目、右
目、口）の、中心位置における画像垂直方向（Ｙ方向）
の長さを測定し、これら測定値を初期位置設定手段１３
に記憶する。この記憶された各部位領域（左目、右目、
口）の画像垂直方向（Ｙ方向）の長さは、その後のトラ
ッキングフェーズで、各部位の開閉状態情報を得るため
に利用される。

【００８４】（ｄ）頭部３次元姿勢・表情計測手段５で
の処理次に、図１７〜図１９を用いて頭部３次元姿勢・表情計
測手段５がキャリブレーションフェーズにおいて行う図
２のステップＳ１８０の動作を説明する。図１７は、キ
ャリブレーションフェーズにおける頭部３次元姿勢・表
情計測手段５の動作を説明するためのフローチャートで
ある。

【００８５】アフィン基底設定手段１５は、図１８に示
すように、部位検出追跡手段４で求めた両目の外側の端
点３６ａ，３７ａを結ぶ直線３８を求める（ステップＳ
７００）。次に、左目あるいは右目どちらかの端点を基
準に直線３８が水平になるように画像を回転させる（ス
テップＳ７１０）。そして、口の中心位置を通り、求め
た直線に平行でかつ同じ長さの直線３９を求める（ステ
ップＳ７２０）。この２つの直線３８，３９の両端点、
すなわち４点３６ａ，３７ａ，３６ｂ，３７ｂでできる
矩形の中心座標４０を求める（ステップＳ７３０）。さ
らに、矩形３９の中心４０を基準に、矩形の４頂点の相
対座標を求め、これらを３次元空間上の仮想点として記
憶する（ステップＳ７４０）。

【００８６】この３次元空間上の仮想点は、トラッキン
グフェーズにおける頭部３次元姿勢計測のための基準点
となる。

【００８７】次に、頭部回転量推定手段１６は、図１９
に示すように、両目の端点３６ａ，３７ａを結ぶ直線を
Ｘ軸、口の中心を通りＸ軸に垂直な直線をＹ軸として座
標系を規定し、頭部領域に外接する外接矩形のＸ軸方向
の長さを１としたときに、左目あるいは右目の内側の端
点と外接矩形の左右の辺との距離Ｌａ，Ｌｂを求める
（ステップＳ７５０）。同様に、外接矩形のＹ軸方向の
長さを１としたときに、口の中心位置から外接矩形の上
下の辺までの距離Ｌｃ、Ｌｄを求める（ステップＳ７６
０）。

【００８８】この相対位置がトラッキングフェーズにお
ける頭部の上下左右方向の回転量を予測するための基準
となる。

【００８９】以上がキャリブレーションフェーズにおけ
るリアルタイム表情追跡装置の動作である。

【００９０】［トラッキングフェーズ］次に、図１のリ
アルタイム表情追跡装置のトラッキングフェーズにおけ
る動作を図２０〜図２９を用いて詳細に説明する。

【００９１】（ａ）′頭部領域検出手段２での処理頭部領域検出手段２では、肌色領域抽出手段８と頭部領
域抽出手段９を動作させることで、映像入力手段１を介
して所定のフレームレートで順次入力される現フレーム
の映像に対し、キャリブレーションフェーズ同様の処理
を行い、肌色領域を抽出し、頭部領域を抽出する（図３
ステップＳ２００〜Ｓ２２０）。ただし、このトラッキ
ングフェーズでは、肌色サンプリング手段６による肌色
サンプリングおよび肌色抽出パラメータ調整手段７によ
る肌色パラメータの調整は行わない。

【００９２】（ｂ）′部位領域候補抽出手段３での処理部位領域候補抽出手段３では、キャリブレーションフェ
ーズと同様の処理を実行することにより、現フレームの
映像から部位（目、口、鼻）領域候補を抽出する（図３
ステップＳ２３０）。すなわち、頭部領域検出手段２に
よって抽出された頭部領域に対して適応型ヒストグラム
平均化法を用いて頭部領域のコントラストを一定に保つ
処理を行い、さらに、一定の閾値ｔｈａを用い、頭部領
域内の輝度値が閾値ｔｈａ以下の画素（暗い画素）を
１、それ以外を０とし、さらに、画素値が１の画素を４
連結あるいは８連結で結合して領域分割し、最後に、微
小領域を除去することにより、各部位（両目と口と鼻）
の候補領域を抽出する。

【００９３】（ｃ）′部位検出追跡手段４での処理図２０〜図２３を用いて部位検出追跡手段４のトラッキ
ングフェーズにおける動作を詳細に説明する。図２０お
よび図２１は、トラッキングフェーズにおける部位検出
追跡手段４の動作を説明するためのフローチャートであ
る。

【００９４】部位追跡手段１４では、記憶されている前
フレームについての部位領域の中心座標を中心に、一定
の大きさの矩形領域を設定する。その矩形領域に存在す
る現フレームの候補領域を求める（ステップＳ８２
０）。つぎに、各候補領域に対して次に示すような判別
式（１１）を用いて評価値Ｅを得る。

【数２】

【００９５】ここで、Ｅは評価値、ＳＰは前フレームに
おける部位領域の画素数、ＳＣは現フレームにおける候
補領域の画素数、ＯＰは現フレームにおける候補領域の
マスク画像（候補領域の画素のみが１で、それ以外は０
の画像）と前フレームにおける部位領域のマスク画像
（部位領域の画素のみが１で、それ以外は０の画像）と
の排他的論理和を求めたときに、画素値が１となる画素
数、Ｄは前フレームにおける部位領域の中心と候補領域
の中心との距離である。

【００９６】上記式（１１）で求めた値Ｅが最も小さい
ものを対象領域として選択することにより、前フレーム
の部位領域の位置を基準とした一定範囲内に存在する現
フレームの候補領域の中から対象領域を特定する（ステ
ップＳ８３０）。すなわち、図２２に示すような小さい
ノイズ領域４７が前フレームの部位領域に完全に包含さ
れたとしても、その場合は式（１１）の｜ＳＰ−ＳＣ｜
とＯＰの値が大きくなるため、このようなノイズ領域を
除去できる。

【００９７】このような処理を、左目、右目、口の領域
について夫々実行する（ステップＳ８１０〜Ｓ８４
０）。

【００９８】以上の処理により全ての部位を検出できた
場合は、部位領域マスク画像を、現在のフレームのもの
で更新し、かつ各部位（左目、右目、口）についての検
出領域の中心位置を求め、これを記憶する（ステップＳ
８５０およびＳ８６０）。

【００９９】見つからない部位が存在した場合は（ステ
ップＳ８７０）、現フレームで検出された部位の移動ベ
クトルから、検出できなかった部位の現フレームでの位
置を予測する。例えば、図２３に示すように、現フレー
ムで検出できなかった部位（対象部位）５４が存在した
場合、現フレームで検出された他の部位４８の位置とそ
の部位の前フレームでの位置４９からフレーム間の移動
ベクトル５０を求める。そして、対象部位５４の前フレ
ームにおける位置５１に、他の部位の検出位置から求め
た移動ベクトル５０を加算して、現フレームでの推定位
置を求める（ステップＳ８９０）。そして、求めた位置
を含む所定の矩形領域（例えば１６×１６）５３中の画
素に着目し、この矩形領域中の画素に対し前述したステ
ップＳ８２０およびステップＳ８３０の処理を実行する
ことで、対象部位５４を検出する（ステップＳ９０
０）。

【０１００】矩形領域５３内に全く候補領域が存在しな
い場合は、顔の傾きなどによる隠れが生じているものと
し、ステップＳ８９０で推定した位置を現フレームでの
対象部位の位置とし、矩形領域５３自体をその部位領域
として記憶する（ステップＳ９１０，Ｓ９２０）。

【０１０１】なお、ステップＳ８７０で、現フレームの
部位領域を全く検出できなかった場合は、部位検出手段
１２によって図１５のステップＳ６００〜Ｓ６４０の処
理を再度行い、部位領域を再検出する（ステップＳ８８
０）。

【０１０２】このように、部位を１つ検出できれば、他
の部位を検出漏れしても、検出した部位の移動ベクトル
から検出漏れした部位の現フレームでの位置を予測して
いるので、頑強な部位追跡が行える。さらに、隠れなど
により映像中に対象となる部位が現れない場合でも暫定
的な部位領域を設定することから、隠れた部位が出現し
たときにその部位を即座に追跡可能となり、つまりは、
頭部の各部位の滑らかな動きを再現可能となる。

【０１０３】（ｄ）′頭部３次元姿勢・表情計測手段５
での処理次に、図２４〜図２９を用いて頭部３次元姿勢・表情計
測手段５のトラッキングフェーズにおける動作を詳細に
説明する。図２４および図２７は、トラッキングフェー
ズにおける頭部３次元姿勢・表情計測手段５の動作を説
明するためのフローチャートである。

【０１０４】まず、頭部回転量推定手段１６において
は、図２５に示すように、部位検出追跡手段４で求めら
れた現フレームの両目領域から、両目の外側の端点７
０，７１を求め、これら端点７０，７１を結ぶ直線５５
を求める（ステップＳ１０００）。また、直線５５に直
交し、口の中心位置５９を通る直線５６を求める（ステ
ップＳ１０１０）。求めた直線５５をＸ軸とし、直線５
６をＹ軸とするローカル座標系を設定し、Ｘ軸５５およ
びＹ軸５６のそれぞれに平行な辺を持ち、抽出された頭
部領域に外接する外接矩形５７を求める（ステップＳ１
０２０）。外接矩形５７のＸ軸方向の辺の長さを１と
し、キャリブレーションフェーズで計測した方の目の内
側の端点５８とＹ軸に並行な２辺７２，７３までの相対
距離Ｌａ′，Ｌｂ′を夫々求める（ステップＳ１０３
０）。同様に、外接矩形のＹ軸方向の長さを１とし、口
の中心５９とＸ軸に平行な２辺７４，７５までの相対距
離Ｌｃ′，Ｌｄ′を夫々求める（ステップＳ１０４
０）。

【０１０５】次に、両目の外側の端点７０，７１と、端
点７０，７１を通りＹ軸に平行な直線と口の中心を通り
Ｘ軸に平行な直線との交点（２点）７６，７７とででき
る矩形６０を求める（ステップＳ１０５０）。

【０１０６】ここで、Ｘ軸については右方向を正方向、
Ｙ軸については上方向を正方向としたとき、片目のＸ軸
正方向の相対距離ｄｅｃ（＝Ｌｂ′）と、キャリブレー
ションフェーズで記憶したＸ軸正方向の相対距離ｄｅｉ
（＝Ｌｂ）とから次式（１２）で頭部の左右方向の回転
量を求める。Ｒｆ_E＝ｄｅｃ／ｄｅｉ ……式（１２）

【０１０７】ここで、Ｒｆ_Eは左右方向の回転量、ｄｅ
ｃは現フレームでの目のＸ軸正方向の相対距離、ｄｅｉ
はキャリブレーションフェーズで記憶した目のＸ軸正方
向の相対距離である。

【０１０８】もし、回転量Ｒｆ_Eが１よりも大きい場
合、頭部は左方向に回転していることになる。逆に回転
量Ｒｆ_Eが１よりも小さい場合、頭部は右方向に回転し
ていることになる。

【０１０９】同様に、口のＹ軸正方向の相対距離ｄｍｃ
（＝Ｌｄ′）と、キャリブレーションフェーズで記憶し
たＹ軸正方向の相対距離ｄｍｉ（＝Ｌｄ）とから次式
（１３）で頭部の上下方向の回転量を求める。Ｒｆ_m＝ｄｍｃ／ｄｍｉ ……式（１３）

【０１１０】ここで、Ｒｆ_mは上下方向の回転量、ｄｍ
ｃは現フレームでの口のＹ軸正方向の相対距離、ｄｍｉ
はキャリブレーションフェーズで記憶した口のＹ軸正方
向の相対距離である。

【０１１１】もし、回転量Ｒｆ_mが１よりも大きい場
合、頭部は下方向に回転していることになる。逆に１よ
りも小さい場合、頭部は上方向に回転していることにな
る。

【０１１２】つぎに、式（１２）および式（１３）で求
めた左右上下の回転量Ｒｆ_E，Ｒｆ_mに基づき次のように
して矩形６０を歪ませる（ステップＳ１０６０）。

【０１１３】Ｒｆ_E＞１の場合：矩形の左側の辺（Ｙ軸
に平行な辺でＸ軸の負方向にある辺）の長さを次式（１
４）を用いて短くする。ｌ＝ｗ・Ｒｆ_E・ｏｌ ……式（１４）ｌは計算した長さ、ｏｌは元の長さ、ｗは重み係数であ
る。

【０１１４】Ｒｆ_E＜１の場合：矩形の右側の辺（Ｙ軸
に平行な辺でＸ軸の正方向にある辺）の長さを式（１
４）を用いて短くする。

【０１１５】Ｒｆ_m＞１の場合：矩形の下側の辺（Ｘ軸
に平行な辺でＹ軸の負方向にある辺）の長さを次式（１
５）を用いて短くする。ｌ＝ｗ・Ｒｆ_m・ｏｌ ……式（１５）ｌは計算した長さ、ｏｌは元の長さ、ｗは重み係数であ
る。

【０１１６】Ｒｆ_m＜１の場合：矩形の上側の辺（Ｘ軸
に平行な辺でＹ軸の正方向にある辺）の長さを式（１
５）を用いて短くする。

【０１１７】例えば、図２６（ａ）に示すように、左方
向に頭部を回転した場合、矩形６０は左側の辺が短くな
り、図２６（ｂ）に示すように、上方向に回転した場
合、矩形６０は上側の辺が短くなる。そして、このよう
にして変形した矩形の各頂点座標を変形前の矩形６０の
中心座標を基準にして求める。

【０１１８】つぎに、姿勢計測手段１７は、以上のよう
にして求めた４つの頂点座標（２次元座標）と、それら
に対応するアフィン基底設定手段１５で設定された３次
元空間上の仮想点を基に、頭部の３次元姿勢計測を行
う。ここでは、つぎのような手法を用いて、３次元姿勢
計測を行う。

【０１１９】カメラで撮影された画像と３次元空間上の
オブジェクトとの関係は図２８のようになっている。図
２８において６３は、アフィン基底設定手段１５で設定
した３次元空間上の平面、６４はカメラ画像平面、６５
はカメラ座標系である。

【０１２０】３次元空間上の平面６３の座標系における
点（Ｘ_f，Ｙ_f，Ｚ_f）と、それに対応するカメラ座標系
６５における点（Ｘ_c，Ｙ_c，Ｚ_c）は次式（１６）の関
係がある。

【数３】

【０１２１】式（１６）におけるＲが回転成分を、Ｔが
並進成分を表しており、これが、頭部の３次元姿勢情報
に等しい。

【０１２２】一方、カメラ座標系６５における３次元空
間上の点（Ｘ_c，Ｙ_c，Ｚ_c）とカメラ画像平面６４にお
ける２次元の点（ｄＸ_c，ｄＹ_c）とは、次式（１７）に
示す関係がある。

【数４】

【０１２３】ここで、Ｐを含む行列は使用するビデオカ
メラ８０の透視投影行列であり、周知のカメラキャリブ
レーション技術を用いて予め求めることができる。

【０１２４】さて、頭部回転量推定手段１６で得られた
矩形（カメラ画像平面６４）は、３次元空間上では上下
と左右の辺は平行している。この二組の平行した辺から
矩形の３次元空間上の上下方向と左右方向の方向ベクト
ル（Ｘ軸、Ｙ軸）を求めることができる。

【０１２５】平行する辺のカメラ画像平面６４上におけ
る直線の方程式をａ₁ｘ＋ｂ₁ｙ＋ｃ₁＝０ ……式（１８）ａ₂ｘ＋ｂ₂ｙ＋ｃ₂＝０ ……式（１９）とすると、カメラ座標系６５におけるこれらの各直線を
含む３次元の平面の方程式は次式（２０）（２１）であ
らわすことができる。

【０１２６】ａ₁Ｐ₁₁Ｘ_c＋（ａ₁Ｐ₁₂＋ｂ₁Ｐ₂₂）Ｙ_c ＋（ａ₁Ｐ₁₃＋ｂ₁Ｐ₂₃＋ｃ₁）Ｚ_c＝０ ……式（２０）ａ₂Ｐ₁₁Ｘ_c＋（ａ₂Ｐ₁₂＋ｂ₁Ｐ₂₂）Ｙ_c ＋（ａ₂Ｐ₁₃＋ｂ₂Ｐ₂₃＋ｃ₂）Ｚ_c＝０ ……式（２１）

【０１２７】これら２つの平面の法線ベクトル（Ｘ、
Ｙ、Ｚの係数）の外積を求めると上記方向ベクトル（Ｘ
軸、Ｙ軸）を求めることができる。

【０１２８】以上で、カメラ座標系６５における矩形の
Ｘ軸、Ｙ軸に相当する方向ベクトルを求めることができ
るが、画像から得られる情報の誤差により、得られた方
向ベクトルが図２９に示すように直交していない場合が
ある。そこで、求めた方向ベクトルをＳ１、Ｓ２とした
とき、そのベクトルＳ１、Ｓ２を基に直交ベクトルＶ
１、Ｖ２を求める。Ｚ軸方向のベクトルは、求めたＶ１
とＶ２の外積から求められる。この３つの方向ベクトル
が式（１６）における回転成分Ｒとなる。

【０１２９】回転成分Ｒが分かれば、２次元座標と３次
元座標の対応点を式（１６）と式（１７）に代入するこ
とにより並進成分Ｔを求めることができる。

【０１３０】姿勢計測手段１７では、まず頭部回転量推
定手段１６で求めた矩形の４頂点の座標から式（１８）
に示す各辺の直線パラメータ（方程式）を求め（ステッ
プＳ１１００）、求めた直線パラメータを用いて式（２
０）および式（２１）に基づき、アフィン基底設定手段
１５で設定した仮想３次元平面のＸ軸、Ｙ軸を求める
（ステップＳ１１１０）。そして、前述したように、求
めた軸が直交するように修正し、更にこの修正したＸ
軸、Ｙ軸からＺ軸を求め、これら３軸（Ｘ軸、Ｙ軸、Ｚ
軸）の方向ベクトルから回転行列（回転成分）Ｒを求め
（ステップＳ１１２０）、さらにこの回転成分Ｒを用い
て得られた２次元座標と３次元座標の対応点を式（１
６）（１７）に代入することで、並進行列（並進成分）
Ｔを求める（ステップＳ１１３０）。

【０１３１】以上のようにして求めた投影行列を用い
て、実際に３次元空間上の仮想点をカメラ画像平面に投
影したときの誤差に応じて投影行列を修正し（ステップ
Ｓ１１４０）、誤差が閾値以下になったときの投影行列
を頭部の３次元姿勢情報とし（ステップＳ１１５０）、
この３次元姿勢情報をキャラクタ制御装置９０に出力す
ることで、ＣＧキャラクタの頭部の３次元姿勢を制御す
る。

【０１３２】このように、顔画像から検出する両目およ
び口の３点から３次元空間上の矩形（仮想平面）を規定
し、追跡時に両目および口の３点から作成した矩形を頭
部の動きに応じて歪ませることにより、３次元平面を２
次元に投影したときの歪みを擬似的に再現し、本来４点
以上の３次元と２次元の対応点がなければ求めることが
できない３次元姿勢情報を画像から得られる両目および
口の３点のみで推定するようにしている。

【０１３３】次に開閉状態計測手段１８の動作を説明す
る。開閉状態計測手段１８では、姿勢計測手段１７で求
めた投影行列、すなわち頭部の３次元姿勢情報を用い
て、ユーザが正面を向いたときのカメラ画像における両
目および口領域を再現し、再現した領域の画像垂直方向
（Ｙ方向）の長さと、初期位置設定手段１３に記憶され
ている初期状態における各部位領域の画像垂直方向の長
さとの比率を求める。この比率が、両目および口がどの
程度開閉しているかを示す開閉状態情報となる。

【０１３４】このように３次元姿勢情報を用いてユーザ
が正面を向いたときのカメラ画像における両目および口
領域を推定しているので、例えば頭部が横や上を向いて
いる画像においても正面を向いた場合の画像を推定で
き、２次元画像のみから両目および口の開閉状態をより
正確に求めることができる。

【０１３５】このようにして、求められた頭部の３次元
姿勢情報および両目および口の開閉状態情報は、キャラ
クタ制御装置９０に入力される。キャラクタ制御装置９
０は、入力された頭部の３次元姿勢情報および両目およ
び口の開閉状態情報を用いてＣＧキャラクタの頭部の動
きおよび両目および口の開閉状態を可変制御すること
で、ビデオカメラ８０で撮像した利用者の動き、表情に
追従させてＣＧキャラクタの動き、表情をリアルタイム
に変化させる。

【０１３６】

【発明の効果】以上説明したように、この発明によれ
ば、使用する照明環境下で対象人物（利用者）の肌色を
サンプリングし、このサンプリングデータを用いて肌色
抽出のための肌色抽出パラメータを調整するようにして
いるので、任意の照明環境あるいいは利用者毎の個人差
に適応して利用者の頭部領域を確実に抽出することがで
きる。

【０１３７】つぎの発明によれば肌色領域抽出手段によ
る肌色領域抽出後の２値画像に膨張収縮処理を加えるこ
とで、目、鼻、口以外の微小な領域や裂け目が除去され
た肌色領域を得るようにしているので、頭部領域全体を
一領域として抽出することが可能となり、頭部にかかわ
る全ての画素を高速に抽出することが可能となる。

【０１３８】つぎの発明によれば、膨張収縮処理後の２
値画像と、画素値が全て肌色に対応する論理値レベルで
あるマスク画像との排他的論理和を求め、この排他的論
理和がとられた画像の頭部領域以外を非肌色に対応する
論理値レベルとした画像と前記膨張収縮処理後の２値画
像との論理和を求める簡単な論理演算を用いて頭部領域
を抽出するようにしているので、高速処理が可能とな
り、また計算能力が低いハードウェアを用いてもリアル
タイムかつ頑強な処理が可能である。

【０１３９】つぎの発明によれば、抽出された頭部領域
の輝度を平均化・正規化し、該輝度平均化・正規化され
た画像を用いて頭部領域中の両目および口の候補領域を
抽出するようにしているので、グラデーションや影、ハ
イライトなどの影響を抑えて輝度変化に影響されること
なく候補領域の抽出が実現でき、また両目や口の部位領
域の抽出を固定の閾値処理で行えることから、高速処理
が可能となり、計算能力が低いハードウェアを用いても
リアルタイムかつ頑強な処理が可能である。

【０１４０】つぎの発明によれば、頭部領域を複数の小
領域に分割し、各小領域毎にヒストグラム平均化処理を
行うようにしているので、グラデーションや影、ハイラ
イトなどを影響を抑えて輝度変化に影響されることなく
候補領域の抽出が実現でき、また両目や口の部位領域の
抽出を固定の閾値処理で行えることから、高速処理が可
能となり、計算能力が低いハードウェアを用いてもリア
ルタイムかつ頑強な処理が可能である。

【０１４１】つぎの発明によれば、ヒストグラム平均化
処理では、所定の閾値を越えた頻度をもつ画素値の頻度
を他の画素値に分散させるようにしているので、ノイズ
の発生を抑えることができる。

【０１４２】つぎの発明によれば、部位検出手段によっ
て両目および口の領域が特定できない場合には、現フレ
ームで特定された部位領域の位置と、この特定された部
位領域の前フレームでの位置とを用いて移動ベクトルを
求め、この移動ベクトルを用いて特定できなかった部位
の位置を特定しているので、部位を１つ検出できれば、
例え他の部位を検出漏れしても、この検出漏れした部位
を検出することができ、これにより頑強な部位追跡が行
える。さらに、隠れなどにより映像中に対象となる部位
が現れない場合でも暫定的な部位領域を設定するように
すれば、隠れた部位が出現したときにその部位を即座に
追跡可能となり、頭部の滑らかな動きを再現可能とな
る。

【０１４３】つぎの発明によれば、前フレームについて
の部位領域の中心座標を中心に一定の大きさの矩形領域
を設定し、その矩形領域中に存在する現フレーム候補領
域を求め、求めた候補領域夫々について、判別式Ｅ＝｜
ＳＰ−ＳＣ｜＋ＯＰ＋Ｄを用いて評価値Ｅを夫々取得
し、評価値Ｅが最も小さな候補領域を各部位領域として
特定するようにしているので、簡単な演算処理で各部位
を特定することができ、高速処理が可能となり、計算能
力が低いハードウェアを用いてもリアルタイムかつ頑強
な処理が可能である。

【０１４４】つぎの発明によれば、最初に検出した両目
および口の位置から３次元空間上の仮想平面を設定し、
検出した両目および口位置から頭部の左右および上下方
向の回転量を推定し、前記検出した両目および口位置か
ら得た４点の座標を結ぶ矩形を前記推定した頭部の左右
および上下方向の回転量を用いて歪ませることで３次元
平面を２次元に投影したときの歪みを擬似的に再現し、
該歪ませた矩形の４点の座標を用いて頭部の３次元姿勢
を推測しているので、本来４点以上の３次元と２次元の
対応点がなければ求めることができない３次元姿勢情報
を画像から得られる３点から推定することができ、これ
により高速処理が可能となり、計算能力が低いハードウ
ェアを用いてもリアルタイムかつ頑強な処理が可能であ
る。

【０１４５】つぎの発明によれば、両目領域を結ぶ直線
をＸ軸とし、Ｘ軸に垂直で口領域の中心位置を通る直線
をＹ軸とした頭部のローカル座標系を設定し、このロー
カル座標系において求めた頭部領域の外接矩形の左右の
辺と片目との相対距離と、外接矩形の上下の辺と口領域
との相対距離から頭部の左右、上下方向の回転量をそれ
ぞれ推定するようにしているので、比較的簡単な処理に
よって頭部の回転量を判定することができる。

【０１４６】つぎの発明によれば、推定した頭部の３次
元姿勢情報を用いて対象人物が正面を向いたときの両目
および口領域を再現することに基づき両目および口の開
閉状態を計測するようにしているので、例えば頭部が横
や上を向いている画像においても頭部が正面を向いた場
合の画像を推定でき、２次元画像のみから両目および口
の開閉状態をより正確に求めることができる。

【図面の簡単な説明】

【図１】この発明にかかるリアルタイム表情追跡装置
の実施の形態を示すブロック図である。

【図２】図１のリアルタイム表情追跡装置のキャリブ
レーションフェーズの動作の概要を説明するためのフロ
ーチャートである。

【図３】図１のリアルタイム表情追跡装置のトラッキ
ングフェーズの動作の概要を説明するためのフローチャ
ートである。

【図４】肌色サンプリングを説明するための図であ
る。

【図５】肌色サンプリング手段および肌色抽出パラメ
ータ調整手段の動作を説明するためのフローチャートで
ある。

【図６】肌色領域抽出手段と頭部領域抽出手段９の動
作を説明するためのフローチャートである。

【図７】肌色領域抽出手段で肌色領域を抽出した結果
の一例を示した図である。

【図８】膨張マスクおよび収縮マスクを例示する図で
ある。

【図９】検出した頭部領域に発生した裂け目を埋める
処理を説明するための図である。

【図１０】頭部領域内の全ての穴を埋める論理演算処
理を説明するための図である。

【図１１】部位領域候補抽出手段の動作を説明するた
めのフローチャートである。

【図１２】適応型ヒストグラム平均化法の欠点である
ノイズ発生を抑える処理を説明するための図である。

【図１３】適応型ヒストグラム平均化法を説明するた
めの図である。

【図１４】適応型ヒストグラム平均化法を説明するた
めの図である。

【図１５】キャリブレーションフェーズにおける部位
検出追跡手段の動作を説明するためのフローチャートで
ある。

【図１６】部位検出手段において両目および口領域を
特定する際に用いるマスク領域を示した図である。

【図１７】キャリブレーションフェーズにおける頭部
３次元姿勢・表情計測手段５動作を説明するためのフロ
ーチャートである。

【図１８】アフィン基底設定手段で設定する３次元空
間上の仮想点を示した図である。

【図１９】頭部移動量推定手段で求める両目の端点お
よび口の中心点の頭部領域の外接矩形に対する相対位置
を説明するための図である。

【図２０】トラッキングフェーズにおける部位検出追
跡手段の動作を説明するためのフローチャートである
（その１）。

【図２１】トラッキングフェーズにおける部位検出追
跡手段の動作を説明するためのフローチャートである
（その２）。

【図２２】部位追跡手段での現フレームにおける部位
領域の追跡方法を説明するための図である。

【図２３】検出できなかった部位領域を検出できた部
位領域の位置から予測する処理を説明するための図であ
る。

【図２４】トラッキングフェーズにおける頭部３次元
姿勢・表情計測手段の動作を説明するためのフローチャ
ートである。

【図２５】頭部回転量推定手段での左右上下方向の頭
部回転量を推定する処理を説明するための図である。

【図２６】頭部回転量推定手段において３次元空間上
の仮想点（アフィン基底）に対応する対応点を求める処
理を説明するための図である。

【図２７】トラッキングフェーズにおける頭部３次元
姿勢・表情計測手段の動作を説明するためのフローチャ
ートである。

【図２８】姿勢計測手段での３次元と２次元の対応点
から頭部の３次元姿勢情報を求める処理を説明するため
の図である。

【図２９】姿勢情報を求める際の誤差を補正する処理
を説明するための図である。

【図３０】従来技術を示す図である。

【符号の説明】

１映像入力手段、２頭部領域検出手段、３部位領
域候補抽出手段、４部位検出追跡手段、５３次元姿勢
・表情計測手段、６肌色サンプリング手段、７肌色
抽出パラメータ調整手段、８肌色領域抽出手段、９
頭部領域抽出手段、１０頭部領域輝度平均化手段、１
１画素選別手段、１２部位検出手段、１３初期位
置設定手段、１４部位追跡手段、１５アフィン基底
設定手段、１６頭部回転量推定手段、１７姿勢計測
手段、１８開閉状態計測手段、２０サンプリングウ
ィンドウ、２２膨張マスク、２３収縮マスク、３３
左目マスク、３４右目マスク、３５口マスク、５０
移動ベクトル、５３矩形領域、５７外接矩形、６４
カメラ画像平面、８０ビデオカメラ、９０キャラク
タ制御装置。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年１０月２５日（２００２．１０．
２５）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】発明の名称

【補正方法】変更

【補正内容】

【発明の名称】頭部領域抽出装置およびリアルタイム
表情追跡装置

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正内容】

【０００１】

【発明の属する技術分野】本発明は、人物を撮像した映
像から人物の頭部領域を抽出する頭部領域抽出装置に関
する。また、本発明は、本人の顔を送信する代わりにＣ
Ｇキャラクタの映像を相手に送信することによって人物
映像を互いに通信するテレビ電話など通信システムに適
用され、特にカメラによって撮像された顔の映像から頭
部の３次元的な姿勢情報と顔の表情を計測し、この計測
結果に基づいてＣＧキャラクタの動きを制御する代理応
答によるリアルタイム表情追跡装置に関するものであ
る。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正内容】

【０００９】この発明は上記に鑑みてなされたもので、
任意の照明条件で撮影された、不特定人物の顔画像か
ら、簡易な演算によって計算能力が低いハードウェアで
も実時間で、頭部領域を正確に抽出し得る頭部領域抽出
装置を得ることを目的としている。また、この発明は、
簡易な演算によって頭部領域を抽出し、頭部の３次元的
な動きを計測し、かつ両目および口の開閉状態を計測
し、その結果を用いてＣＧキャラクタの頭部の動きおよ
び表情を制御するリアルタイム表情追跡装置を得ること
を目的としている。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】

【課題を解決するための手段】上記目的を達成するため
この発明にかかる頭部領域抽出装置は、人物を撮像した
映像から人物の頭部領域を抽出する頭部領域抽出装置に
おいて、対象人物を撮像した画像の各画素データをＲ，
Ｇ，Ｂ成分毎に下式ｃ１＝arctan（Ｒ／max（Ｇ，Ｂ））ｃ２＝arctan（Ｇ／max（Ｒ，Ｂ））ｃ３＝arctan（Ｂ／max（Ｒ，Ｇ））に従って正規化して正規化データｃ１，ｃ２，ｃ３を取
得する正規化手段と、正規化データｃ１，ｃ２，ｃ３を
含む各画素データを次式Ｃ１＝ｃ２／ｃ１Ｃ２＝ｃ３／ｃ２に従ってＣ１−Ｃ２空間のデータを含む画素データに夫
々変換するデータ変換手段と、変換した画素データのＣ
１データおよびＣ２データが下式ｔｈ１＜Ｃ１＜ｔｈ２ｔｈ１，ｔｈ２；肌色抽出
パラメータｔｈ３＜Ｃ２＜ｔｈ４ｔｈ３，ｔｈ４；肌色抽出
パラメータを満足すると、この画素データを肌色画素として判断す
ることにより、撮像した画像から頭部領域を抽出する頭
部領域抽出手段とを備えたことを特徴とする。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】つぎの発明にかかる頭部領域抽出装置は、
上記の発明において、当該対象人物を撮像するときと同
じ照明環境下で、対象人物の顔の一部の所定の領域の画
像をサンプリングする肌色サンプリング手段と、該肌色
サンプリング手段によってサンプリングした所定の領域
の画像の各画素データを前記正規化手段を用いて正規化
した後、前記データ変換手段を用いてＣ１−Ｃ２空間の
画素データに変換し、該変換した前記所定の領域の複数
の画素データを用いてＣ１データについての最大値およ
び最小値とＣ２データについての最大値および最小値を
求め、これらの最大値および最小値で前記肌色抽出パラ
メータｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４を補正する
肌色抽出パラメータ調整手段とをさらに備えることを特
徴とする。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】つぎの発明にかかる頭部領域抽出は、上記
の発明において、前記頭部領域抽出手段は、肌色領域抽
出結果から最大領域を抽出することにより頭部領域を抽
出することを特徴とする。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正内容】

【００１３】つぎの発明にかかる頭部領域抽出は、上記
の発明において、前記頭部領域抽出手段は、頭部領域抽
出後の２値画像に膨張収縮処理を加えることを特徴とす
る。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正内容】

【００１４】つぎの発明にかかる頭部領域抽出装置は、
上記の発明において、前記頭部領域抽出手段は、前記膨
張収縮処理後の２値画像と、画素値が全て肌色に対応す
る論理値レベルであるマスク画像との排他的論理和を求
め、この排他的論理和がとられた画像の頭部領域以外を
非肌色に対応する論理値レベルとした画像と前記膨張収
縮処理後の２値画像との論理和を求めることで、頭部領
域全体を抽出することを特徴とする。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】つぎの発明にかかるリアルタイム表情追跡
装置は、順次所定のフレームレートで入力される映像を
キャプチャする映像入力手段と、前記キャプチャした画
像から頭部画像を抽出する頭部領域抽出手段と、前記抽
出した頭部領域から両目および口を含む各部位の候補領
域を抽出する部位領域候補抽出手段と、抽出した候補領
域の中から各部位の位置を検出する部位検出追跡手段
と、前記検出した両目、口の検出位置に基づいて頭部の
３次元姿勢を計測するとともに、両目および口の開閉状
態を計測する頭部３次元姿勢・表情計測手段とを備え、
前記計測した頭部の３次元姿勢および両目および口の開
閉状態に基づいてＣＧキャラクタの動きを制御するリア
ルタイム表情追跡装置であって、前記頭部領域抽出手段
は、対象人物を撮像した画像の各画素データをＲ，Ｇ，
Ｂ成分毎に下式ｃ１＝arctan（Ｒ／max（Ｇ，Ｂ））ｃ２＝arctan（Ｇ／max（Ｒ，Ｂ））ｃ３＝arctan（Ｂ／max（Ｒ，Ｇ））に従って正規化して正規化データｃ１，ｃ２，ｃ３を取
得する正規化手段と、正規化データｃ１，ｃ２，ｃ３を
含む各画素データを次式Ｃ１＝ｃ２／ｃ１Ｃ２＝ｃ３／ｃ２に従ってＣ１−Ｃ２空間のデータを含む画素データに夫
々変換するデータ変換手段と、変換した画素データが下
式ｔｈ１＜Ｃ１＜ｔｈ２ｔｈ１，ｔｈ２；肌色抽出
パラメータｔｈ３＜Ｃ２＜ｔｈ４ｔｈ３，ｔｈ４；肌色抽出
パラメータを満足すると、この画素データを肌色画素として判断す
ることにより、撮像した画像から肌色領域を抽出する肌
色領域抽出手段とを備えたことを特徴とする。

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００１６

【補正方法】変更

【補正内容】

【００１６】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、当該対象人物を撮像する
ときと同じ照明環境下で、対象人物の顔の一部の所定の
領域の画像をサンプリングする肌色サンプリング手段
と、該肌色サンプリング手段によってサンプリングした
所定の領域の画像の各画素データを前記正規化手段を用
いて正規化した後、前記データ変換手段を用いてＣ１−
Ｃ２空間の画素データに変換し、該変換した前記所定の
領域の複数の画素データを用いてＣ１データについての
最大値および最小値とＣ２データについての最大値およ
び最小値を求め、これらの最大値および最小値で前記肌
色抽出パラメータｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４
を補正する肌色抽出パラメータ調整手段とをさらに備え
ることを特徴とする。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正内容】

【００１７】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部領域抽出手段
は、前記肌色領域抽出手段による肌色領域抽出結果から
最大領域を抽出することにより頭部領域を抽出すること
を特徴とする。

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正内容】

【００１８】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部領域抽出手段
は、前記肌色領域抽出手段による肌色領域抽出後の２値
画像に膨張収縮処理を加えることを特徴とする。

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】００１９

【補正方法】変更

【補正内容】

【００１９】つぎの発明にかかるリアルタイム表情追跡
装置は、上記の発明において、前記頭部領域抽出手段
は、前記膨張収縮処理後の２値画像と、画素値が全て肌
色に対応する論理値レベルであるマスク画像との排他的
論理和を求め、この排他的論理和がとられた画像の頭部
領域以外を非肌色に対応する論理値レベルとした画像と
前記膨張収縮処理後の２値画像との論理和を求めること
で、頭部領域全体を抽出することを特徴とする。

【手続補正１５】

【補正対象書類名】明細書

【補正対象項目名】００２０

【補正方法】削除

【手続補正１６】

【補正対象書類名】明細書

【補正対象項目名】００２１

【補正方法】削除

【手続補正１７】

【補正対象書類名】明細書

【補正対象項目名】００２２

【補正方法】削除

【手続補正１８】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】削除

【手続補正１９】

【補正対象書類名】明細書

【補正対象項目名】００２４

【補正方法】削除

【手続補正２０】

【補正対象書類名】明細書

【補正対象項目名】００２５

【補正方法】削除

【手続補正２１】

【補正対象書類名】明細書

【補正対象項目名】００２６

【補正方法】削除

【手続補正２２】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】削除

【手続補正２３】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】削除

【手続補正２４】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】削除

【手続補正２５】

【補正対象書類名】明細書

【補正対象項目名】００３０

【補正方法】削除

【手続補正２６】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】削除

【手続補正２７】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】

【発明の実施の形態】以下に添付図面を参照して、この
発明にかかる頭部領域抽出装置およびリアルタイム表情
追跡装置の好適な実施の形態を詳細に説明する。このリ
アルタイム表情追跡装置は、本人の顔を送信する代わり
にＣＧキャラクタの映像を相手に送信することによって
人物映像を互いに通信するテレビ電話など通信システム
に適用される。

【手続補正２８】

【補正対象書類名】明細書

【補正対象項目名】０１３６

【補正方法】変更

【補正内容】

【０１３６】

【発明の効果】以上説明したように、この発明によれ
ば、対象人物を撮像した画像の各画素データをＲ，Ｇ，
Ｂ成分毎に正規化した後、Ｃ１−Ｃ２空間のデータを含
む画素データに変換し、これら変換した画素データのＣ
１データおよびＣ２データが所定の肌色抽出パラメータ
の範囲内に入ると、画素データを肌色画素として判断す
ることにより撮像した画像から頭部領域を抽出するよう
にしているので、簡易な演算によって肌色成分を極めて
正確に抽出することができる。したがって、対象人物の
動きに合わせてＣＧキャラクタの頭部の動きおよび表情
を正確に制御することができる。また、使用する照明環
境下で対象人物（利用者）の肌色をサンプリングし、こ
のサンプリングデータを用いて肌色抽出のための肌色抽
出パラメータを調整するようにしているので、任意の照
明環境あるいいは利用者毎の個人差に適応して利用者の
頭部領域を正確に抽出することができる。

【手続補正２９】

【補正対象書類名】明細書

【補正対象項目名】０１３７

【補正方法】削除

【手続補正３０】

【補正対象書類名】明細書

【補正対象項目名】０１３８

【補正方法】削除

【手続補正３１】

【補正対象書類名】明細書

【補正対象項目名】０１３９

【補正方法】削除

【手続補正３２】

【補正対象書類名】明細書

【補正対象項目名】０１４０

【補正方法】削除

【手続補正３３】

【補正対象書類名】明細書

【補正対象項目名】０１４１

【補正方法】削除

【手続補正３４】

【補正対象書類名】明細書

【補正対象項目名】０１４２

【補正方法】削除

【手続補正３５】

【補正対象書類名】明細書

【補正対象項目名】０１４３

【補正方法】削除

【手続補正３６】

【補正対象書類名】明細書

【補正対象項目名】０１４４

【補正方法】削除

【手続補正３７】

【補正対象書類名】明細書

【補正対象項目名】０１４５

【補正方法】削除

【手続補正３８】

【補正対象書類名】明細書

【補正対象項目名】０１４６

【補正方法】削除

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 BA02 CA01 CA12 CA16 CE16 DA07 DB02 DB06 DC08 DC09 DC25 DC36 5C064 AA01 AC02 AC22 5L096 AA02 CA02 EA02 FA15 FA69 HA05 JA11

Claims

【特許請求の範囲】

【請求項１】順次所定のフレームレートで入力される
映像をキャプチャする映像入力手段と、前記キャプチャした画像から頭部画像を抽出する頭部領
域検出手段と、前記抽出した頭部領域から両目および口を含む各部位の
候補領域を抽出する部位領域候補抽出手段と、抽出した候補領域の中から各部位の位置を検出する部位
検出追跡手段と、前記検出した両目、口の検出位置に基づいて頭部の３次
元姿勢を計測するとともに、両目および口の開閉状態を
計測する頭部３次元姿勢・表情計測手段とを備え、前記
計測した頭部の３次元姿勢および両目および口の開閉状
態に基づいてＣＧキャラクタの動きを制御するリアルタ
イム表情追跡装置であって、前記頭部領域抽出手段は、現照明環境下での対象人物の顔の一部の画像をサンプリ
ングする肌色サンプリング手段と、この肌色サンプリング手段のサンプリングデータに基づ
き、肌色抽出のための肌色抽出パラメータを調整する肌
色抽出パラメータ調整手段と、この肌色抽出パラメータ調整手段によって調整された肌
色抽出パラメータを用いてキャプチャ映像から肌色領域
を抽出する肌色領域抽出手段と、肌色領域抽出結果から最大領域を抽出することにより頭
部領域を抽出する頭部領域抽出手段と、を備えたことを特徴とするリアルタイム表情追跡装置。
【請求項２】前記頭部領域抽出手段は、肌色領域抽出
手段による肌色領域抽出後の２値画像に膨張収縮処理を
加えることを特徴とする請求項１に記載のリアルタイム
表情追跡装置。
【請求項３】前記頭部領域抽出手段は、前記膨張収縮
処理後の２値画像と、画素値が全て肌色に対応する論理
値レベルであるマスク画像との排他的論理和を求め、こ
の排他的論理和がとられた画像の頭部領域以外を非肌色
に対応する論理値レベルとした画像と前記膨張収縮処理
後の２値画像との論理和を求めることで、頭部領域全体
を抽出することを特徴とする請求項２に記載のリアルタ
イム表情追跡装置。
【請求項４】順次所定のフレームレートで入力される
映像をキャプチャする映像入力手段と、前記キャプチャした画像から頭部画像を抽出する頭部領
域検出手段と、前記抽出した頭部領域から両目および口を含む各部位の
候補領域を抽出する部位領域候補抽出手段と、抽出した候補領域の中から各部位の位置を検出する部位
検出追跡手段と、前記検出した両目、口の検出位置に基づいて頭部の３次
元姿勢を計測するとともに、両目および口の開閉状態を
計測する頭部３次元姿勢・表情計測手段とを備え、前記
計測した頭部の３次元姿勢および両目および口の開閉状
態に基づいてＣＧキャラクタの動きを制御するリアルタ
イム表情追跡装置であって、前記部位領域候補抽出手段は、前記頭部領域検出手段によって抽出された頭部領域の輝
度を平均化・正規化する頭部領域輝度平均化手段と、この輝度平均化・正規化後の画像を用いて頭部領域中の
両目および口の候補領域を抽出する画素選別手段と、を備えることを特徴とするリアルタイム表情追跡装置。
【請求項５】前記頭部領域輝度平均化手段は、頭部領
域を複数の小領域に分割し、各小領域毎にヒストグラム
平均化処理を行うことを特徴とする請求項４に記載のリ
アルタイム表情追跡装置。
【請求項６】前記ヒストグラム平均化処理では、所定
の閾値を越えた頻度をもつ画素値の頻度を他の画素値に
分散させる処理を加えることを特徴とする請求項５に記
載のリアルタイム表情追跡装置。
【請求項７】順次所定のフレームレートで入力される
映像をキャプチャする映像入力手段と、前記キャプチャした画像から頭部画像を抽出する頭部領
域検出手段と、前記抽出した頭部領域から両目および口を含む各部位の
候補領域を抽出する部位領域候補抽出手段と、抽出した候補領域の中から各部位の位置を検出する部位
検出追跡手段と、前記検出した両目、口の検出位置に基づいて頭部の３次
元姿勢を計測するとともに、両目および口の開閉状態を
計測する頭部３次元姿勢・表情計測手段とを備え、前記
計測した頭部の３次元姿勢および両目および口の開閉状
態に基づいてＣＧキャラクタの動きを制御するリアルタ
イム表情追跡装置であって、前記部位検出追跡手段は、前記部位領域候補抽出手段によって検出された両目、口
の候補領域から両目および口の領域を夫々特定する部位
検出手段と、前記部位検出手段によって、両目および口の領域が特定
できない場合に、現フレームで特定された部位領域の位
置と、この特定された部位領域の前フレームでの位置と
を用いて移動ベクトルを求め、この移動ベクトルを用い
て前記特定できなかった部位の位置を特定する部位追跡
手段と、を備えることを特徴とするリアルタイム表情追跡装置。
【請求項８】前記部位検出手段は、前フレームについ
ての部位領域の中心座標を中心に一定の大きさの矩形領
域を設定し、その矩形領域中に存在する現フレーム候補
領域を求め、求めた候補領域夫々について、判別式Ｅ＝
｜ＳＰ−ＳＣ｜＋ＯＰ＋Ｄを用いて評価値Ｅを夫々取得
し、ＳＰ：前フレームおける部位領域の画素数、ＳＣ：現フレームにおける候補領域の画素数、ＯＰ：現フレームにおける候補領域のみを非肌色に対応
する論理値レベルとした部位領域マスク画像と、前フレ
ームにおける部位領域のみを非肌色に対応する論理値レ
ベルとした部位領域マスク画像との排他的論理和を求め
たときに、画素値が非肌色に対応する論理値レベルとな
る画素数、Ｄ：前フレームにおける部位領域の中心と候補領域の中
心との距離、評価値Ｅが最も小さな候補領域を各部位領
域として特定することを特徴とする請求項７に記載のリ
アルタイム表情追跡装置。
【請求項９】順次所定のフレームレートで入力される
映像をキャプチャする映像入力手段と、前記キャプチャした画像から頭部画像を抽出する頭部領
域検出手段と、前記抽出した頭部領域から両目および口を含む各部位の
候補領域を抽出する部位領域候補抽出手段と、抽出した候補領域の中から各部位の位置を検出する部位
検出追跡手段と、前記検出した両目、口の検出位置に基づいて頭部の３次
元姿勢を計測するとともに、両目および口の開閉状態を
計測する頭部３次元姿勢・表情計測手段とを備え、前記
計測した頭部の３次元姿勢および両目および口の開閉状
態に基づいてＣＧキャラクタの動きを制御するリアルタ
イム表情追跡装置であって、前記頭部３次元姿勢・表情計測手段は、最初に検出した両目および口の位置から３次元空間上の
仮想平面を設定するアフィン基底設定手段と、前記検出した両目および口位置から頭部の左右および上
下方向の回転量を推定する頭部回転量推定手段と、前記検出した両目および口位置から得た４点の座標を結
ぶ矩形を前記推定した頭部の左右および上下方向の回転
量を用いて歪ませ、該歪ませた矩形の４点の座標を用い
て頭部の３次元姿勢を推測する姿勢計測手段と、頭部の動きに応じて両目および口の開閉状態を推測する
開閉状態計測手段と、を備えることを特徴とするリアルタイム表情追跡装置。
【請求項１０】前記頭部回転量推定手段は、両目領域
を結ぶ直線をＸ軸とし、Ｘ軸に垂直で口領域の中心位置
を通る直線をＹ軸とした頭部のローカル座標系を設定
し、このローカル座標系において求めた頭部領域の外接
矩形の左右の辺と片目との相対距離と、外接矩形の上下
の辺と口領域との相対距離から頭部の左右、上下方向の
回転量をそれぞれ推定することを特徴とする請求項９に
記載のリアルタイム表情追跡装置。
【請求項１１】前記開閉状態計測手段は、前記姿勢計
測手段によって推定した頭部の３次元姿勢情報を用いて
対象人物が正面を向いたときの両目および口領域を再現
することに基づき両目および口の開閉状態を計測するこ
とを特徴とする請求項９または１０に記載のリアルタイ
ム表情追跡装置。