JP2011090702A5

JP2011090702A5 -

Info

Publication number: JP2011090702A5
Application number: JP2010277181A
Authority: JP
Filing date: 2010-12-13
Publication date: 2011-11-10
Anticipated expiration: 2027-07-17

Claims

視線推定の対象となる人間の顔領域を含む対象画像領域内の各画素に対応する画像を、時間軸で連続する複数の画像フレームとして撮影して獲得するための単眼の撮像手段と、
前記撮像手段により撮影された前記複数の画像フレームに基づき、前記顔領域内の複数の特徴点を抽出する特徴点抽出手段と、
前記複数の画像フレームのうち前記対象となる人間についての視線の推定を行う推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記人間の眼球中心の３次元の位置である眼球中心位置を、前記推定処理の対象の画像フレームにおける推定初期位置として使用するために事前に特定する推定初期位置特定手段とを備え、
前記推定初期位置特定手段は、前記推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記対象となる人間の顔３次元モデルに基づいて、前記抽出された特徴点間の相対的な３次元の位置関係を特定し、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、前記相対的な３次元の位置関係において前記推定初期位置を特定し、
前記推定処理の対象の画像フレームにおいて、予め特定された前記相対的な３次元の位置関係を用いて、前記推定初期位置に基づき、前記眼球中心位置の推定処理を実行する眼球中心推定手段と、
前記推定処理の対象の前記画像フレームの画像領域内において、虹彩の領域と前記虹彩の形状のモデルとを照合することで、虹彩中心が前記画像に投影される虹彩中心位置を抽出する虹彩中心抽出手段と、
前記推定処理の対象の前記画像フレームの画像において抽出された前記虹彩中心位置と前記眼球中心の位置とに基づき、前記眼球中心と前記虹彩中心とを結ぶ３次元直線の方向として、視線方向を推定する視線推定手段とをさらに備える、視線方向の推定装置。
前記推定初期位置特定手段は、
前記視線推定の対象となる人間が、前記撮像手段を注視していない状態の画像フレームに基づき、前記顔３次元モデルを生成する顔モデル生成手段を含み、
前記顔モデル生成手段は、前記特徴点抽出手段により抽出された眼球中心以外の特徴点間の相対的な位置関係を特定し、複数の画像フレームの各々における虹彩中心位置と前記撮像手段の姿勢情報とから、正規化された顔座標における眼球中心位置の初期位置を特定して、校正用画像の目の周辺領域から、虹彩、白目、肌領域を判別して、眼球中心位置、虹彩位置、眼球半径、虹彩半径が、判別結果にフィットするように特定することで、前記顔３次元モデルを生成する、請求項１記載の視線方向の推定装置。
前記虹彩中心抽出手段は、
前記特徴点抽出手段により特定された前記特徴点に対して、校正時に特定されている眼球３次元モデルに基づき、前記特徴点から求まる射影行列により、前記眼球中心位置の画像への投影位置を求め、前記眼球３次元モデルにより、前記虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように虹彩中心位置を特定し、
前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する、請求項２記載の視線方向の推定装置。
前記推定初期位置特定手段は、
前記視線推定の対象となる人間以外の複数の被験者について、事前に、前記顔３次元モデルの生成を行い、予め複数の前記被験者について求めた平均値として、顔座標における眼球中心位置の初期位置を特定する、請求項１記載の視線方向の推定装置。
前記虹彩中心抽出手段は、
前記特徴点抽出手段により特定された前記特徴点に対して、上記初期位置を始めとして、現在のフレームよりも、前のフレームまでの非線形最適化処理により、各フレームごとに、眼球３次元モデルにより、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、虹彩中心位置および眼球中心位置を特定し、
前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する、請求項４記載の視線方向の推定装置。
前記推定初期位置特定手段は、
前記特徴点抽出手段により抽出された複数の前記特徴点について、前記顔領域内での前記複数の特徴点の間の相対的な３次元の位置関係を特定する相対関係特定手段を含み、
前記相対関係特定手段は、
複数の較正用画像内の前記複数の特徴点の投影位置を抽出し、前記複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、
前記計測行列を因子分解により、前記撮像手段の姿勢に関する情報を要素とする撮影姿勢行列と、前記複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む、請求項１記載の視線方向の推定装置。
前記眼球中心推定手段は、
撮影された画像フレーム内において観測された前記特徴点と前記較正用画像における特徴点との対応付けを行なう特徴点特定手段と、
前記撮影された画像フレーム内において観測された前記特徴点についての前記相対位置関係行列の部分行列と、前記観測された特徴点とから前記眼球中心の投影位置を推定する、請求項６記載の視線方向の推定装置。