JP2003256852A

JP2003256852A - 注視判定方法

Info

Publication number: JP2003256852A
Application number: JP2002052583A
Authority: JP
Inventors: Tetsuo Miyake; 哲夫三宅
Original assignee: Individual
Current assignee: Individual
Priority date: 2002-02-28
Filing date: 2002-02-28
Publication date: 2003-09-12

Abstract

(57)【要約】【課題】人物がビデオカメラのレンズを注視しているか
否かの注視判定において、ハードウエアに依る方法では
身体的な制約が多く、安全性にも問題があった。またソ
フトウエアに依る方法では複雑な計算を必要とし判定精
度も十分ではなかった。【解決手段】対象人物の顔画像から取得した左右の黒目
間の中点と左右の目尻あるいは目尻に替わるマーク間の
中点との相対距離を求める。カメラに正対しカメラレン
ズを見ている状態の顔画像から得られる相対距離と、任
意の状態の顔画像から得られる相対距離との差を基にし
て当該人物の注視判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ビデオカメラで
取得した人物の顔画像を基に、当該人物がそのビデオカ
メラのレンズを見ているか否かを判定する方法に関す
る。

【０００２】

【従来の技術】従来の注視判定方法は、主としてハード
ウエアによる方法とソフトウエアによる方法に大別され
る。前者の方法としては、数十ｃｍから１ｍ程度の距離
から人物に近赤外線を照射し、角膜で反射される近赤外
線の反射像を画像処理することで注視判定を行う方法
や、目の近傍に取り付けたフォトセンサを用いて黒目と
白目の境の移動状態を検出し、それにより得た眼球の移
動量をもとに視線方向を推定する方法などが知られてい
る。後者の方法としては、画像を基にして対象人物の頭
部の空間における方向と、頭部に対する視線の相対方向
を求め、これらから空間における視線方向を定める方法
が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら従来のハ
ードウエア主体の方法では、頭部を固定していなければ
ならないとか、眼球に近赤外線を照射する必要があると
か、特別な装置を頭部に装着しなければならないなど、
利用者にとって好ましいものではなかった。一方、画像
情報を利用するソフトウエア主体の方法では、視線の方
向は、頭部自体の空間における方向と頭部に対する眼球
の方向の和から求めるため、計算に多大な時間を要し、
その割には高精度な視線方向の推定を行うことはできな
かった。この発明はハードウエアとして特別な装置を用
いず、また複雑な計算を行わずに、一枚の画像のみを用
いて注視判定を高精度で実現することを課題とする。

【０００４】

【課題を解決するための手段】以上の課題を解決するた
めに、請求項１の発明は、顔画像から取得した左右の黒
目と左右の目尻の相対位置を利用して、頭部の向きを考
慮することなしに注視判定を行う事を特徴とする注視判
定方法である。請求項２の発明は、画像処理において目
尻よりも位置を特定し易いと同時に、注視判定精度の向
上が図れる位置にマークを設けて注視判定を行うことを
特徴とする請求項１記載の注視判定方法である。請求項
３の発明は、マークを貼付することの違和感を取り除く
ために眼鏡のつるなどを利用してマークを設け、そのマ
ークを用いて注視判定を行うことを特徴とする請求項１
記載の注視判定方法である。

【０００５】

【発明の実施の形態】この発明の一実施形態を、図１に
示す。人物１は、注視判定の対象となる人物である。こ
の図では、人物は寝た姿勢であるが、椅子に座った状
態、起立した状態あるいは歩行状態でも良い。人物の顔
画像は、図１に示すビデオカメラ２で取得し、画像処理
装置３によりディジタル化して画像メモリに記憶する。
次に、記憶された画像から図２に示す左右の黒目の中心
位置５，６および左右の目尻位置７，８を、パーソナル
コンピュータ４を用いて推定する。最後に、これらの推
定された位置を基にして、図２に示す横方向の黒目変位
量９と縦方向の黒目変位量１０を求める。横方向変位量
９は、両黒目の中心５，６間の中点と両目尻７，８間の
中点との横方向の距離で定め、縦方向変位量１０は、両
黒目の中心５，６間の中点と両目尻７，８間の中点との
縦方向の距離で定める。この実施形態例では、目尻を用
いているが、注視判定精度を向上させるためには、対象
人物の顔表面に左右１対のマークを貼付するなどしてそ
の像を利用する。マークを貼付する位置を図３に示す。
一般に人の眼球は、半径１２ｍｍの球体であると仮定さ
れる。対象人物１の右の眼球１３および左の眼球１４の
中心１５，１６を通る直線１７の位置を測定により求
め、マーク１１を直線１７が右側の顔表面と交わる位置
に、マーク１２を直線１７が左側の顔表面と交わる位置
にそれぞれ貼付する。この場合の注視判定は、右の目尻
７を右のマーク１１の中心に、左の目尻８を左のマーク
１２の中心に置きかえて、横方向および縦方向の黒目変
位量を求める。対象人物からビデオカメラまでの距離が
近い場合は、その距離に応じてマークの貼付位置をビデ
オカメラに近づける。注視判定の実施に際しては、はじ
めに対象人物がカメラに正対した状態でカメラレンズを
注視している顔画像を取得し、縦横方向の黒目変位量を
得ておく。これを基準黒目変位量と呼ぶことにする。次
に、顔や眼球を動かした状態の顔画像をビデオカメラで
撮影し、同様の処理を行い、撮影した顔画像に関する縦
横方向の黒目変位量を求める。これを観測変位量と呼ぶ
ことにする。注視判定は、横方向および縦方向について
の観測変位量と基準変位量との差を基に行う。即ち、こ
の差があらかじめ定めた閾値より小さければ、この人物
はカメラを注視していると判定する。

【０００６】「実施形態の効果」この実施形態によれ
ば、安全性が明確でない近赤外線を眼球に照射すること
はなく、頭部の動きを制約することもない。また、頭部
の空間における方向を推定する必要がないので、単一の
画像のみを用いて短時間で注視判定が行える。注視判定
の精度も実用的に見て十分である。

【０００７】「他の実施形態」発明の一実施形態では、
目尻ないし顔の表面に貼付したマークを用いた注視判定
法について説明しているが、他の実施形態では、図１に
示す顔の表面にマーク１１を直接描いても良いし、ま
た、眼鏡のつるなどを用いて顔の表面から離れた位置に
マークを固定しても良い。

【０００８】

【発明の効果】以上説明したように、この発明によれ
ば、画像処理のみで注視判定が行える。従って例えば病
院などにおいて、ビデオカメラを注視するという行為に
対して、要求内容をあらかじめ決めておけば、全身の運
動機能が低下している寝たきりの人が病室に備えたビデ
オカメラを注視することで、身体的な負担を強いられる
ことなく、自らの意志を介護者に伝えることが可能とな
る。また、複数台のカメラを設置すれば、ある程度複雑
な意志表示も可能となる。

【図面の簡単な説明】

【図１】この発明の一実施形態を示す説明図である。

【図２】この発明の注視判定の方法を示す図である。

【図３】この発明のマークを用いる場合の、マークの貼
付位置を示す図である。

【符号の説明】

１．対象人物２．ビデオカメラ３．画像処理装置４．パーソナルコンピュータ５．右の黒目の中心位置６．左の黒目の中心位置７．右の目尻の位置８．左
の目尻の位置９．横方向の黒目変位量１０．縦方向の黒目変位量１１．右のマーク１２．左のマーク１３．右の眼球
１４．左の眼球１５．右の眼球の中心１６．左の眼球の中心１７．
１５と１６を通る直線

Claims

【特許請求の範囲】

【請求項１】ビデオカメラでとらえた人物が、そのビデ
オカメラのレンズを注視しているか否かを、その人物の
左右の黒目と左右の目尻を含む顔画像を用いて判定（以
下注視判定と呼ぶ）することを特徴とする注視判定方
法。
【請求項２】目尻の替わりに、顔の表面に貼付あるいは
描いた左右１対のマークを用いて注視判定を行うことを
特徴とする請求項１記載の注視判定方法。
【請求項３】眼鏡のつるなどを用いて、顔の表面から離
れた位置に設けた左右１対のマークを用いて注視判定を
行うことを特徴とする請求項１記載の注視判定方法。