JP2006204855A - 注視運動検出装置 - Google Patents

Abstract

【課題】
本発明は、視線がどの方向を向いているかを検出する視線方向検出手段を有する視線入力に関するものであるが、従来は、人間の意図的注視／非意図的注視を判別せずに視線入力処理を行っていたため、意図した正しい入力が行われない問題があった。
【解決手段】
人間等の視認運動のうち、意識的に外界の情報を受容する運動と、外界の情報受容をほとんど行わない運動とを区別し、視線中心視力の１／２以上の視力を有する視野円内に人間等の視線方向が所定の時間以上留まったことを検知し、注視点を検出することを特徴とする。
【選択図】図１

Description

本発明は、特定方向を向いた眼球とその周辺の画像を取得し、意図的な注視運動の有無を検知し、得られた眼球状態に対応する電気信号を電気機器の入力・制御に利用するシステムあるいは情報処理装置に関する。

これまでにも、人間の視線方向を検出し、コンピュータや自動車、カメラ等の電気機器の制御に応用する試みが多くなされてきた。視線方向を検出する技術とは、一般に、視線の動きを検知し、その注視点の座標を検出し、その座標情報を用いて操作者の操作意思を伝達する意思入力手段をいう。以後、このような技術を視線検出技術と記述する。

従来の視線検出技術は、例えば特許第３２７２９０６号に示されるように、人間の顔部分の画像に対して種々の画像処理を施して眼球部分および白目部分などの位置を検出し、目線方向の算出を行うものがあった。また、特開平０７−１９１７９６号に示されるように、操作者にゴーグルやヘッドギアといった専用の器具を装着させることによって、眼球の動きをより正確に検出する試みもなされてきた。これらの技術のうち幾つかは、視線の方向に合わせてカメラのフォーカス位置を決定するような、視線方向の入力装置として実用化されている。

しかし、これらの技術は、人間の目がどの方向を向いているかを検出する手段を提供するに過ぎず、人間の視認運動に対するいかなる判別機能も有していない。したがって、操作者の意図しない無意識的な眼球運動が検出されることによって、操作者が意図しない処理が行われ、操作の妨げになるという問題があった。

例えば視線検出技術の実用化例の一つである、視線入力によるカメラのフォーカシング装置は、操作者がカメラのファインダー越しに特定位置を注視した後、操作者自身が上記装置に対し、注視位置を確定するためのボタン操作を行う。ところが、注視方向が充分に定まらない状態で注視を行っていることを知らせるボタン操作を行うと、操作者が意図せぬ方向を注視したと認識され処理が行われてしまい、意図する電気信号を得ることができなかった。また、積極的に注視を行わない状態で、注視を行っていることを知らせるボタン操作を行っても、操作者が意図せぬ何らかの視線方向が検出されてしまい、操作者が注視を行っていないことを判別することは不可能であった。つまり上記装置は、視線の方向を検出し、検出された目線方向を表示する機能を有するものの、人間の視認運動に対していかなる判別機能も有していない。よって、注視運動を選択的に検出する装置とは言えない。

また、特許第３２７２９０６号に記載の技術は、視線がどの方向を向いているかを検出する視線方向検出手段であり、例えばこの技術を用いて人間の視線方向を連続的に電気信号として出力することが可能であるが、同じく人間の視認運動を判別するという思想のもとに作られたものではなく、注視運動を検出する装置といえるものではなかった。
本発明の課題は、従来の視線入力技術とは異なる思想のもと、人間の意図的注視／非意図的注視を区別することによって、人間の意図的な注視運動を検出し、その眼の状態に応じた電気信号を用いて電気機器の入力・制御を行う装置を実現することにある。

発明を解決するための手段

本発明者らは、鋭意研究の結果、意図的注視／非意図的注視を区別するための手段を見出し、本発明を成すに至った。以下にその内容を説明する。

人間が視認を行う際の眼球の動作は、主に、注視運動および追従運動（運動１とする）と跳躍性眼球運動（運動２とする）の２つに分類される。このうち運動１は、人間が意図的に特定の部分を注視し、外界からの情報を受容するための運動であり、このときの眼球の動きはほとんどないか、視対象の動きに追従する動きである。運動２は、視線が高速で移動していて、外界からの情報受容がわずかしか行われない状態であり、以前に注視動作によって記憶した画像情報を素早く再確認し、記憶画像との補完によって、画像の空間配置を再確認するための眼球運動である。これまでに、運動１に要する時間は、視覚対象の大きさや人間の年齢などによって５０から１００ミリ秒程度の個体差があるものの、およそ２００ミリ秒から４００ミリ秒程度であることが報告されている。（参考資料：ＰｓｙｃｈＮｏｌｏｇｙ Ｊｏｕｒｎａｌ，１（３），２０２−２０９）一方、運動２の持続時間は４０〜５０ミリ秒と短時間である一方、角速度は１００度／秒を超えるという報告がある。（参考資料：信学技法，Ｖｏｌ．１０３ Ｎｏ．１６５．ｐｐ．１９−２３）。
したがって、視覚情報を受容している運動１が行われている時間と、視覚情報をほとんど受容していない運動２が行われている時間を区別することができれば、運動１が行われている時の視線方向を選択的に検出することによって、人間が意図的に対象を注視し、情報を受容している時の視線方向を検知することができる。

発明者らは、人間の視線の方向を一秒間に多数回（３０回／秒から１００回／秒など）計測して視線方向の時間変化を計測し、視線固定時間が一定時間以上続く運動１と、それより視線固定時間が短い運動２とを区別することによって、運動１の時間を選択的に検出することを試みた。ここでいう視線固定時間とは、視線中心を中心として一定以上の視力を有する視野円内に視線方向が留まる時間とする。

人間の視力すなわち視覚情報の空間分解能は、視線中心をピークとして中心を外れるにつれ急激に低下し、視線中心から２度離れた点では視線中心視力の４／１０から６／１０程度、１０度離れた点では１／１０から１／２０程度と変化することが良く知られている。

よって視野円の半径Ｒは、例えば中心視力の半分程度以下の視力を有する円内、より好ましくは中心視力の９０％程度の視力を有する円内とすれば良く、１／１００００度以上３度以下の適当な値に設定することができる。ただし半径Ｒを小さくし過ぎると、注視状態にある眼球の固視微動による視線方向のずれによって、注視位置が定まらなくなるため好ましくない。また、視野円の半径Ｒを大きくし過ぎると、視線方向を細かく検出することができなくなる。したがって、視野円の半径Ｒは１／１００００度以上３度以下とすることが好ましく、１／１００００度以上２度以下とすることがより好ましく、１／１００００度以上１度以下とすることがいっそう好ましい。

発明者らは、実験の結果、運動１と運動２の臨界時間を設定し、臨界時間よりも視線固定時間が長い場合と、臨界時間よりも視線固定時間が短い場合とを区別することによって、臨界時間よりも視線固定時間が長い運動１すなわち意識的な注視動作と、臨界時間よりも視線固定時間が短い運動２すなわち非意識的な眼球運動とを区別することを見出した。運動１の持続時間が２００ミリ秒から４００ミリ秒程度、運動２の持続時間が４０〜５０ミリ秒であることから、上記臨界時間は、４０ミリ秒以上４００ミリ秒以下に設定することが好ましく、５０ミリ秒以上３００ミリ秒以下とすることがより好ましく、５０ミリ秒以上２００ミリ秒以下とすることが更に好ましい。注視方向は、注視運動と判定された時間の範囲内において計測された視線方向座標をそのまま用いることもできるが、注視運動の際にも、視神経に信号を伝えるための眼球運動である固視微動が起こっているため、検出された注視方向のばらつきを抑えるために、注視運動と判定された時間の範囲内において計測された視線方向座標の移動平均値を、該当する時間の視線方向座標とすることが好ましい。

さらに注視方向を正確に検出するためには、運動２を行っている時の眼球の角速度が１００度／秒を超えることを利用し、眼球の変位量から眼球の角速度が１００度／秒以上となった場合、注視が行われていないものとして、自動的に視線方向の値を消去し、消去されなかった視線方向座標のみを用いて視線方向を計算することもできる。また、運動２の約５０ｍｓｅｃ前から、運動２の終了時まで、視機能が極端に低下することが示唆されていることから、運動２が検出された前後４０ミリ秒から５０ミリ秒の間は注視が行われていないものとして、自動的に視線方向の値を消去するか、運動２が検出される前５０ミリ秒から１００ミリ秒の視線方向の平均値を、過去に注視していた位置として代わりに表示しても良い。（ｈｔｔｐ：／／ｋｏｈｊｉ１４．ｈｐ．ｉｎｆｏｓｅｅｋ．ｃｏ．ｊｐ／ｓｏｔｕｒｏｎｎ．ｈｔｍ）

更に、検出された注視方向を示す画像をモニタ等に表示する際、ポインタと実際の注視方向にずれがあると、角速度が１５０度／秒より大きな運動２によって、目が無意識のうちにポインタの位置を注視方向の中心に移動させようとすることがある。よって、眼球の角速度が１５０度／秒以上となった時には、ポインタの位置は動かず、が目の移動方向と大きさに合わせて視線方向検出機のキャリブレーション（人間の注視点と表示点の位置合わせ）が適宜行われるようにしても良い。
このように、運動１の状態にある眼球画像から視線方向を検出し、その移動平均座標を算出することによって、運動２を除外した意識的注視動作だけを検出することが可能になる。

発明の効果

以上、上記の実施例では、注視座標をパソコンのモニタに出力する例について説明したが、注視運動の有無を自動的に検出することを利用して、自動車の運転において接近する対象物に対する運転者の意図的注視の有無を検出する、運転支援装置としても用いることができる。また、工場内など危険区域において注視の有無により警告を発する安全装置としても応用できる。複数の視線を受容するシステムを構築することによって、広告、ニュース、ＷＥＢサイト、その他画像などに対する注視の数を計測する広告・マーケティング装置としての応用も可能である。
他方、本発明を視線検出技術とともに用いることによって、パソコンや家電製品をはじめとする電気機器の入力装置とすることが可能である。また、パソコンのモニタ上に出力された画像の中で、操作者が注視した部分の数をマウスよりも短時間でカウントする計数デバイスや、注視点間の距離、角度、重心等を検出する測距デバイスにも使用できる。
以上のとおり、本発明によれば、人間等が意識的に外界の情報を受容する注視運動を検出し、更にその視線方向を計測して、電気機器の入力・制御に利用するシステムあるいは情報処理装置を提供することができる。

以下に本発明の実施例を示すが、本発明の範囲は、この実施例に何ら限定されるものではない。
本発明による情報処理装置の構成を図１、図２により説明する。
図１は、本発明による情報処理装置の構成図である。
図１に示すように、本発明の実施形態にかかる視線検出システムは、操作者１、光源２、撮像装置３、演算装置４、外部機器制御部５、外部機器６から成る。
操作者１は撮像装置３によって眼周辺の画像を撮像される。
光源２は、撮像装置３によって取得される画像のコントラストを保つための照明装置として用いられ、無影光源やリングライトをはじめ、通常の室内照明、自然光などを用いることができる。
撮像装置３は光学素子３１と受光素子３２を有しており、演算装置４に接続されている。撮像装置３として、カメラ等を用いることができる。カメラ光学系は、各収差が一定限度内に補正された通常の光学系を用いることができるが、像面湾曲や球面収差を補正しないことにより、カメラの中心で撮像した眼球像と実際の眼球像とを比較し、収差に起因する像形状の違い、操作者の位置を判定してもよい。
演算装置４は画像取得部４１、画像処理部４２、眼球中心算出部４３、眼球運動判定部６４、注視方向算出部４５を有しており、上記撮像装置３と外部機器制御部５に接続されている。
外部機器制御部５は上記演算装置４と外部機器６に接続されている。

図２、図３は上記構成から成る本発明の情報処理装置の主な動作を示すフローチャートである。
図２は、本発明の情報処理装置を使用する際に、操作者の実際の注視点と、情報処理装置が検出した注視位置が一致していることを確認するための手順である。
まず操作者１は、眼の画像が撮像装置３によって取得できる場所で、座標Ｒの定点を注視する。このとき、操作者１および眼球部分を適切な光源により照射し、画像のコントラストを確保する。
次に、撮像装置３にて操作者１の眼球周辺のデジタル画像を取得する。次いで上記画像に画像処理を施し、眼球中心部の座標を得る。このとき行う画像処理の例としては、エッジ処理や２値化、眼球部分のクラスタリングやクラスタ部の重心算出がある。この結果黒目１および／または黒目２の中心座標Ｋ１および／またはＫ２が検出される。我々の実験結果によると、特にカメラが顔に固定されていたり、目の顔に対する相対位置が測定されていたりする場合は、ここで特にエッジ処理や眼球部分のクラスタリングを行う必要はなく、２値化した目の画像における黒色部分の重心を算出するだけで、十分に黒目方向を代表する座標として使用できる。

この中心座標Ｋ１および／またはＫ２を、顔に対する相対座標で表示する。つまり操作者１の顔部分のうち視線変化によっても変動しない部位の座標、例えば目１および／または目２の輪郭の重心Ｅ１および／またはＥ２、およびその中心座標部分（Ｅ１＋Ｅ２）／２や、２つの鼻腔の座標Ｈ１やＨ２およびその中心座標（Ｈ１＋Ｈ２）／２などを原点とした相対座標で表すことが好ましい。このことにより、操作者１の顔の位置が撮像装置３に対して変化しても、操作者１の顔画像が撮像装置３で取得できる限り、操作者１の顔の位置に対する、黒目１および／または黒目２の中心座標Ｋ１および／またはＫ２の座標を得ることが可能となる。

得られた黒目中心の座標を、１秒あたり数十回〜数百回（例えば３０回／秒や１００回／秒など）の速度で取得し、黒目の変位速度を計算し、眼球運動の判定を行う。眼球の変位が視野円内にとどまっている眼球固定時間が、予め設定された臨界時間以上である場合、それら眼球座標Ｋ１および／またはＫ２を注視座標Ｋ１Ａおよび／またはＫ２Ａと判定する。
注視座標と判定された黒目中心座標Ｋ１Ａおよび／またはＫ２Ａと定点座標Ｒを比較し、注視座標＝定点座標となるよう、装置内部の補正値Ｃを算出、Ｋ１Ａ−Ｃを外部装置に出力する。ここで操作者の個人差により、注視座標＝定点座標とならない場合、補正値Ｃを微調整する工程を設けても良い。

図３は、図２に示す手順に引きつづき、操作者の実際の注視点を移動させた時の、上記情報処理装置によって注視位置を検出するための手順である。
まず操作者１は、任意の目標点Ｔを注視し、図２の手順と同様にして眼球座標Ｋ３および／またはＫ４を検出し、注視座標Ｋ３Ａおよび／またはＫ４Ａを得る。
その後、Ｐ１＝Ｋ２Ａ−Ｃを外部装置に出力する。

以下は、本発明の情報処理装置を利用して注視座標を外部装置、例えばパソコンのモニタに表示するシステムにおいて、黒目１、黒目２の中心の座標Ｋ１、Ｋ２を外部装置に出力するための手順である。
まず黒目１、黒目２の中心の座標Ｋ１、Ｋ２および鼻腔１、鼻腔２の重心の座標Ｈ１、Ｈ２ を得たのち、Ｈ１とＨ２の中間の座標をＯとして鼻を原点とした黒目の位置ベクトル（Ｋ１−Ｏ）と（Ｋ２−Ｏ）を求める。
次に、移動後の黒目１、黒目２の中心の座標Ｋ１’、Ｋ２’、鼻腔１、鼻腔２の重心の座標Ｈ１’、Ｈ２’を得たのち、Ｈ１’とＨ２’の中間の座標をＯ’として、移動後の鼻を原点とした移動後の黒目の位置ベクトル（Ｋ１−Ｏ’）と（Ｋ２−Ｏ’）を求める。
ここで、
黒目１の変位量√｛（Ｋ１−Ｏ’）＾２＋（Ｋ１−Ｏ）＾２｝＝｜Ｄ１
黒目１の移動方向ベクトル（Ｋ１−Ｏ’）−（Ｋ１−Ｏ）＝Ｄ１
黒目２の変位量√｛（Ｋ２−Ｏ’）＾２＋（Ｋ２−Ｏ）＾２｝＝｜Ｄ２｜
黒目２の移動方向ベクトル（Ｋ２−Ｏ’）−（Ｋ２−Ｏ）＝Ｄ２
を求め、
ポインタの移動方向を、位置ＡからＤ＝（Ｄ１＋Ｄ２）／２＝（Ｄｘ，Ｄｙ）の方向
ポインタの変位量を Ｂ×（｜Ｄ１｜＋｜Ｄ２｜） （Ｂは定数）
だけ移動させる。

本発明による情報処理装置の構成図である。 本発明の情報処理装置を使用する際に、操作者の実際の注視点と、情報処理装置が検出した注視位置が一致していることを確認するための手順を示す図である。 図２に示す手順に引きつづき、操作者の実際の注視点を移動させた時の、上記情報処理装置によって注視位置を検出するための手順を示す図である。

Claims (6)

1. 人間等の視認運動のうち、意識的に外界の情報を受容する注視運動を検出することを特徴とする注視運動検出装置。
2. 人間等の視認運動のうち、意識的に外界の情報を受容する運動と、外界の情報受容をほとんど行わない運動とを区別することを特徴とする、請求項１に記載の注視運動検出装置。
3. 視線中心視力の１／２以上の視力を有する視野円内に人間等の視線方向が４０ミリ秒以上留まったことを検知し、この円の中心方向を検出することを特徴とする、請求項１から２に記載の注視運動検出装置。
4. 半径２度の視野円内に人間等の視線方向が４０ミリ秒以上留まったことを検知し、この円の中心方向を検出することを特徴とする、請求項１から２に記載の注視運動検出装置。
5. 人間等の注視運動の有無を判定し、注視運動を行っている視線方向だけを検出し、得られた眼球状態に対応する電気信号を電気機器の入力・制御に利用することを特徴とする、請求項１から４に記載の注視運動検出装置。
6. 人間等の注視運動の有無を判定し、注視運動を行っている眼球の顔に対する相対位置を検出し、得られた眼球状態に対応する電気信号を電気機器の入力や制御に利用することを特徴とする、請求項１から４に記載の注視運動検出装置。

Images