JP2016035654A - 視線検出装置および視線入力システム - Google Patents

Abstract

【課題】キャリブレーションを必要とせずに対象者の左眼または右眼の片眼の画像のみを解析して対象者の視線方向を検出する。
【解決手段】対象者（２００）に対して所定の相対位置から近赤外線（３００）が照射された該対象者の左眼または右眼の撮像画像を解析して該対象者の視線（４００）方向を検出する視線検出装置（４０）は、撮像画像から、近赤外線が照射された眼の瞳孔中心を検出する瞳孔中心検出部（４３）と、撮像画像から、近赤外線が照射された眼の角膜表面での近赤外線の反射像であるプルキニエ像を検出するプルキニエ像検出部（４４）と、眼の左右方向における瞳孔中心およびプルキニエ像の相対的な位置関係に基づいて、対象者（２００）の左右方向の視線（４００）を算出する視線算出部（４５）とを備えている。
【選択図】図１

Description

本発明は、対象者の視線方向を検出する視線検出装置、およびそのような視線検出装置を応用した視線入力システムに関する。

従前より対象者の眼をカメラで撮影した画像を解析することにより光源の角膜反射像（第１プルキニエ像、以下、プルキニエ像と略する）および瞳孔中心を検出し、プルキニエ像と瞳孔中心の位置に基づいて対象者の視線方向を検出する視線検出装置が開発されている。このような視線検出装置は、視線方向をコンピュータの画面上のポインタに重畳してアイコンを操作するポインティングデバイスとして応用されている。

一般に、視線検出装置では、対象者の眼の角膜曲率による視線座標のずれを補正するために、眼、光源、カメラ、および表示装置間の各位置関係をパラメータ設定ソフトに入力する必要がある。また、カメラから得た画像座標系による視線の位置座標を表示画面上の世界座標系に変換し、さらに世界座標系を画面サイズと整合させるために画面の４隅や中心点を注視して位置座標をパラメータ設定ソフトに入力する必要がある。このように、視線検出装置ではキャリブレーション（校正）が使用時に毎回必要である。しかし、こうしたキャリブレーションの煩雑さが、視線検出装置を車載や福祉用途といった幅広い分野で活用するための妨げとなっている。

そこで、キャリブレーションを行わない視線検出装置が提案されている。例えば、対象者の両眼に光を照射し、一の眼球および他の一の眼球それぞれの光軸と視軸との間のずれ候補を違う時刻で算出し、算出したずれ候補から一の眼球および他の一の眼球それぞれの光軸と視軸との間の最適なずれを決定し、この光軸と視軸との間のずれに基づいて画面上における対象者の注視点を算出することで、キャリブレーションを不要にしている（例えば、特許文献１参照）。

特開２００９−２９７３２３号公報

特許文献１の技術では、対象者の両眼に光を照射して両眼を撮影するために複数の光源および複数のカメラ（ステレオカメラ）が必要である。このため、装置の部品点数が増えてコスト面において不利である。また、両眼の画像が取得できなければ視線検出ができなくなるおそれがある。したがって、視線検出は片眼の画像のみで行うことが望ましい。

上記問題に鑑み、本発明は、キャリブレーションを必要とせずに対象者の左眼または右眼の片眼の画像のみを解析して対象者の視線方向を検出することができる視線検出装置を提供することを目的とする。さらに、本発明は、そのような視線検出装置を応用した視線入力システムを提供することを目的とする。

本発明の一局面に従った視線検出装置は、対象者に対して所定の相対位置から近赤外線が照射された該対象者の左眼または右眼の撮像画像を解析して該対象者の視線方向を検出する視線検出装置であって、前記撮像画像から、前記近赤外線が照射された眼の瞳孔中心を検出する瞳孔中心検出部と、前記撮像画像から、前記近赤外線が照射された眼の角膜表面での前記近赤外線の反射像であるプルキニエ像を検出するプルキニエ像検出部と、眼の左右方向における前記瞳孔中心および前記プルキニエ像の相対的な位置関係に基づいて、前記対象者の左右方向の視線を算出する視線算出部とを備えている。

これによると、対象者に対して所定の相対位置から対象者の左眼または右眼に近赤外線が照射されることで対象者の左眼または右眼において所定の位置にプルキニエ像が形成され、近赤外線が照射された眼の瞳孔中心とプルキニエ像との左右方向の相対的な位置関係に基づいて対象者の左右方向の視線が算出される。このように視線検出を眼の左右方向に限定することで、特にキャリブレーションを行うことなく片眼の画像から精度よく対象者の視線方向を検出することができる。

前記視線算出部は、前記プルキニエ像を基点として、当該基点に対する眼の左右方向への前記瞳孔中心の移動量に応じて、視線が眼の左右方向における複数の視線領域のいずれに属するかを判定してもよい。

これによると、眼の左右方向に複数の視線領域を設定して視線検出精度を向上させることができる。

また、本発明の別の一局面に従った視線入力システムは、対象者の視線によって入力を行う視線入力システムであって、前記対象者が視線によって入力を行うための操作画面を表示する表示装置と、前記対象者に対して所定の相対位置に配置され、前記対象者が前記操作画面を注視している状態において前記対象者の左眼または右眼に向けて近赤外線を照射する発光装置と、前記近赤外線が照射されている前記対象者の左眼または右眼を撮像する撮像装置と、前記撮像装置から撮像画像を受け、当該撮像画像を解析して前記対象者の視線方向を検出する上記の視線検出装置と、前記視線検出装置による視線検出出力を受けて、前記表示装置の画面表示を制御する表示制御装置と、を備え、前記表示制御装置は、複数の操作ボタンが左右方向に並べて配置された操作画面を表示させて前記対象者の左右方向への視線の動きに連動して操作ボタンのハイライト状態を変化させ、ある操作ボタンが選択されたとき、当該選択された操作ボタンに対応するアクションを実行する、または、別の操作画面に遷移させる。

これによると、上記の視線検出装置を利用することにより、キャリブレーションを行うことなくすぐに視線による入力が可能となる。また、操作画面を別の操作画面に遷移させることができるため、視線検出が左右方向に限定されていても視線によって複雑な入力操作を行うことが可能となる。

なお、本明細書において「ハイライト状態」とは、ある操作ボタンが他の操作ボタンと区別されて表示された状態をいう。例えば、ある操作ボタンを他の操作ボタンよりも明るくまたは暗く表示したり、ある操作ボタンを他の操作ボタンよりも大きくまたは小さく表示したり、ある操作ボタンを他の操作ボタンと異なる色で表示したり、ある操作ボタンの輪郭を太線で囲んで表示したりすることなどが「ハイライト状態」に含まれる。

前記別の操作画面は、前記選択された操作ボタンに関連する下位階層の操作画面であってもよい。

これによると、操作画面が階層的に表示されるため、視線検出が左右方向に限定されていても視線によって複雑な入力操作を行うことが可能となる。

前記表示制御装置は、下位階層の操作画面を表示させている場合において前記対象者の視線が該操作画面の右または左に大きく外れたとき、上位階層の操作画面に遷移させてもよい。

これによると、視線検出が眼の左右方向に限定されていても、階層的な操作画面において上位階層の画面へ戻る操作を行うことができる。

前記操作画面において複数の操作ボタンが上下方向に多段に配置されていてもよく、前記表示制御装置は、前記対象者の視線が前記操作画面の右または左に大きく外れたとき、操作ボタンの段間を移動してハイライト状態を変化させてもよい。

これによると、視線検出が眼の左右方向に限定されていても、上下方向に多段表示された操作ボタンを使用して視線による入力を行うことができる。

前記表示制御装置は、ハイライト状態の操作ボタンが所定時間以上注視されたとき、当該操作ボタンが選択されたと判定してもよい。

これによると、身体的負担を伴わずに視線のみで操作ボタンを選択することができる。

本発明によれば、キャリブレーションを行うことなく対象者の片眼の画像のみを解析して対象者の視線方向を検出することができる。また、視線検出に必要な光源およびカメラはそれぞれ１個で済むため、視線入力システムの低コスト化および小型化が可能となる。

本発明の一実施形態に係る視線入力システムの機能ブロック図である。 視線入力システムの使用例を示す図である。 本発明の一実施形態に係る視線入力システムにおける視線検出の原理を示す図である。 本発明の一実施形態に係る視線入力システムを車載した例を示す図である。 上下方向の視線検出と左右方向の視線検出を比較した図である。 階層的ＧＵＩの画面遷移を説明する図である。 表示中の操作ボタンを左右にスクロールさせて別の操作ボタンを表示させる画面遷移を説明する図である。 操作ボタンを多段配置したＧＵＩの操作例を示す図である。 操作ボタンを多段配置したＧＵＩにおいて操作ボタンを左右にスクロールさせて別の操作ボタンを表示させる画面遷移を説明する図である。 本発明の一実施形態に係る視線入力システムの動作を示すフローチャートである。 視線入力システムを使用中に対象者がシステムに対して前後移動したときの例を示す図である。

以下、図面を参照しながら本発明を実施するための形態について説明する。なお、実施の形態を説明するための全図において、同一部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、図はあくまで説明用の便宜的なものであって、図示した各部材の寸法および配置位置は実際のものとは異なることがある。

図１は、本発明の一実施形態に係る視線入力システムの機能ブロック図である。また、図２は、視線入力システムの使用例を示す図である。本実施形態に係る視線入力システムは１００、表示装置１０、発光装置２０、撮像装置３０、視線検出装置４０、および表示制御装置５０を備えて構成されている。図２の例では、表示装置１０、視線検出装置４０、および表示制御装置５０はタブレットＰＣなどの本体機器に統合され、発光装置２０および撮像装置３０は周辺機器に統合されている。これ以外にも、視線入力システム１００全体を一つのコンピュータ装置に統合することも可能である。

表示装置１０は、対象者２００が視線４００によって入力を行うための操作画面（ＧＵＩ：Graphical User Interface）を表示する装置である。後述するように、ＧＵＩには複数の操作ボタン（アイコン）が表示される。対象者２００は、表示装置１０に表示されるＧＵＩを注視して視線４００によって所望の操作ボタンを選択することで、視線入力システムを操作することができる。

発光装置２０は、対象者２００の正面に配置され、対象者２００が表示装置１０のＧＵＩを注視している状態において対象者２００の左眼または右眼に向けて近赤外線３００を照射する装置である。発光装置２０から出力された近赤外線３００は対象者２００の眼の角膜表面で反射してプルキニエ像が形成される。なお、発光装置２０は、例えば、ＬＥＤ（Light Emitting Diode）光源で構成することができる。

撮像装置３０は、近赤外線３００が照射されている対象者２００の左眼または右眼を撮像する装置である。より詳細には、撮像装置３０は、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどの可視光領域から赤外線領域に亘って撮影可能な近赤外線カメラ３１、可視光を反射させて近赤外線を透過させる長波長透過型の可視光カットフィルタ３２、および可視光カットフィルタ３２を介して近赤外線カメラ３１で撮像された片眼画像を、視線検出装置４０へ出力するための画像出力部３３を備えて構成されている。

なお、発光装置２０および撮像装置３０は、本体機器から電源供給を受けて動作することできる。あるいは、発光装置２０および撮像装置３０は、本体機器以外の外部環境から電源供給を受けて動作することも可能である。

また、発光装置２０は、必ずしも対象者２００の正面に配置する必要はなく、例えば、対象者２００の右斜め前または左斜め前などに配置してもよい。要は、対象者２００が視線入力システム１００を使用する際に、対象者２００と発光装置２０との相対的な位置関係が決まっていればよい。同様に、撮像装置３０も必ずしも対象者２００の正面に配置する必要はなく、例えば、右斜め前または左斜め前などから対象者２００の左眼または右眼を撮像してもよい。

視線検出装置４０は、近赤外線３００が照射された対象者２００の左眼または右眼の撮像画像（片眼画像）を解析して対象者２００の視線方向を検出する装置である。より詳細には、視線検出装置４０は、撮像装置３０の画像出力部３３から片眼画像を取得する画像取得部４１、取得した片眼画像について前処理を行う画像処理部４２、瞳孔中心検出部４３、プルキニエ像検出部４４、および視線算出部４５を備えて構成されている。

画像取得部４１は、撮像装置３０の画像出力部３３から出力された片眼画像を取得して、画像処理部４２へ片眼画像を送る。

画像処理部４２は、画像取得部４１から送られた片眼画像に対してノイズ除去を施して輝度値正規化を行った後に、瞳孔中心検出部４３およびプルキニエ像検出部４４へ処理後の片眼画像を送る。

瞳孔中心検出部４３は、画像処理部４２で前処理した撮像画像から、近赤外線が照射された眼の瞳孔中心を検出する。より詳細には、瞳孔中心検出部４３は、画像処理部４２で前処理した片眼画像から短時間で瞳孔中心の座標を得るために、縮小した片眼画像から瞳孔の大まかな位置を算出した後、正確な位置を再計算する。

例えば、瞳孔中心検出部４３は、上記の前処理した画像に対して、処理時間低減のためにまずＶＧＡサイズ（６４０×４８０ピクセル）からＱＱＶＧＡサイズ（１６０×１２０ピクセル）へ縮小化し、瞳孔が際立つように画像の輝度値を調整する。次に、瞳孔中心検出部４３は、瞳孔領域の絞り込みを行う。赤外線画像において瞳孔は周辺に比べて輝度値が低く写るという特徴があるため、瞳孔中心検出部４３は、多値ラベリングによって近似値同士のセグメント化を行い、これらのセグメントを瞳孔領域候補とする。続いて瞳孔中心検出部４３は、セグメント領域を輝度値の低い順に並べて、面積および位置や周辺との輝度差によって瞳孔領域を決定することで、大まかな座標を算出する。

さらに、瞳孔中心検出部４３は、上記で算出した座標を基にＶＧＡサイズの原画像から瞳孔周辺を切り出し、瞳孔と虹彩の境界を輝度値の差によって検出するため、画像中心から放射状に３２方向へ向かって隣接画素探索を行い、瞳孔輪郭の座標を求める。この場合の瞳孔輪郭の座標は最大３２点であるが、中には誤識別により瞳孔輪郭ではない座標が含まれている可能性がある。そこで、瞳孔中心検出部４３は、各座標のマハラノビス距離の平均値からある閾値以上離れている座標は瞳孔輪郭点ではないとして除去し、残った瞳孔輪郭点から最小二乗法により楕円中心を算出して瞳孔中心検出を完了することができる。

プルキニエ像検出部４４は、プルキニエ像が必ず瞳孔周辺に写ることから、画像処理部４２から送られた前処理されたＶＧＡサイズの片眼画像から前記の瞳孔中心座標を基にして眼の部分の画像を切り出す。プルキニエ像は周辺の画素よりも高輝度であるため、プルキニエ像検出部４４は、輝度値「２００」程度を閾値とした二値化処理を施すことで、プルキニエ像の候補とする。候補が複数であった場合は、プルキニエ像検出部４４は、ラベリングを施し、面積や瞳孔中心から最も近い点という条件で絞り込みを行い、プルキニエ像の抽出を完了する。

視線算出部４５は、瞳孔中心検出部４３で得た瞳孔中心およびプルキニエ像検出部４４で得たプルキニエ像を受け、対象者２００の眼の左右方向における瞳孔中心およびプルキニエ像の相対的な位置関係に基づいて、対象者２００の左右方向の視線４００を算出する。

図３は、視線入力システム１００における視線検出の原理を示す図である。以下、図３を参照して、視線算出部４５による視線算出方法について詳細に説明する。

表示装置１０の表示画面は、例えば、横方向に４つのブロックＡ’〜Ｄ’の範囲に分割されている。視線算出部４５は、プルキニエ像検出部４４で得たプルキニエ像をＹ軸（眼の上下方向軸）上の基点とした際の瞳孔中心のＸ座標（眼の左右方向軸の座標）を視線移動量として検出し、前記の視線移動量について表示装置１０の表示画面を分割した複数のブロックＡ’〜Ｄ’の範囲に合わせて座標範囲を割り当てることで、対象者２００の視線４００がどのブロックの範囲にあるかを算出する。

例えば、表示装置１０および発光装置２０が対象者２００の正面に配置されている場合において対象者２００が表示装置１０の画面中央を注視しているとき、瞳孔中心とプルキニエ像とは同じＹ軸上に並ぶ。この状態から、対象者２００が正面からわずかに左に視線４００を移動したとき、視線算出部４５は、視線移動量「Ｂ」を検出し、対象者２００の視線４００を表示装置１０の表示画面の中央左寄りのブロックＢ’に割り当てる。対象者２００がさらに左に視線４００を移動し、視線移動量が閾値を超えて「Ａ」（ただし、Ａ＞Ｂ）が検出されたとき、視線算出部４５は、対象者２００の視線４００を表示装置１０の表示画面の左端のブロックＡ’に割り当てる。一方、対象者２００が正面からわずかに右に視線４００を移動したとき、視線算出部４５は、視線移動量「Ｃ」を検出し、対象者２００の視線４００を表示装置１０の表示画面の中央右寄りのブロックＣ’に割り当てる。対象者２００がさらに右に視線４００を移動し、視線移動量が閾値を超えて「Ｄ」（ただし、Ｄ＞Ｃ）が検出されたとき、視線算出部４５は、対象者２００の視線４００を表示装置１０の表示画面の右端のブロックＤ’に割り当てる。

なお、発光装置２０が対象者２００の正面に配置されていない場合には、対象者２００が表示装置１０の画面中央を注視している状態において瞳孔中心とプルキニエ像とは同じＹ軸上に並ばずに所定のオフセットを有することがある。したがって、そのような場合には、視線算出部４５は、前記のオフセットを考慮して視線移動量を検出するとよい。

また、撮像装置３０が対象者２００の正面に配置されていない場合には、瞳孔中心が左へ移動する場合と右へ移動する場合とで検出される視線移動量に偏差が生じるおそれがある。したがって、そのような場合には、視線算出部４５は、前記の偏差を考慮して視線移動量を検出するとよい。

図１へ戻り、表示制御装置５０は、視線検出装置４０による視線検出出力を受けて、表示装置１０の画面表示を制御する。より詳細には、表示制御部５０は、表示装置１０の表示画面における前記の各ブロックに、所定のコマンドやアクションに対応付けられた操作ボタン１１（図３などを参照）を配置することで視線によるアプリケーションの操作を可能とする。すなわち、表示制御装置５０は、表示装置１０に複数の操作ボタン１１が左右方向に並べて配置されたＧＵＩを表示させて対象者２００の左右方向への視線の動きに連動して操作ボタン１１のハイライト状態を変化させる。そして、表示制御装置５０は、ハイライト状態の操作ボタン１１が所定時間（例えば、２〜３秒）以上注視されたとき、当該操作ボタン１１が選択されたと判定して、当該操作ボタン１１に対応付けられたコマンドやアクションを実行する。あるいは、対象者２００が、図示しない決定ボタンを物理的に押下したり、触れたりすることで、ハイライト状態の操作ボタン１１が選択されるようにしてもよい。

図４は、視線入力システム１００を車載した例を示す図である。視線入力システム１００において表示装置１０、発光装置２０、表示制御装置５０、および視線検出装置４０は一体化されており、当該一体化された装置群は、対象者２００（自動車の運転者）が自動車の運転時に前方を向いた状態で同一視野内で操作できるように、例えばインパネ部分に実装される。そして、視線入力システム１００の撮像装置３０は、上記の装置群とは切り離して、例えば、ルームミラーに組み込むことができる。この場合、撮像装置３０は、撮像した対象者２００の片眼画像を有線通信または無線通信で視線検出装置４０に供給することができる。

上記のように、視線入力システム１００を車載した場合において、対象者２００が運転席に座ってインパネ部分を含む前方を見ることで、対象者２００、発光装置２０、および撮像装置３０の相互間の相対位置が決まり、視線入力システム１００は、キャリブレーションを行うことなく対象者２００の片眼の画像のみを解析して対象者２００の視線方向を検出することができる。

なお、視線入力システム１００を車載した場合、ハンドルスイッチまたはステアリングスイッチといった、ステアリングホイール（ハンドル）に取り付けられたボタンを手動操作することでハイライト状態の操作ボタン１１を選択するようにしてもよい。

図５は、上下方向の視線検出と左右方向の視線検出を比較した図である。人間の眼球運動特性から、上下方向に視線を動かすよりも左右方向に視線を動かす方が眼球移動幅が広く、眼を動かしやすい。したがって、図５（ａ）に示した眼の上下方向の視線検出に基づく視線入力よりも、本実施形態のように、図５（ｂ）に示した眼の左右方向の視線検出に基づく視線入力の方が、視線による操作を行いやすい。特に、図４のように視線入力システム１００を車載する場合には、運転時の視線入力について、上下方向の視線検出に基づく視線入力よりも左右方向の視線検出に基づく視線入力の方が、前方視界を保ったまま同一視野内で視線入力が行いやすく好ましい。

上記のように、本実施形態に係る視線入力システム１００では、対象者２００の視線検出を眼の左右方向に限定しているため、操作ボタン１１は左右方向に並べて配置する必要がある。このため、表示装置１０に多くの操作ボタン１１を配置することができないという制約がある。そこで、本実施形態に係る視線入力システム１００では、画面が次の操作階層に遷移するような階層的ＧＵＩを採用して、少ない個数の操作ボタン１１で複雑なアプリケーション操作ができるようにしている。具体的には、表示制御装置５０は、対象者２００の視線４００によってある操作ボタン１１が選択されたとき、別の操作画面に遷移させる。

表示制御装置５０は、対象者２００の視線４００によってある操作ボタン１１が選択されたとき、当該選択された操作ボタン１１に関連する下位階層の操作画面に遷移させることができる。例えば、図６に示すように、最初のＧＵＩ（ａ）における４つの操作ボタン１１の中から「♪」（音符のマーク）の操作ボタン１１が選択されると、「♪」の下位の操作階層であるＧＵＩ（ｂ）へ画面遷移する。ＧＵＩ（ｂ）では、音楽の各ジャンルが４つの操作ボタン１１で表されている。ＧＵＩ（ｂ）において「Ｊ−ＰＯＰ」の操作ボタン１１が選択されると、「Ｊ−ＰＯＰ」の下位の操作階層であるＧＵＩ（ｃ）へ画面遷移する。ＧＵＩ（ｃ）では、Ｊ−ＰＯＰの各アーティストが４つの操作ボタン１１で表されている。ＧＵＩ（ｃ）において「歌手Ｃ」の操作ボタン１１が選択されると、「歌手Ｃ」の下位の操作階層であるＧＵＩ（ｄ）へ画面遷移する。ＧＵＩ（ｄ）では、歌手Ｃの曲目が４つの操作ボタン１１で表されている。そして、ＧＵＩ（ｄ）において「楽曲４」の操作ボタンが選択されることで、その曲が再生される。

あるいは、対象者２００の視線４００によってある操作ボタン１１が選択されたとき、そのとき表示中の操作ボタン１１を左右にスクロールさせて新たな操作ボタン１１を表示させる画面遷移を行うことができる。例えば、図７に示すように、表示装置１０の表示画面の右端および左端に、右向き矢印の操作ボタン１１および左向き矢印の操作ボタン１１をそれぞれ追加配置する。最初のＧＵＩ（ａ）における右向き矢印の操作ボタン１１が選択されると、ＧＵＩ（ｂ）のように、右向き矢印の操作ボタン１１および左向き矢印の操作ボタン１１の間に挟まれた４つの操作ボタン１１が左にスクロールして表示装置１０の表示画面に次々と新たな操作ボタン１１が現れる。そして、ＧＵＩ（ｃ）のように目的の「Ｐｈｏｔｏ」の操作ボタン１１が表示されたところで、その操作ボタン１１を注視して選択することで「Ｐｈｏｔｏ」を選択することができる。

図６に示したような階層的ＧＵＩを採用する場合、操作階層の上位へ戻る仕組みが必要である。このような上位階層への画面遷移を実現するために、視線検出装置４０は、対象者２００の視線４００が表示装置１０の表示画面から右または左に大きく外れたことを検出してもよい。そして、表示制御装置５０は、下位階層のＧＵＩを表示させている場合において対象者２００の視線４００が表示装置１０の表示画面の右または左に大きく外れたとき、上位階層のＧＵＩへ画面遷移させてもよい。これにより、対象者２００の左右方向の視線検出のみで階層的ＧＵＩを自在に操作することができる。

また、視線検出装置４０が、対象者２００の視線４００が表示装置１０の表示画面から右または左に大きく外れたことが検出可能になることで、操作ボタン１１が上下方向に多段に配置されたＧＵＩを採用することが可能となる。図８は、操作ボタン１１を多段配置したＧＵＩの操作例を示す図である。この場合、表示制御装置５０は、対象者２００の視線４００が表示装置１０の表示画面の右または左に大きく外れたとき、操作ボタン１１の段間を移動して操作ボタン１１のハイライト状態を変化させてもよい。これにより、複数の操作ボタン１１が上下方向に多段に配置されたＧＵＩを、対象者２００の左右方向の視線検出のみで自在に操作することができる。

図８のように操作ボタン１１を多段配置したＧＵＩにおいても、対象者２００の視線４００によってある操作ボタン１１が選択されたとき、そのとき表示中の操作ボタン１１を左右にスクロールさせて新たな操作ボタン１１を表示させる画面遷移を行うことができる。例えば、図９に示すように、表示装置１０の表示画面の右端および左端に、右向き矢印の操作ボタン１１および左向き矢印の操作ボタン１１をそれぞれ追加配置する。最初のＧＵＩ（ａ）における右向き矢印の操作ボタン１１が選択されると、ＧＵＩ（ｂ）のように、右向き矢印の操作ボタン１１および左向き矢印の操作ボタン１１の間に挟まれた２段４列の操作ボタン１１が全体的に左にスクロールして表示装置１０の表示画面に次々と新たな操作ボタン１１が現れる。そして、ＧＵＩ（ｃ）のように目的の「ＢＧＭ」の操作ボタン１１が表示されたところで、その操作ボタン１１を注視することで「ＢＧＭ」を選択することができる。

次に、本実施形態に係る視線入力システム１００の動作について図１０のフローチャートを参照しながら説明する。

まず、対象者２００に対して所定の相対位置に配置された発光装置２０から対象者２００の左眼または右眼に近赤外線３００を照射した状態で、撮像装置３０が左眼または右眼の撮像を開始する（Ｓ１）。そして、視線検出装置４０の画像取得部４１がステップＳ１で撮像された片眼画像を撮像装置３０から取得し、当該取得した片眼画像について、画像処理部４２が、瞳孔中心とプルキニエ像を検出するための前処理を行う（Ｓ２）。

次に、視線検出装置４０の瞳孔中心検出部４３が、ステップＳ２で前処理された片眼画像から瞳孔中心を検出する（Ｓ３）。もし、瞳孔中心検出部４３が瞳孔中心を検出できなければ（Ｓ３でＮＯ）、ステップＳ１へ戻り、対象者２００の左眼または右眼の撮像および前処理が再び行われる。一方、瞳孔中心検出部４３が瞳孔中心を検出できたなら（Ｓ３でＹＥＳ）、視線検出装置４０のプルキニエ像検出部４４が、ステップＳ２で前処理された片眼画像からプルキニエ像を検出する（Ｓ４）。もし、プルキニエ像検出部４３がプルキニエ像を検出できなければ（Ｓ４でＮＯ）、ステップＳ１へ戻り、対象者２００の左眼または右眼の撮像および前処理が再び行われる。すなわち、対象者２００の片眼画像から瞳孔中心およびプルキニエ像の双方が検出されるまで、対象者２００の左眼または右眼の撮像および前処理が繰り返される。

プルキニエ像検出部４４がプルキニエ像を検出できたなら（Ｓ４でＹＥＳ）、視線検出装置４０の視線算出部４５が、プルキニエ像を基点として瞳孔中心のＸ軸方向の移動量（視線移動量）をピクセル単位に変換して検出し、検出した移動量を表示装置１０の表示画面において分割したブロックに割り当てる（Ｓ５）。

そして、表示制御部５０が、視線検出装置４０の視線検出出力に応じて表示装置１０に表示する操作ボタン１１のハイライト状態を変化させ、対象者２００がある操作ボタン１１を注視したとき、その操作ボタン１１に対応付けられたコマンドやアクションを実行する（Ｓ６）。

以上のように、本実施形態によると、対象者２００に対して所定の相対位置から近赤外線３００が照射された対象者２００の左眼または右眼の片眼の撮像画像を解析し、眼の左右方向における瞳孔中心およびプルキニエ像の相対的な位置関係に基づいて対象者２００の左右方向の視線４００を算出するため、視線検出開始前に対象者２００の眼、発光装置２０、撮像装置３０、および表示装置１０間の各位置関係をパラメータ入力したり、対象者２００に表示画面の数カ所を注視させたりするキャリブレーションが不要となる。これにより、キャリブレーションを行うことなくすぐに視線による入力が可能となる。例えば、図１１に示したように、視線入力システム１００を使用中に対象者２００がシステムに対して前後移動したときでも、対象者２００の左眼または右眼が撮像装置３０の焦点範囲内にある限りキャリブレーションは不要である。

また、本実施形態によると、操作画面が階層的に表示されるため、視線検出が左右方向に限定されていても視線によって複雑な入力操作を行うことが可能となる。

また、本実施形態によると、視線検出に必要な発光装置２０および撮像装置３０はそれぞれ１個で済むため、視線入力システム１００の低コスト化および小型化が可能となる。

以上、本発明の実施形態について説明したが、本発明は上記の実施形態の構成に限られず種々の変形が可能である。例えば、表示装置１０の表示画面を４つのブロックＡ’〜Ｄ’に分割するとしたが、閾値を適切に設定することでそれ以外の分割数も可能である。

また、図１ないし図１１を用いて上記実施形態により示した構成は、本発明の一実施形態に過ぎず、本発明を当該構成に限定する趣旨ではない。

本発明に係る視線検出装置および視線入力システムは、キャリブレーション不要で片眼による視線方向の検出が可能であるため、車載や福祉用途のシステムとして有用である。

１００ 視線入力システム
２００ 対象者
３００ 近赤外線
４００ 視線
１０ 表示装置
１１ 操作ボタン
２０ 発光装置
３０ 撮像装置
４０ 視線検出装置
４３ 瞳孔中心検出部
４４ プルキニエ像検出部
４５ 視線算出部
５０ 表示制御装置

Claims (7)

1. 対象者に対して所定の相対位置から近赤外線が照射された該対象者の左眼または右眼の撮像画像を解析して該対象者の視線方向を検出する視線検出装置であって、
   前記撮像画像から、前記近赤外線が照射された眼の瞳孔中心を検出する瞳孔中心検出部と、
   前記撮像画像から、前記近赤外線が照射された眼の角膜表面での前記近赤外線の反射像であるプルキニエ像を検出するプルキニエ像検出部と、
   眼の左右方向における前記瞳孔中心および前記プルキニエ像の相対的な位置関係に基づいて、前記対象者の左右方向の視線を算出する視線算出部とを備えている
   ことを特徴とする視線検出装置。
2. 前記視線算出部は、前記プルキニエ像を基点として、当該基点に対する眼の左右方向への前記瞳孔中心の移動量に応じて、視線が眼の左右方向における複数の視線領域のいずれに属するかを判定する
   ことを特徴とする請求項１に記載の視線検出装置。
3. 対象者の視線によって入力を行う視線入力システムであって、
   前記対象者が視線によって入力を行うための操作画面を表示する表示装置と、
   前記対象者に対して所定の相対位置に配置され、前記対象者が前記操作画面を注視している状態において前記対象者の左眼または右眼に向けて近赤外線を照射する発光装置と、
   前記近赤外線が照射されている前記対象者の左眼または右眼を撮像する撮像装置と、
   前記撮像装置から撮像画像を受け、当該撮像画像を解析して前記対象者の視線方向を検出する請求項１または請求項２に記載の視線検出装置と、
   前記視線検出装置による視線検出出力を受けて、前記表示装置の画面表示を制御する表示制御装置と、を備え、
   前記表示制御装置は、複数の操作ボタンが左右方向に並べて配置された操作画面を表示させて前記対象者の左右方向への視線の動きに連動して操作ボタンのハイライト状態を変化させ、ある操作ボタンが選択されたとき、当該選択された操作ボタンに対応するアクションを実行する、または、別の操作画面に遷移させる
   ことを特徴とする視線入力システム。
4. 前記別の操作画面は、前記選択された操作ボタンに関連する下位階層の操作画面である
   ことを特徴とする請求項３に記載の視線入力システム。
5. 前記表示制御装置は、下位階層の操作画面を表示させている場合において前記対象者の視線が該操作画面の右または左に大きく外れたとき、上位階層の操作画面に遷移させる
   ことを特徴とする請求項４に記載の視線入力システム。
6. 前記操作画面において複数の操作ボタンが上下方向に多段に配置されており、
   前記表示制御装置は、前記対象者の視線が前記操作画面の右または左に大きく外れたとき、操作ボタンの段間を移動してハイライト状態を変化させる
   ことを特徴とする請求項３に記載の視線入力システム。
7. 前記表示制御装置は、ハイライト状態の操作ボタンが所定時間以上注視されたとき、当該操作ボタンが選択されたと判定する
   ことを特徴とする請求項３ないし請求項６のいずれかに記載の視線入力システム。