JP2000250699A - 視線入力装置 - Google Patents

Abstract

(57)【要約】 【課題】 視線入力装置における入力の操作性や重要な
入力の確実性、画像の鑑賞性などを向上させる。 【解決手段】 視線位置検出手段による視線位置検出可
能範囲Ｓに表示された画像Ｇの外側領域が含まれるよう
に構成し、表示された画像Ｇの外側領域に入力指示部を
設定することで、入力指示部を配置する範囲を画像Ｇの
外側領域まで広げて、重要な入力指示部を含む個々の入
力指示部のサイズを大きくすることができる。また、テ
レビ画像やビデオの再生画像などの画像Ｇを表示する場
合には、適宜の操作指示用の入力操作部を画像Ｇの外側
領域だけに設定することもできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力操作者の視
線位置を検出し、その視線位置情報に基づき、文字など
の情報の入力や操作指示などの入力を行う視線入力装置
に関する。

【０００２】

【従来の技術】近年、人の眼球に赤外光を照射して眼球
画像を撮像し、その眼球画像に基づき、その人が注視す
る視線位置を検出する技術が確立され、その視線位置検
出技術を用いて、視線によって文字などの情報の入力や
操作指示などの入力が行えるように構成された視線入力
装置が提案されている。

【０００３】この視線入力装置は、画像を表示する表示
部や、表示された画像を観察する入力操作者の視線位置
を検出する視線位置検出部、入力確定部を有する。視線
位置検出部は、画像を観察する入力操作者の眼球に赤外
光を照射する赤外光源や、眼球画像を撮像するＣＣＤカ
メラ、撮像された眼球画像に基づき、入力操作者の視線
位置を得るための演算を行う視線位置検出回路を備えて
いる。表示画像には、入力項目を選択指示するためにの
入力指示部として、文字群やボタン、スライダー、アイ
コンなどが表示される。そして、入力操作者が所望の入
力項目に対応する入力指示部（所望の文字やボタン、ス
ライダー、アイコン）に視線位置を移動させることで、
その入力指示部に対応した入力項目が選択され、入力確
定部による入力確定指示により選択された入力項目が入
力されるように構成されている。

【０００４】すなわち、この視線入力装置は、例えば、
パーソナルコンピューターにおけるマウスによる項目選
択（画面上の矢印の移動）を、入力操作者の視線の移動
によって行うように構成されたものである。

【０００５】このような視線入力装置は、例えば、医療
分野において、キーボードやマウスなどの操作が行えな
い肢体が不自由な重症患者などが、他の者とコミュニケ
ーションを取るために、肢体不自由者の意思を文章とし
て伝える際の文字入力などに用いられている。また、テ
レビ画像やビデオの再生画像などを表示し、入力操作者
が、チャネルや音声の変更などの操作指示を視線入力で
行うように構成されたものもある。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
視線入力装置は、全ての入力指示部を表示画像内に配置
しているために、次のような問題がある。

【０００７】すなわち、この種の視線入力装置では、視
線位置検出部と入力操作者の眼球との位置関係がずれる
と、視線位置の検出に誤差が生じ、実際の視線位置より
も多少ずれる場合がある。また、入力操作者の眼球自信
は常に上下や左右に動いているので、比較的狭い領域内
に視線位置を一定時間固定することは難しい。

【０００８】以上のような点を考慮すれば、個々の入力
指示部のサイズを大きくすることが好ましい。しかしな
がら、多数の入力指示部が必要な場合、大きいサイズの
入力指示部を全て表示画像内に配置するのは困難である
ので、入力指示部の個数を絞り込まなければならず、そ
の結果、入力装置としては操作性が著しく悪くなってし
まうという問題を招来する。

【０００９】また、例えば、重症患者などが使用する視
線入力装置には、通常、医師や看護婦に異常を知らせる
緊急呼び出しを指示入力するための入力指示部が設けら
れるが、緊急呼び出しの入力指示部のサイズが小さい
と、視線入力による緊急呼び出しを確実に行うことが保
証されず、人命にかかわる事態を招くことになる。そこ
で、通常は、緊急飛び出しが確実に行えるように、安全
を見越して、緊急呼び出しの入力指示部のサイズを他の
入力指示部よりも大きくしている。その結果、他の入力
指示部を配置する範囲が狭くなり、入力指示部の配置上
の制約を一層受けることになる。

【００１０】また、テレビ画像やビデオの再生画像など
を表示し、チャネルや音声の変更などの操作指示を視線
入力で行う場合、従来装置では、チャネルや音声の変更
などの操作指示を入力するための入力指示部をテレビ画
像やビデオの再生画像などに重畳表示することになるの
で、この入力指示部が、テレビ画像やビデオの再生画像
などを鑑賞する妨げになるという問題も起きている。

【００１１】この発明は、このような事情に鑑みてなさ
れたものであって、入力の操作性や重要な入力の確実
性、画像の鑑賞性などを向上させることができる視線入
力装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】この発明は、このような
目的を達成するために、次のような構成をとる。すなわ
ち、この発明は、表示された画像を観察する入力操作者
の眼球の動きに応じて、その入力操作者の視線位置を検
出する視線位置検出手段を備え、予め設定された入力指
示部をその入力操作者が注視したことを検出して、その
入力指示部に応じた入力が行えるように構成された視線
入力装置において、前記視線位置検出手段による視線位
置検出可能範囲に前記表示された画像の外側領域が含ま
れるように構成し、前記表示された画像の外側領域に前
記入力指示部を設定することを特徴とするものである。

【００１３】〔作用〕この発明の作用は次のとおりであ
る。視線位置検出手段による視線位置検出可能範囲に、
表示された画像内に加えて、その外側領域をも含めて視
線入力が可能な範囲を広げる。そして、表示された画像
の外側領域に入力指示部を設定する。これにより、入力
指示部を配置する範囲を画像の外側領域まで広げること
ができ、重要な入力指示部を含む個々の入力指示部のサ
イズを大きくすることができる。また、テレビ画像やビ
デオの再生画像などの画像を表示する場合には、適宜の
操作指示用の入力操作部を画像の外側領域だけに設定す
ることができる。

【００１４】

【発明の実施の形態】以下、図面を参照してこの発明の
実施の形態を説明する。図１はこの発明の一実施例に係
る視線入力装置の構成を示すブロック図である。

【００１５】この実施例は、入力操作者にヘッドマウン
トディスプレイ（ＨＭＤ）１を装着させ、ＨＭＤ１によ
って表示された画像を観察する入力操作者の視線位置情
報に基づき、文字などの情報の入力や操作指示などの入
力が行えるように構成された装置である。

【００１６】ＨＭＤ１は、画像表示回路１１によって液
晶表示装置（ＬＣＤ）１２に表示された画像をミラー１
３によって反射・集光し、入力操作者に画像（虚像）を
提供する公知の装置であり、画像表示回路１１には、パ
ーソナルコンピューター２から画像信号が供給され、装
着者の眼前にコンピューター２からの画像が拡大表示さ
れるようになっている。

【００１７】なお、図１には、画像表示回路１１やＬＣ
Ｄ１２とミラー１３などからなる画像表示機器および後
述する視線位置検出用の撮像光学系３を片方の眼Ｅに対
する構成だけを示しているが、ＨＭＤ１には、同じ構成
のものが左右両眼に対してそれぞれ備えられている。

【００１８】コンピューター２は、画像表示回路１１に
供給する画像を、例えば、文字入力用画像や、テレビチ
ューナー２１で受信したテレビ画像、ビデオデッキ２２
で再生される再生画像などに切換え可能に構成され、入
力操作者は、所望の画像を観ることができるようになっ
ている。

【００１９】ＨＭＤ１には、赤外発光ダイオードなどの
赤外光源３１と、撮像レンズ３２と、ＣＣＤカメラ３３
とからなる視線位置検出用の撮像光学系３が組み込まれ
ており、表示画像を観察している入力操作者の眼球画像
をＣＣＤカメラ３３で撮像できるようになっている。

【００２０】ミラー１２は、可視光は反射し、赤外光は
透過するようにコーティングが施されている。そして、
撮像レンズ３２及びＣＣＤカメラ３３を、ミラー１２を
挟んで眼球Ｅと反対側に配置し、撮像レンズ３２による
画角を調節して眼球Ｅ全体を正面から撮像できるように
構成されている。

【００２１】ＣＣＤカメラ３３で撮像された眼球画像は
視線位置検出回路４に供給される。この視線位置検出回
路４は、前処理回路４１や瞳孔・角膜反射点検出回路４
２、視線位置演算回路４３を備えている。ＣＣＤカメラ
３３で撮像された眼球画像は、前処理回路４１によって
予め設定されたしきい値を用いた２値化が行われた後、
瞳孔・角膜反射点抽出回路４２によって周知の方法で瞳
孔の中心位置と赤外光源３１から眼球Ｅに照射された角
膜反射像の位置とがそれぞれ抽出され、視線位置演算回
路４３によって瞳孔の中心位置と角膜反射像の位置とを
用いて周知の方法で操作者の視線位置が計算される。な
お、撮像光学系３と視線位置検出回路４とがこの発明に
おける視線位置検出手段に相当する。

【００２２】この視線位置の演算方法の例を図２（ａ）
および図２（ｂ）にそれぞれ示す眼球の模式的平面図お
よび模式的側面図を用いて説明する。これら図におい
て、符号６１は角膜の曲率中心、６２は瞳孔中心、６３
は虹彩、６４は角膜反射像であり、６５は視線を表して
いる。

【００２３】今、ＣＣＤカメラ３３が赤外光源３１と水
平方向にφ、垂直方向にψの角度をもっており、視線が
赤外光源３１に対して水平方向にα、垂直方向にβの角
度をなした場合、瞳孔中心６２と各膜反射像６４の中心
位置との水平距離Ｉ_H は下記の式（１）で、また、垂直
距離Ｉ_V は式（２）で表される。

【００２４】 Ｉ_H ＝Ｋ・ｔａｎα・ｃｏｓ（α−φ） … （１） Ｉ_V ＝Ｋ・ｔａｎβ・ｃｏｓ（β−ψ） … （２）

【００２５】これらの式において、Ｋは図２（ａ）、
（ｂ）に示すように、角膜の曲率中心６１から瞳孔中心
６２までの距離である。式（２）は、ＣＣＤカメラ３３
の光軸方向と赤外光源３１の光軸方向が同一であればψ
＝０であるから、式（３）で表すことができる（伊藤和
幸、数藤康雄；「瞳孔中心点と角膜反射点追跡による視
線検出法について」，国立身体障害者リハビリテーショ
ンセンター研究所紀要，第１６号，ｐ−ｐ８９−９４，
１９９５）。

【００２６】Ｉ_V ＝Ｋ・ｓｉｎβ … （３）

【００２７】αが小さいとき（０〜３０°）にはＩ_H の
値は線型性を保つので、ある基準点を注視した際に得ら
れた２つの特徴点の水平距離と垂直距離を基準点として
定義しておけば、ＨＭＤ１上での使用者の注視点は、こ
の基準点と、ある点を注視中に得られた２つの特徴点ど
うしの水平、垂直距離から換算することができる。

【００２８】

【００２９】算出された視線位置はコンピューター２に
与えられる。コンピューター２は、現在の視線位置が表
示画像内にあれば、例えば、その視線位置にカーソルを
表示したり、画面内の入力指示部を注視していればその
入力指示部を強調表示したりするなどして現在の視線位
置を画面上に反映させ、また、現在の視線位置が表示画
像の外側領域にあれば、例えば、表示画像の外側領域に
設定した入力指示部を注視しているとその入力指示部の
説明をスピーカー２３から音声でガイドするなどして、
現在の視線位置を入力操作者に確認させる。

【００３０】操作者は、所望の入力指示部を注視し、入
力確定指示をコンピューター２に与えることで、現在注
視している入力指示部に応じた入力が行われる。

【００３１】上記入力確定指示は、例えば、確定ボタン
５の押下や、所望の入力指示部を一定時間注視し続ける
ことなどで行われるように構成されている。

【００３２】図３はＨＭＤ１を装着した入力操作者に提
供される画像の視野とＨＭＤ１を装着した入力操作者の
視線の移動可能範囲との関係を示している。

【００３３】表示画像の視野は、ミラー１３の周辺の収
差による画像の歪みの防止や、入力操作者の視認性など
に基づき決められる。通常、この表示画像の視野は、水
平方向の視野角度θｇｘが２０°程度、垂直方向の視野
角度θｇｙが１５°程度である。

【００３４】これに対して、ＨＭＤ１を装着した入力操
作者の視線は、水平、垂直方向ともに、表示画像の視野
角度よりも広い角度範囲で移動可能である。また、ＨＭ
Ｄ１を装着した入力操作者の視線が、移動可能範囲内の
どこに向けらていても視線位置検出可能に赤外光を眼球
Ｅに照射できるように赤外光源３１の配置位置を調節す
るとともに、撮像レンズ３２及びＣＣＤカメラ３３の配
置位置と撮像レンズ３２による画角とを調節して眼球Ｅ
全体を正面から撮像できるようにすれば、ＨＭＤ１を装
着した入力操作者の視線が、表示された画像の外側領域
を含む範囲内のどこに向けらていても、ＣＣＤカメラ３
３で撮像された眼球画像に基づき、視線位置を検出する
ことができる。

【００３５】すなわち、図４に示すように、撮像光学系
３および視線位置検出回路４による視線位置検出可能範
囲Ｓを表示画像Ｇの外側領域が含まれるように構成する
ことができる。

【００３６】この実施例では、表示された画像の外側領
域に入力指示部を設定している。具体的な例を以下にい
くつか紹介する。

【００３７】図５ないし図７は肢体不自由者用の視線入
力装置であって、文字入力用画像を表示して文字入力を
視線入力で行う場合の一例である。

【００３８】図５は、従来の入力指示部ＩＳの配置例を
示す。この画像では、例えば、入力文字を表示する文字
領域７１や、漢字変換や漢字無変換などを入力するため
の各種のボタンＢ１〜Ｂ４で表示した入力指示部ＩＳ、
緊急呼び出し用の入力指示部ＩＳなどが配置される。な
お、文字領域７１内には、入力文字１文字ごとを囲む領
域に入力指示部ＩＳが設定される。文字入力は、入力操
作者（肢体不自由者）が、文字領域７１内に表示されて
いる所望の文字を注視して入力確定指示を行えば、その
文字がコンピューター２に入力される。また、任意のボ
タンＢ１〜Ｂ４を注視して入力確定指示を行えば、その
ボタン（例えばＢ１）に割り振られた機能（例えば、直
前に入力した文字や文字群の漢字変換など）をコンピュ
ーター２が実行する。さらに、緊急呼び出し用の入力指
示部ＩＳを注視して入力確定指示を行えば、コンピュー
ター２は緊急呼び出しを実行する。

【００３９】図５に示すように、従来は、全ての入力指
示部ＩＳを表示画像Ｇ内に配置しているので、個々の入
力指示部ＩＳのサイズが小さくなり、入力指示部ＩＳの
サイズを大きくしようとすると、表示画面Ｇに表示する
入力指示部ＩＳの個数を絞り込まなければならず、その
結果、入力装置としては操作性が著しく悪くなってしま
う。また、大きなサイズの緊急呼び出し用の入力指示部
ＩＳを設ける必要があるので、他の入力指示部ＩＳを配
置する範囲が狭くなり、入力指示部ＩＳの配置上の制約
を一層受けることになる。

【００４０】この実施例によれば、表示画像Ｇの外側領
域にも入力指示部ＩＳを設定することができる。従っ
て、例えば、入力指示部ＩＳの配置に大きな制約を与え
る緊急呼び出し用の入力指示部ＩＳを表示画像Ｇの外側
領域に移せば、図６に示すように、他の入力指示部ＩＳ
を大きく設定することができる。図６では、表示画像Ｇ
の外側領域全体を緊急呼び出し用の入力指示部ＩＳに設
定した例であり、入力操作者は、表示画面Ｇの外側に視
線を移動させ入力確定指示を行えば、コンピューター２
は緊急呼び出しを実行する。

【００４１】また、緊急呼び出し用の入力指示部ＩＳ以
外にも、例えば、頻繁に使用するボタンＢ１〜Ｂ４も表
示画像Ｇの外側領域に移せば、表示画面Ｇ内に設定する
入力指示部ＩＳの配置やサイズの自由度を一層向上させ
ることができる。なお、この場合、図７に示すように、
表示画像Ｇの外側領域を分割した各領域に複数の入力指
示部ＩＳが設定される。従って、例えば、入力操作者
は、表示画面Ｇの左外側に視線を移動させ入力確定指示
を行えば、コンピューター２は緊急呼び出しを実行し、
表示画面Ｇの上外側に視線を移動させ入力確定指示を行
えば、コンピューター２はボタンＢ１に割り振られた機
能を実行し、表示画面Ｇの右下方外側に視線を移動させ
入力確定指示を行えば、コンピューター２はボタンＢ３
に割り振られた機能を実行する。

【００４２】ここで、表示画面Ｇの外側領域に入力指示
部ＩＳがどのように設定されているのかを入力操作者は
視認することができない。そこで、上述したように、表
示画像Ｇの外側領域を注視するとその注視点に設定され
ている入力指示部ＩＳの説明（例えば、「緊急呼び出し
を実行しますか？」、「漢字変換を実行しますか？」と
いうようなガイド）をスピーカー２３から音声で行うよ
うに構成すれば、表示画面Ｇの外側領域に設定された入
力指示部ＩＳの内容を入力操作者は入力確定前に知るこ
とができるので、入力ミスなどを防止することができ
る。これについては、以下の例でも同様に適用できる。

【００４３】図８、図９は肢体不自由者用の視線入力装
置であって、テレビ画像を表示して適宜の操作指示を視
線入力で行う場合の一例である。

【００４４】チャネルや音声の変更などの操作指示用
（図では、チャネルアップ（ＣＵ）、チャネルダウン
（ＣＤ）、ボリュームアップ（ＶＵ）、ボリュームダウ
ン（ＶＤ））の入力指示部ＩＳや、緊急呼び出し用の入
力指示部ＩＳは、従来、図８に示すように、表示画像
（テレビ画像）Ｇに重畳表示されるので、入力操作者が
テレビ画像を鑑賞する妨げになる。

【００４５】これに対して、この実施例では、例えば、
図９に示すように、チャネルや音声の変更などの操作指
示用の入力指示部ＩＳや、緊急呼び出し用の入力指示部
ＩＳを、表示画像Ｇの外側領域だけに配置することがで
き、入力操作者がテレビ画像を鑑賞する妨げになるのを
防止することができる。

【００４６】ビデオの再生画像などの各種の鑑賞用の画
像を表示する場合も同様に、各種の入力指示部ＩＳを表
示画像Ｇの外側領域だけに配置すれば、入力操作者が画
像を鑑賞する妨げになるのを防止することができる。な
お、例えば、ビデオの再生画像を表示する場合には、操
作指示用の入力指示部ＩＳとして、ボリュームアップ、
ボリュームダウン、再生、停止、早送り、巻き戻しなど
の入力指示部ＩＳが設けられる。

【００４７】なお、上記では、緊急呼び出し用の入力指
示部ＩＳを設けた肢体不自由者用の視線入力装置を例に
採ったが、緊急呼び出し用の入力指示部ＩＳを設けない
健常者用の視線入力装置にもこの発明は同様に適用する
ことができる。

【００４８】また、表示画像は、文字入力用画像や鑑賞
用の画像に限定されず、各種の情報入力や操作指示入力
を視線入力で行う画像にもこの発明は同様に適用するこ
とができる。

【００４９】以上のように、この実施例によれば、視線
位置検出可能範囲に表示画像Ｇの外側領域を含め、表示
画像Ｇの外側領域に入力指示部ＩＳを設定するので、入
力指示部ＩＳを配置する範囲を画像の外側領域まで広げ
ることができ、従来、表示画面Ｇ内だけに配置していた
各種の入力指示部ＩＳのサイズや配置の自由度を向上さ
せることができる。また、緊急呼び出しなどの重要な入
力を行う入力指示部のサイズを、他の入力指示部の配置
に制約を与えずに大きくすることもでき、重要な入力の
確実性を保証することができる。さらに、入力指示部Ｉ
Ｓを画像の外側領域だけに配置させることもできるの
で、鑑賞用画像を表示する際の画像の鑑賞の妨げになる
ことを防止することもできる。

【００５０】なお、上記実施例では、ＨＭＤ１を用いた
視線入力装置を例に採ったが、この発明はそれに限定さ
れない。例えば、ＣＲＴなどのディスプレイに画像を表
示し、その画像を観察して各種の情報入力や操作指示入
力を視線入力で行う視線入力装置にもこの発明は同様に
適用することができる。

【００５１】

【発明の効果】以上の説明から明らかなように、この発
明によれば、視線位置検出手段による視線位置検出可能
範囲に表示された画像の外側領域を含め、表示された画
像の外側領域に入力指示部を設定するので、入力指示部
を配置する範囲を画像の外側領域まで広げることがで
き、また、入力指示部を画像の外側領域だけに配置させ
ることもできる。

【００５２】従って、例えば、多数の入力指示部が必要
な場合、個々の入力指示部のサイズを大きくしつつ、全
ての入力指示部を配置させることが可能になり、入力の
確実性と入力装置としての操作性とを共に向上させるこ
とができる。

【００５３】また、緊急呼び出しなどの重要な入力を行
う入力指示部のサイズを、他の入力指示部の配置に制約
を与えずに大きくすることもでき、重要な入力の確実性
を保証することができる。

【００５４】さらに、テレビ画像やビデオの再生画像な
どの鑑賞用の画像を表示し、チャネルや音声の変更など
の適宜の操作指示を視線入力で行う場合には、操作指示
用の入力指示部を鑑賞用の画像の外側領域だけに配置さ
せることができ、操作指示用の入力指示部が、画像を鑑
賞する妨げになることを防止することもできる。

【図面の簡単な説明】

【図１】この発明の一実施例に係る視線入力装置の構成
を示すブロック図である。

【図２】視線位置の演算方法の一例を説明するための図
である。

【図３】ＨＭＤを装着した入力操作者に提供される画像
の視野とＨＭＤを装着した入力操作者の視線の移動可能
範囲との関係を示す図である。

【図４】この実施例による表示画像範囲と視線位置検出
可能範囲との関係を示す図である。

【図５】文字入力用画像を表示した場合の従来例による
入力指示部の配置例を示す図である。

【図６】文字入力用画像を表示した場合のこの実施例に
よる入力指示部の配置例を示す図である。

【図７】文字入力用画像を表示した場合のこの実施例に
よる入力指示部の別の配置例を示す図である。

【図８】テレビ画像を表示した場合の従来例による入力
指示部の配置例を示す図である。

【図９】テレビ画像を表示した場合のこの実施例による
入力指示部の配置例を示す図である。

【符号の説明】

１：ヘッドマウントディスプレイ ２：パーソナルコンピューター ３：視線位置検出用の撮像光学系 ４：視線位置検出回路 Ｅ：眼球 Ｇ：表示画像 Ｓ：視線位置検出可能範囲 ＩＳ：入力指示部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 表示された画像を観察する入力操作者の
   眼球の動きに応じて、その入力操作者の視線位置を検出
   する視線位置検出手段を備え、予め設定された入力指示
   部をその入力操作者が注視したことを検出して、その入
   力指示部に応じた入力が行えるように構成された視線入
   力装置において、前記視線位置検出手段による視線位置
   検出可能範囲に前記表示された画像の外側領域が含まれ
   るように構成し、前記表示された画像の外側領域に前記
   入力指示部を設定することを特徴とする視線入力装置。