JP2000010722A - 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザに負担を強いず、粗い精度での視線検
出でもユーザの意図を認識できる視線ユーザ・インタフ
ェース装置を提案する。 【解決手段】 視線の移動パターンを認識し、認識され
た移動パターンの特徴に応じて、予め設定したコンピュ
ータコマンドに対応させ、このコマンドを実行する視線
ユーザ・インタフェース装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線に基づくユー
ザ・インタフェース装置に関し、特に、例えばパソコン
等に組み込まれて、例えばマウス或いはキーボードに代
わって例えばオペレーティング・システムやアプリケー
ションに対するコマンド入力を司る視線ユーザ・インタ
フェース装置及びその方法に関する。

【０００２】本発明は、更に、上記ユーザ・インタフェ
ース装置を組み込んだコンピュータ装置、その制御方
法、さらにはプログラム記憶媒体に関する。

【０００３】

【従来の技術】従来の視線入力インタフェース装置は、
ユーザ・インタフェース（多くはGUI(graphic user int
erface)用のグラフィックアイコンをユーザに提示し、
このアイコンを見つめるユーザの視線方向をセンサによ
り検出し、見つめられているアイコンを決定する。

【０００４】

【発明が解決しようとする課題】このために、ユーザ・
インタフェース装置は、ユーザが見つめている方向を精
度よく検出する必要があるので、ユーザは同じ一点を所
定時間見つめ続けることを強いられる。これはユーザに
とってかなりの負担となる。また、眼球の動きを精度よ
く検出するには、ユーザの頭部を固定する必要がある
が、ユーザ・インタフェースが例えばパソコンなどの一
般用途に用いられる場合には、頭部固定は好ましくな
い。

【０００５】本発明は従来技術のこのような欠点に鑑み
てなされたもので、その目的は、ユーザに負担を強い
ず、粗い精度での視線検出でもユーザの意図を認識でき
る視線ユーザ・インタフェース装置、インタフェース方
法、さらにはコンピュータ装置、及びその制御方法を提
案するものである。

【０００６】

【課題を解決するための手段】上記課題を達成するため
の、本発明の請求項１にかかる、検出された視線に応じ
て所定の事象をユーザに提示する視線ユーザ・インタフ
ェース装置は、視線の動きを検出する視線検出手段と、
検出された視線の動きを解析する解析手段と、解析結果
に対応する、予め設定した事象をユーザの前で発生させ
る事象発生手段とを具備することを特徴とする。

【０００７】視線が動くことをユーザに許容することは
ユーザの緊張を緩和する。また、視線の動きは、ユーザ
の希望する事象に対応する動作を反映するものであり、
この視線の動きを特定の事象と対応づけ、この事象を発
生させることにより操作性の高いユーザ・インタフェー
スが実現できる。視線の動きはパターン認識による解析
が有効である。而して、請求項２にかかる視線ユーザ・
インタフェース装置によれば、前記解析手段は、検出さ
れた視線の動きから移動パターンを認識する認識手段を
有し、前記事象発生手段は、認識された移動パターンを
コマンドに対応づける対応付け手段とを具備することを
特徴とする。

【０００８】複数のコマンドを視線で操作できれば操作
性は更に向上する。而して、請求項３にかかる視線ユー
ザ・インタフェース装置によれば、複数の視線の移動パ
ターンと複数のコマンドとを前もって対応づけて記憶す
る記憶手段を有し、前記対応付け手段は、前記認識手段
により認識された視線の移動パターンを、前記記憶手段
中に記憶された複数の移動パターンの中から同定して、
コマンドを決定することを特徴とする。

【０００９】本発明の好適な一態様である請求項４に拠
れば、前記視線検出手段は、角膜反射光と瞳孔中心の計
測から眼球回転角度を検出するためにユーザに装着され
るセンサ手段と、検出された眼球回転角から視線方向を
計算する演算ユニットとを含むことを特徴とする。

【００１０】眼球の動きにより視線を検出する場合に
は、眼球の動きには個人差を含むことを考慮する必要が
ある。而して、請求項５にかかる視線ユーザ・インタフ
ェース装置によれば、前記眼球回転角度検出手段によっ
て得られた眼球回転角度情報の個人差を補正する手段を
更に具備することを特徴とする。眼球回転角度情報の個
人差を補正するための補正情報は個人毎に概ね固定的で
ある。従って、請求項６のユーザ・インタフェース装置
のように、この補正情報を得るキャリブレーションによ
って前もって得ておくと操作性が向上する。

【００１１】キャリブレーションで得た補正情報は次回
の使用に使えるように記憶することが好ましい。この場
合、請求項７のユーザ・インタフェース装置によれば、
キャリブレーションにおいて、補正情報はユーザ毎に第
２の記憶手段に記憶され、前記補正手段は第２の記憶手
段に記憶された補正情報を用いて個人差を補正すること
を特徴とする。

【００１２】視線位置自体はユーザには五感によって感
知できない。そこで、請求項８のユーザ・インタフェー
ス装置のように、前記視線検出手段によって検出された
視線位置を外部の表示装置に表示すると、ユーザには、
自己の視線位置がユーザ・インタフェース装置によって
どのように認識されたかを確認することができる。本発
明の好適な一態様である請求項９に拠れば、発生される
事象に対応するインディケータを表示する手段を更に具
備することにより、視線動作が正しく認識されたか否か
を正しく確認することができる。

【００１３】本発明の好適な一態様である請求項１０乃
至１２に拠れば、解析されるべき視線の動きは、蛇行運
動、右回りの回転運動、左回りの回転運動である。これ
らの運動は、ユーザが行っている作業において自然にあ
るいは矛盾無く発生する視線動作である。上記の視線ユ
ーザ・インタフェース装置はコンピュータ装置に組み込
まれると効果的である。

【００１４】通常のコンピュータ装置は拡張用に基板挿
入スロットを有する。そこで、特に請求項４のユーザ・
インタフェース装置はコンピュータ装置に組み込むこと
が利用性が向上する。そこで、請求項１４のコンピュー
タ装置によれば、前記演算ユニットは、このコンピュー
タ装置の拡張基板に装着され、前記解析手段は、このコ
ンピュータ装置のマイクロコンピュータユニットによっ
て実行される解析プログラムを記憶するＲＯＭまたはＲ
ＡＭを含むことを特徴とする。

【００１５】上記課題は、請求項１５に係る、検出され
た視線に応じて所定のコマンドを実行するコンピュータ
装置によっても達成され、このコンピュータ装置は、視
線の動きを検出するセンサからの信号を入力するポート
と、マイクロコンピュータと、検出された視線の動きの
パターンを解析するために、前記マイクロコンピュータ
によって実行される解析プログラムと、解析された視線
の移動パターンに対応するところの予め設定したコマン
ドを履行するために、前記マイクロコンピュータによっ
て実行されるコマンド履行プログラムとを具備すること
を特徴とする。

【００１６】視線移動の検出や解析はユーザが関与しな
い領域で行われることが操作性向上からも好ましい。そ
こで、本発明の好適な一態様である請求項１６に拠れ
ば、前記解析プログラムとコマンド履行プログラムとは
オペレーティング・システムプログラムに組み込まれる
ことを特徴とする。また、本発明の好適な一態様である
請求項１７に拠れば、前記コマンド履行プログラムは、
解析された移動パターンに対応するコマンドをオペレー
ティング・システムを介してアプリケーション・プログ
ラムに渡すことを特徴とする。

【００１７】コンピュータ装置は複数のユーザによって
使用されることが多く、また、視線の動きにも個人差は
大きい。そこで、本発明の好適な一態様である請求項１
８に拠れば、ユーザ毎に対応するレコードを有する第１
の初期設定ファイルをさらに有し、この第１の初期設定
ファイルには、ユーザ毎の視線の動きについての個人差
情報を記憶することを特徴とする。

【００１８】コンピュータ装置は複数のアプリケーショ
ン・プログラムを使用することが多く、また、個々のア
プリケーション・プログラムにも操作毎の差は大きい。
そこで、請求項１９の装置は、アプリケーション・プロ
グラム毎に対応するレコードを有する第２の初期設定フ
ァイルをさらに有し、この第２の初期設定ファイルに
は、個々のアプリケーション・プログラムに特有のコマ
ンドに対応する視線移動パターンの特徴情報を登録する
ことを特徴とする。

【００１９】本発明の好適な一態様である請求項２０，
２１に拠れば、前記特徴情報は、デフォルト指定されて
いる、あるいは、ユーザ指定可能であることを特徴とす
る。上記課題は、請求項２２の、検出された視線に応じ
て所定の事象をユーザに提示する視線ユーザ・インタフ
ェース方法によっても達成される。この方法は、視線の
動きを検出し、検出された視線の動きを解析し、解析結
果に対応する、予め設定した事象をユーザの前で発生さ
せることを特徴とする。

【００２０】本発明の好適な一態様である請求項２３の
方法は、検出された視線の動きから移動パターンを認識
し、認識された移動パターンをコンピュータのコマンド
に対応づけることを特徴とする。本発明の好適な一態様
である請求項２４の方法は、更に、複数の視線の移動パ
ターンと複数のコマンドとを前もって対応づけてメモリ
に記憶し、認識された視線の移動パターンを、前記メモ
リ中に記憶された複数の移動パターンの中から同定し
て、コマンドを決定することを特徴とする。

【００２１】本発明の好適な一態様である請求項２５の
方法は、検出された視線の動きを示す情報の個人差を補
正する工程を更に具備する。本発明の好適な一態様であ
る請求項２６の方法は、さらに補正情報を得るキャリブ
レーション工程を具備することを特徴とする。本発明の
好適な一態様である請求項２７の方法は、検出された視
線位置を外部の表示装置に表示することを特徴とする。

【００２２】本発明の好適な一態様である請求項２８の
方法は、発生すべき事象が認識されたことをユーザに示
すために、その事象に対応するインディケータを表示す
る工程を更に具備することを特徴とする。上記課題は、
請求項２９の、検出された視線に応じて所定のコマンド
をコンピュータに実行させるコンピュータ装置の制御方
法によっても達成される。個の制御方法は、視線の動き
を検出するセンサの信号を入力し、検出された視線の動
きのパターンを解析し、解析された視線の移動パターン
に対応するところの予め設定したコマンドを履行するこ
とを特徴とする。

【００２３】請求項３０の制御方法は、前記パターンの
解析とコマンドの履行とはオペレーティング・システム
プログラムによって行われることを特徴とする。請求項
３１の制御方法においては、解析された移動パターンに
対応するコマンドはオペレーティング・システムを介し
てアプリケーション・プログラムに渡されることを特徴
とする。

【００２４】コンピュータ装置は複数のユーザによって
用いられ、かかる場合は、ユーザは装置を使用するに際
してログインする必要がある。そこで、本発明の好適な
一態様である請求項３２の制御方法は、ユーザ毎の視線
の動きについての個人差情報をメモリに記憶し、このコ
ンピュータ装置にログインしたユーザに対応する個人差
情報を用いて検出した視線情報を補正することを特徴と
する。

【００２５】コンピュータ装置においては複数のアプリ
ケーション・プログラムを動作させることが可能であ
る。そこで、本発明の好適な一態様である請求項３３
は、個々のアプリケーション・プログラムに特有のコマ
ンドに対応する視線移動パターンの特徴情報を予め登録
する工程と、実行中のアプリケーション・プログラムを
認識する工程と、認識された実行中のアプリケーション
・プログラムに対応する特徴情報を取り出す工程とを更
に具備することを特徴とする。

【００２６】

【発明の実施の形態】以下、本発明のユーザ・インタフ
ェース装置をパソコンシステムに適用した実施形態を説
明する。 〈第１実施形態〉第１図は、実施形態のパソコンシステ
ム１００の外観図である。同図では、パソコンシステム
に、更に、ビデオ装置、テレビ装置、エアコン装置、ス
テレオ装置等の入出力装置が接続されている。これらの
入出力装置に対する命令は、眼球回転角センサ１０によ
り検出された視線方向の変化から、パソコンのオペレー
ティング・システムが認識した視線の移動パターンに基
づいて決定される。例えば、後述するように、眼球の移
動が、左右に振れながら、徐々に上下方向に移動する場
合には、ユーザが画面のスクロールを必要とする操作を
行っているので、ユーザから画面をスクロールさせるコ
マンドが入力されたと解釈するものである。

【００２７】第１図のＣＲＴ１１に表示されているアイ
コン状のグラフィック図形１３は、道パソコン１００が
ユーザの視線の移動パターンから認識したコマンドをユ
ーザに確認させるために表示されたものである。本パソ
コンシステムでは、視線入力ユーザ・インタフェースを
ユーザに意識させない目的で、この視線入力ユーザ・イ
ンタフェースシステムはオペレーティング・システム４
０に組み込まれている。第２図の示すように、本視線入
力ユーザ・インタフェースシステムは、周知の眼球回転
角度センサ１０と、このセンサを制御するコントローラ
２０（このコントローラ２０自体はパソコン本体内に設
置された拡張用基板に内蔵されている）と、コントロー
ラ２０を制御するドライバ・プログラム・ソフトウエア
３０とからなる。ドライバ３０は、コントローラ２０と
オペレーティング・システム４０との間のインタフェー
スを制御する。検出された視線方向、視線移動パターン
は、オペレーティング・システム４０からプログラムイ
ンタフェース５０を介して目的のアプリケーション・プ
ログラムに送られる。アプリケーション・プログラム
は、オペレーティング・システム４０から受け取った視
線方向情報と、認識された視線移動パターンとから、そ
のアプリケーション・プログラムに予め設定されたコマ
ンドとして認識し、そのコマンドを実行する。

【００２８】第３図は、ドライバ・ソフトウエア３０に
おける機能ブロックを示す図である。即ち、ドライバ３
０は、眼球回転角センサ１０から信号をコントローラを
介して入力し、コマンド送信部３４を介してオペレーテ
ィング・システム４０に認識されたコマンドを送る。ド
ライバ３０は、個人差補正機能部３１と、視線位置計算
機能部３２と、視線パターン解析機能部３３と、コマン
ド送信機能部３４という、４つのプログラムプロセジャ
からなる。

【００２９】第３図に於いて、ディスクファイル４１
は、視線の複数パターンと複数のコマンドとの対応を記
憶するテーブルで、ディスクファイル４２はユーザの視
線の動きの個人差を補償するための補正係数を記憶す
る。ディスクファイル４１，４２は、本オペレーティン
グ・システムがWindows 95であればレジストリ内に格納
される。

【００３０】ディスクファイル４１，４２の内容は、コ
ントロールパネル内の所定のユーティリティ・アプリケ
ーション・プログラムによって作成される。このユーテ
ィリティが実行されると、第４図のような入力ウインド
画面が表示される。「キャリブレーション実行」はこの
メニューが選択されると後述のキャリブレーション手順
が実行される。コマンド設定が選択されると、第６図の
ような入力画面が表示されて、視線の移動パターンとコ
マンドとの対応をユーザが決定することができる。

【００３１】また、第４図の入力ダイアログにおいて、
視線入力モードがＯＮにされると、本実施形態の視線移
動パターンによるコマンド入力がエネーブルされ、ＯＦ
Ｆが選択されると、そのコマンド入力がディスエーブル
される。第４図のダイアログにおいて「キャリブレーシ
ョン実行」が選択されるとキャリブレーションが行われ
る。本実施形態における「キャリブレーション」とは、
センサ１０が検出する視線方向は個人差があるために、
その個人差を補償するためにある。このキャリブレーシ
ョンは、本パソコンシステムを起動するときに、当該ユ
ーザについて一度だけ行えばよい。

【００３２】第５図はキャリブレーションに適用されて
いる原理を説明する。第４図のダイアログで「キャリブ
レーション実行」が選択されると、まず、ユーザは検出
される方の眼（通常は、そのユーザの所謂利き目が用い
られる）を、ディスプレイ１１から距離Ｄだけ離れた位
置に置き、更に、ディスプレイ１１の中心に合わせるこ
とをシステムから求められる（その旨のメッセージがＣ
ＲＴ１１上に表示される）。ユーティリティ・キャリブ
レーション・プログラムは、このディスプレイ１１上の
中心から₁離れた位置に指標Ｍ_lを表示し，ユーザがその
指標を注視した時の眼球回転角β₁を記録する。次に、
プログラムは指標Ｍ₂を提示し同様に眼球回転角β₂を記
録する。この二つの記録から次式に基づいて補正係数
ａ，ｂを求める。即ち、 Ｘ₁＝Ｄ・｛ａ・tanθ₁ ＋ｂ｝ …（１） Ｘ₂＝Ｄ・｛ａ・tanθ₂ ＋ｂ｝ …（２） から補正係数ａ，ｂを決定する。決定された補正係数
ａ，ｂは、ディスクファイル４２に記憶される。このと
き、当該補正係数ａ，ｂは本パソコンシステムにログイ
ンしたユーザのID（識別子）に結びつけられてディスク
ファイル４２内に保存される。即ち、当該ユーザに関し
て一旦決定された係数ａ，ｂがディスクファイル４２に
記憶されると、次回以降にそのユーザがログインしたと
きは、このユーザのIDにリンクされた係数ａ，ｂが視線
位置計算部３２により自動的に用いられることとなる。

【００３３】第６図は、ファイル（パターン・コマンド
対応テーブル）４１を作成する入力ダイアログの一例を
説明する。即ち、第６図の例では、視線の移動パターン
に応じて、どのアプリケーション・プログラムを起動も
しくは終了するかを規定するものである。具体的には、
ユーザは、視線が「上右方向」に移動したことが検出さ
れたときは、ユーザがアプリケーション・プログラム１
を「起動」することを希望していると、定義している。
第６図の例では、同じく、視線が「上左方向」に移動し
たことが検出されたときは、ユーザがアプリケーション
・プログラム２が「起動」されるべきことを、視線が
「下右方向」に移動したことが検出されたときは、ユー
ザがアプリケーション・プログラム１が「終了」される
べきことを、視線が「下左方向」に移動したことが検出
されたときは、ユーザがアプリケーション・プログラム
２が終了されるべきことを、定義している。

【００３４】第７図は、ドライバプログラムにおける制
御手順を示す。ステップＳ２００で、視線入力モードが
ＯＮされているかを判断する。ＯＮされていなければ、
第７図のステップＳ２０１以下の手順は実行されない。
モードがエネーブルされていると、ステップＳ２０１に
おいて、眼球回転角検出センサ１０によって眼球回転角
度が検出される。眼球回転角の検出は公知の手法、例え
ば角膜反射光と瞳孔中心の位置関係から眼球の回転角度
θを求める手法によって眼球回転角度情報を検出する。
ステップＳ２０１では、角膜反射光の有無に基づいてユ
ーザが瞬きを行ったか否かの検出も別途行う。検出され
た眼球回転角度には個人差があるので、ステップＳ２０
２において、前述のキャリブレーションによって求めら
れた係数ａ，ｂを用いて、眼球回転角の個人差補正を行
う。補正された眼球回転角度をθ_Cで表す。

【００３５】ステップＳ２０３では、補正された眼球回
転角度θ_Cに基づいて視線位置（方向）計算部３２によ
ってユーザの視線方向（ベクトルｎ）が計算される。ス
テップＳ２０４において、時系列で求められてきたベク
トル…ｎ_ー2，，ｎ_ー1，ｎ₀を解析することにより、視線
の動作（パターン）を解析する。ステップＳ２０５にお
いて、ファイル４１の内容（第６図参照）を読み出し、
これと解析された視線パターンとを比較することによ
り、一致する制御命令（コマンド）を探す。一致した場
合には，ステップＳ２０６において設定した制御命令を
オペレーティング・システムまたはオペレーティング・
システム（プログラムインタフェース）を介してアプリ
ケーション・プログラムに渡す。

【００３６】コマンドをオペレーティング・システムに
渡すのは、オペレーティング・システムにより目的のア
プリケーションを起動させるためである。即ち、上右方
向（または上左方向）の視線移動パターンが検出された
場合には、オペレーティング・システムは、アプリケー
ション・プログラム１（またはアプリケーションプログ
ラム２）を起動するシステムコールを発生させる。一
方、下右方向（または下左方向）の視線移動パターンが
検出された場合には、アプリケーション・プログラム１
（またはアプリケーション・プログラム２）にその旨を
知らせて、アプリケーション・プログラム１の終了（ま
たはアプリケーション・プログラム２の終了）のための
システムコールを発生せしめる。

【００３７】かくして、第１実施形態によれば、視線移
動のパターンを認識し、パターンにコマンドを対応させ
ることにより、ユーザに無理を強いることのない視線ユ
ーザ・インタフェース装置を提案することができる。従
来の一点見つめることを要求する視線入力は、視線位置
信号に高周波成分を含みやすいが、視線の移動自体は眼
球の動作に緊張を強いることは少ないので、高周波ノイ
ズは少なく、従って、視線移動のパターン認識の精度は
向上する、即ち、コマンド認識の精度は高いものとな
る。

【００３８】〈第２実施形態〉ユーザが入力するコマン
ドには、オペレーティング・システムに対するコマンド
と、ユーザアプリケーションに対するコマンドの２つが
ある。オペレーティング・システムに対する視線パター
ンによるコマンド入力は、オペレーティング・システム
自体がアプリケーションに対する依存度が低いので、ア
プリケーションの起動や終了、ウインドのオープンやク
ローズ、ゴミ箱内のファイルの整理、フォルダのオープ
ンやクローズ等の、既存の例えばWINDOWSやMAC OS等に
備えられている基本的な操作に対応するもので十分であ
る。

【００３９】第２実施形態は、主にアプリケーション・
プログラムに固有のコマンドに対応する視線パターン入
力に関するものである。第８図は、第２実施形態に関わ
る視線ユーザ・インタフェース装置におけるユーザ・イ
ンタフェースの一例を示す。即ち、第８図の例では、ア
プリケーション・プログラムがワード・プロセッサ・プ
ログラムを想定している。通常、ワード・プロセッサ・
プログラムは、文章の入力および編集に重点が置かれて
いるので、そのような文章を入力し校正しているユーザ
は、文章を読むときには第８図のような視線変化パター
ンを伴う視線移動を行う。換言すれば、第８図のような
蛇行しながら上下する視線移動は、視線位置が最終的に
はウインドの終端（第８図の例では、最上端或いは最下
端）に到達するので、ウインドをスクロールさせる事を
必要とする。そこで、第２実施形態では、第８図のよう
な視線移動が検出された場合には、ユーザから、スクロ
ールコマンドの入力があった見なし、当該アプリケーシ
ョン・プログラムはスクロールを実行する（実際には、
スクロールのためのシステムコールを発生する）のであ
る。

【００４０】コマンドは、アプリケーション・プログラ
ムによって千差万別であるから、パターン対コマンドの
対応テーブルファイル４１は詳細に定義することが好ま
しい。第９図は、この第２実施形態に関わるファイル４
１のデータ入力例（アプリケーション・プログラムがワ
ード・プロセッサ・プログラムである場合）を示す。視
線移動パターンとして、４つの例、 左右蛇行（下方向）：左右に蛇行しながら全体として下
に進む 左右蛇行（上方向）：左右に蛇行しながら全体として上
に進む 上下蛇行（右方向）：上下に蛇行しながら全体として右
に進む 上下蛇行（左方向）：上下に蛇行しながら全体として左
に進む が挙げられている。第９図のテーブルの「アプリケーシ
ョン・プログラム名」に示されたプログラム名称に一致
する領域で視線の移動が検出され、その移動パターンが
上記４つの移動パターンのいずれか１つであると検出さ
れたならば、ドライバプログラム３０は、それぞれ、当
該アプリケーション・プログラムのアクティブウインド
の、 下（↓）方向スクロール 上（↑）方向スクロール 右（→）方向スクロール 左（←）方向スクロール 操作を行う。第９図に於いて、「条件」欄は、移動パタ
ーンとの一致がとれたとしても、そのパターンが視線コ
マンドの入力と見なすための条件をユーザが指定するこ
とができるようにしたものである。即ち、下方向や上方
向のスクロールは、横書き入力モードの時しか意味がな
い。換言すれば、横書き入力の時に、上下方向の蛇行パ
ターンが検出されても視線コマンドの入力があったと見
なさないのである。即ち、下または上方向へのスクロー
ルは、横書き入力モードの時にのみエネーブルされる視
線入力コマンドである。逆に、右方向や左方向のスクロ
ールは、縦書き入力モードの時しか意味がない。換言す
れば、縦書き入力の時に、左右方向の蛇行パターンが検
出されても視線コマンドの入力があったと見なさない。
即ち、右または左方向へのスクロールは、縦書き入力モ
ードの時にのみエネーブルされる視線入力コマンドであ
る。

【００４１】第１０図はパターンの定義の詳細である。
第９図の４つのパターンは蛇行パターンであるので、パ
ターンの定義とはその蛇行パターンを定量化した特徴量
である。蛇行パターンは、第１１図に示すように、「蛇
行ストローク距離」と「蛇行ピッチ間隔」とで定義され
る。「蛇行ストローク距離」はウインドの大きさで概ね
決まる。また、ピッチ間隔は文字フォントのサイズで決
まる。第１０図に於いて、「ピッチ間隔」の「デフォル
ト」は１２ポイントフォントの大きさに固定的に設定さ
れている。「ピッチ間隔」の「ユーザ定義」はピッチ距
離をmmまたはポイント数でユーザが定義する。「ピッチ
間隔」の「アプリケーション定義」とは、ピッチ間隔情
報を当該アプリケーション・プログラムからもらうこと
を意味する。今日のWINDOWSでもMAC OSでも所謂WYSWYIG
が実現されているから、フォントの大きさだけではピッ
チを推測することは困難である。ライン間の距離もピッ
チ決定のための大きな要素である。そこで、現在アクテ
ィブなウインド上に表示されている文字ピッチは当該ア
プリケーション・プログラムがよく知っているのである
から、「ピッチ間隔」を「アプリケーション定義」と設
定することにより、そのピッチ情報を当該アプリケーシ
ョン・プログラムから貰うのである。

【００４２】第１２図は、第２実施形態に係るドライバ
プログラム３０の制御手順を示すフローチャートであ
る。ステップＳ３０１は、現時点での視線位置を入力す
る。ステップＳ３０２では、現時点の視線位置が、アク
ティブなウインド（WINDOWSやMAC OSでは最上位のウイ
ンド、UNIXなどのリアルタイムＯＳでは最上位のアクテ
ィブなウインド）の内部にあるかを判断する。現在の視
線位置がアクティブなウインドの内部に無ければ、ステ
ップＳ３０３−ステップＳ３０９の処理は行わない。こ
の理由を第１３図により説明する。視線コマンド入力を
行うということは、ユーザは、自分が稼働させているア
プリケーション・プログラムが何であるか、そして、ど
のウインドがアクティブであるかを熟知しているはずで
ある。ということは、視線コマンドはアクティブなウイ
ンドの内部において行われるはずである。第１３図にお
いて、非アクティブなウインド内部において、蛇行する
視線移動が行われても、その視線移動はそのユーザがそ
の非アクティブなウインドに対してコマンドを入力した
いがためにそのような視線移動が行われたのではないこ
とを意味する。そこで、第２実施形態では、このような
視線移動はノイズと見なして無視する。尚、第２実施形
態において、他のアプリケーション・プログラムのウイ
ンドをユーザが選択する場合には、ユーザは通常のよう
に、マウスやキーボードなどを用いて行うことになる。

【００４３】ステップＳ３０２において視線位置がアク
ティブなウインド内にあることが判定されると、ステッ
プＳ３０３において、当該アクティブなウインドが属す
るアプリケーション・プログラムを知り、第９図のテー
ブルファイル４１から、当該アプリケーション・プログ
ラムについて定義された各種情報（第９図）を得る。ス
テップＳ３０４ではセンサ１０から眼球回転角度を入力
し、ステップＳ３０５では視線方向を検出する。

【００４４】ステップＳ３０６では、検出された視線方
向の過去の履歴から視線移動パターンを認識する。この
パターンの特徴は、第１０図のパターン特徴ファイルの
情報と比較されて、パターン名が同定され、対応するコ
マンド（制御命令）が決定される。ステップＳ３０７，
ステップＳ３０８では制御命令を実行する。以上のよう
にして、第２実施形態では、第１実施形態の効果をその
まま譲り受けると共に、更に、アプリケーション・プロ
グラムのアプリケーションに固有な視線動作にコマンド
を対応させることにより、人間工学的に最適な視線入力
を実現することができる。また、アプリケーション・プ
ログラムに固有な視線動作を考慮して、移動パターンの
認識を行うので、認識精度は高いものとなる。

【００４５】第２実施例では、アプリケーション・プロ
グラムとしてワード・プロセッサ・プログラムを例に挙
げたが、アプリケーション・プログラムはこれに限られ
ない。アプリケーション・プログラムの例にブラウザア
プリケーション・プログラムがある。ブラウザアプリケ
ーション・プログラムには、電子文書ブラウザやＷＷＷ
ブラウザなどのテキストを主に含むデータを対象とする
テキスト・ブラウザと、画像ブラウザのように、画像を
主に含むブラウザがある。テキストブラウザの場合に
は、視線移動のパターンは前述のワードプロセッサアプ
リケーション・プログラムのように蛇行する独特のパタ
ーンを発生させるが、画像ブラウザの場合には視線の移
動はランダムであり規則性は少ない。そこで、第２実施
形態の変形例として、アプリケーション・プログラムの
タイプが画像ブラウザの場合には、視線移動パターンに
基づくコマンド決定を禁止するようにしても良い。

【００４６】〈視線移動の確認〉上記第１実施形態及び
第２実施形態の視線ユーザ・インタフェース装置では、
認識された視線移動パターンに対応するコマンドをＣＲ
Ｔ上に表示することにより、システムが認識したコマン
ドをユーザに確認の機会を与えることが好ましい。

【００４７】第１４図のアイコンはそのような確認イン
ディケータの例である。第１４図の例では、４つの菱形
形状のインディケータ（７０ａ〜７０ｄ）が用意されて
いる。即ち、本ユーザ・インタフェース装置が、上
（↑）方向（或いは→または↓または←方向）の視線移
動パターンを認識すると、インディケータ７０ａ（また
は、７０ｂ，７０ｃ，７０ｄ）を点灯する。この点灯に
より、ユーザが行った視線移動をシステムがコマンドと
して正しく認識したことを確認できる。

【００４８】尚、第１４図の例では、ユーザは視線をイ
ンディケータの上を見つめながら移動させる必要は必ず
しもない。 〈変形例１〉上記実施形態の種々の変形例を説明する。
第１５図は、本発明の視線ユーザ・インタフェース装置
を、カメラの撮像方向の制御システムに適用した例を示
す。この例では、１つのパソコンから、インターネット
を介して、他のパソコンに接続されたカメラ（以下、
「遠隔地カメラ」と略す）を制御するものである。遠隔
地カメラは、接続されたコンピュータ（パソコンまたは
ワークステーション）によりパン・チルト・ズーム等の
方向の制御が可能なものである。遠隔地カメラの映像
は、このコンピュータにより取り込まれ、ディスプレイ
に表示される。

【００４９】即ち、ユーザが操作している方のコンピュ
ータが、それに接続されたカメラ（以下、「自カメラ」
と略す）の映像に基づいてユーザの視線方向を検出する
と、その方向に遠隔地カメラの視線方向を合わせるよう
に、その遠隔地カメラを回転制御（パン方向とチルト方
向）するものである。視線コントロールプログラムが、
例えばユーザの視線が自カメラの映像画面の右側にある
と認識すると、遠隔地カメラは右方向に回転を行う。そ
して、遠隔地カメラ映像の中心に視線が到達すると、回
転は中止する。

【００５０】ここで問題となるのは、ユーザの視線が上
下左右方向のいずれを向いているのかの判別を視線コン
トロールプログラムがどのように判別するかである。眼
球の回転角、即ち、視線方向はユーザ毎に異なる。そこ
で、ユーザ毎に眼球回転角の閾値を決め、それに応じて
視線方向の判定を行うようにする。この第１変形例の特
徴は、第１６図に示すように、閾値を表す枠が自カメラ
のコンピュータディスプレイに表示される点である。眼
球回転角がこの閾値を越えた（枠の外に出た）ときに、
視線が上下左右のどちらかを向いていると判定する。判
定された視線方向は前述のインディケータによってユー
ザに伝えられる。

【００５１】また、このカメラ映像を表示するディスプ
レイは大きい画面の方が好ましい。これは小さいディス
プレイであると、画角が狭いために視線方向の判定がシ
ビアになってしまうが、大きいディスプレイであると、
画角が広がるために、視線方向の判定は明確になること
が考えられるためである。 〈変形例２〉ズームインとズームアウトのための視線移
動パターンについて説明する。

【００５２】第１７図の例では、ズームインは、表示画
面上の一点８０を所定時間見つめ続けると、シーン１１
０から、その一点８０を中心にした所定倍率のズームイ
ンがシーン１２０のように行われる。また、ある点９０
で瞬きを行うと、その点９０を中心にしたズームアウト
が行われる。第１８図の例では、右回りの視線の回転を
行うとズームインが、左回りの視線回転を行うとズーム
アウトが行われる。この場合、右回りが右ネジの法則を
連想させて、その動きがズームインに繋がることは違和
感を生まない。

【００５３】〈変形例3〉変形例1においては、カメラの
視点が静止した状態にあり、ユーザが現実世界を見回す
ことが可能である。しかし、変形例１に限らず、ある仮
想世界をコンピュータ内部に構築すれば、ユーザはあら
ゆる位置にカメラ視点を設定することが可能である。つ
まり、視点を変えることによるウオークスルー可能であ
るといえる。変形例３では、視線によるウオークスルー
について説明する。即ち、視点位置の所定の変更動作
が、ウオークスルーにおけるユーザの動作（前進、停
止、後退等）に対応させるものである。

【００５４】ディスプレイには仮想空間が提示されるも
のとする。仮想空間内の前進は、ユーザによる画面の一
点の注視とする。停止は、前進している状態で、ユーザ
による瞬き（または、目を閉じる）ものとする。また、
後退は、停止した状態で、ユーザによる瞬き（または、
目を閉じる）ものとする。

【００５５】人間は無意識のうちに瞬きや目を閉じる。
この自然な動作と、コマンドとしての目の動作とを区別
する必要があるが、その区別を目を閉じている時間によ
って判断するようにする。尚、目を開じている時間間隔
はユーザ毎に感じるストレスの違いと考慮して、個別に
設定を行うようにする。仮想空間内で進行方向を変える
には、変形例1で示したように、左右のどちらかを見る
ことによって行う。

【００５６】このように仮想空間内を視線によつてウォ
ークスルーすることによって、たとえば体の不自由なユ
ーザがネットワータを介して、ほかのユーザとコミュニ
ケーションすることを可能とし、また、仮想空間を用い
ることによつて、より他のユーザとのインタラクティブ
性を向上させることが可能となる。 〈その他の変形例〉上記実施形態ではパソコンを例にし
て説明したが、本発明のユーザ・インタフェースは、ワ
ークステーション、汎用コンピュータシステムの入力端
末等、ユーザが目を用いて作業する装置であるならば、
あらゆる入力装置に適用可能である。

【００５７】また、本発明の視線ユーザ・インタフェー
スをコンピュータ装置に後付する事を考慮すれば、セン
サ１０と、コントロールボードと、ドライバプログラム
を記憶するＦＤ（フロッピーディスク）またはＣＤＲＯ
Ｍとがキットになっていることが好ましい。ユーザは、
ボードをコンピュータ装置の拡張スロットに差し込み、
このボードにセンサを接続し、ドライバプログラムをＦ
Ｄからオペレーティング・システムの所定の記憶領域に
ロードする。

【００５８】

【発明の効果】以上説明したように、本発明の視線ユー
ザ・インタフェース装置、コンピュータ装置によれば、
ユーザの動作に基づく視線の動きに適合した事象（また
はコマンド）をユーザフレンドリーに発生させることが
できる。

【図面の簡単な説明】

【図１】 本発明のユーザ・インタフェース装置が適用
されたコンピュータシステムの外観を説明する図。

【図２】 第１図のコンピュータシステムにおける本発
明に関わるソフトウエアプログラムの構成を説明する
図。

【図３】 本発明のユーザ・インタフェースを機能ブロ
ックで説明する図。

【図４】 本発明の実施形態装置において、視線入力環
境を決めるダイアログを説明する図。

【図５】 眼球回転方向を補正する原理を説明する図。

【図６】 第１実施形態の視線移動パターン対コマンド
対応テーブルを定義するために表示される入力ダイアロ
グの図。

【図７】 第１実施形態におけるドライバプログラム２
０の制御手順を示すフローチャート。

【図８】 第２実施形態における視線移動パターンの典
型例を説明する図。

【図９】 第２実施形態の視線移動パターン対コマンド
対応テーブルを定義するために表示される入力ダイアロ
グの図。

【図１０】 第２実施形態の視線移動パターン対コマン
ド対応テーブルの詳細を定義するために表示される入力
ダイアログの図。

【図１１】 第２実施形態に適用される蛇行視線移動パ
ターンの特徴量を説明する図。

【図１２】 第２実施形態におけるドライバプログラム
２０の制御手順を示すフローチャート。

【図１３】 第２実施形態においてアクティブなうイン
ドを説明する図。

【図１４】 第２実施形態において用いられるインディ
ケータの表示例を示す図。

【図１５】 第１実施形態又は第２実施形態のユーザ・
インタフェース装置を遠隔地のカメラ制御に適用したと
きのシステム構成（変形例１）を説明する図。

【図１６】 変形例１に用いられる視線枠を説明する
図。

【図１７】 視線移動パターンとコマンド（ズームイン
とズームアウト）との対応例を説明する図。

【図１８】 視線移動パターンとコマンド（ズームイン
とズームアウト）との対応の他の例を説明する図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤木 真和 横浜市西区花咲町６丁目145番地 横浜花 咲ビル 株式会社エム・アール・システム 研究所内 Ｆターム(参考） 5B087 AA09 AB00 AB09 BC01 BC32 DJ00 DJ01

Claims (34)

【特許請求の範囲】
1. 【請求項１】 検出された視線に応じて所定の事象をユ
   ーザに提示する視線ユーザ・インタフェース装置であっ
   て、 視線の動きを検出する視線検出手段と、 検出された視線の動きを解析する解析手段と、 解析結果に対応する、予め設定した事象をユーザの前で
   発生させる事象発生手段と、 を具備することを特徴とする視線ユーザ・インタフェー
   ス装置。
2. 【請求項２】 前記解析手段は、検出された視線の動き
   から移動パターンを認識する認識手段を有し、 前記事象発生手段は、認識された移動パターンをコマン
   ドに対応づける対応付け手段とを具備することを特徴と
   する請求項１に記載の視線ユーザ・インタフェース装
   置。
3. 【請求項３】 更に、複数の視線の移動パターンと複数
   のコマンドとを前もって対応づけて記憶する記憶手段を
   有し、 前記対応付け手段は、前記認識手段により認識された視
   線の移動パターンを、前記記憶手段中に記憶された複数
   の移動パターンの中から同定して、コマンドを決定する
   ことを特徴とする請求項１または２に記載の視線ユーザ
   ・インタフェース装置。
4. 【請求項４】 前記視線検出手段は、 角膜反射光と瞳孔中心の計測から眼球回転角度を検出す
   るためにユーザに装着されるセンサ手段と、 検出された眼球回転角から視線方向を計算する演算ユニ
   ットとを含むことを特徴とする請求項１乃至３のいずれ
   かに記載の視線ユーザ・インタフエース装置。
5. 【請求項５】 前記眼球回転角度検出手段によって得ら
   れた眼球回転角度情報の個人差を補正する手段を更に具
   備することを特徴とする請求項４に記載の視線ユーザ・
   インタフェース装置。
6. 【請求項６】 前記補正手段は、眼球回転角度情報の個
   人差を補正するための補正情報を得るキャリブレーショ
   ン手段を具備することを特徴とする請求項５に記載の視
   線ユーザ・インタフェース装置。
7. 【請求項７】 前記キャリブレーション手段は補正情報
   をユーザ毎に記憶する第２の記憶手段を有し、前記補正
   手段は第２の記憶手段に記憶された補正情報を用いて個
   人差を補正することを特徴とする請求項６に記載の視線
   ユーザ・インタフェース装置。
8. 【請求項８】 前記視線検出手段によって検出された視
   線位置を外部の表示装置に表示するために、この表示装
   置に視線位置情報を送る手段を具備することを特徴とす
   る請求項１に記載の視線ユーザ・インタフェース装置。
9. 【請求項９】 発生すべき事象が認識されたことをユー
   ザに示すために、その事象に対応するインディケータを
   表示する手段を更に具備することを特徴とする請求項１
   乃至８のいずれかに記載の視線ユーザ・インタフェース
   装置。
10. 【請求項１０】 解析されるべき視線の動きは蛇行運動
    であることを特徴とする請求項１乃至９のいずれかに記
    載の視線ユーザ・インタフェース装置。
11. 【請求項１１】 解析されるべき視線の動きは右回りの
    回転運動であることを特徴とする請求項１乃至１０のい
    ずれかに記載の視線ユーザ・インタフェース装置。
12. 【請求項１２】 解析されるべき視線の動きは左回りの
    回転運動であることを特徴とする請求項１乃至１１のい
    ずれかに記載の視線ユーザ・インタフェース装置。
13. 【請求項１３】 請求項１乃至１２のいずれかに記載の
    視線ユーザ・インタフェース装置を内蔵することを特徴
    とするコンピュータ装置。
14. 【請求項１４】 請求項４に記載の視線ユーザ・インタ
    フェース装置を内蔵するコンピュータ装置であって、 前記演算ユニットは、このコンピュータ装置の拡張基板
    に装着され、 前記解析手段は、このコンピュータ装置のマイクロコン
    ピュータユニットによって実行される解析プログラムを
    記憶するＲＯＭまたはＲＡＭを含むことを特徴とするコ
    ンピュータ装置。
15. 【請求項１５】 検出された視線に応じて所定のコマン
    ドを実行するコンピュータ装置であって、 視線の動きを検出するセンサからの信号を入力するポー
    トと、 マイクロコンピュータと、 検出された視線の動きのパターンを解析するために、前
    記マイクロコンピュータによって実行される解析プログ
    ラムと、 解析された視線の移動パターンに対応するところの予め
    設定したコマンドを履行するために、前記マイクロコン
    ピュータによって実行されるコマンド履行プログラム
    と、 を具備することを特徴とするコンピュータ装置。
16. 【請求項１６】 前記解析プログラムとコマンド履行プ
    ログラムとはオペレーティング・システムプログラムに
    組み込まれることを特徴とする請求項１５に記載のコン
    ピュータ装置。
17. 【請求項１７】 前記コマンド履行プログラムは、解析
    された移動パターンに対応するコマンドをオペレーティ
    ング・システムを介してアプリケーション・プログラム
    に渡すことを特徴とする請求項１６に記載のコンピュー
    タ装置。
18. 【請求項１８】 ユーザ毎に対応するレコードを有する
    第１の初期設定ファイルをさらに有し、この第１の初期
    設定ファイルには、ユーザ毎の視線の動きについての個
    人差情報を記憶することを特徴とする請求項１５乃至１
    ７のいずれかに記載のコンピュータ装置。
19. 【請求項１９】 アプリケーション・プログラム毎に対
    応するレコードを有する第２の初期設定ファイルをさら
    に有し、この第２の初期設定ファイルには、個々のアプ
    リケーション・プログラムに特有のコマンドに対応する
    視線移動パターンの特徴情報を登録することを特徴とす
    る請求項１５乃至１８のいずれかに記載のコンピュータ
    装置。
20. 【請求項２０】 前記特徴情報は、デフォルト指定され
    ていることを特徴とする請求項１９に記載のコンピュー
    タ装置。
21. 【請求項２１】 前記特徴情報は、ユーザ指定可能であ
    ることを特徴とする請求項１９に記載のコンピュータ装
    置。
22. 【請求項２２】 検出された視線に応じて所定の事象を
    ユーザに提示する視線ユーザ・インタフェース方法であ
    って、 視線の動きを検出し、 検出された視線の動きを解析し、 解析結果に対応する、予め設定した事象をユーザの前で
    発生させることを特徴とする視線ユーザ・インタフェー
    ス方法。
23. 【請求項２３】 検出された視線の動きから移動パター
    ンを認識し、 認識された移動パターンをコンピュータのコマンドに対
    応づけることを特徴とする請求項２２に記載の視線ユー
    ザ・インタフェース方法。
24. 【請求項２４】 更に、複数の視線の移動パターンと複
    数のコマンドとを前もって対応づけてメモリに記憶し、 認識された視線の移動パターンを、前記メモリ中に記憶
    された複数の移動パターンの中から同定して、コマンド
    を決定することを特徴とする請求項２２または２３に記
    載の視線ユーザ・インタフェース方法。
25. 【請求項２５】 検出された視線の動きを示す情報の個
    人差を補正する工程を更に具備することを特徴とする請
    求項２２乃至２４のいずれかに記載の視線ユーザ・イン
    タフェース方法。
26. 【請求項２６】 さらに補正情報を得るキャリブレーシ
    ョン工程を具備することを特徴とする請求項２５に記載
    の視線ユーザ・インタフェース方法。
27. 【請求項２７】 検出された視線位置を外部の表示装置
    に表示することを特徴とする請求項２２乃至２６のいず
    れかに記載の視線ユーザ・インタフェース方法。
28. 【請求項２８】 発生すべき事象が認識されたことをユ
    ーザに示すために、その事象に対応するインディケータ
    を表示する工程を更に具備することを特徴とする請求項
    ２２乃至２７のいずれかに記載の視線ユーザ・インタフ
    ェース方法。
29. 【請求項２９】 検出された視線に応じて所定のコマン
    ドをコンピュータに実行させるコンピュータ装置の制御
    方法であって、 視線の動きを検出するセンサの信号を入力し、 検出された視線の動きのパターンを解析し、 解析された視線の移動パターンに対応するところの予め
    設定したコマンドを履行することを特徴とするコンピュ
    ータ装置の制御方法。
30. 【請求項３０】 前記パターンの解析とコマンドの履行
    とはオペレーティング・システムプログラムによって行
    われることを特徴とする請求項２９に記載のコンピュー
    タ装置の制御方法。
31. 【請求項３１】 解析された移動パターンに対応するコ
    マンドはオペレーティング・システムを介してアプリケ
    ーション・プログラムに渡されることを特徴とする請求
    項２９に記載のコンピュータ装置の制御方法。
32. 【請求項３２】 ユーザ毎の視線の動きについての個人
    差情報をメモリに記憶し、 このコンピュータ装置にログインしたユーザに対応する
    個人差情報を用いて検出した視線情報を補正することを
    特徴とする請求項２２乃至３１のいずれかに記載のコン
    ピュータ装置の制御方法。
33. 【請求項３３】 個々のアプリケーション・プログラム
    に特有のコマンドに対応する視線移動パターンの特徴情
    報を予め登録する工程と、 実行中のアプリケーション・プログラムを認識する工程
    と、 認識された実行中のアプリケーション・プログラムに対
    応する特徴情報を取り出す工程とを更に具備することを
    特徴とする請求項２２乃至３２のいずれかに記載のコン
    ピュータ装置の制御方法。
34. 【請求項３４】 コンピュータによって実行されるプロ
    グラムを記憶するプログラム記憶媒体であって、 視線の動きを検出するセンサの信号を入力するプログラ
    ムコードと、 検出された視線の動きのパターンを解析するプログラム
    コードと、 解析された視線の移動パターンに対応するところの予め
    設定したコマンドを履行するするプログラムコードとを
    記憶するプログラム記憶媒体。