JP2000089884A

JP2000089884A - 情報処理システム

Info

Publication number: JP2000089884A
Application number: JP25447898A
Authority: JP
Inventors: Takashi Ueki; 孝植木
Original assignee: Hitachi Business Solutions Co Ltd
Current assignee: Hitachi Solutions Create Ltd
Priority date: 1998-09-09
Filing date: 1998-09-09
Publication date: 2000-03-31

Abstract

(57)【要約】【課題】視点取得情報により情報処理を支援する処理
支援装置の操作性を向上すること。【解決手段】画面上のオペレータの視点の位置を示す
視点情報を基に文字や図形等の情報処理を支援する処理
支援装置を有する情報処理システムにおいて、前記オペ
レータの視点を感知するアイカメラと、前記アイカメラ
を制御して感知した画面上のオペレータの視点位置を計
算機で処理できる情報形式に加工して視点情報として出
力するアイカメラ制御手段と、前記視点情報により操作
され、情報処理を支援する視点操作メニューの画面表示
における構成要素を格納する視点操作メニューテーブル
と、前記アイカメラ制御手段からの視点情報を基に視点
位置を示す視点カーソルを表示し、前記視点操作メニュ
ーテーブルにより視点操作メニューを表示し、前記視点
カーソルが示した位置の視点操作メニューの処理制御を
行う視点操作メニューコントロール手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字や図形等の情
報を表示してオペレータの指示により処理を行う情報処
理システムに関し、特に画面上におけるオペレータの視
点情報を取得し、その視点情報により情報処理を支援す
る処理支援装置を備えた情報処理システムに関する。

【０００２】

【従来の技術】従来の処理支援装置を備えた情報処理シ
ステムとしては、たとえば視点追従表示装置を備えたも
のがある。

【０００３】この視点追従表示装置は、オペレータの視
点をアイカメラ等により感知し、その感知した位置にカ
ーソルを移動するものがある。

【０００４】このような視点追従表示装置としては、例
えば、特開平０７−２９５７３４号公報や特開平１０−
０３１５４９号公報に開示されたものがある。

【０００５】これらの視点追従表示装置は、オペレータ
が入力対象となるメニューや入力を開始したい位置を注
視することにより、注視した位置にカーソルが移動さ
れ、入力前のカーソルのポインティング作業が軽減され
るものである。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来技術における視点追従表示装置は、ポインティング操
作において以下に示す問題点があった。

【０００７】１．情報処理を行う作業ウィンドウ内の情
報をスクロールするためには、ウィンドウ内のスクロー
ルしたい方向の端まで視点を移さなければ、カーソルを
位置付けることができない。一般的に、オペレータは画
面の中央付近（主に処理作業が行われ、オペレータが処
理に快適と感じる位置）を使って操作を行うものであ
る。このため、例えば、画面の隅に表示されているウィ
ンドウにカーソルを位置付けるには、オペレータは画面
の中央付近に置いていた視点を、一旦、画面の隅に移さ
なければならないという問題点がある。

【０００８】２．画面の縦、横幅で表示しきれない文章
に対して、ウィンドウ内の情報をスクロールしながら入
力位置を探す場合、オペレータは画面の中央付近に置い
ていた視点を、一旦、文章が表示されているウィンドウ
の最端部まで移し、さらに、スクロールして表示される
文章の中から入力位置を探す動作を繰り返さなければな
らない。つまり、スクロール時には視点が作業ウィンド
ウの中央付近（以下、中心作業領域と記す）から離れて
しまうことから、スクロール量の判断が困難であるとい
う問題点がある。

【０００９】このように、従来の視点追従表示装置で
は、視点移動による操作性に問題があったため、オペレ
ータにかなりの作業負担、目の疲労、及び作業効率が低
下したりしていた。

【００１０】本発明は、上記問題点を解決するためにな
されたものであり、その目的は、視点取得情報により情
報処理を支援する処理支援装置の操作性を向上すること
が可能な技術を提供することにある。

【００１１】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記のとおりである。

【００１２】画面上のオペレータの視点の位置を示す視
点情報を基に文字や図形等の情報処理を支援する処理支
援装置を有する情報処理システムにおいて、前記画面上
におけるオペレータの視点情報を取得する手段と、前記
オペレータの視点情報により操作され、情報処理を支援
する視点操作メニューを前記画面上に表示する手段と、
前記取得した視点情報に基づき前記視点操作メニューの
処理を行う手段とを備える。

【００１３】また、画面上のオペレータの視点の位置を
示す視点情報を基に文字や図形等の情報処理を支援する
処理支援装置を有する情報処理システムにおいて、前記
オペレータの視点を感知するアイカメラと、前記アイカ
メラを制御して感知した画面上のオペレータの視点位置
を計算機で処理できる情報形式に加工して視点情報とし
て出力するアイカメラ制御手段と、前記視点情報により
操作され、情報処理を支援する視点操作メニューの画面
表示における構成要素を格納する視点操作メニューテー
ブルと、前記アイカメラ制御手段からの視点情報を基に
視点位置を示す視点カーソルを表示し、前記視点操作メ
ニューテーブルにより視点操作メニューを表示し、前記
視点カーソルが示した位置の視点操作メニューの処理制
御を行う視点操作メニューコントロール手段とを備え
る。

【００１４】

【発明の実施の形態】以下、本発明の一実施形態にかか
る情報装置システムについて図面を用いて説明する。

【００１５】図１は、本実施形態の情報処理システムの
構成を示すブロック図である。

【００１６】本実施形態の情報処理システムは、図１に
示すように、文字や図形の情報をオペレータの指示によ
り処理する情報処理装置１０と、オペレータの視点を感
知するアイカメラ２０と、そのアイカメラを用いて取得
したオペレータの視点により情報処理を支援する処理支
援装置３０と、それぞれの装置の入出力を制御する入出
力インタフェース４０と、それに接続されるブラウン
管、液晶ディスプレイ等の表示装置５０と、キーボード
やマウス等の入力装置６０とを備える。なお、本発明と
直接関係ないところは図１には図示していない。

【００１７】上記アイカメラ２０は、例えば、オペレー
タの全体像を撮影するカメラとその両眼を追跡撮影する
カメラ等から構成される視点追従装置を用いる。

【００１８】また、処理支援装置３０は、図１に示すよ
うに、アイカメラ２０を制御してオペレータの視点を感
知して、計算機で処理できる情報形式に加工して出力す
るアイカメラ制御部３１と、視点操作メニューにおける
画面表示の構成要素を格納する視点操作メニューテーブ
ル３２と、アイカメラ制御部３１からの視点情報を基に
視点カーソル（視点位置を示すカーソル）を表示し、視
点操作メニューテーブル３２に構成された視点操作メニ
ューの制御を行う視点操作メニューコントローラ３３
と、視点操作メニュー、及びその制御をオペレータによ
り変更する視点操作メニュー変更部３４とから構成され
る。

【００１９】上記アイカメラ制御部３１は、例えば、ア
イカメラ２０を制御して、瞳孔の中心の動き等を画像処
理等で検出してオペレータの視点を検出し、表示装置５
０の表示画面上の座標値を得るものである。

【００２０】視点操作メニュー変更部３４は、オペレー
タの指示により視点操作メニューの表示位置を変更した
り、メニュー項目の追加、削除を行うものである。

【００２１】ここに示す視点操作メニューは、マウスや
トラックボール等のポインティングデバイスを使用せず
にキーボードとオペレータの視点とにより、情報処理を
行うコンピュータやアプリケーションの操作を行うため
のメニューであり、従来のアイカメラポインティングに
使用していたマウス操作と同等のメニューとは以下の面
で異なる。

【００２２】１．アイカメラ等の精度によりポインティ
ングの操作性が損なわれることを補うために、視点カー
ソルによるメニュー操作時の操作性を重視したメニュー
である。

【００２３】２．操作時における視点移動が、情報処理
の指示を行う際の妨げとならないように、情報処理中の
オペレータの視点位置を考慮したメニューである。

【００２４】次に、本実施形態の視点操作メニューにつ
いて図面を用いて説明する。本実施形態の視点操作メニ
ューの項目は、上述した視点操作メニューテーブル３２
に登録される。

【００２５】図２は、視点操作メニューテーブル３２の
構成例を示した図である。図２に示す例では、スクロー
ルと文書登録の処理における視点操作メニューについて
示している。

【００２６】また、図２に示すように、視点操作メニュ
ーの項目を表示する位置は、画面の左上隅３２１、左端
中央３２２、左下隅３２３、下端中央３２４、右下隅３
２５、右端中央３２６、右上隅３２７、上端中央３２８
の８個所指定としている。なお、本実施形態では、８カ
所のメニュー表示位置を取り挙げたが、本発明の視点操
作メニューの表示位置は、これに限定されるものではな
く、ポインティングの操作性、オペレータの視点位置を
考慮した表示位置であれば種々変更可能である。

【００２７】次に、視点操作メニューテーブル３２に登
録されているスクロール処理における視点操作メニュー
の画面表示例を図３に示す。図３に示すように、スクロ
ールにおける視点操作メニューは、視点操作メニューテ
ーブル３２に基づき、画面の左上隅に左斜上方向スクロ
ール領域３０１、左端中央に左方向スクロール領域３０
２、左下隅に左斜下方向スクロール領域３０３、下端中
央に下方向スクロール領域３０４、右下隅に右斜下方向
スクロール領域３０５、右端中央に右方向スクロール領
域３０６、右上隅に右斜上方向スクロール領域３０７、
上端中央に上方向スクロール領域３０８、画面中央部に
スクロール抑止領域（視点操作抑止領域）３０９が表示
される。

【００２８】画面中央部にあるスクロール抑止領域３０
９は、オペレータがもっとも情報処理の際に使用する頻
度が高い領域であり、オペレータの視点もこの中央部に
集中しやすいため、ここに視点カーソル３１０がある場
合には、視点操作（ここではスクロール）を行わないよ
うにしている。また、画面上の外に視点が移動したとき
も、視点操作を行わないようにする。このように、視点
操作を行わないような領域（スクロール抑止領域３０
９）を設けることで、オペレータが情報処理を行ってい
る際に発生する誤動作を防止でき、操作性が向上するの
で、快適な情報処理が可能となる。

【００２９】上述した各領域は、スクロール時におい
て、そのスクロール領域から視点を移動させることなく
オペレータがどこまでスクロールさせればよいかが判断
できるように広くとってある。この各スクロール領域３
０１〜３０８の大きさは、特に限定されるものではない
が、それぞれのスクロール領域から視点を移すことなく
スクロール量を判断できる大きさにするとよい。また、
スクロール抑止領域３０９を大きくしたい場合は、各ス
クロール領域３０１〜３０８を小さくしてもかまわな
い。

【００３０】なお、この視点操作メニューは、情報処理
の妨げとならないように、バックグランドで薄い色で表
示し、視点カーソルが位置付いて処理を行うときに濃い
色で表示されるようにするか、または通常は表示されて
いなく、視点操作メニューが表示される位置付近に視点
カーソルが位置付くか、上記の画面上のメニュー位置に
対応するテンキー「７」，「８」，「９」，「４」，
「６」，「１」，「２」，または「３」キーが押される
ことによって表示されるようにする。なお、表示に関し
ては、オペレータが視点操作がし易い表示であればよ
く、特にこの形式に限定されるものではない。

【００３１】また、視点操作メニューに登録されている
各処理（図２に示す例では、スクロール処理と文書編集
処理）は、所定のキー（例えば、「Shift」キー）を押
すことによって、自由に切り替えが可能になる。

【００３２】次に、本実施形態の視点操作メニューコン
トローラ３３の処理について図面を用いて説明する。図
４は、本実施形態の視点操作メニューコントローラ３３
の処理を説明するためのフローチャートである。なお、
ここでは、スクロール処理について説明する。

【００３３】本実施形態の視点操作メニューコントロー
ラ３３は、図４に示すように、まず、オペレータから視
点操作開始指示を受けたかを判定し（ステップ４０
１）、指示を受けてない場合はループし、開始指示を受
けた場合は、視点操作メニューを表示する（ステップ４
０２）。この開始指示は情報処理装置１０の開始指示と
連動して行われるようにしてもよい。

【００３４】その後、アイカメラ２０が感知するオペレ
ータの視点の位置情報を取得してそれに対応する画面上
の位置を算出し、視点カーソル３１０を表示する（ステ
ップ４０３）。

【００３５】そして、その視点カーソル３１０の位置が
スクロール抑止領域３０９内にあるか否かを判定し（ス
テップ４０４）、抑止領域３０９内にある場合は、ステ
ップ４０８に進み、抑止領域３０９外にある場合は視点
カーソルが所定時間同一スクロール領域内にあるか判定
し（ステップ４０５）、視点カーソル３１０が所定時間
同一スクロール領域内にない場合は、ステップ４０４に
戻り、視点カーソル３１０が所定時間同一スクロール領
域内にある場合は、ステップ４０６に進む。

【００３６】ここでの所定時間とは、視点移動に対して
あまりにも敏感に反応してスクロールされることを防ぐ
ための時間であり、０＜所定時間＜マウス操作でスクロ
ールが実行されるまでの時間、例えば１秒と定義する。
この所定時間は、何人もの実験データ及び人間工学に基
づいた最適な時間を適応するとさらによい。

【００３７】ステップ４０６では、所定時間位置付いて
いる領域に対応（方向）したスクロールを１スクロール
実行し、視点カーソルがその領域外に移動したか否かを
判定し（ステップ４０７）、移動していないときはステ
ップ４０６に戻り、移動したときはステップ４０８に進
む。

【００３８】ステップ４０８では視点操作終了指示が出
されたか否かを判定し、出された場合には視点操作を終
了し、出されたいない場合はステップ４０４に戻る。

【００３９】ここでの終了指示は、あらかじめ決められ
たキー、例えば「ＥＳＣ」キーを押すことによって行わ
れる。

【００４０】また、本実施形態では情報処理装置１０と
処理支援装置３０とをハードウエア的に情報処理システ
ムとして実現するように説明してきたが、本発明におけ
る処理支援装置は、上述したスクロールの支援処理を情
報処理装置１０のＯＳ（オペレーティングシステム）や
アプリケーションプログラムに組み込んで、コンピュー
タ上のソフトウエアとして実現することも可能である。
このように、ＯＳ、またはアプリケーションプログラム
中に一緒に組み込まれることにより、視点操作メニュー
にそのＯＳ、またはアプリケーションプログラムの処理
に対応したものを設定することが可能になる。

【００４１】以下に、そのアプリケーションプログラム
に組み込まれたときの支援処理について説明する。ここ
では、画面上に新たなウィンドウを表示するウィンドウ
表示処理と、視点カーソルの位置にアクティブウィンド
ウのカーソルを移動（表示）するカーソル移動処理につ
いて図５〜図７を用いて説明する。

【００４２】図５は、アプリケーションプログラムに組
み込まれたときの視点操作メニューコントローラ３３の
ウィンドウ表示処理とカーソル移動処理について説明す
るためのフローチャートである。

【００４３】ウィンドウ表示処理とカーソル移動処理
は、図５に示すように、まず、オペレータからウィンド
ウ表示処理、またはカーソル移動処理の開始指示があっ
たか否かを判定し（ステップ５０１）、指示がなければ
ループする。

【００４４】ウィンドウ表示開始指示があれば、アイカ
メラ２０が感知するオペレータの視点の位置情報を取得
してそれに対応する画面上の位置を算出し、図６（ａ）
に示すように、新たなウィンドウを表示する位置の指定
を促す為の視点カーソル６０１を表示する（ステップ５
０２）。ここで視点カーソルを表示する際に、例えば、
矢印と「ウィンドウ表示位置を指定してください」の文
字列との組み合わせ等で表示して、オペレータに新たな
ウィンドウを表示する位置の指定を促すようにしてもよ
い。

【００４５】その後、オペレータからのウィンドウ表示
位置の決定指示があったか否かを判定し（ステップ５０
３）、決定指示があるまでループする。このときの決定
指示は所定のキー、例えば、「Ｅｎｔｅｒ」キーを押す
ことによって行う。

【００４６】そして、決定指示があった場合は、図６
（ｂ）に示すように、視点カーソル６０１の位置を中心
とした新たなウィンドウ６０２を表示する（ステップ５
０４）。

【００４７】ここで、ウィンドウの大きさはウィンドウ
が画面に収まる範囲とする。

【００４８】また、ステップ５０１において、カーソル
移動開始指示があれば、同様にアイカメラ２０が感知す
るオペレータの視点の位置情報を取得してそれに対応す
る画面上の位置を算出し、図７に示すように、カーソル
を移動する位置の指定を促す為の視点カーソル７０１を
表示する（ステップ５０５）。ここで視点カーソルを表
示する際に、例えば、矢印と「カーソル移動位置を指定
してください」の文字列との組み合わせ等で表示して、
オペレータにカーソルを移動する位置の指定を促すよう
にしてもよい。

【００４９】その後、オペレータからのカーソル移動位
置の決定指示があったか否かを判定し（ステップ５０
６）、決定指示があるまでループする。このときの決定
指示は所定のキー、例えば、「Ｔａｂ」キーを押すこと
によって行う。

【００５０】そして、決定指示があった場合は、図７
（ｂ）に示すように、視点カーソル７０１の位置に情報
処理を行っているアプリケーション側のカーソル７０２
を移動（表示）する（ステップ５０７）。

【００５１】このように、視点操作を行うための視点操
作メニューを設けて、オペレータの視点操作により情報
処理を支援することにより、操作時における視点移動
が、情報処理の指示を行う際の妨げとならないように、
情報処理中のオペレータの視点位置が考慮されて視点操
作による視点移動量を減少できるため、従来の視点移動
による操作性の問題であったオペレータの作業負担過
多、目の疲労、及び作業効率の低下を防止できるので、
視点取得情報により情報処理を支援する処理支援装置の
操作性を向上することが可能となる。

【００５２】また、ウィンドウ表示処理とカーソル移動
処理とを備えることにより、オペレータの視点を中心と
してウィンドウを表示することができるため、視点が画
面内を移動する移動量が減り、ポインティング時の操作
性が向上するので、作業の効率化、省力化、目の疲労の
軽減を図ることが可能である。

【００５３】なお、上述したように、図１に示した情報
処理装置１０と処理支援装置３０における処理は、コン
ピュータ上のアプリケーションプログラムとしてソフト
ウエアでも実現可能である。

【００５４】この場合、情報処理装置１０と処理支援装
置３０の処理を行うアプリケーションプログラムは、フ
ロッピーディスク、ＣＤ・ＲＯＭ、マスクＲＯＭ等の記
憶媒体で一般ユーザに提供される。このとき、これら処
理の他にＧＵＩプログラム等の他のプログラムと組み合
わせてユーザに提供することもある。

【００５５】また、上述した記憶媒体で提供する代替手
段として、インターネット等のネットワークを通じて有
償で提供することもある。

【００５６】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。

【００５７】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記のとおりである。

【００５８】操作時における視点移動が、情報処理の指
示を行う際の妨げとならないように、情報処理中のオペ
レータの視点位置が考慮されて視点操作による視点移動
量を減少できるため、従来の視点移動による操作性の問
題であったオペレータの作業負担、目の疲労、及び作業
効率の低下を防止できるので、視点取得情報により情報
処理を支援する処理支援装置の操作性を向上することが
可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる情報処理システム
の構成を示すブロック図である。

【図２】視点操作メニューテーブル３２の構成例を示し
た図である。

【図３】スクロール処理における視点操作メニューの画
面表示例を示した図である。

【図４】本実施形態の視点操作メニューコントローラ３
３の処理を説明するためのフローチャートである。

【図５】ウィンドウ表示処理とカーソル移動処理につい
て説明するためのフローチャートである。

【図６】ウィンドウ表示処理について説明するための図
である。

【図７】カーソル移動処理について説明するための図で
ある。

【符号の説明】

１０…情報処理装置、２０…アイカメラ、３０…処理支
援装置、３１…アイカメラ制御部、３２…視点操作メニ
ューテーブル、３３…視点操作メニューコントローラ、
３４…視点操作メニュー変更部、４０…入出力インタフ
ェース、５０…表示装置、６０…入力装置。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０９Ｇ 5/34 Ｇ０６Ｆ 15/62 ３２０ＫＦターム(参考） 5B050 CA07 FA02 FA09 FA12 FA13 FA16 5B087 AA09 AB00 BC05 BC08 BC12 BC13 BC16 BC32 DE03 DE06 DE07 5C082 AA14 AA15 AA21 CA62 CA72 CB06 MM08 MM09

Claims

【特許請求の範囲】

【請求項１】オペレータの画面上の視点の位置を示す
視点情報を基に文字や図形等の情報処理を支援する処理
支援装置を有する情報処理システムにおいて、前記画面上におけるオペレータの視点情報を取得する手
段と、前記オペレータの視点情報により操作され、情報処理を
支援する視点操作メニューを前記画面上に表示する手段
と、前記取得した視点情報に基づき前記視点操作メニューの
処理を行う手段とを備えたことを特徴とする情報処理シ
ステム。
【請求項２】オペレータの画面上の視点の位置を示す
視点情報を基に文字や図形等の情報処理を支援する処理
支援装置を有する情報処理システムにおいて、前記オペレータの視点を感知するアイカメラと、前記アイカメラを制御して感知した画面上のオペレータ
の視点位置を計算機で処理できる情報形式に加工して視
点情報として出力するアイカメラ制御手段と、前記視点情報により操作され、情報処理を支援する視点
操作メニューの画面表示における構成要素を格納する視
点操作メニューテーブルと、前記アイカメラ制御手段からの視点情報を基に視点位置
を示す視点カーソルを表示し、前記視点操作メニューテ
ーブルにより視点操作メニューを表示し、前記視点カー
ソルが示した位置の視点操作メニューの処理制御を行う
視点操作メニューコントロール手段とを備えたことを特
徴とする情報処理システム。
【請求項３】前記請求項２に記載の情報処理システム
において、前記視点操作メニュー、及び視点操作メニューコントロ
ール手段をオペレータの指示により変更する視点操作メ
ニュー変更手段とを備えたことを特徴とする情報処理シ
ステム。
【請求項４】前記請求項２に記載の情報処理システム
において、前記視点操作メニューコントロール手段は、画面に表示
された前記視点操作メニュー上に前記視点カーソルが留
まってから所定時間経過後に、その視点操作メニューの
処理を行うことを特徴とする情報処理システム。
【請求項５】前記請求項２に記載の情報処理システム
において、前記視点操作メニューコントロール手段は、オペレータ
の指示により、前記視点カーソルの位置を中心とする情
報処理用のウィンドウを画面上に表示する手段を備えた
ことを特徴とする情報処理システム。
【請求項６】前記請求項２に記載の情報処理システム
において、前記視点操作メニューコントロール手段は、オペレータ
の指示により、前記視点カーソルの位置に情報処理用の
カーソルを移動表示する手段を備えたことを特徴とする
情報処理システム。