JP2019046252A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】本発明の目的は、表示手段に表示される要素を片手で選択し、選択した要素を移動させる操作を別の手で行う場合に両手がふさがってしまうという課題を解決することである。
【解決手段】情報処理装置は、表示手段と、使用者の手を用いた操作により、前記表示手段に表示された要素の少なくとも１つの選択を選択要素として受け付ける選択受付手段と、前記使用者の視線の向けられた領域を検知する視線検知手段と、前記選択受付手段により選択された前記選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理を、前記選択受付手段により選択された前記選択要素又は前記選択要素によって特定される処理対象に対して行う処理手段とを備える。
【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。

近年、利用者による入力の位置をより正確に調整する端末装置が提案されている（例えば、特許文献１参照。）。

特許文献１に記載された端末装置は、表示部と、前記表示部に対応する接触位置を検出する接触位置検出部と、前記表示部に対する視線位置を検出する視線位置検出部と、前記表示部に対する接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置との間に差分が生じた場合、当該接触位置の検出が行われた際の前記表示部に対する視線位置に基づいて前記表示部に対する接触位置を補正する制御部とを有する。

特開２０１６−９２４４０号公報

表示手段に表示された要素を手を用いて選択し、さらに選択された要素を移動させる動作を行う場合等、表示手段に表示される要素に対する移動操作を選択操作に用いた手と同じ手（あるいは指）で行うと、例えば移動の途中で選択操作を行っていた手や指が離れたりする等、操作の失敗が起きることがある。
また、表示手段に表示される要素に対して、片手で選択操作を行い、別の手で移動操作を行う場合に両手がふさがってしまう。

本発明の目的は、表示手段に表示された要素を片手で選択し、選択した要素を移動させる操作を別の手で行う場合に両手がふさがってしまうという課題を解決することである。

［１］表示手段と、使用者の手を用いた操作により、前記表示手段に表示された要素の少なくとも１つの選択を選択要素として受け付ける選択受付手段と、前記使用者の視線の向けられた領域を検知する視線検知手段と、前記選択受付手段により選択された前記選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理を、前記選択受付手段により選択された前記選択要素又は前記選択要素によって特定される処理対象に対して行う処理手段と、を有する情報処理装置。
［２］前記処理手段により行われる処理は、前記表示手段に表示されていない領域が表示されるように前記表示手段に表示される表示領域を変化させる処理である、前記［１］に記載の情報処理装置。
［３］前記処理手段は、前記視線検知手段が表示画面の外側の領域に向けられた視線を検知したとき、表示領域を変化させる、前記［２］に記載の情報処理装置。
［４］前記処理手段は、前記視線検知手段が前記表示手段に表示された表示対象に向けられた視線を検知したとき、前記表示対象中に格納された対象物を表示する、前記［２］に記載の情報処理装置。
［５］前記処理手段は、前記選択要素を表示させた状態で、前記表示画面の切り替えを行う、前記［３］又は［４］に記載の情報処理装置。
［６］前記処理手段は、前記選択要素を移動させずに前記表示画面の切り替えを行う、前記［５］に記載の情報処理装置。
［７］前記処理手段は、前記視線検知手段が複数の前記表示対象のうち少なくとも１つの前記表示対象を含む領域に向けられた視線を検知したとき、前記領域を拡大して表示する、前記［４］から［６］のいずれか１つに記載の情報処理装置。
［８］前記選選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理は、連続的な操作の途中で行われる処理の性質が変化するものである、前記［１］から［７］のいずれか１つに記載の情報処理装置。
［９］前記視線検知手段は、前記選択受付手段が前記選択要素を選択した後に、前記選択要素の移動先の位置へ向けられた視線の検知を開始する、前記［１］から［８］のいずれか１つに記載の情報処理装置。
［１０］前記視線検知手段は、前記選択受付手段が前記選択要素を選択する前に、前記選択要素の移動先の位置へ向けられた視線の検知を開始する、前記［１］から［８］のいずれか１つに記載の情報処理装置。
［１１］前記処理手段は、前記視線検知手段が視線の位置を検知したとき、該視線の位置に仮想的に前記選択対象を移動させて表示する、前記［１］から［１０］のいずれか１つに記載の情報処理装置。
［１２］前記処理手段は、前記選択対象を仮想的に移動するとき、前記選択対象の表示態様を変更して表示する、前記［１１］に記載の情報処理装置。
［１３］前記処理手段は、前記視線検知手段が仮想的に移動した前記選択対象から視線が外れたことを検知したとき、前記選択対象の移動を確定させる、前記［１１］又は［１２］に記載の情報処理装置。
［１４］前記処理手段は、前記視線検知手段が予め定められた時間継続して視線を検知したとき、該視線の位置に前記選択対象を移動して表示する、前記［１］から［１３］のいずれか１つに記載の情報処理装置。
［１５］コンピュータを、使用者の手を用いた操作により、表示手段に表示された要素の少なくとも１つの選択を選択要素として受け付ける選択受付手段と、前記使用者の視線の向けられた領域を検知する視線検知手段と、前記選択受付手段により選択された前記選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理を、前記選択受付手段により選択された前記選択要素又は前記選択要素によって特定される処理対象に対して行う処理手段として、機能させるためのプログラム。

請求項１、１５に係る発明によれば、両手がふさがれることなく、表示手段に表示される要素を片手で選択し、選択した要素を移動させる操作を別の手で行うことができる。
請求項２、３、５、６、８、９、に係る発明によれば、使用者は、両手をふさぐことなく表示領域を変化させることができる。
請求項４に係る発明によれば、選択要素を指で移動させる操作を行わずに表示対象中に格納された対象物を表示することができる。
請求項７に係る発明によれば、使用者は、両手をふさぐことなく選択要素を元の大きさよりも大きく表示することができる。
請求項１０に係る発明によれば、選択要素が選択された後に視線検知を開始する場合と比較して視線検知の精度を高くすることができる。
請求項１１、１２、１３、１４に係る発明によれば、使用者が意図しない要素の移動を抑制することができる。

図１は、本発明の第１の実施の形態に係る情報処理装置の構成例を示す図である。 図２は、画面の一例を示す図である。 図３は、画面変更領域の一例を示す図である。 図４は、画面を切り替える操作の一例を示す図であり、（ａ）は、画面変更領域における視線の位置の検知の一例を示す図、（ｂ）は、切り替え後の画面の一例を示す図である。 図５は、第１の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図６は、本発明の第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。 図７は、アイコンの移動の一例を示す図であり、（ａ）は、移動対象となるアイコンを選択する操作の一例を示す図、（ｂ）は、アイコンの移動の一例を示す図である。 図８は、アイコンの移動の一例を示す図であり、（ａ）は、移動対象となるアイコンを選択する操作及び画面を切り替える操作の一例を示す図、（ｂ）は、切り替えられた画面の一例を示す図である。 図９は、アイコンの移動の一例を示す図であり、（ａ）は、視線の位置の検知の一例を示す図、（ｂ）は、アイコンの移動後の画面の一例を示す図である。 図１０は、アイコンを拡大して表示する一例を示す図であり、（ａ）は、拡大の対象となるアイコンを選択する操作の一例を示す図である、（ｂ）は、アイコンの拡大表示の一例を示す図である。 図１１は、フォルダの中身を拡大して表示するとともにアイコンを移動する処理の一例を示す図であり、（ａ）は、アイコンを選択する操作及びフォルダの中身を表示する操作の一例を示す図、（ｂ）は、アイコンの移動の一例を示す図である。 図１２は、フォルダ内に格納されたアイコンを当該フォルダ外に移動する処理の一例を示す図であり、（ａ）は、拡張して表示されたフォルダの一例を示す図、（ｂ）は、フォルダ外へのアイコンの移動の一例を示す図である。 図１３は、フォルダを作成してアイコンを格納する処理の一例を示す図であり、（ａ）は、アイコンを選択する操作の一例を示す図であり、（ｂ）は、フォルダの作成及びアイコンの格納の一例を示す図である。 図１４は、第４の実施の形態に係る情報処理装置の制御系の一例を示す図である。 図１５は、印刷処理の一例を示す図であり、（ａ）は、印刷処理の実行を指示するアイコンが表示された画面の一例を示す図であり、（ｂ）は、確認画面の一例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。情報処理装置１は、例えば、パーソナルコンピュータ、タブレッド端末、多機能携帯電話機（スマートフォン）等が該当する。

情報処理装置１は、情報処理装置１の各部を制御する制御部１０と、各種のデータを記憶する記憶部１１と、使用者Ｕの視線Ｅの位置ｅ（図２参照）を検知するために前方にいる使用者Ｕを撮影するカメラ１２０、及び情報の入力及び表示を行う操作表示部１２１を有する操作部１２とを備える。カメラ１２０は、撮影する手段の一例である。

制御部１０は、ＣＰＵ（Central Processing Unit）やインターフェース等から構成されている。ＣＰＵは、記憶部１１に記録されたプログラム１１０に従って動作することにより、予備操作検出手段１００、撮影制御手段１０１、視線検知手段１０２、表示制御手段１０３等として機能する。予備操作検出手段１００は、選択受付手段の一例である。表示制御手段１０３は、処理手段の一例である。各手段１００〜１０３の詳細については後述する。

記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム１１０、画面情報１１１等の各種データを記憶する。

次に、操作部１２の構成について説明する。カメラ１２０は、使用者Ｕの視線Ｅを検知できるものであればよく、可視光カメラ、赤外カメラ等公知のものを用いてよい。カメラ１２０は、好ましくは、操作部１２の縁部（不図示）に設けられている。

操作表示部１２１は、例えば、タッチパネルディスプレイであり、液晶ディスプレイ等のディスプレイにタッチパネルを重合配置した構成を有する。また、操作表示部１２１は、各種の画面を表示する表示画面１２１ａ（図２等参照）を備えている。操作表示部１２１は、表示手段の一例である。

次に、図２〜図５を参照して制御部１０の各手段１００〜１０３について説明する。図２は、画面の一例を示す図である。図２に示すように、画面２には、各処理に対応付けられた複数のアイコン２０が表示されている。アイコン２０とは、機能を図形で示したものをいうが、文字や記号を含んでもよく、文字や記号のみで表示されたものでもよい。

予備操作検出手段１００は、使用者Ｕによりアイコン２０に対して行われる予備操作を検出する。予備操作とは、後述するカメラ１２０による視線検知を開始するための動作をいう。予備操作には、例えば、図２に示すように、予め定められた時間（例えば、３秒間）継続してアイコン２０に指（人差し指）５０等で接触する操作（以下、「ロングタッチ」ともいう。）や、アイコン２０に予め定められた回数（例えば、２〜５回）連射的にタップする操作等が含まれる。予備操作は、手５を用いた操作の一例である。アイコン２０は、表示手段に表示された要素の一例である。また、アイコン２０は、処理対象の一例である。

撮影制御手段１０１は、予備操作検出手段１００が予備操作を検出すると、カメラ１２０を制御して撮像を開始する。

視線検知手段１０２は、使用者Ｕの視線Ｅの向けられた領域を検知する。具体的には、視線検知手段１０２は、カメラ１２０が撮影した画像から使用者Ｕの視線Ｅの方向を検知し、検知した視線Ｅの方向に基づいて、使用者Ｕが操作表示部１２１のどの位置ｅを視認しているかを特定する。視線検知手段１０２は、特定した位置ｅに関する情報を表示制御手段１０３に出力する。なお、表示部１２１における位置には、表示部１２１の表示画面１２１ａのみならず、表示画面１２１ａから外れた位置も含まれる。

視線Ｅを検知する動作で用いる技術としては、例えば、可視光カメラを用いて、目頭の位置に対する虹彩の位置に基づいて視線Ｅを検知してもよく、赤外線カメラと赤外線ＬＥＤを用いて、角膜反射の位置に対する瞳孔の位置に基づいて視線Ｅを検知してもよい。

図３は、画面変更領域の一例を示す図である。画面変更領域２１とは、画面２を切り替える処理を行うための視線の位置ｅを検知する領域である。表示制御手段１０３は、予備操作検出手段１００が予備操作を検出すると、図３に示すように、表示画面１２１ａの縁部に画面変更領域２１を表示するよう制御する。画面変更領域２１の表示位置は、特定の位置に限定されるものではなく、図３に示すように左右の両端部でもよく、上下の両端部でもよい。なお、図３以降の図では、使用者Ｕの記載は省略する。なお、画面変更領域２１は、必ずしも表示画面１２１ａ上に表示しなくてもよい。

図４は、画面２を切り替える操作の一例を示す図であり、（ａ）は、画面変更領域２１における視線の位置ｅの検知の一例を示す図、（ｂ）は、切り替え後の画面２の一例を示す図である。

表示制御手段１０３は、視線検知手段１０２が特定した視線の位置ｅが画面変更領域２１にあるか否かを判定する。表示制御手段１０３は、予備操作検出手段１００が予備操作を検出している状態において、図４（ａ）に示すように、視線検知手段１０２が特定した視線の位置ｅが画面変更領域２１にあると判定した場合、図４（ｂ）に示すように、現在表示されている画面２を隣接する画面に切り替えて表示するよう制御する。図４（ｂ）に示す画面２では、図４（ａ）に示す画面２では表示しきれなかった複数のアイコン２０が表示されることになる。この画面を切り替える処理は、アイコン２０を視線検知手段１０２により検知された領域に移動させた場合に行われる処理の一例である。

なお、「アイコン２０を視線検知手段１０２により検知された領域に移動させた場合に行われる処理」には、画面の切り替えの他に、例えば、ファイルの移動、フォルダの格納物の拡大表示、フォルダへのファイルの格納、印刷、メール送信、ファクシミリ送信等が含まれる。これらの処理の詳細何ついては、後述する。また、「アイコン２０を視線検知手段１０２により検知された領域に移動させた場合に行われる処理」には、同一の操作をしていても処理の性質が途中で代わることが含まれる。この「操作の性質が代わる」は、例えば、アイコン２０を選択した上でドラッグ操作を行う場合に、該ドラック操作の途中に該アイコン２０が画面２の端部に移動した場合に、ドラック操作の処理が画面２をスクロースするスクロール処理に代わることが該当する。

（第１の実施の形態の動作）
次に、情報処理装置１の動作の一例について図５を参照して説明する。図５は、情報処理装置１の動作の一例を示すフローチャートである。

図２に示すように、使用者Ｕが表示画面１２１ａに表示された複数のアイコン２０のうちの１つのアイコン２０に対してロングタッチを行うと、予備操作検出手段１００は、そのロングタッチを検出する（Ｓ１）。

次に、撮影制御手段１０１は、カメラ１２０を制御して撮像を開始する（Ｓ２）。また、表示制御手段１０３は、図３に示すように、表示画面１２１ａの縁部に画面変更領域２１を表示するよう制御する（Ｓ３）。

次に、表示制御手段１０３は、視線検知手段１０２が特定した視線の位置ｅが画面変更領域２１にあるか否かを判定する（Ｓ４）。

表示制御手段１０３が、図４（ａ）に示すように、視線の位置ｅが画面変更領域２１にあると判定した場合（Ｓ４：Ｙｅｓ）、表示制御手段１０３は、図４（ｂ）に示すように、現在表示されている画面２を隣接する画面２に切り替えて表示するよう制御する（Ｓ５）。

以上のようにすれば、ロングタッチを行った指を移動させずに、画面の表示を切り替えることができる。これにより、片手でロングタッチを行った場合、別の手で画面を切り替える操作を行うことによって両手がふさがってしまうことを抑制することができる。

［第２の実施の形態］
図６は、本発明の第２の実施の形態に係る情報処理装置１の制御系の一例を示すブロック図である。第２の実施の形態では、アイコン２０を選択する操作を検出する選択操作検出手段１０４を有する点で第１の実施の形態と相違する。以下、第１の実施の形態と異なる点を中心に説明する。

情報処理装置１の制御部１０は、選択操作検出手段１０４をさらに備える。すなわち、ＣＰＵは、記憶部１１に記憶されたプログラム１１０に従って動作することにより、選択操作検出手段１０４等としてさらに機能する。選択操作検出手段１０４は、選択受付手段の一例である。

図７を参照して、選択操作検出手段１０４及び表示制御手段１０３について説明する。図７は、アイコン２０の移動の一例を示す図であり、（ａ）は、移動対象となるアイコン２０を選択する操作の一例を示す図、（ｂ）は、アイコン２０の移動の一例を示す図である。

選択操作検出手段１０４は、図７（ａ）に示すように、使用者Ｕによって行われる、操作表示部１２１の表示画面１２１ａに表示された複数のアイコン２０から少なくとも１つのアイコン２０（四角枠参照）を選択する操作を検出する。

表示制御手段１０３は、図７（ｂ）に示すように、選択されたアイコン２０（四角枠参照）を視線検知手段１０２が特定した視線の位置ｅに移動して表示するよう制御する。このアイコン２０を移動して表示する処理は、アイコン２０を視線検知手段１０２により検知された領域に移動させた場合に行われる処理の一例である。

＜変形例１＞
図８は、アイコン２０の移動の一例を示す図であり、（ａ）は、移動対象となるアイコン２０を選択する操作及び画面２を切り替える操作の一例を示す図、（ｂ）は、切り替え後の画面２内へのアイコン２０の移動の一例を示す図である。

表示制御手段１０３は、画面２を切り替えて表示するとともに、選択操作検出手段１０４により選択されたアイコン２０（図８（ａ）の四角枠参照）を、切り替え後の画面２内の視線の位置ｅに移動して表示するよう制御してもよい。

具体的に説明する。選択操作検出手段１０４は、図８（ａ）に示すように、使用者Ｕによって行われる、操作表示部１２１の表示画面１２１ａに表示された複数のアイコン２０から１つのアイコン２０を選択する操作を検出する。

次に、表示制御手段１０３は、図８（ｂ）に示すように、視線検知手段１０２が特定した視線の位置ｅが画面変更領域２１にあると判定した場合、現在表示されている画面２を隣接する画面２に切り替えて表示するよう制御する。

次に、表示制御手段１０３は、選択された切り替え前の画面２内のアイコン２０を、切り替え後の画面２内において視線検知手段１０２が特定した視線の位置ｅに移動して表示するよう制御する。

＜変形例２＞
図９は、アイコン２０の移動の一例を示す図であり、（ａ）は、視線の位置ｅの検知の一例を示す図、（ｂ）は、アイコン２０の移動後の画面の一例を示す図である。表示制御手段１０３は、図９（ａ）に示すように、視線検知手段１０２が特定した視線の位置ｅが特定のアイコン２０の位置にある場合、ロングタッチ等の予備操作が終了すると、図９（ｂ）に示すように、当該特定のアイコン２０の隣（右隣）の位置にロングタッチがなされていたアイコン２０（四角枠参照）を移動して表示するよう制御してもよい。

この場合、予備操作検出手段１００が、使用者Ｕによる予備操作が終了したこと、すなわちアイコン２０から手が離れたことを検出してもよい。

また、本変形例２では、表示制御手段１０３は、視線の位置ｅが検知されたアイコン２０の右隣にロングタッチがなされていたアイコン２０を移動して表示するよう制御したが、これに限定されるものではなく、視線の位置ｅが検知されたアイコン２０の左隣、上隣、下隣でもよい。

＜変形例３＞
図１０は、アイコン２０を拡大して表示する一例を示す図であり、（ａ）は、拡大の対象となるアイコン２０を選択する操作の一例を示す図である、（ｂ）は、アイコン２０の拡大表示の一例を示す図である。

表示制御手段１０３は、図１０（ａ）に示すように、視線検知手段１０２が特定した視線の位置ｅが複数のアイコン２０の間の位置にある場合、図１０（ｂ）に示すように、視線の位置ｅの近傍にある複数のアイコン２０（例えば、図１０（ａ）の円枠で囲む領域内のアイコン２０）を拡大して表示するよう制御してもよい。

また、表示制御手段１０３は、使用者Ｕにより予め選択されたアイコン２０（図１０（ａ）の四角枠参照）を、視線検知手段１０２が特定した拡大して表示された複数のアイコン２０内における視線の位置ｅに移動して表示するよう制御してもよい。

＜変形例４＞
表示制御手段１０３は、使用者Ｕにより予め選択されたアイコン２０を、視線検知手段１０２が検知した視線の位置に仮想的に移動して表示するよう制御してもよい。「仮想的に移動する」とは、視線検知手段１０２が検知した視線の位置へのアイコン２０の移動を確定的に完了せずに、視線検知手段１０２が検知した視線の位置にアイコン２０を暫定的に移動することをいう。

表示制御手段１０３は、アイコン２０を仮想的に移動して表示する際に、アイコン２０の表示態様を変えて表示するよう制御してもよい。「表示態様を変える」には、例えば、アイコン２０の透明度を変更することや、アイコン２０の大きさ、形状、色を変更することが含まれる。

また、表示制御手段１０３は、視線検知手段１０２が仮想的に移動したアイコン２０の位置から視線が外れたことを検知したとき、アイコン２０の移動を確定させるように制御してもよい。また、表示制御手段１０３は、視線検知手段１０２が予め定められた時間継続して移動先の位置に向けられた視線を検知したとき、アイコン２０を移動して表示するよう制御してもよい。

また、表示制御手段１０３は、アイコン２０を移動して表示する際に、移動させるか否かを使用者Ｕに確認させる確認画面を表示するよう制御してもよい。

以上のようにすれば、選択操作を行った指を移動させずに、アイコン２０を移動させることができる。これにより、片手で選択操作を行った場合、別の手でアイコン２０を移動操作を行うことによって両手がふさがってしまうことを抑制することができる。

［第３の実施の形態］
次に、図１１及び図１２を参照して、本発明の第３の実施の形態について説明する。図１１は、フォルダの中身を拡大して表示するとともにアイコン２０を移動する処理の一例を示す図であり、（ａ）は、アイコン２０を選択する操作及びフォルダの中身を表示する操作の一例を示す図、（ｂ）は、アイコン２０の移動の一例を示す図である。図１１（ａ）に示すように、画面２（例えば、デスクトップ画面）には、複数のアイコン２０と、１つ以上のフォルダ２２とが表示されている。

表示制御手段１０３は、図１１（ａ）に示すように、視線検知手段１０２が特定した視線の位置ｅが特定のフォルダ２２の位置にある場合、図１１（ｂ）に示すように、視線の位置ｅがあるフォルダ２２の中身を拡大して表示するよう制御してもよい。「中身を拡大して表示する」とは、当該フォルダ２２に格納されている文書、画像、動作、音声等の各種ファイルやアプリケーションの一覧を、例えばサムネイルやアイコン等の形式で表示することをいう。なお、「フォルダ２２の中身を拡大して表示する」には、別の表現として、「フォルダ２２を開いて表示する」という表現を用いてもよい。

また、表示制御手段１０３は、視線検知手段１０２が特定した視線の位置ｅが開かれたフォルダ２２内の位置にある場合、図１１（ｂ）に示すように、使用者Ｕにより予め選択されたアイコン２０（図１１（ａ）の四角枠参照）を、当該フォルダ２２内に移動して表示するよう制御してもよい。

図１２は、フォルダ２２内に格納されたアイコン２０を当該フォルダ２２外に移動する処理の一例を示す図であり、（ａ）は、拡張して表示されたフォルダ２２の一例を示す図、（ｂ）は、フォルダ２２外へのアイコン２０の移動の一例を示す図である。

表示制御手段１０３は、図１２（ａ）に示すように、特定のフォルダ２２が開かれている場合に視線検知手段１０２が特定した視線の位置ｅが開かれたフォルダ２２の外側の領域２３にある場合、図１２（ｂ）に示すように、使用者Ｕにより予め選択されたアイコン２０（四角枠参照）を当該フォルダ２２外に移動して表示するよう制御する。

＜変形例＞
図１３は、フォルダ２２を作成してアイコン２０を格納する処理の一例を示す図であり、（ａ）は、アイコン２０を選択する操作の一例を示す図であり、（ｂ）は、フォルダ２２の作成及びアイコン２０の格納の一例を示す図である。

表示制御手段１０３は、図１３（ａ）に示すように、使用者Ｕにより予めアイコン２０が選択され、視線検知手段１０２が特定した視線の位置ｅが特定のアイコン２０（但し、フォルダ２２を示すアイコン２０を除く）の位置にある場合、図１３（ｂ）に示すように、新たなフォルダ２２を作成して表示する。また、表示制御手段１０３は、作成したフォルダ２２に、当該選択されたアイコン２０と視線の位置ｅがあるアイコン２０とを格納する。

また、表示制御手段１０３は、新たに表示したフォルダ２２の名称を入力するための入力欄２４を表示するよう制御してもよい。

使用者Ｕにより選択されるアイコン２０の数は１つに限られるものではなく、複数であってもよい。

［第４の実施の形態］
次に、図１４を参照して本発明の第４の実施の形態について説明する。図１４は、第４の実施の形態に係る情報処理装置１の制御系の一例を示す図である。第４の実施の形態では、情報処理装置１として画像形成装置を例に説明する。

図１４に示すように、情報処理装置１は、第１の実施の形態で説明した構成に加えて、スキャナ部１３と、プリンタ部１４、ファクシミリ通信部１５と、ネットワーク通信部１６とを備える。

スキャナ部１３は、原稿台（不図示）に配置された原稿、又は自動給紙装置（不図示）から給紙された原稿から画像データを光学的に読み取る。プリンタ部１４は、電子写真方式、インクジェット方式等により画像データを用紙等の記録媒体に印刷する。ファクシミリ通信部１５は、Ｇ３、Ｇ４等のファクシミリプロトコルに従ってデータの変復調を行い、公衆回線網３を介してファクシミリ送受信を行う。ネットワーク通信部１６は、ＮＩＣ（Network Interface Card）等によって実現され、ネットワーク４を介して外部装置との間で信号を送受信する。

情報処理装置１の制御部１０は、実行手段１０５をさらに備える。すなわち、ＣＰＵは、記憶部１１に記憶されたプログラム１１０に従って動作することにより、実行手段１０５等としてさらに機能する。実行手段１０５は、処理手段の一例である。

実行手段１０５は、スキャン、印刷、ファクシミ送受信等の各種処理を実行する。具体的には、実行手段１０５は、スキャナ部１３を制御してスキャン処理を実行する。また、実行手段１０５は、プリンタ部１４を制御して印刷処理を実行する。また、実行手段１０５は、ファクシミリ通信部１５を制御してファクシミリ送信又は受信を実行する。また、実行手段１０５は、ネットワーク通信部１６を制御して電子メール送受信を行う。

図１５は、印刷処理の一例を示す図であり、（ａ）は、印刷処理の実行を指示するアイコン２０が表示された画面２の一例を示す図であり、（ｂ）は、確認画面の一例を示す図である。図１５（ａ）に示す画面２には、印刷処理の実行を指示するアイコン２０（以下、「アイコン２０Ａ」ともいう。）の他に、印刷対象となる文書を示すアイコン２０（以下、「アイコン２０Ｂ」ともいう。）や、ファクシミリ送信の実行を指示するアイコン２０（以下、「アイコン２０Ｃ」ともいう。）、メールの送信の実行を指示するアイコン２０（以下、「アイコン２０Ｄ」ともいう。）、クラウドに対象物を格納する処理の実行を指示するアイコン２０（以下、「アイコン２０Ｅ」ともいう。）等が表示されている。

表示制御手段１０３は、図１５（ａ）に示すように、視線検知手段１０２が特定した視線の位置ｅが画面２に表示された印刷処理の実行を指示するアイコン２０Ａの位置にある場合、図１５（ｂ）に示すように、印刷処理を実行するかどうかを使用者Ｕに確認させる確認画面２Ａを表示するよう制御する。

実行手段１０５は、使用者Ｕにより確認画面２Ａに含まれる実行釦２５が操作された場合、使用者Ｕにより予め選択されたアイコン２０Ｂに関連付けられた文書の印刷を実行する。

第４の実施の形態では、印刷処理を例に説明したが、上述の方法により実行される処理は印刷処理に限られるものではなく、メール送信、ファクシミリ送信、クラウドサーバへのファイルの格納等の各種処理が含まれる。

これら処理は、アイコン２０を視線検知手段１０２により検知された領域に移動させた場合に行われる処理の一例である。

＜変形例＞
表示制御手段１０３は、必ずしも確認画面２Ａを表示するよう制御しなくてもよく、視線検知手段１０２が視線を検知したとき、実行手段１０５が使用者Ｕにより予め選択されたアイコン２０Ｂに関連付けられた文書の印刷を実行するようにしてもよい。また、視線検知手段１０２が視線を検知してから、予め定められた時間が経過した後に、実行手段１０５が予め選択されたアイコン２０Ｂに関連付けられた文書の印刷を実行するようにしてもよい。なお、紙が出力される処理については、他の処理に比べて視線を検知してから処理を実行されるまでの時間を長くしても良い。

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、上記実施の形態では、カメラ１２０を操作部１２に設けたが、情報処理装置１の他の箇所に設けてもよく、情報処理装置１から切り離して天井や壁に設けてもよい。また、視線検知機能を外部やカメラに持たせてもよい。

制御部１０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができ、クラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。

１…情報処理装置、１０…制御部、１００…予備操作検出手段、１０１…撮影制御手段、１０２…視線検知手段、１０３…表示制御手段、１０４…選択操作検出手段、１０５…実行手段、１１…記憶部、１１０…プログラム、１２…操作部、１２０…カメラ、１２１…操作表示部、１２１ａ…表示画面、１３…スキャナ部、１４…プリンタ部、１５…ファクシミリ通信部、１６…ネットワーク通信部、２…画面、２Ａ…確認画面、２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ…アイコン、２１…画面変更領域、２２…フォルダ、２３…外側の領域、２４…入力欄、２５…実行釦、３…公衆回線網、４…ネットワーク、５…手、５０…人差し指、Ｅ…視線、ｅ…位置、Ｕ…使用者

Claims (15)

1. 表示手段と、
   使用者の手を用いた操作により、前記表示手段に表示された要素の少なくとも１つの選択を選択要素として受け付ける選択受付手段と、
   前記使用者の視線の向けられた領域を検知する視線検知手段と、
   前記選択受付手段により選択された前記選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理を、前記選択受付手段により選択された前記選択要素又は前記選択要素によって特定される処理対象に対して行う処理手段と、
   を有する情報処理装置。
2. 前記処理手段により行われる処理は、前記表示手段に表示されていない領域が表示されるように前記表示手段に表示される表示領域を変化させる処理である、
   請求項１に記載の情報処理装置。
3. 前記処理手段は、前記視線検知手段が表示画面の外側の領域に向けられた視線を検知したとき、表示領域を変化させる、
   請求項２に記載の情報処理装置。
4. 前記処理手段は、前記視線検知手段が前記表示手段に表示された表示対象に向けられた視線を検知したとき、前記表示対象中に格納された対象物を表示する、
   請求項２に記載の情報処理装置。
5. 前記処理手段は、前記選択要素を表示させた状態で、前記表示画面の切り替えを行う、
   請求項３又は４に記載の情報処理装置。
6. 前記処理手段は、前記選択要素を移動させずに前記表示画面の切り替えを行う、
   請求項５に記載の情報処理装置。
7. 前記処理手段は、前記視線検知手段が複数の前記表示対象のうち少なくとも１つの前記表示対象を含む領域に向けられた視線を検知したとき、前記領域を拡大して表示する、
   請求項４から６のいずれか１項に記載の情報処理装置。
8. 前記選選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理は、連続的な操作の途中で行われる処理の性質が変化するものである、
   請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記視線検知手段は、前記選択受付手段が前記選択要素を選択した後に、前記選択要素の移動先の位置へ向けられた視線の検知を開始する、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記視線検知手段は、前記選択受付手段が前記選択要素を選択する前に、前記選択要素の移動先の位置へ向けられた視線の検知を開始する、
    請求項１から８のいずれか１項に記載の情報処理装置。
11. 前記処理手段は、前記視線検知手段が視線の位置を検知したとき、該視線の位置に仮想的に前記選択対象を移動させて表示する、
    請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記処理手段は、前記選択対象を仮想的に移動するとき、前記選択対象の表示態様を変更して表示する、
    請求項１１に記載の情報処理装置。
13. 前記処理手段は、前記視線検知手段が仮想的に移動した前記選択対象から視線が外れたことを検知したとき、前記選択対象の移動を確定させる、
    請求項１１又は１２に記載の情報処理装置。
14. 前記処理手段は、前記視線検知手段が予め定められた時間継続して視線を検知したとき、該視線の位置に前記選択対象を移動して表示する、
    請求項１から１３のいずれか１項に記載の情報処理装置。
15. コンピュータを、
    使用者の手を用いた操作により、表示手段に表示された要素の少なくとも１つの選択を選択要素として受け付ける選択受付手段と、
    前記使用者の視線の向けられた領域を検知する視線検知手段と、
    前記選択受付手段により選択された前記選択要素を前記視線検知手段により検知された領域に対応した領域に移動させた場合に行われる処理を、前記選択受付手段により選択された前記選択要素又は前記選択要素によって特定される処理対象に対して行う処理手段として、
    機能させるためのプログラム。
    

Images