JP2018084851A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザーの視線を判別することにより、ユーザーがどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えることを可能にする情報処理装置及びプログラムを提供する。【解決手段】情報処理装置は、第１の画面Ｇ１に含まれる表示コンテンツに関連する第２の画面Ｇ２を第１の画面の前面側に重畳させて表示させているとき、第１の画面に含まれる表示コンテンツが第２の画面によって隠蔽された状態であると判別されると共に、ユーザーの視線位置ＳＰに基づいてユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、第２の画面によって隠蔽された表示コンテンツを表示画面において視認可能な状態に表示させる。【選択図】図１１

Description

本発明は、情報処理装置及びプログラムに関し、特にユーザーの視線を検知して画面の表示状態を自動更新する技術に関する。

従来、カメラを搭載した情報処理装置において、カメラで撮影した画像からユーザーの視線を検知し、ユーザーが操作に迷っているか否かを判定するようにした情報処理装置が知られている（例えば特許文献１）。この従来技術では、ユーザーの視線を検知してから操作パネルに対する操作が行われるまでの時間を迷い時間として計測する。そして計測中の迷い時間が所定時間を超えた場合に、ユーザーが操作に迷っていると判定し、操作パネルにヘルプ情報の参照ボタンを表示してユーザーにヘルプ情報の参照を促すようにしている。

特開２０１５−１８４６９８号公報

ところで、ＭＦＰ（Multifunction Peripherals）などの情報処理装置の操作パネルには、種々の画面を表示可能である。各画面には、ユーザーが操作可能な操作キーが表示コンテンツとして含まれる他、現在の設定状態や情報処理装置のステータスなどを表示するための様々な表示コンテンツも含まれている。そして情報処理装置は、操作パネルに、あるひとつの設定画面を全画面表示しているときに、その設定画面に含まれる表示コンテンツに関連するサブ画面を設定画面の前面側に重畳させてポップアップ表示することができる。

しかし、サブ画面を設定画面の前面側にポップアップ表示させると、元の設定画面に含まれる少なくとも一部の表示コンテンツがサブ画面によって隠蔽される現象が起こり得る。元の設定画面に含まれる表示コンテンツがサブ画面によって隠蔽されると、ユーザーは、その表示コンテンツの内容を確認したり、操作キーに対する操作を行ったりすることができなくなる。そのため、ユーザーは、サブ画面がポップアップ表示されている状態で元の設定画面の表示内容などを確認したいときには、サブ画面を閉じて非表示に切り替える操作を行わなければならず、操作が煩雑である。

一方、サブ画面がポップアップ表示された状態でも元の設定画面の表示内容を確認できるようにするため、例えばサブ画面を半透明のような態様で表示し、サブ画面の背面側にある表示コンテンツを透過させた状態に表示する手法も考えられる。しかし、この場合、ユーザーがサブ画面の表示内容を確認したいときには、サブ画面に含まれる表示コンテンツの視認性が低下しているため、サブ画面の表示内容を確認しづらいという新たな問題が生じる。

そのため、サブ画面をポップアップ表示しているときには、ユーザーが元の設定画面の内容を確認したいのか、それともサブ画面の内容を確認したいのかを判別したうえで、操作パネルの表示態様をユーザーにとって最適な表示態様に切り替えることが望まれる。しかし、上述した従来技術では、そのような表示態様の切り替えを行うことはできず、ユーザーが確認したい表示コンテンツを最適な状態に表示することができないという問題がある。

そこで本発明は、上記のような問題点を解決するためになされたものであり、ユーザーの視線を判別することにより、ユーザーがどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えることができるようにした情報処理装置及びプログラムを提供することを目的とするものである。

上記目的を達成するため、請求項１に係る発明は、情報処理装置であって、表示画面に各種画像を表示可能な表示手段と、前記表示画面内におけるユーザーの視線位置を検知する視線検知手段と、前記表示画面に第１の画面を表示している状態で、前記第１の画面に含まれる表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる表示制御手段と、前記第１の画面の前面側に前記第２の画面が表示される状態において、前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態となるか否かを判別する隠蔽コンテンツ判別手段と、前記第１の画面の前面側に前記第２の画面が表示されているとき、前記視線検知手段によって検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する視線判別手段と、前記隠蔽コンテンツ判別手段によって前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記視線判別手段によってユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる表示更新手段と、を備えることを特徴とする構成である。

請求項２に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面の表示領域外にある場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項３に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面に含まれる表示コンテンツの表示位置にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項４に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面の表示領域内における背景部分にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項５に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面に含まれる全ての表示コンテンツの表示位置を通過した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項６に係る発明は、請求項１、２、３又は５に記載の情報処理装置において、前記表示更新手段は、前記表示画面から前記第２の画面を消去することにより、前記第２の画面によって隠蔽されていた表示コンテンツを前記表示画面において視認可能な状態に表示させることを特徴とする構成である。

請求項７に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面の透過率を変更することにより、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面を透過させて視認可能な状態に表示させることを特徴とする構成である。

請求項８に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面の表示領域内に表示させることを特徴とする構成である。

請求項９に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを、前記第１の画面の表示領域内において前記第２の画面によって隠蔽されていない領域に移動させて表示することを特徴とする構成である。

請求項１０に係る発明は、請求項９に記載の情報処理装置において、前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを移動させるときに、当該表示コンテンツの移動軌跡を示すアニメーション動画を表示することを特徴とする構成である。

請求項１１に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面の表示位置を前記表示画面内で移動させることにより、前記第２の画面によって隠蔽されていた表示コンテンツを視認可能な状態に表示させることを特徴とする構成である。

請求項１２に係る発明は、請求項１１に記載の情報処理装置において、前記表示更新手段は、前記第２の画面の表示位置を移動させるときに、前記第２の画面の移動軌跡を示すアニメーション動画を表示することを特徴とする構成である。

請求項１３に係る発明は、請求項１乃至１２のいずれかに記載の情報処理装置において、前記表示制御手段は、前記第１の画面を表示している状態で、前記視線検知手段によって検知されるユーザーの視線位置が前記第１の画面に含まれる一の表示コンテンツに所定時間留まっていることを検知した場合に、当該一の表示コンテンツの近傍位置に前記第２の画面を表示させることを特徴とする構成である。

請求項１４に係る発明は、請求項１３に記載の情報処理装置において、前記第２の画面は、前記一の表示コンテンツに関するヘルプ情報を表示コンテンツとして含む画面であることを特徴とする構成である。

請求項１５に係る発明は、請求項１３に記載の情報処理装置において、前記一の表示コンテンツは、前記第１の画面を別の画面に遷移させるためのユーザーが操作可能な操作キーであり、前記第２の画面は、前記別の画面に含まれる表示コンテンツを表示する画面であることを特徴とする構成である。

請求項１６に係る発明は、請求項１３に記載の情報処理装置において、前記第２の画面は、前記一の表示コンテンツに対する処理を、複数の項目のうちからユーザーが選択可能なメニュー画面であることを特徴とする構成である。

請求項１７に係る発明は、請求項１乃至１６のいずれかに記載の情報処理装置において、ジョブを受け付けて実行するジョブ制御手段、を更に備え、前記視線判別手段は、前記ジョブ制御手段によって実行されるジョブのステータスに変化が生じた場合に、前記視線検知手段によって検知されるユーザーの視線位置に基づく判別処理を一定時間停止させることを特徴とする構成である。

請求項１８に係る発明は、表示画面に各種画像を表示可能な表示手段を備えた情報処理装置において実行されるプログラムであって、前記情報処理装置に、前記表示画面内におけるユーザーの視線位置を検知する第１のステップと、前記表示画面に第１の画面を表示している状態で、前記第１の画面に含まれる表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる第２のステップと、前記第１の画面の前面側に前記第２の画面が表示される状態において、前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態となるか否かを判別する第３のステップと、前記第１の画面の前面側に前記第２の画面が表示されているとき、前記第１のステップにおいて検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する第４のステップと、前記第３のステップにおいて前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記第４のステップにおいてユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる第５のステップと、を実行させることを特徴とする構成である。

請求項１９に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面の表示領域外にある場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項２０に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面に含まれる表示コンテンツの表示位置にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項２１に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面の表示領域内における背景部分にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項２２に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面に含まれる全ての表示コンテンツの表示位置を通過した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。

請求項２３に係る発明は、請求項１８、１９、２１又は２２に記載のプログラムにおいて、前記第５のステップは、前記表示画面から前記第２の画面を消去することにより、前記第２の画面によって隠蔽されていた表示コンテンツを前記表示画面において視認可能な状態に表示させることを特徴とする構成である。

請求項２４に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面の透過率を変更することにより、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面を透過させて視認可能な状態に表示させることを特徴とする構成である。

請求項２５に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面の表示領域内に表示させることを特徴とする構成である。

請求項２６に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面によって隠蔽された表示コンテンツを、前記第１の画面の表示領域内において前記第２の画面によって隠蔽されていない領域に移動させて表示することを特徴とする構成である。

請求項２７に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面の表示位置を前記表示画面内で移動させることにより、前記第２の画面によって隠蔽されていた表示コンテンツを視認可能な状態に表示させることを特徴とする構成である。

本発明によれば、ユーザーの視線を判別することにより、ユーザーが第１の画面及び第２の画面のそれぞれに含まれる表示コンテンツのうちのどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えることができるようになる。

情報処理装置の外観構成を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 制御部の機能構成の一例を示すブロック図である。 第１の画面の前面側に表示される第２の画面の例を示す図である。 ユーザーの視線位置が第２の画面に含まれる表示コンテンツ上を移動している状態を示す図である。 ユーザーの視線位置が第２の画面の表示領域外にある状態を示す図である。 ユーザーの視線位置が第２の画面の背景部分にある状態を示す図である。 ユーザーの視線位置が第２の画面における表示コンテンツの表示位置と重なった状態を示す図である。 ユーザーの視線位置が第２の画面に含まれる全ての表示コンテンツの表示位置を通過した状態を示す図である。 ユーザーの視線位置が第２の画面の表示領域外にあることを示す視認パターンに応じて表示部の表示状態を更新する例を示す図である。 第２の画面の視認性を低下させる場合の第１の更新態様の例を示す図である。 第２の画面の視認性を低下させる場合の第２の更新態様の例を示す図である。 第２の画面に第１の画面の表示コンテンツを表示するときの表示態様の一例を示す図である。 第２の画面の視認性を低下させずに表示画面を更新する場合の第１の更新態様の例を示す図である。 第２の画面の視認性を低下させずに表示画面を更新する場合の第２の更新態様の例を示す図である。 第１の画面の一の表示コンテンツの近傍に表示される第２の画面の別の例を示す図である。 情報処理装置がジョブを受信した場合に表示部に表示されるメッセージの例を示す図である。 情報処理装置において行われる主たる処理手順の一例を示すフローチャートである。 視認状態判別処理の詳細な処理手順の一例を示すフローチャートである。 表示更新処理の詳細な処理手順の一例を示すフローチャートである。

以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。

図１は、本発明の一実施形態における情報処理装置１の外観構成を示す図である。この情報処理装置１は、例えばＭＦＰなどによって構成され、スキャンジョブやプリントジョブ、コピージョブ、ＦＡＸジョブなどの、画像処理に関する様々なジョブを実行することができる画像処理装置である。例えば図１に示すように、情報処理装置１は、装置本体の上部に、ユーザーによってセットされる原稿を読み取るスキャナ部２を備えている。また情報処理装置１は、装置本体の中央部に、印刷出力を行うプリンタ部３を備えている。情報処理装置１は、これらスキャナ部２やプリンタ部３を動作させることにより、スキャンジョブやプリントジョブ、コピージョブを実行することができる。また情報処理装置１は、スキャナ部２やプリンタ部３の他にも、後述するＦＡＸ部４（図２参照）を備えている。

また情報処理装置１は、装置本体の前面側に、ユーザーが操作可能な操作パネル５を備えている。操作パネル５は、ユーザーが情報処理装置１を操作する際のユーザーインタフェースとなるものであり、ユーザーに対して様々な情報を表示する表示部６を備えている。表示部６は、例えばカラー液晶ディスプレイで構成され、その表示画面にジョブの設定画面などの各種画面を表示することが可能である。また操作パネル５は、後述するユーザーが操作可能な操作部７（図２参照）を備えている。

さらに情報処理装置１は、操作パネル５を操作するユーザーの視線を検知するため、操作パネル５の近傍位置にユーザーの顔画像を撮影するための撮像部８を備えている。撮像部８は、例えば操作パネル５を操作するユーザーの顔を撮影することができるように、その撮影方向が予め調整された状態に取り付けられる。そして撮像部８は、操作パネル５の表示部６に何らかの画像が表示されているときに、所定のフレームレートで繰り返しユーザーの顔画像を撮影するように構成される。

情報処理装置１は、撮像部８によって撮影されるユーザーの顔画像に基づいてユーザーの視線位置ＳＰを検知し、その視線位置ＳＰに応じて表示部６に表示する画面を制御するように構成される。例えば情報処理装置１は、表示部６に、各種設定を行うための第１の画面を全画面表示しているとき、その第１の画面に含まれるひとつの表示コンテンツに関連するサブ画面を、第２の画面として、第１の画面の前面側に重畳させてポップアップ表示することができる。第１の画面の前面側に第２の画面がポップアップ表示されると、その第２の画面により、第１の画面に含まれる少なくとも１つの表示コンテンツが隠蔽された状態となり、ユーザーが視認できない状態となることがある。そのため、情報処理装置１は、第１の画面の前面側に第２の画面を重畳して表示しているとき、ユーザーの視線位置ＳＰに応じて第１の画面及び第２の画面のいずれか一方若しくは双方の表示態様を切り替えることにより、隠蔽された表示コンテンツをユーザーが視認できるように表示部６における画面表示を制御する。以下、このような情報処理装置１について詳しく説明する。

図２は、情報処理装置１のハードウェア構成の一例を示すブロック図である。情報処理装置１は、そのハードウェア構成として、上述したスキャナ部２、プリンタ部４、操作パネル５及び撮像部８の他に、ＦＡＸ部４と、ネットワークインタフェース９と、制御部１０と、記憶部１５とを備えている。また操作パネル５は、表示部６の他にも、操作部７を備えている。操作部７は、ユーザーによる操作入力を受け付けるためのものであり、例えば表示部６の表示画面上に配置される透明なタッチパネルセンサーと、表示部６の表示画面の周囲に配置される押しボタンキーとを備えて構成される。またＦＡＸ部４は、図示を省略する公衆電話回線を通じてＦＡＸデータの送受信を行うためのものである。

ネットワークインタフェース９は、情報処理装置１をＬＡＮ（Local Area Network）などのネットワークに接続するためのものである。情報処理装置１は、このネットワークインタフェース９を介して、スキャンジョブの実行によって生成した画像データを、他のデバイスに送信することが可能である。また情報処理装置１は、ネットワークインタフェース９を介して、他のデバイスからプリントジョブなどのジョブを受信することも可能であり、プリントジョブを受信した場合にはプリンタ部３を駆動することにより、その受信したプリントジョブに基づいて印刷出力を行う。

記憶部１５は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶手段である。この記憶部１５には、情報処理装置１において実行されるプログラム１６が予め記憶されると共に、表示部６に表示するための様々な画面に関する画面情報１７と、表示部６に表示される各画面の付属情報である画面付属情報１８とが記憶される。画面情報１７は、ジョブの設定画面などの各種画面を表示部６に表示するための情報であり、ユーザーが操作可能な操作キーやテキスト情報などを表示コンテンツに含む情報である。この画面情報１７では、複数の画面が階層構造に定義されており、その階層構造に従った画面遷移が行われる。画面付属情報１８は、表示部６に表示される画面ごとに定義される情報であり、例えば各画面の画面サイズや表示位置、各画面に含まれる表示コンテンツの表示サイズや表示位置などを記録した情報である。尚、記憶部１５には、この他にも、例えばスキャンジョブなどによって生成される画像データやネットワークインタフェース９を介して受信するドキュメントファイルなどを記憶しておくこともできる。

制御部１０は、ＣＰＵ１１とメモリ１２とを備えて構成され、情報処理装置１の各部の動作を制御するものである。制御部１０のＣＰＵ１１は、情報処理装置１に電源が投入されると、記憶部１５からプログラム１６を読み出して実行する。これにより、制御部１０は、様々な機能を実現する。

図３は、制御部１０の機能構成の一例を示すブロック図である。制御部１０は、視線検知部２１、視線判別部２２、操作検知部２３、画面制御部２４及び隠蔽コンテンツ判定部２７として機能する。以下、これら各部の動作について説明する。

視線検知部２１は、撮像部８によって撮影されるユーザーの顔画像を取得し、その顔画像に基づいてユーザーの視線位置ＳＰを検知する処理部である。例えば視線検知部２１は、ユーザーの顔画像から左右両目の目頭と虹彩を認識し、目頭を基準点とする虹彩の位置に基づいてユーザーの視線位置ＳＰを検知する。そしてユーザーが表示部６の表示画面内を視認している場合、視線検知部２１は、表示部６の表示画面内において視線位置ＳＰに対応する座標情報を導出する。ただし、ユーザーが表示部６の表示画面を視認していない場合、視線検知部２１は、表示画面内における座標情報を導出しないようにしても良い。

そして視線検知部２１は、撮像部８によって所定のフレームレートでユーザーの顔画像が繰り返し撮影される度に、ユーザーの視線位置ＳＰを検知する処理を繰り返す。そのため、ユーザーの視線位置ＳＰが移動していれば、視線検知部２１から出力される座標情報の履歴により、ユーザーの視線位置ＳＰの移動軌跡を検出することができる。

視線判別部２２は、視線検知部２１から出力される視線位置ＳＰの座標情報に基づき、表示部６の表示画面に対するユーザーの視認状態を判別する処理である。例えば、視線判別部２２は、表示部６に第１の画面だけが表示されている状態のときには、ユーザーがその第１の画面に含まれる一の表示コンテンツを凝視しているか否かを判別する。すなわち、視線判別部２２は、まずユーザーの視線位置ＳＰが第１の画面上の特定の位置に所定時間以上留まっているか否かを判別する。そしてユーザーの視線位置ＳＰが特定の位置に留まっている場合、視線判別部２２は、第１の画面に関する画面付属情報１８を参照し、ユーザーの視線位置ＳＰが留まっている位置に、操作キーなどの表示コンテンツが存在するか否かを判別する。その結果、ユーザーの視線位置ＳＰに表示コンテンツが存在する場合、視線判別部２２は、ユーザーが第１の画面に含まれる一の表示コンテンツを凝視していると判別する。そして視線判別部２２は、その判別結果を画面制御部２４へ出力する。これにより、一の表示コンテンツに関連する第２の画面が、サブ画面として、第１の画面の前面側に重畳した状態でポップアップ表示されるようになる。

また視線判別部２２は、第１の画面の前面側に第２の画面が表示されている状態のときには、視線検知部２１によって検知されるユーザーの視線位置ＳＰに基づき、第２の画面に対するユーザーの視認状態を判別する。すなわち、視線判別部２２は、ユーザーの視線位置ＳＰに基づいて、ユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があるか否かを判別するのである。これにより、ユーザーが第２の画面によって隠蔽された第１の画面の表示コンテンツを視認したいと思っているか否かを推定することができる。そしてユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があると判別した場合、視線判別部２２は、ユーザーの視認状態を予め定めた複数の視認パターンのうちのいずれに該当するかを特定し、その特定した視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４は、視線判別部２２によって特定された視認パターンに応じて、第２の画面に隠蔽されている第１の画面の表示コンテンツをユーザーが視認できるように表示部６の表示態様を更新することができるようになる。尚、視線判別部２２による具体的な判別手法については後述する。

操作検知部２３は、操作部７に対するユーザーの操作を検知し、ユーザーの操作に基づく操作情報を画面制御部２４又はジョブ制御部２８へ出力する処理部である。例えば、操作検知部２３は、タッチパネルセンサーに対するユーザーのタッチ操作を検知した場合、表示部６の表示画面上においてユーザーがタッチ操作を行った座標位置を特定し、その座標位置を含む操作情報を生成して出力する。例えばユーザーが表示部６に表示されている画面を別の画面に遷移させるような操作を行った場合、操作検知部２３は、ユーザーの操作に基づく操作情報を画面制御部２４へ出力する。これにより、表示部６に表示される画面は、ユーザーの操作に基づいて更新される。またユーザーがジョブの実行を指示する操作を行った場合、操作検知部２３は、ユーザーの操作に基づくジョブの実行指示をジョブ制御部２８へ出力する。これにより、情報処理装置１においてジョブの実行が開始される。

画面制御部２４は、表示部６に表示される画面を制御するものである。この画面制御部２４は、操作検知部２３から出力される操作情報に基づいて表示部６に表示される画面を更新する。また画面制御部２４は、視線判別部２２から出力される情報に基づいて表示部６に表示される画面を更新することもできる。このような画面制御部２４は、図３に示すように、表示制御部２５と、表示更新部２６とを備えている。

表示制御部２５は、表示部６に第１の画面だけを表示している状態のときに、視線判別部２２によってユーザーが第１の画面に含まれる一の表示コンテンツを凝視していると判別されると、ユーザーが凝視している一の表示コンテンツに関する第２画面を、第１の画面の前面側に重畳させたポップアップ表示させる処理部である。

図４は、第１の画面Ｇ１の前面側に表示される第２の画面Ｇ２の例を示す図である。例えば図４（ａ）に示すように、第１の画面Ｇ１には、ユーザーが操作可能な複数の操作キーのそれぞれに対応する複数の表示コンテンツ３０〜３９が含まれている。このうち、ユーザーの視線位置ＳＰが一の表示コンテンツ３０上に所定時間以上留まっている場合、視線判別部２２によってユーザーが表示コンテンツ３０を凝視していると判別される。この場合、表示制御部２５は、ユーザーによって凝視されている表示コンテンツ３０に対応する画面情報１７を読み出す。そして図４（ｂ）に示すように、表示制御部２５は、その画面情報１７に基づいて表示コンテンツ３０に対応する第２の画面Ｇ２を、第１の画面Ｇ１の前面側に重畳させた状態にポップアップ表示させる。尚、本実施形態では、第２の画面Ｇ２が表示部６の一部の表示領域される画面である場合を例示するが、これに限られるものでなく、第２の画面Ｇ２は表示部６において全画面表示されるものであっても構わない。

図４（ｂ）に示すように第１の画面Ｇ１の前面側に第２の画面Ｇ２が表示されると、第１の画面Ｇ１に含まれる少なくとも一部の表示コンテンツ３５〜３９が第２の画面Ｇ２によって隠蔽され、ユーザーが視認できない状態となる。表示制御部２５によって表示部６に第２の画面Ｇ２が表示されると、隠蔽コンテンツ判定部２７が機能する。

隠蔽コンテンツ判定部２７は、第１の画面Ｇ１の前面側に第２の画面Ｇ２が表示された状態において、第１の画面Ｇ１に含まれる複数の表示コンテンツ３０〜３９のうちの少なくとも１つの表示コンテンツが第２の画面Ｇ２によって隠蔽された状態となるか否かを判定する。すなわち、隠蔽コンテンツ判定部２７は、表示制御部２５によって第２の画面Ｇ２が表示されると、記憶部１５から第１の画面Ｇ１及び第２の画面Ｇ２のそれぞれに対応する画面付属情報１８を読み出し、第１の画面Ｇ１において複数の表示コンテンツ３０〜３９のそれぞれが表示されている位置と重なった状態で第２の画面Ｇ２が表示されているか否かを判別する。そして複数の表示コンテンツ３０〜３９のうちのいずれかの表示コンテンツの表示位置と重なった状態で第２の画面Ｇ２が表示されていれば、第２の画面Ｇ２によって隠蔽された表示コンテンツが存在すると判定する。図４（ｂ）の例の場合、隠蔽コンテンツ判定部２７は、第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９が第２の画面Ｇ２によって隠蔽されていることを判定する。そして隠蔽コンテンツ判定部２７は、上記のような判定結果を、視線判別部２２へ出力する。

そして視線判別部２２は、隠蔽コンテンツ判定部２７によって第１の画面Ｇ１に含まれる表示コンテンツ３０〜３９のいずれかが第２の画面Ｇ２によって隠蔽されていると判定されることを条件として、上述したように第２の画面Ｇ２に対するユーザーの視認状態を判別する。言い換えると、視線判別部２２は、第１の画面の前面側に第２の画面が表示された状態であっても、隠蔽コンテンツ判定部２７によって第１の画面Ｇ１に含まれる表示コンテンツ３０〜３９の全てが第２の画面Ｇ２によって隠蔽されていないと判定された場合には、第２の画面Ｇ２に対するユーザーの視認状態を判別する必要はない。なぜなら、第１の画面Ｇ１及び第２の画面Ｇ２のそれぞれに含まれる全ての表示コンテンツをユーザーが視認できるからである。

表示更新部２６は、第１の画面Ｇ１の前面側に第２の画面Ｇ２を表示しているとき、視線判別部２２によってユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判別された場合に機能する。そして表示更新部２６は、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツを、ユーザーが視認可能な状態に更新する。また表示更新部２６は、視線判別部２２によって特定されるユーザーの視認パターンに応じてそれぞれ異なる表示態様で、隠蔽された表示コンテンツをユーザーが視認できるように更新する。尚、表示更新部２６による表示画面の更新処理の詳細については後述する。

ジョブ制御部２８は、スキャナ部２、プリンタ部３及びＦＡＸ部４のそれぞれを制御することにより、情報処理装置１におけるジョブの実行を制御するものである。例えばジョブ制御部２８は、操作検知部２３によってユーザーによるジョブの実行指示が検知された場合に、ユーザーによって指定されたジョブの実行を制御する。またジョブ制御部２８は、ネットワークインタフェース９を介してプリントジョブを受信した場合には、プリンタ部３を駆動し、受信したプリントジョブに基づいて印刷出力を行わせる。

次に、第１の画面Ｇ１の前面側に第２の画面Ｇ２が表示されている状態において、視線判別部２２によって行われるユーザーの視認状態を判別する処理について説明する。ユーザーの視認状態を判別する処理では、上述したように、ユーザーの視線位置ＳＰに基づいて、ユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があるか否かが判別される。また視線判別部２２は、ユーザーの視認状態を判別するとき、ユーザーの視線位置ＳＰの移動軌跡を参照することもある。

図５は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツ上を移動している状態を示す図である。図５に示すように、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツ上を移動していると判定した場合、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していると判断する。この場合、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーに視認させる必要がない。したがって、視線判別部２２は、ユーザーが第２の画面に含まれる表示コンテンツを視認していると判断した場合には表示更新部２６による表示状態の更新を行わないように指示する。そのため、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツ上を移動しており、ユーザーが第２の画面Ｇ２の表示コンテンツを確認している場合には、表示部６の表示状態は更新されず、現在の表示状態が維持される。

次に図６は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にある状態を示す図である。図６に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にある状態が所定時間以上継続する場合、視線判別部２２は、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツに全く関心を示していないのであるから、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、第２の画面Ｇ２の表示領域外にユーザーの視線位置ＳＰがあることを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にあることを示す視認パターンに応じて表示部６の表示状態が更新される。

次に図７は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２において表示コンテンツが表示されていない背景部分にある状態を示す図である。図７に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２において表示コンテンツが表示されていない背景部分にある状態が所定時間以上継続する場合、視線判別部２２は、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合も、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツにあまり関心を示していないのであるから、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、第２の画面Ｇ２の背景部分にユーザーの視線位置ＳＰがあることを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンに応じて表示部６の表示状態が更新される。

次に図８は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態を示す図である。図８に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２における表示コンテンツの表示位置と重なっている状態が所定時間以上継続する場合、ユーザーは、第２の画面Ｇ２の表示コンテンツに関心を示している可能性があると言えると共に、視線位置ＳＰにおいて隠蔽された状態にある第１の画面Ｇ１の表示コンテンツ３６に関心を示している可能性があるとも言える。そして後者の場合には、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると言える。そのため、図８に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であるとき、視線判別部２２は、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合も、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンに応じて表示部６の表示状態が更新される。

次に図９は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した状態を示す図である。図９に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した後、ユーザーの視線位置ＳＰが特定の表示コンテンツ上に移動することなく、所定時間が経過した場合、ユーザーは、第２の画面Ｇ２の表示コンテンツに関心を示していないと言える。そのため、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した状態になると、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合も、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過したことを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過したことを示す視認パターンに応じて表示部６の表示状態が更新される。

次に表示更新部２６が表示部６の表示状態を更新する処理について説明する。表示更新部２６は、視線判別部２２において特定される視認パターンに応じて表示部６の表示状態を更新する。

図１０は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にあることを示す視認パターンに応じて表示部６の表示状態を更新する例を示す図である。図１０（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にあることを示す視認パターンが特定された場合、表示更新部２６は、表示部６の表示画面上から第２の画面Ｇ２を消去する。これにより、表示部６の表示画面は、図１０（ａ）に示すような表示態様から図１０（ｂ）に示すような表示態様に自動更新される。このような更新により、ユーザーは、第２の画面Ｇ２で隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認することができるようになり、表示コンテンツ３５〜３９の内容を確認したり、表示コンテンツ３５〜３９に対する操作を行ったりすることができるようになる。またユーザーにとっては手動で第２の画面Ｇ２を閉じる操作を行わなくても、第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９を視認することができるようになるため、操作性が向上する。

また表示更新部２６は、視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過したことを示す視認パターンが特定された場合にも、上記と同様に、表示部６の表示画面上から第２の画面Ｇ２を消去する。ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した後、ユーザーの視線位置ＳＰが第２の画面Ｇ２上の特定の表示コンテンツに戻ることなく、所定時間が経過した場合、ユーザーは、第２の画面Ｇ２の表示コンテンツに全く関心を示していないと言える。そのため、表示更新部２６は、第２の画面Ｇ２を表示画面上から消去することにより、第２の画面Ｇ２に隠蔽されていた表示コンテンツ３５〜３９を視認可能な状態に自動更新するのである。

次に視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合の表示画面の更新処理について説明する。ユーザーが第２の画面Ｇ２の背景部分を見ている場合、ユーザーの関心は、第２の画面Ｇ２に含まれる表示コンテンツよりも寧ろ、視線位置ＳＰにおいて隠蔽されている第１の画面Ｇ１の表示コンテンツにあると言える。そのため、表示更新部２６は、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることにより、第２の画面Ｇ２に隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認できるようにする。

図１１は、第２の画面Ｇ２の視認性を低下させる場合の第１の更新態様の例を示す図である。例えば図１１（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合、表示更新部２６は、図１１（ｂ）に示すように第２の画面Ｇ２の透過率を上げることにより、第２の画面Ｇ２の背面側にある第１の画面Ｇ１の表示コンテンツ３５〜３９を透過させて視認可能な状態に表示させる。このとき、ユーザーの関心は、第２の画面Ｇ２の表示コンテンツよりも、第１の画面Ｇ１の表示コンテンツ３５〜３９の方が高いと言える。そのため、表示更新部２６は、例えば第２の画面Ｇ２の透過率を５０％以上に設定し、第１の画面Ｇ１に含まれる隠蔽された表示コンテンツ３５〜３９の視認性が、第２の画面Ｇ２に含まれる表示コンテンツよりも高くなるようにする。その結果、ユーザーは、第２の画面Ｇ２が表示された状態のままで第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９を視認することができるようになる。

次に図１２は、第２の画面Ｇ２の視認性を低下させる場合の第２の更新態様の例を示す図である。例えば図１２（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合、表示更新部２６は、図１２（ｂ）に示すように第１の画面Ｇ１において隠蔽された状態の表示コンテンツ３５〜３９を第２の画面Ｇ２の表示領域内に表示させる。このとき、表示更新部２６は、例えば第２の画面Ｇ２に含まれる表示コンテンツを縮小して視認性を低下させることにより、第２の画面Ｇ２の余白部分を拡大し、その余白部分に隠蔽された表示コンテンツ３５〜３９と同じ表示コンテンツ３５ａ〜３７ａを表示する。

ただし、第２の画面Ｇ２に含まれる表示コンテンツを縮小したとしても、第２の画面Ｇ２によって隠蔽された表示コンテンツ３５〜３９の全てを第２の画面Ｇ２の余白部分に表示させることができないこともある。その場合、表示更新部２６は、第１の画面Ｇ１において隠蔽された状態である複数の表示コンテンツ３５〜３９のうちから、ユーザーの視線位置ＳＰの近傍位置にある所定数の表示コンテンツ３５，３６，３７を抽出し、その抽出した所定数の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第２の画面Ｇ２の余白部分に表示させる。これにより、ユーザーが凝視する位置の近傍で隠蔽されていた表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを、第２の画面Ｇ２において視認することができるようになる。尚、表示更新部２６は、表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第２の画面Ｇ２に表示するとき、表示コンテンツ３５ａ，３６ａ，３７ａの表示サイズを、第２の画面Ｇ２に含まれていた表示コンテンツの表示サイズよりも大きくすることにより、表示コンテンツ３５ａ，３６ａ，３７ａを視認し易い態様で表示するようにしても良い。

図１３は、第２の画面Ｇ２に表示コンテンツ３５ａ，３６ａ，３７ａを表示するときの表示態様の一例を示す図である。表示更新部２６は、上述したように第２の画面Ｇ２によって隠蔽された第１の画面Ｇ１の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第２の画面Ｇ２に表示させるとき、図１３に示すように各表示コンテンツ３５ａ，３６ａ，３７ａの移動軌跡５１を示すアニメーション動画を表示するようにしても良い。各表示コンテンツ３５ａ，３６ａ，３７ａの移動軌跡５１を動画態様で表示することにより、ユーザーは、第２の画面Ｇ２の表示領域内に複数の表示コンテンツ３５ａ，３６ａ，３７ａが表示されるとき、各表示コンテンツ３５ａ，３６ａ，３７ａが第１の画面Ｇ１のどの位置から移動してきたかを把握することができるようになり、注目していた表示コンテンツ３５がどのようなコンテンツであるかを容易に確認することができるという利点がある。

以上のように、視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合、表示更新部２６は、第１の更新態様及び第２の更新態様のいずれかを採用し、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることにより、第２の画面Ｇ２に隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認できるようにする。尚、第１の更新態様及び第２の更新態様のいずれを採用するかは、情報処理装置１において適宜設定可能である。

次に視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンが特定された場合の表示画面の更新処理について説明する。上述したように、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置と重なっている場合、ユーザーの関心が、第２の画面Ｇ２に含まれる表示コンテンツにあるのか、或いは、視線位置ＳＰにおいて隠蔽されている第１の画面Ｇ１の表示コンテンツにあるのかを特定するのは困難である。そのため、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることなく、第１の画面Ｇ１において隠蔽された状態の表示コンテンツを視認可能な状態に表示する必要がある。

図１４は、第２の画面Ｇ２の視認性を低下させずに表示画面を更新する場合の第１の更新態様の例を示す図である。例えば図１４（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンが特定された場合、表示更新部２６は、図１４（ｂ）に示すように第１の画面Ｇ１において隠蔽された状態の表示コンテンツ３５〜３９を第１の画面Ｇ１の余白領域に表示させる。その結果、ユーザーは、第２の画面Ｇ２が表示された状態のままで第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９を視認することができるようになる。

ただし、この場合においても、第２の画面Ｇ２によって隠蔽された表示コンテンツ３５〜３９の全てを第１の画面Ｇ１の余白領域に表示させることができないこともある。その場合、表示更新部２６は、第１の画面Ｇ１において隠蔽された状態である複数の表示コンテンツ３５〜３９のうちから、ユーザーの視線位置ＳＰの近傍位置にある所定数の表示コンテンツ３５，３６，３７を抽出し、その抽出した所定数の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第１の画面Ｇ１の余白部分に移動させて表示する。これにより、ユーザーが凝視する位置の近傍で隠蔽されていた表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを、第１の画面Ｇ１の余白領域において視認することができるようになる。

また表示更新部２６は、第２の画面Ｇ２によって隠蔽された第１の画面Ｇ１の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第１の画面Ｇ１の余白領域に移動させて表示するとき、図１４（ｂ）に示すように各表示コンテンツ３５ａ，３６ａ，３７ａの移動軌跡５１を示すアニメーション動画を表示するようにしても良い。これにより、ユーザーは、第１の画面Ｇ１の余白領域内に複数の表示コンテンツ３５ａ，３６ａ，３７ａが表示されるとき、各表示コンテンツ３５ａ，３６ａ，３７ａが第１の画面Ｇ１のどの位置から移動してきたかを把握することができるようになり、注目していた表示コンテンツ３６がどのようなコンテンツであるかを容易に確認することができるようになる。

次に図１５は、第２の画面Ｇ２の視認性を低下させずに表示画面を更新する場合の第２の更新態様の例を示す図である。例えば図１５（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンが特定された場合、表示更新部２６は、図１５（ｂ）に示すように第２の画面Ｇ２を表示部６の表示画面内で移動させ、それまで第２の画面Ｇ２によって隠蔽されていた表示コンテンツ３５〜３９をユーザーが視認可能な状態に表示する。このとき、表示更新部２６は、例えばユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域から外れるように第２の画面Ｇ２を移動させることにより、第２の画面Ｇ２によって隠蔽されていた表示コンテンツ３５〜３９のうち、ユーザーが視認しようとしていた可能性のある表示コンテンツ３６を視認可能な状態に表示することができる。

以上のように、視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の表示コンテンツと重なった位置にある場合、表示更新部２６は、上述した第１の更新態様及び第２の更新態様のいずれかを採用し、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることなく、第２の画面Ｇ２に隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認できるようにする。尚、第１の更新態様及び第２の更新態様のいずれを採用するかは、情報処理装置１において適宜設定可能である。

ところで、図１５において第１の画面Ｇ１の前面側に表示される第２の画面Ｇ２は、ユーザーが第１の画面Ｇ１の一の表示コンテンツ３０を選択する操作を行うことにより、次に表示される画面にどのような選択項目が含まれているかを示す画面である場合を例示した。しかし、第２の画面Ｇ２は、次画面にどのような選択項目が含まれるかを表示するものに限られない。

図１６は、第１の画面Ｇ１の一の表示コンテンツ３０の近傍に表示される第２の画面Ｇ２の別の例を示す図である。図１６（ａ）は、第２の画面Ｇ２に、一の表示コンテンツ３０に関するヘルプ情報５３が表示される例を示している。つまり、図１６（ａ）に示す第２の画面Ｇ２には、ヘルプ情報５３が表示コンテンツとして含まれている。この場合のヘルプ情報５３は、テキストとして表示されるものであっても良いし、画像として表示されるものであっても良い。このようなヘルプ情報５３が第２の画面Ｇ２に表示されることにより、ユーザーは、一の表示コンテンツ３０がどのようなコンテンツであるかを把握することができる。

また図１６（ｂ）は、ユーザーが凝視する一の表示コンテンツ３０が第１の画面Ｇ１を別の画面に遷移させるためのユーザーが選択操作可能な操作キーである場合に表示される第２の画面Ｇ２の例を示している。すなわち、図１６（ｂ）は、第２の画面Ｇ２に、一の表示コンテンツ３０がユーザーによって選択操作された場合に次に表示される画面のサムネイル画像５４が表示される例を示している。つまり、この第２の画面Ｇ２には、次の画面のサムネイル画像５４が表示コンテンツとして含まれる。このようなサムネイル画像５４が第２の画面Ｇ２に表示されることにより、ユーザーは、一の表示コンテンツ３０を操作すれば第１の画面Ｇ１がどのような画面に遷移するかを把握することができる。

さらに図１６（ｃ）は、ユーザーが凝視する一の表示コンテンツがドキュメントファイルである場合を例示している。例えば第１の画面Ｇ１が記憶部１５に記憶されているドキュメントファイルの一覧表示を行う画面である場合、ユーザーが第１の画面Ｇ１において一のドキュメントファイルを選択すると、そのドキュメントファイルに対して行うことが可能な処理を、ユーザーが複数の項目のうちから選択することができるメニュー画面が表示される。この場合、例えば図１６（ｃ）に示すように、ユーザーがドキュメントファイルを凝視して表示される第２の画面Ｇ２は、ユーザーが選択可能な複数の項目５５を表示コンテンツに含むメニュー画面として表示される。この場合、ユーザーは、一のドキュメントファイルを凝視すればメニュー画面が自動的に表示されるため、手動操作で一のドキュメントファイルを選択する必要がなく、操作性が向上する。

次に視線判別部２２によるユーザーの視認状態を判別する処理の一時停止について説明する。情報処理装置１は、ユーザーが操作パネル５に対する操作を行っているときであっても、ネットワークインタフェース９を介してジョブを受信することが可能である。情報処理装置１は、ジョブを受信すると、ビープ音を発生させてジョブを受け付けたことを報知することがある。また情報処理装置１は、ジョブを受け付けると、操作パネル５の表示部６にジョブを受け付けたことを表示することもある。さらに情報処理装置１は、ジョブの実行を終了すると、ビープ音を発生させてジョブの実行が終了したことを報知することもある。このようにユーザーが操作パネル５に対する操作を行っている場合であっても、情報処理装置１は、ジョブのステータスが変化する度にビープ音を発生させたり、表示部６にジョブの実行状況を表示させたりすることがある。

図１７は、情報処理装置１がジョブを受信した場合に表示部６に表示されるメッセージ５７の例を示す図である。図１７に示すように、情報処理装置１は、第１の画面Ｇ１の前面側に第２の画面Ｇ２を表示している状態であっても、ネットワークインタフェース９を介してジョブを受信すると、表示部６の所定位置にジョブを受信したことを示すメッセージ５７を表示する。このとき、同時にビープ音が発生することもある。このようにユーザーが表示部６の表示画面を視認しているときに、ジョブのステータスに関するメッセージ５７が表示されたり、或いは、情報処理装置１においてビープ音が発生したりすると、ユーザーの気が散り、ユーザーの視線位置ＳＰが本来視認しようとしている位置から別の位置に移動してしまう可能性がある。そのため、視線判別部２２は、ジョブ制御部２８がジョブを受信した場合やジョブの実行を開始した場合、ジョブの実行を終了した場合などのジョブのステータスに変化が生じたときには、その変化が生じたタイミングから一定時間の間、ユーザーの視認状態を判別する処理を一時的に停止する。これにより、ジョブのステータス変化に伴うユーザーの視線移動を画面制御の対象から除外することができる。その結果、ジョブのステータスが変化したときにユーザーの視線移動を検知し、画面の切り替え制御を行ってしまうことを防止することができる。

次に情報処理装置１において行われる処理手順の一例について説明する。図１８は、情報処理装置１において行われる主たる処理手順の一例を示すフローチャートである。この処理は、制御部１０のＣＰＵ１１がプログラム１６を実行することによって繰り返し行われる処理である。情報処理装置１は、この処理を開始すると、まず表示部６に第２の画面Ｇ２を表示しているか否かを判断する（ステップＳ１０）。その結果、第２の画面Ｇ２を表示しておらず、第１の画面Ｇ１だけを表示している状態である場合（ステップＳ１０でＮＯ）、情報処理装置１は、撮像部８を駆動してユーザーの顔画像を撮影し、その撮影画像を取得する（ステップＳ１１）。情報処理装置１は、ユーザーの顔画像を取得すると、視線検知処理を行い、ユーザーの視線位置ＳＰを検出する（ステップＳ１２）。そして情報処理装置１は、視線判別処理を行い（ステップＳ１３）、ユーザーが第１の画面Ｇ１に含まれる一の表示コンテンツを凝視しているか否かを判断する（ステップＳ１４）。すなわち、情報処理装置１は、ユーザーの視線位置ＳＰが第１の画面Ｇ１に含まれる一の表示コンテンツ上に所定時間以上留まっているか否かを判別することにより、ユーザーがその表示コンテンツを凝視しているか否かを判断する。その結果、ユーザーが第１の画面Ｇ１に含まれる一の表示コンテンツを凝視していない場合（ステップＳ１４でＮＯ）、第２の画面Ｇ２を表示する必要がないため、情報処理装置１による処理が終了する。

一方、ユーザーが第１の画面Ｇ１に含まれる一の表示コンテンツを凝視している場合（ステップＳ１４でＹＥＳ）、情報処理装置１は、ユーザーが凝視している一の表示コンテンツに関連する第２の画面Ｇ２を第１の画面Ｇ１の前面側に表示する（ステップＳ１５）。そして情報処理装置１による処理はステップＳ１６へ進む。またステップＳ１０において第２の画面Ｇ２を表示中である場合も、情報処理装置１による処理はステップＳ１６へ進む。

情報処理装置１は、第１の画面Ｇ１の前面側に第２の画面Ｇ２を表示している場合、第１の画面Ｇ１に含まれる表示コンテンツの中に、第２の画面Ｇ２によって隠蔽される表示コンテンツが存在するか否かを判断する（ステップＳ１６）。その結果、第１の画面Ｇ１に含まれる表示コンテンツの中に第２の画面Ｇ２によって隠蔽される表示コンテンツが存在しない場合（ステップＳ１６でＮＯ）、表示状態を更新する必要がないので、情報処理装置１による処理が終了する。

これに対し、第２の画面Ｇ２によって隠蔽される表示コンテンツが存在する場合（ステップＳ１６でＹＥＳ）情報処理装置１は、撮像部８を駆動してユーザーの顔画像を撮影した撮影画像を取得し（ステップＳ１７）、ユーザーの視線位置ＳＰを検知する視線検知処理を行う（ステップＳ１８）。そして情報処理装置１は、第２の画面Ｇ２によって隠蔽された第１の画面Ｇ１の表示コンテンツをユーザーが視認可能な状態に表示する必要があるか否かを判別するための視認状態判別処理を行う（ステップＳ１９）。この視認状態判別処理では、ユーザーの視線位置ＳＰが表示部６の表示画面内にある場合に、ユーザーの視認パターンが特定され、その視認パターンに基づいて表示部６の表示状態を更新する必要があるか否かが判断される。そして表示部６の表示状態を更新する必要があると判断された場合には、ユーザーの視認パターンに対応する表示部６の更新パターンが決定されると共に、更新フラグがオンに設定される。

情報処理装置１は、視認状態判別処理（ステップＳ１９）を実行した後、更新フラグがオンであるか否かを判断する（ステップＳ２０）。その結果、更新フラグがオフであれば（ステップＳ２０でＮＯ）、表示部６の表示状態を更新する必要がないので、情報処理装置１による処理が終了する。これに対し、更新フラグがオンであった場合（ステップＳ２０でＹＥＳ）、情報処理装置１は、表示更新処理を行う（ステップＳ２１）。この表示更新処理では、視認状態判別処理で決定された更新パターンに基づいて表示部６の表示状態を更新する処理が行われる。そして表示更新処理が終了すると、情報処理装置１は、更新フラグをオフに切り替える（ステップＳ２２）。以上で、情報処理装置１による処理が終了する。

図１９は、視認状態判別処理（ステップＳ１９）の詳細な処理手順の一例を示すフローチャートである。情報処理装置１は、この処理を開始すると、まずユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあるか否かを判断する（ステップＳ３０）。すなわち、情報処理装置１は、第２の画面Ｇ２の表示位置と表示サイズに基づいて表示部６における第２の画面Ｇ２の表示領域を特定し、ユーザーの視線位置ＳＰを示す座標がその表示領域内にあるか否かを判別するのである。その結果、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にない場合（ステップＳ３０でＮＯ）、情報処理装置１は、表示部６の更新パターンとして第１更新パターンを決定する（ステップＳ３１）。この第１更新パターンは、表示部６から第２の画面Ｇ２を消去することにより、第１の画面Ｇ１に含まれる表示コンテンツを視認可能にする更新パターンである。そして情報処理装置１は、更新フラグをオンにする（ステップＳ３２）。

一方、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にある場合（ステップＳ３０でＹＥＳ）、情報処理装置１は、ユーザーの視線位置ＳＰが移動中であるか否かを判断する（ステップＳ３３）。そしてユーザーの視線位置ＳＰが移動中である場合（ステップＳ３３でＹＥＳ）、情報処理装置１は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる複数の表示コンテンツの全てを通過したか否かを更に判断する（ステップＳ３４）。その結果、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる複数の表示コンテンツの全てを通過した場合（ステップＳ３４でＹＥＳ）、情報処理装置１は、表示部６の更新パターンとして第１更新パターンを決定し（ステップＳ３５）、更新フラグをオンにする（ステップＳ３６）。これに対し、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる複数の表示コンテンツの全てを未だ通過していない場合（ステップＳ３４でＮＯ）、情報処理装置１は、ユーザーが第２の画面Ｇ２に含まれている表示コンテンツを確認中であると判断し、表示部６を更新しないようにする。

またユーザーの視線位置ＳＰが移動中でなかった場合（ステップＳ３３でＮＯ）、情報処理装置１は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置にあるか否かを判断する（ステップＳ３７）。その結果、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置にある場合（ステップＳ３７でＹＥＳ）、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることなく、第１の画面Ｇ１において隠蔽された状態にある表示コンテンツを視認可能にすべく、情報処理装置１は、表示部６の更新パターンとして第２更新パターンを決定する（ステップＳ３８）。そして情報処理装置１は、更新フラグをオンにする（ステップＳ３９）。

またユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置にはなく、第２の画面Ｇ２の背景部分にある場合（ステップＳ３７でＮＯ）、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させつつ、第１の画面Ｇ１において隠蔽された状態にある表示コンテンツを視認可能にすべく、情報処理装置１は、表示部６の更新パターンとして第３更新パターンを決定する（ステップＳ４０）。そして情報処理装置１は、更新フラグをオンにする（ステップＳ４１）。以上で視線状態判別処理（ステップＳ１９）が終了する。

次に図２０は、表示更新処理（ステップＳ２１）の詳細な処理手順の一例を示すフローチャートである。情報処理装置１は、この処理を開始すると、視認状態判別処理（ステップＳ１９）で決定された更新パターンが第１更新パターンであるか否かを判断する（ステップＳ５０）。その結果、第１更新パターンである場合（ステップＳ５０でＹＥＳ）、情報処理装置１は、表示部６に表示されている第２の画面Ｇ２を消去する（ステップＳ５１）。これにより、例えば図１０（ｂ）に示したように第１の画面Ｇ１上から第２の画面Ｇ２が消えるため、第２の画面Ｇ２によって隠蔽されていた第１の画面Ｇ１の表示コンテンツが視認可能な状態に更新される。

これに対し、第１更新パターンではなかった場合（ステップＳ５０でＮＯ）、情報処理装置１は、視認状態判別処理（ステップＳ１９）で決定された更新パターンが第２更新パターンであるか否かを判断する（ステップＳ５２）。その結果、第２更新パターンである場合（ステップＳ５２でＹＥＳ）、情報処理装置１は、第１の画面Ｇ１及び第２の画面Ｇ２のそれぞれに含まれる表示コンテンツの視認性を確保した状態で第２の画面Ｇ２に隠蔽されている第１の画面Ｇ１の表示コンテンツをユーザーが視認できる表示態様に更新する（ステップＳ５３）。これにより、表示部６の表示画面は、例えば図１４（ｂ）又は図１５（ｂ）に示した表示態様に更新される。したがって、第２の画面Ｇ２によって隠蔽されていた第１の画面Ｇ１の表示コンテンツが視認可能な状態となる。

また第２更新パターンでもなかった場合（ステップＳ５２でＮＯ）、情報処理装置１は、視認状態判別処理（ステップＳ１９）で決定された更新パターンが第３更新パターンであると判断する。この場合、情報処理装置１は、第２の画面Ｇ２に含まれる表示コンテンツよりも、第１の画面Ｇ１に含まれる表示コンテンツの視認性確保を優先する。そのため、情報処理装置１は、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させつつ、第２の画面Ｇ２に隠蔽されている第１の画面Ｇ１の表示コンテンツをユーザーが視認できる表示態様に更新する（ステップＳ５４）。これにより、表示部６の表示画面は、例えば図１１（ｂ）又は図１２（ｂ）に示した表示態様に更新される。したがって、ユーザーは、第２の画面Ｇ２によって隠蔽されていた第１の画面Ｇ１の表示コンテンツを視認することができるようになる。以上で、表示更新処理（ステップＳ２１）が終了する。

以上説明したように本実施形態の情報処理装置１は、第１の画面Ｇ１に含まれる表示コンテンツに関連する第２の画面Ｇ２を第１の画面Ｇ１の前面側に重畳させて表示しているとき、第１の画面Ｇ１に含まれる表示コンテンツが第２の画面Ｇ２によって隠蔽された状態であり、且つ、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判別した場合に、第２の画面Ｇ２によって隠蔽された表示コンテンツを表示部６において視認可能な状態となるように表示画面を自動更新する構成である。すなわち、情報処理装置１は、ユーザーの視線を判別することにより、ユーザーがどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えるのである。したがって、ユーザーにとっては、第２の画面Ｇ２を閉じる操作を行わなくても、第２の画面Ｇ２によって隠蔽されていた表示コンテンツを視認することができるようになるため、操作性が向上する。

以上、本発明に関する一実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。

例えば上記実施形態では、情報処理装置１がＭＦＰなどの画像処理装置で構成される場合を例示した。しかし、上記実施形態で説明したようにユーザーの視線を判別して表示部６の表示画面を自動的に切り替える技術の適用範囲は、必ずしもＭＦＰなどの画像処理装置に限られるものではない。すなわち、本発明における情報処理装置１は、ＭＦＰなどの画像処理装置以外の装置であっても構わない。例えば、本発明における情報処理装置１は、スマートフォンやタブレット端末、パーソナルコンピュータなどのような電子機器であっても構わない。

１ 情報処理装置
６ 表示部（表示手段）
８ 撮像部（撮像手段）
１６ プログラム
２１ 視線検知部（視線検知手段）
２２ 視線判別部（視線判別手段）
２４ 画面制御部
２５ 表示制御部（表示制御手段）
２６ 表示更新部（表示更新手段）
２７ 隠蔽コンテンツ判定部（隠蔽コンテンツ判別手段）
２８ ジョブ制御部（ジョブ制御手段）

Claims (27)

1. 表示画面に各種画像を表示可能な表示手段と、
   前記表示画面内におけるユーザーの視線位置を検知する視線検知手段と、
   前記表示画面に第１の画面を表示している状態で、前記第１の画面に含まれる表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる表示制御手段と、
   前記第１の画面の前面側に前記第２の画面が表示される状態において、前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態となるか否かを判別する隠蔽コンテンツ判別手段と、
   前記第１の画面の前面側に前記第２の画面が表示されているとき、前記視線検知手段によって検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する視線判別手段と、
   前記隠蔽コンテンツ判別手段によって前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記視線判別手段によってユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる表示更新手段と、
   を備えることを特徴とする情報処理装置。
2. 前記視線判別手段は、ユーザーの視線位置が前記第２の画面の表示領域外にある場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１に記載の情報処理装置。
3. 前記視線判別手段は、ユーザーの視線位置が前記第２の画面に含まれる表示コンテンツの表示位置にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１に記載の情報処理装置。
4. 前記視線判別手段は、ユーザーの視線位置が前記第２の画面の表示領域内における背景部分にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１に記載の情報処理装置。
5. 前記視線判別手段は、ユーザーの視線位置が前記第２の画面に含まれる全ての表示コンテンツの表示位置を通過した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１に記載の情報処理装置。
6. 前記表示更新手段は、前記表示画面から前記第２の画面を消去することにより、前記第２の画面によって隠蔽されていた表示コンテンツを前記表示画面において視認可能な状態に表示させることを特徴とする請求項１、２、４又は５に記載の情報処理装置。
7. 前記表示更新手段は、前記第２の画面の透過率を変更することにより、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面を透過させて視認可能な状態に表示させることを特徴とする請求項１、３又は４に記載の情報処理装置。
8. 前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面の表示領域内に表示させることを特徴とする請求項１、３又は４に記載の情報処理装置。
9. 前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを、前記第１の画面の表示領域内において前記第２の画面によって隠蔽されていない領域に移動させて表示することを特徴とする請求項１、３又は４に記載の情報処理装置。
10. 前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを移動させるときに、当該表示コンテンツの移動軌跡を示すアニメーション動画を表示することを特徴とする請求項９に記載の情報処理装置。
11. 前記表示更新手段は、前記第２の画面の表示位置を前記表示画面内で移動させることにより、前記第２の画面によって隠蔽されていた表示コンテンツを視認可能な状態に表示させることを特徴とする請求項１、３又は４に記載の情報処理装置。
12. 前記表示更新手段は、前記第２の画面の表示位置を移動させるときに、前記第２の画面の移動軌跡を示すアニメーション動画を表示することを特徴とする請求項１１に記載の情報処理装置。
13. 前記表示制御手段は、前記第１の画面を表示している状態で、前記視線検知手段によって検知されるユーザーの視線位置が前記第１の画面に含まれる一の表示コンテンツに所定時間留まっていることを検知した場合に、当該一の表示コンテンツの近傍位置に前記第２の画面を表示させることを特徴とする請求項１乃至１２のいずれかに記載の情報処理装置。
14. 前記第２の画面は、前記一の表示コンテンツに関するヘルプ情報を表示コンテンツとして含む画面であることを特徴とする請求項１３に記載の情報処理装置。
15. 前記一の表示コンテンツは、前記第１の画面を別の画面に遷移させるためのユーザーが操作可能な操作キーであり、
    前記第２の画面は、前記別の画面に含まれる表示コンテンツを表示する画面であることを特徴とする請求項１３に記載の情報処理装置。
16. 前記第２の画面は、前記一の表示コンテンツに対する処理を、複数の項目のうちからユーザーが選択可能なメニュー画面であることを特徴とする請求項１３に記載の情報処理装置。
17. ジョブを受け付けて実行するジョブ制御手段、
    を更に備え、
    前記視線判別手段は、前記ジョブ制御手段によって実行されるジョブのステータスに変化が生じた場合に、前記視線検知手段によって検知されるユーザーの視線位置に基づく判別処理を一定時間停止させることを特徴とする請求項１乃至１６のいずれかに記載の情報処理装置。
18. 表示画面に各種画像を表示可能な表示手段を備えた情報処理装置において実行されるプログラムであって、前記情報処理装置に、
    前記表示画面内におけるユーザーの視線位置を検知する第１のステップと、
    前記表示画面に第１の画面を表示している状態で、前記第１の画面に含まれる表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる第２のステップと、
    前記第１の画面の前面側に前記第２の画面が表示される状態において、前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態となるか否かを判別する第３のステップと、
    前記第１の画面の前面側に前記第２の画面が表示されているとき、前記第１のステップにおいて検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する第４のステップと、
    前記第３のステップにおいて前記第１の画面に含まれる表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記第４のステップにおいてユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる第５のステップと、
    を実行させることを特徴とするプログラム。
19. 前記第４のステップは、ユーザーの視線位置が前記第２の画面の表示領域外にある場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１８に記載のプログラム。
20. 前記第４のステップは、ユーザーの視線位置が前記第２の画面に含まれる表示コンテンツの表示位置にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１８に記載のプログラム。
21. 前記第４のステップは、ユーザーの視線位置が前記第２の画面の表示領域内における背景部分にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１８に記載のプログラム。
22. 前記第４のステップは、ユーザーの視線位置が前記第２の画面に含まれる全ての表示コンテンツの表示位置を通過した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする請求項１８に記載のプログラム。
23. 前記第５のステップは、前記表示画面から前記第２の画面を消去することにより、前記第２の画面によって隠蔽されていた表示コンテンツを前記表示画面において視認可能な状態に表示させることを特徴とする請求項１８、１９、２１又は２２に記載のプログラム。
24. 前記第５のステップは、前記第２の画面の透過率を変更することにより、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面を透過させて視認可能な状態に表示させることを特徴とする請求項１８、２０又は２１に記載のプログラム。
25. 前記第５のステップは、前記第２の画面によって隠蔽された表示コンテンツを、前記２の画面の表示領域内に表示させることを特徴とする請求項１８、２０又は２１に記載のプログラム。
26. 前記第５のステップは、前記第２の画面によって隠蔽された表示コンテンツを、前記第１の画面の表示領域内において前記第２の画面によって隠蔽されていない領域に移動させて表示することを特徴とする請求項１８、２０又は２１に記載のプログラム。
27. 前記第５のステップは、前記第２の画面の表示位置を前記表示画面内で移動させることにより、前記第２の画面によって隠蔽されていた表示コンテンツを視認可能な状態に表示させることを特徴とする請求項１８、２０又は２１に記載のプログラム。

Images