JP6772777B2 - Information processing equipment and programs - Google Patents
Information processing equipment and programs Download PDFInfo
- Publication number
- JP6772777B2 JP6772777B2 JP2016225623A JP2016225623A JP6772777B2 JP 6772777 B2 JP6772777 B2 JP 6772777B2 JP 2016225623 A JP2016225623 A JP 2016225623A JP 2016225623 A JP2016225623 A JP 2016225623A JP 6772777 B2 JP6772777 B2 JP 6772777B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- display
- user
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置及びプログラムに関し、特にユーザーの視線を検知して画面の表示状態を自動更新する技術に関する。 The present invention relates to an information processing device and a program, and more particularly to a technique of detecting a user's line of sight and automatically updating a screen display state.
従来、カメラを搭載した情報処理装置において、カメラで撮影した画像からユーザーの視線を検知し、ユーザーが操作に迷っているか否かを判定するようにした情報処理装置が知られている（例えば特許文献１）。この従来技術では、ユーザーの視線を検知してから操作パネルに対する操作が行われるまでの時間を迷い時間として計測する。そして計測中の迷い時間が所定時間を超えた場合に、ユーザーが操作に迷っていると判定し、操作パネルにヘルプ情報の参照ボタンを表示してユーザーにヘルプ情報の参照を促すようにしている。 Conventionally, in an information processing device equipped with a camera, there is known an information processing device that detects a user's line of sight from an image taken by the camera and determines whether or not the user is lost in operation (for example, a patent). Document 1). In this conventional technique, the time from the detection of the user's line of sight to the operation of the operation panel is measured as the lost time. Then, when the lost time during measurement exceeds a predetermined time, it is determined that the user is lost in the operation, and the help information reference button is displayed on the operation panel to prompt the user to refer to the help information. ..
ところで、ＭＦＰ（Multifunction Peripherals）などの情報処理装置の操作パネルには、種々の画面を表示可能である。各画面には、ユーザーが操作可能な操作キーが表示コンテンツとして含まれる他、現在の設定状態や情報処理装置のステータスなどを表示するための様々な表示コンテンツも含まれている。そして情報処理装置は、操作パネルに、あるひとつの設定画面を全画面表示しているときに、その設定画面に含まれる表示コンテンツに関連するサブ画面を設定画面の前面側に重畳させてポップアップ表示することができる。 By the way, various screens can be displayed on the operation panel of an information processing device such as an MFP (Multifunction Peripherals). Each screen includes operation keys that can be operated by the user as display contents, and also includes various display contents for displaying the current setting state and the status of the information processing device. Then, when one setting screen is displayed in full screen on the operation panel, the information processing device superimposes a sub screen related to the display content included in the setting screen on the front side of the setting screen and displays it in a pop-up. can do.
しかし、サブ画面を設定画面の前面側にポップアップ表示させると、元の設定画面に含まれる少なくとも一部の表示コンテンツがサブ画面によって隠蔽される現象が起こり得る。元の設定画面に含まれる表示コンテンツがサブ画面によって隠蔽されると、ユーザーは、その表示コンテンツの内容を確認したり、操作キーに対する操作を行ったりすることができなくなる。そのため、ユーザーは、サブ画面がポップアップ表示されている状態で元の設定画面の表示内容などを確認したいときには、サブ画面を閉じて非表示に切り替える操作を行わなければならず、操作が煩雑である。 However, when the sub screen is popped up on the front side of the setting screen, a phenomenon may occur in which at least a part of the display content included in the original setting screen is hidden by the sub screen. When the display content included in the original setting screen is hidden by the sub screen, the user cannot check the content of the display content or perform an operation on the operation key. Therefore, when the user wants to check the display contents of the original setting screen while the sub screen is popped up, he / she must close the sub screen and switch to non-display, which is complicated. ..
一方、サブ画面がポップアップ表示された状態でも元の設定画面の表示内容を確認できるようにするため、例えばサブ画面を半透明のような態様で表示し、サブ画面の背面側にある表示コンテンツを透過させた状態に表示する手法も考えられる。しかし、この場合、ユーザーがサブ画面の表示内容を確認したいときには、サブ画面に含まれる表示コンテンツの視認性が低下しているため、サブ画面の表示内容を確認しづらいという新たな問題が生じる。 On the other hand, in order to be able to check the display contents of the original setting screen even when the sub screen is popped up, for example, the sub screen is displayed in a semi-transparent manner, and the display content on the back side of the sub screen is displayed. A method of displaying in a transparent state is also conceivable. However, in this case, when the user wants to check the display content of the sub screen, the visibility of the display content included in the sub screen is lowered, which causes a new problem that it is difficult to check the display content of the sub screen.
そのため、サブ画面をポップアップ表示しているときには、ユーザーが元の設定画面の内容を確認したいのか、それともサブ画面の内容を確認したいのかを判別したうえで、操作パネルの表示態様をユーザーにとって最適な表示態様に切り替えることが望まれる。しかし、上述した従来技術では、そのような表示態様の切り替えを行うことはできず、ユーザーが確認したい表示コンテンツを最適な状態に表示することができないという問題がある。 Therefore, when the sub screen is popped up, the display mode of the operation panel is optimal for the user after determining whether the user wants to check the contents of the original setting screen or the contents of the sub screen. It is desirable to switch to the display mode. However, in the above-mentioned conventional technique, there is a problem that such display mode switching cannot be performed and the display content desired to be confirmed by the user cannot be displayed in the optimum state.
そこで本発明は、上記のような問題点を解決するためになされたものであり、ユーザーの視線を判別することにより、ユーザーがどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えることができるようにした情報処理装置及びプログラムを提供することを目的とするものである。 Therefore, the present invention has been made to solve the above-mentioned problems, and by determining the line of sight of the user, it is estimated which display content the user wants to confirm and the display content is displayed. It is an object of the present invention to provide an information processing apparatus and a program capable of appropriately switching the display mode of the above.
上記目的を達成するため、請求項１に係る発明は、情報処理装置であって、表示画面に各種画像を表示可能な表示手段と、前記表示画面内におけるユーザーの視線位置を検知する視線検知手段と、前記表示画面に、複数の表示コンテンツを含む第１の画面を表示している状態で、前記第１の画面に含まれる前記複数の表示コンテンツのうちの一の表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる表示制御手段と、前記第１の画面の前面側に前記第２の画面が表示されることに伴い、前記第１の画面に含まれる前記複数の表示コンテンツの中に、前記第２の画面によって隠蔽された状態となる表示コンテンツが存在するか否かを判別する隠蔽コンテンツ判別手段と、前記第１の画面の前面側に前記第２の画面が表示されているとき、前記視線検知手段によって検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する視線判別手段と、前記隠蔽コンテンツ判別手段によって前記第１の画面に含まれる少なくとも１つの表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記視線判別手段によってユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる表示更新手段と、を備えることを特徴とする構成である。
In order to achieve the above object, the invention according to
請求項２に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面の表示領域外にある場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。
The invention according to
請求項３に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面に含まれる表示コンテンツの表示位置にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。 According to the third aspect of the present invention, in the information processing apparatus according to the first aspect, the line-of-sight discriminating means keeps the line-of-sight position of the user at the display position of the display content included in the second screen for a predetermined time. If this is the case, it is determined that the display content included in the second screen may not be confirmed by the user.
請求項４に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面の表示領域内における背景部分にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。 According to the fourth aspect of the present invention, in the information processing apparatus according to the first aspect, the line-of-sight discriminating means keeps the user's line-of-sight position in the background portion in the display area of the second screen for a predetermined time. In this case, the configuration is characterized in that it is determined that the display content included in the second screen may not be confirmed by the user.
請求項５に係る発明は、請求項１に記載の情報処理装置において、前記視線判別手段は、ユーザーの視線位置が前記第２の画面に含まれる全ての表示コンテンツの表示位置を通過した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。
The invention according to
請求項６に係る発明は、請求項１、２、３又は５に記載の情報処理装置において、前記表示更新手段は、前記表示画面から前記第２の画面を消去することにより、前記第２の画面によって隠蔽されていた表示コンテンツを前記表示画面において視認可能な状態に表示させることを特徴とする構成である。
The invention according to claim 6 is the information processing apparatus according to
請求項７に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面の透過率を変更することにより、前記第２の画面によって隠蔽された表示コンテンツを、前記第２の画面を透過させて視認可能な状態に表示させることを特徴とする構成である。
The invention according to claim 7 is the information processing apparatus according to
請求項８に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを、前記第２の画面の表示領域内に表示させることを特徴とする構成である。
The invention according to
請求項９に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを、前記第１の画面の表示領域内において前記第２の画面によって隠蔽されていない領域に移動させて表示することを特徴とする構成である。
The invention according to
請求項１０に係る発明は、請求項９に記載の情報処理装置において、前記表示更新手段は、前記第２の画面によって隠蔽された表示コンテンツを移動させるときに、当該表示コンテンツの移動軌跡を示すアニメーション動画を表示することを特徴とする構成である。
The invention according to
請求項１１に係る発明は、請求項１、３又は４に記載の情報処理装置において、前記表示更新手段は、前記第２の画面の表示位置を前記表示画面内で移動させることにより、前記第２の画面によって隠蔽されていた表示コンテンツを視認可能な状態に表示させることを特徴とする構成である。
The invention according to
請求項１２に係る発明は、請求項１１に記載の情報処理装置において、前記表示更新手段は、前記第２の画面の表示位置を移動させるときに、前記第２の画面の移動軌跡を示すアニメーション動画を表示することを特徴とする構成である。 According to a twelfth aspect of the present invention, in the information processing apparatus according to the eleventh aspect, when the display updating means moves the display position of the second screen, an animation showing a movement locus of the second screen is shown. The configuration is characterized by displaying a moving image.
請求項１３に係る発明は、請求項１乃至１２のいずれかに記載の情報処理装置において、前記表示制御手段は、前記第１の画面を表示している状態で、前記視線検知手段によって検知されるユーザーの視線位置が前記第１の画面に含まれる一の表示コンテンツに所定時間留まっていることを検知した場合に、当該一の表示コンテンツの近傍位置に前記第２の画面を表示させることを特徴とする構成である。
The invention according to claim 13 is the information processing apparatus according to any one of
請求項１４に係る発明は、請求項１３に記載の情報処理装置において、前記第２の画面は、前記一の表示コンテンツに関するヘルプ情報を表示コンテンツとして含む画面であることを特徴とする構成である。
The invention according to
請求項１５に係る発明は、請求項１３に記載の情報処理装置において、前記一の表示コンテンツは、前記第１の画面を別の画面に遷移させるためのユーザーが操作可能な操作キーであり、前記第２の画面は、前記別の画面に含まれる表示コンテンツを表示する画面であることを特徴とする構成である。
The invention according to
請求項１６に係る発明は、請求項１３に記載の情報処理装置において、前記第２の画面は、前記一の表示コンテンツに対する処理を、複数の項目のうちからユーザーが選択可能なメニュー画面であることを特徴とする構成である。
The invention according to
請求項１７に係る発明は、請求項１乃至１６のいずれかに記載の情報処理装置において、ジョブを受け付けて実行するジョブ制御手段、を更に備え、前記視線判別手段は、前記ジョブ制御手段によって実行されるジョブのステータスに変化が生じた場合に、前記視線検知手段によって検知されるユーザーの視線位置に基づく判別処理を一定時間停止させることを特徴とする構成である。
The invention according to
請求項１８に係る発明は、表示画面に各種画像を表示可能な表示手段を備えた情報処理装置において実行されるプログラムであって、前記情報処理装置に、前記表示画面内におけるユーザーの視線位置を検知する第１のステップと、前記表示画面に、複数の表示コンテンツを含む第１の画面を表示している状態で、前記第１の画面に含まれる前記複数の表示コンテンツのうちの一の表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる第２のステップと、前記第１の画面の前面側に前記第２の画面が表示されることに伴い、前記第１の画面に含まれる前記複数の表示コンテンツの中に、前記第２の画面によって隠蔽された状態となる表示コンテンツが存在するか否かを判別する第３のステップと、前記第１の画面の前面側に前記第２の画面が表示されているとき、前記第１のステップにおいて検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する第４のステップと、前記第３のステップにおいて前記第１の画面に含まれる少なくとも１つの表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記第４のステップにおいてユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる第５のステップと、を実行させることを特徴とする構成である。
The invention according to
請求項１９に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面の表示領域外にある場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。
The invention according to claim 19 is the program according to
請求項２０に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面に含まれる表示コンテンツの表示位置にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。
The invention according to
請求項２１に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面の表示領域内における背景部分にある状態が所定時間継続した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。 According to a twenty-first aspect of the present invention, in the program according to the eighteenth aspect, the fourth step is a case where the line-of-sight position of the user is in the background portion in the display area of the second screen for a predetermined time. In addition, the configuration is characterized in that it is determined that the display content included in the second screen may not be confirmed by the user.
請求項２２に係る発明は、請求項１８に記載のプログラムにおいて、前記第４のステップは、ユーザーの視線位置が前記第２の画面に含まれる全ての表示コンテンツの表示位置を通過した場合に、前記第２の画面に含まれる表示コンテンツをユーザーが確認していない可能性があると判別することを特徴とする構成である。
The invention according to
請求項２３に係る発明は、請求項１８、１９、２１又は２２に記載のプログラムにおいて、前記第５のステップは、前記表示画面から前記第２の画面を消去することにより、前記第２の画面によって隠蔽されていた表示コンテンツを前記表示画面において視認可能な状態に表示させることを特徴とする構成である。
The invention according to
請求項２４に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面の透過率を変更することにより、前記第２の画面によって隠蔽された表示コンテンツを、前記第２の画面を透過させて視認可能な状態に表示させることを特徴とする構成である。
The invention according to
請求項２５に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面によって隠蔽された表示コンテンツを、前記第２の画面の表示領域内に表示させることを特徴とする構成である。
The invention according to
請求項２６に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面によって隠蔽された表示コンテンツを、前記第１の画面の表示領域内において前記第２の画面によって隠蔽されていない領域に移動させて表示することを特徴とする構成である。
The invention according to
請求項２７に係る発明は、請求項１８、２０又は２１に記載のプログラムにおいて、前記第５のステップは、前記第２の画面の表示位置を前記表示画面内で移動させることにより、前記第２の画面によって隠蔽されていた表示コンテンツを視認可能な状態に表示させることを特徴とする構成である。
The invention according to
本発明によれば、ユーザーの視線を判別することにより、ユーザーが第１の画面及び第２の画面のそれぞれに含まれる表示コンテンツのうちのどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えることができるようになる。 According to the present invention, by discriminating the line of sight of the user, it is estimated which of the display contents included in each of the first screen and the second screen the user wants to confirm. Therefore, the display mode of the displayed content can be appropriately switched.
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the embodiments described below, the members common to each other are designated by the same reference numerals, and duplicate description thereof will be omitted.
図１は、本発明の一実施形態における情報処理装置１の外観構成を示す図である。この情報処理装置１は、例えばＭＦＰなどによって構成され、スキャンジョブやプリントジョブ、コピージョブ、ＦＡＸジョブなどの、画像処理に関する様々なジョブを実行することができる画像処理装置である。例えば図１に示すように、情報処理装置１は、装置本体の上部に、ユーザーによってセットされる原稿を読み取るスキャナ部２を備えている。また情報処理装置１は、装置本体の中央部に、印刷出力を行うプリンタ部３を備えている。情報処理装置１は、これらスキャナ部２やプリンタ部３を動作させることにより、スキャンジョブやプリントジョブ、コピージョブを実行することができる。また情報処理装置１は、スキャナ部２やプリンタ部３の他にも、後述するＦＡＸ部４（図２参照）を備えている。
FIG. 1 is a diagram showing an external configuration of an
また情報処理装置１は、装置本体の前面側に、ユーザーが操作可能な操作パネル５を備えている。操作パネル５は、ユーザーが情報処理装置１を操作する際のユーザーインタフェースとなるものであり、ユーザーに対して様々な情報を表示する表示部６を備えている。表示部６は、例えばカラー液晶ディスプレイで構成され、その表示画面にジョブの設定画面などの各種画面を表示することが可能である。また操作パネル５は、後述するユーザーが操作可能な操作部７（図２参照）を備えている。
Further, the
さらに情報処理装置１は、操作パネル５を操作するユーザーの視線を検知するため、操作パネル５の近傍位置にユーザーの顔画像を撮影するための撮像部８を備えている。撮像部８は、例えば操作パネル５を操作するユーザーの顔を撮影することができるように、その撮影方向が予め調整された状態に取り付けられる。そして撮像部８は、操作パネル５の表示部６に何らかの画像が表示されているときに、所定のフレームレートで繰り返しユーザーの顔画像を撮影するように構成される。
Further, the
情報処理装置１は、撮像部８によって撮影されるユーザーの顔画像に基づいてユーザーの視線位置ＳＰを検知し、その視線位置ＳＰに応じて表示部６に表示する画面を制御するように構成される。例えば情報処理装置１は、表示部６に、各種設定を行うための第１の画面を全画面表示しているとき、その第１の画面に含まれるひとつの表示コンテンツに関連するサブ画面を、第２の画面として、第１の画面の前面側に重畳させてポップアップ表示することができる。第１の画面の前面側に第２の画面がポップアップ表示されると、その第２の画面により、第１の画面に含まれる少なくとも１つの表示コンテンツが隠蔽された状態となり、ユーザーが視認できない状態となることがある。そのため、情報処理装置１は、第１の画面の前面側に第２の画面を重畳して表示しているとき、ユーザーの視線位置ＳＰに応じて第１の画面及び第２の画面のいずれか一方若しくは双方の表示態様を切り替えることにより、隠蔽された表示コンテンツをユーザーが視認できるように表示部６における画面表示を制御する。以下、このような情報処理装置１について詳しく説明する。
The
図２は、情報処理装置１のハードウェア構成の一例を示すブロック図である。情報処理装置１は、そのハードウェア構成として、上述したスキャナ部２、プリンタ部４、操作パネル５及び撮像部８の他に、ＦＡＸ部４と、ネットワークインタフェース９と、制御部１０と、記憶部１５とを備えている。また操作パネル５は、表示部６の他にも、操作部７を備えている。操作部７は、ユーザーによる操作入力を受け付けるためのものであり、例えば表示部６の表示画面上に配置される透明なタッチパネルセンサーと、表示部６の表示画面の周囲に配置される押しボタンキーとを備えて構成される。またＦＡＸ部４は、図示を省略する公衆電話回線を通じてＦＡＸデータの送受信を行うためのものである。
FIG. 2 is a block diagram showing an example of the hardware configuration of the
ネットワークインタフェース９は、情報処理装置１をＬＡＮ（Local Area Network）などのネットワークに接続するためのものである。情報処理装置１は、このネットワークインタフェース９を介して、スキャンジョブの実行によって生成した画像データを、他のデバイスに送信することが可能である。また情報処理装置１は、ネットワークインタフェース９を介して、他のデバイスからプリントジョブなどのジョブを受信することも可能であり、プリントジョブを受信した場合にはプリンタ部３を駆動することにより、その受信したプリントジョブに基づいて印刷出力を行う。
The
記憶部１５は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶手段である。この記憶部１５には、情報処理装置１において実行されるプログラム１６が予め記憶されると共に、表示部６に表示するための様々な画面に関する画面情報１７と、表示部６に表示される各画面の付属情報である画面付属情報１８とが記憶される。画面情報１７は、ジョブの設定画面などの各種画面を表示部６に表示するための情報であり、ユーザーが操作可能な操作キーやテキスト情報などを表示コンテンツに含む情報である。この画面情報１７では、複数の画面が階層構造に定義されており、その階層構造に従った画面遷移が行われる。画面付属情報１８は、表示部６に表示される画面ごとに定義される情報であり、例えば各画面の画面サイズや表示位置、各画面に含まれる表示コンテンツの表示サイズや表示位置などを記録した情報である。尚、記憶部１５には、この他にも、例えばスキャンジョブなどによって生成される画像データやネットワークインタフェース９を介して受信するドキュメントファイルなどを記憶しておくこともできる。
The
制御部１０は、ＣＰＵ１１とメモリ１２とを備えて構成され、情報処理装置１の各部の動作を制御するものである。制御部１０のＣＰＵ１１は、情報処理装置１に電源が投入されると、記憶部１５からプログラム１６を読み出して実行する。これにより、制御部１０は、様々な機能を実現する。
The
図３は、制御部１０の機能構成の一例を示すブロック図である。制御部１０は、視線検知部２１、視線判別部２２、操作検知部２３、画面制御部２４及び隠蔽コンテンツ判定部２７として機能する。以下、これら各部の動作について説明する。
FIG. 3 is a block diagram showing an example of the functional configuration of the
視線検知部２１は、撮像部８によって撮影されるユーザーの顔画像を取得し、その顔画像に基づいてユーザーの視線位置ＳＰを検知する処理部である。例えば視線検知部２１は、ユーザーの顔画像から左右両目の目頭と虹彩を認識し、目頭を基準点とする虹彩の位置に基づいてユーザーの視線位置ＳＰを検知する。そしてユーザーが表示部６の表示画面内を視認している場合、視線検知部２１は、表示部６の表示画面内において視線位置ＳＰに対応する座標情報を導出する。ただし、ユーザーが表示部６の表示画面を視認していない場合、視線検知部２１は、表示画面内における座標情報を導出しないようにしても良い。
The line-of-
そして視線検知部２１は、撮像部８によって所定のフレームレートでユーザーの顔画像が繰り返し撮影される度に、ユーザーの視線位置ＳＰを検知する処理を繰り返す。そのため、ユーザーの視線位置ＳＰが移動していれば、視線検知部２１から出力される座標情報の履歴により、ユーザーの視線位置ＳＰの移動軌跡を検出することができる。
Then, the line-of-
視線判別部２２は、視線検知部２１から出力される視線位置ＳＰの座標情報に基づき、表示部６の表示画面に対するユーザーの視認状態を判別する処理である。例えば、視線判別部２２は、表示部６に第１の画面だけが表示されている状態のときには、ユーザーがその第１の画面に含まれる一の表示コンテンツを凝視しているか否かを判別する。すなわち、視線判別部２２は、まずユーザーの視線位置ＳＰが第１の画面上の特定の位置に所定時間以上留まっているか否かを判別する。そしてユーザーの視線位置ＳＰが特定の位置に留まっている場合、視線判別部２２は、第１の画面に関する画面付属情報１８を参照し、ユーザーの視線位置ＳＰが留まっている位置に、操作キーなどの表示コンテンツが存在するか否かを判別する。その結果、ユーザーの視線位置ＳＰに表示コンテンツが存在する場合、視線判別部２２は、ユーザーが第１の画面に含まれる一の表示コンテンツを凝視していると判別する。そして視線判別部２２は、その判別結果を画面制御部２４へ出力する。これにより、一の表示コンテンツに関連する第２の画面が、サブ画面として、第１の画面の前面側に重畳した状態でポップアップ表示されるようになる。
The line-of-
また視線判別部２２は、第１の画面の前面側に第２の画面が表示されている状態のときには、視線検知部２１によって検知されるユーザーの視線位置ＳＰに基づき、第２の画面に対するユーザーの視認状態を判別する。すなわち、視線判別部２２は、ユーザーの視線位置ＳＰに基づいて、ユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があるか否かを判別するのである。これにより、ユーザーが第２の画面によって隠蔽された第１の画面の表示コンテンツを視認したいと思っているか否かを推定することができる。そしてユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があると判別した場合、視線判別部２２は、ユーザーの視認状態を予め定めた複数の視認パターンのうちのいずれに該当するかを特定し、その特定した視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４は、視線判別部２２によって特定された視認パターンに応じて、第２の画面に隠蔽されている第１の画面の表示コンテンツをユーザーが視認できるように表示部６の表示態様を更新することができるようになる。尚、視線判別部２２による具体的な判別手法については後述する。
Further, when the second screen is displayed on the front side of the first screen, the line-of-
操作検知部２３は、操作部７に対するユーザーの操作を検知し、ユーザーの操作に基づく操作情報を画面制御部２４又はジョブ制御部２８へ出力する処理部である。例えば、操作検知部２３は、タッチパネルセンサーに対するユーザーのタッチ操作を検知した場合、表示部６の表示画面上においてユーザーがタッチ操作を行った座標位置を特定し、その座標位置を含む操作情報を生成して出力する。例えばユーザーが表示部６に表示されている画面を別の画面に遷移させるような操作を行った場合、操作検知部２３は、ユーザーの操作に基づく操作情報を画面制御部２４へ出力する。これにより、表示部６に表示される画面は、ユーザーの操作に基づいて更新される。またユーザーがジョブの実行を指示する操作を行った場合、操作検知部２３は、ユーザーの操作に基づくジョブの実行指示をジョブ制御部２８へ出力する。これにより、情報処理装置１においてジョブの実行が開始される。
The
画面制御部２４は、表示部６に表示される画面を制御するものである。この画面制御部２４は、操作検知部２３から出力される操作情報に基づいて表示部６に表示される画面を更新する。また画面制御部２４は、視線判別部２２から出力される情報に基づいて表示部６に表示される画面を更新することもできる。このような画面制御部２４は、図３に示すように、表示制御部２５と、表示更新部２６とを備えている。
The
表示制御部２５は、表示部６に第１の画面だけを表示している状態のときに、視線判別部２２によってユーザーが第１の画面に含まれる一の表示コンテンツを凝視していると判別されると、ユーザーが凝視している一の表示コンテンツに関する第２画面を、第１の画面の前面側に重畳させたポップアップ表示させる処理部である。
The
図４は、第１の画面Ｇ１の前面側に表示される第２の画面Ｇ２の例を示す図である。例えば図４（ａ）に示すように、第１の画面Ｇ１には、ユーザーが操作可能な複数の操作キーのそれぞれに対応する複数の表示コンテンツ３０〜３９が含まれている。このうち、ユーザーの視線位置ＳＰが一の表示コンテンツ３０上に所定時間以上留まっている場合、視線判別部２２によってユーザーが表示コンテンツ３０を凝視していると判別される。この場合、表示制御部２５は、ユーザーによって凝視されている表示コンテンツ３０に対応する画面情報１７を読み出す。そして図４（ｂ）に示すように、表示制御部２５は、その画面情報１７に基づいて表示コンテンツ３０に対応する第２の画面Ｇ２を、第１の画面Ｇ１の前面側に重畳させた状態にポップアップ表示させる。尚、本実施形態では、第２の画面Ｇ２が表示部６の一部の表示領域に表示される画面である場合を例示するが、これに限られるものでなく、第２の画面Ｇ２は表示部６において全画面表示されるものであっても構わない。
FIG. 4 is a diagram showing an example of a second screen G2 displayed on the front side of the first screen G1. For example, as shown in FIG. 4A, the first screen G1 includes a plurality of
図４（ｂ）に示すように第１の画面Ｇ１の前面側に第２の画面Ｇ２が表示されると、第１の画面Ｇ１に含まれる少なくとも一部の表示コンテンツ３５〜３９が第２の画面Ｇ２によって隠蔽され、ユーザーが視認できない状態となる。表示制御部２５によって表示部６に第２の画面Ｇ２が表示されると、隠蔽コンテンツ判定部２７が機能する。
When the second screen G2 is displayed on the front side of the first screen G1 as shown in FIG. 4B, at least a part of the
隠蔽コンテンツ判定部２７は、第１の画面Ｇ１の前面側に第２の画面Ｇ２が表示された状態において、第１の画面Ｇ１に含まれる複数の表示コンテンツ３０〜３９のうちの少なくとも１つの表示コンテンツが第２の画面Ｇ２によって隠蔽された状態となるか否かを判定する。すなわち、隠蔽コンテンツ判定部２７は、表示制御部２５によって第２の画面Ｇ２が表示されると、記憶部１５から第１の画面Ｇ１及び第２の画面Ｇ２のそれぞれに対応する画面付属情報１８を読み出し、第１の画面Ｇ１において複数の表示コンテンツ３０〜３９のそれぞれが表示されている位置と重なった状態で第２の画面Ｇ２が表示されているか否かを判別する。そして複数の表示コンテンツ３０〜３９のうちのいずれかの表示コンテンツの表示位置と重なった状態で第２の画面Ｇ２が表示されていれば、第２の画面Ｇ２によって隠蔽された表示コンテンツが存在すると判定する。図４（ｂ）の例の場合、隠蔽コンテンツ判定部２７は、第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９が第２の画面Ｇ２によって隠蔽されていることを判定する。そして隠蔽コンテンツ判定部２７は、上記のような判定結果を、視線判別部２２へ出力する。
The concealed
そして視線判別部２２は、隠蔽コンテンツ判定部２７によって第１の画面Ｇ１に含まれる表示コンテンツ３０〜３９のいずれかが第２の画面Ｇ２によって隠蔽されていると判定されることを条件として、上述したように第２の画面Ｇ２に対するユーザーの視認状態を判別する。言い換えると、視線判別部２２は、第１の画面の前面側に第２の画面が表示された状態であっても、隠蔽コンテンツ判定部２７によって第１の画面Ｇ１に含まれる表示コンテンツ３０〜３９の全てが第２の画面Ｇ２によって隠蔽されていないと判定された場合には、第２の画面Ｇ２に対するユーザーの視認状態を判別する必要はない。なぜなら、第１の画面Ｇ１及び第２の画面Ｇ２のそれぞれに含まれる全ての表示コンテンツをユーザーが視認できるからである。
Then, the line-of-
表示更新部２６は、第１の画面Ｇ１の前面側に第２の画面Ｇ２を表示しているとき、視線判別部２２によってユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判別された場合に機能する。そして表示更新部２６は、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツを、ユーザーが視認可能な状態に更新する。また表示更新部２６は、視線判別部２２によって特定されるユーザーの視認パターンに応じてそれぞれ異なる表示態様で、隠蔽された表示コンテンツをユーザーが視認できるように更新する。尚、表示更新部２６による表示画面の更新処理の詳細については後述する。
When the
ジョブ制御部２８は、スキャナ部２、プリンタ部３及びＦＡＸ部４のそれぞれを制御することにより、情報処理装置１におけるジョブの実行を制御するものである。例えばジョブ制御部２８は、操作検知部２３によってユーザーによるジョブの実行指示が検知された場合に、ユーザーによって指定されたジョブの実行を制御する。またジョブ制御部２８は、ネットワークインタフェース９を介してプリントジョブを受信した場合には、プリンタ部３を駆動し、受信したプリントジョブに基づいて印刷出力を行わせる。
The
次に、第１の画面Ｇ１の前面側に第２の画面Ｇ２が表示されている状態において、視線判別部２２によって行われるユーザーの視認状態を判別する処理について説明する。ユーザーの視認状態を判別する処理では、上述したように、ユーザーの視線位置ＳＰに基づいて、ユーザーが第２の画面に含まれる表示コンテンツを視認していない可能性があるか否かが判別される。また視線判別部２２は、ユーザーの視認状態を判別するとき、ユーザーの視線位置ＳＰの移動軌跡を参照することもある。
Next, in a state where the second screen G2 is displayed on the front side of the first screen G1, the process of determining the user's visual state performed by the line-of-
図５は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツ上を移動している状態を示す図である。図５に示すように、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツ上を移動していると判定した場合、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していると判断する。この場合、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーに視認させる必要がない。したがって、視線判別部２２は、ユーザーが第２の画面に含まれる表示コンテンツを視認していると判断した場合には表示更新部２６による表示状態の更新を行わないように指示する。そのため、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツ上を移動しており、ユーザーが第２の画面Ｇ２の表示コンテンツを確認している場合には、表示部６の表示状態は更新されず、現在の表示状態が維持される。
FIG. 5 is a diagram showing a state in which the user's line-of-sight position SP is moving on the display content included in the second screen G2. As shown in FIG. 5, when the line-of-
次に図６は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にある状態を示す図である。図６に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にある状態が所定時間以上継続する場合、視線判別部２２は、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツに全く関心を示していないのであるから、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、第２の画面Ｇ２の表示領域外にユーザーの視線位置ＳＰがあることを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にあることを示す視認パターンに応じて表示部６の表示状態が更新される。
Next, FIG. 6 is a diagram showing a state in which the user's line-of-sight position SP is outside the display area of the second screen G2. As shown in FIG. 6, when the state in which the user's line-of-sight position SP is outside the display area of the second screen G2 continues for a predetermined time or longer, the line-of-
次に図７は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２において表示コンテンツが表示されていない背景部分にある状態を示す図である。図７に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２において表示コンテンツが表示されていない背景部分にある状態が所定時間以上継続する場合、視線判別部２２は、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合も、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツにあまり関心を示していないのであるから、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、第２の画面Ｇ２の背景部分にユーザーの視線位置ＳＰがあることを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンに応じて表示部６の表示状態が更新される。
Next, FIG. 7 is a diagram showing a state in which the user's line-of-sight position SP is in the display area of the second screen G2 and is in the background portion where the display content is not displayed on the second screen G2. As shown in FIG. 7, the state in which the user's line-of-sight position SP is in the display area of the second screen G2 and is in the background portion where the display content is not displayed on the second screen G2 continues for a predetermined time or longer. If so, the line-of-
次に図８は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態を示す図である。図８に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２における表示コンテンツの表示位置と重なっている状態が所定時間以上継続する場合、ユーザーは、第２の画面Ｇ２の表示コンテンツに関心を示している可能性があると言えると共に、視線位置ＳＰにおいて隠蔽された状態にある第１の画面Ｇ１の表示コンテンツ３６に関心を示している可能性があるとも言える。そして後者の場合には、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると言える。そのため、図８に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあり、且つ、第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であるとき、視線判別部２２は、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合も、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンに応じて表示部６の表示状態が更新される。
Next, FIG. 8 is a diagram showing a state in which the user's line-of-sight position SP is in the display area of the second screen G2 and overlaps with the display position of the display content on the second screen G2. As shown in FIG. 8, when the user's line-of-sight position SP is within the display area of the second screen G2 and overlaps with the display position of the display content on the second screen G2 for a predetermined time or longer. It can be said that the user may be interested in the display content of the second screen G2, and is also interested in the
次に図９は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した状態を示す図である。図９に示すように、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した後、ユーザーの視線位置ＳＰが特定の表示コンテンツ上に移動することなく、所定時間が経過した場合、ユーザーは、第２の画面Ｇ２の表示コンテンツに関心を示していないと言える。そのため、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した状態になると、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判定する。この場合も、第２の画面Ｇ２によって隠蔽された状態である第１の画面Ｇ１の表示コンテンツ３５〜３９をユーザーが視認できるように表示する必要がある。したがって、視線判別部２２は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過したことを示す視認パターンを特定し、その視認パターンを画面制御部２４へ出力する。これにより、画面制御部２４において表示更新部２６が機能し、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過したことを示す視認パターンに応じて表示部６の表示状態が更新される。
Next, FIG. 9 is a diagram showing a state in which the user's line-of-sight position SP has passed the display positions of all the display contents included in the second screen G2. As shown in FIG. 9, after the user's line-of-sight position SP has passed the display positions of all the display contents included in the second screen G2, the user's line-of-sight position SP does not move onto the specific display content. When the predetermined time has elapsed, it can be said that the user is not interested in the display content of the second screen G2. Therefore, when the line-of-
次に表示更新部２６が表示部６の表示状態を更新する処理について説明する。表示更新部２６は、視線判別部２２において特定される視認パターンに応じて表示部６の表示状態を更新する。
Next, a process in which the
図１０は、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にあることを示す視認パターンに応じて表示部６の表示状態を更新する例を示す図である。図１０（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域外にあることを示す視認パターンが特定された場合、表示更新部２６は、表示部６の表示画面上から第２の画面Ｇ２を消去する。これにより、表示部６の表示画面は、図１０（ａ）に示すような表示態様から図１０（ｂ）に示すような表示態様に自動更新される。このような更新により、ユーザーは、第２の画面Ｇ２で隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認することができるようになり、表示コンテンツ３５〜３９の内容を確認したり、表示コンテンツ３５〜３９に対する操作を行ったりすることができるようになる。またユーザーにとっては手動で第２の画面Ｇ２を閉じる操作を行わなくても、第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９を視認することができるようになるため、操作性が向上する。
FIG. 10 is a diagram showing an example in which the display state of the display unit 6 is updated according to a visual recognition pattern indicating that the user's line-of-sight position SP is outside the display area of the second screen G2. As shown in FIG. 10A, when the line-of-
また表示更新部２６は、視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過したことを示す視認パターンが特定された場合にも、上記と同様に、表示部６の表示画面上から第２の画面Ｇ２を消去する。ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる全ての表示コンテンツの表示位置を通過した後、ユーザーの視線位置ＳＰが第２の画面Ｇ２上の特定の表示コンテンツに戻ることなく、所定時間が経過した場合、ユーザーは、第２の画面Ｇ２の表示コンテンツに全く関心を示していないと言える。そのため、表示更新部２６は、第２の画面Ｇ２を表示画面上から消去することにより、第２の画面Ｇ２に隠蔽されていた表示コンテンツ３５〜３９を視認可能な状態に自動更新するのである。
The
次に視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合の表示画面の更新処理について説明する。ユーザーが第２の画面Ｇ２の背景部分を見ている場合、ユーザーの関心は、第２の画面Ｇ２に含まれる表示コンテンツよりも寧ろ、視線位置ＳＰにおいて隠蔽されている第１の画面Ｇ１の表示コンテンツにあると言える。そのため、表示更新部２６は、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることにより、第２の画面Ｇ２に隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認できるようにする。
Next, a display screen update process will be described when a visual recognition pattern indicating that the user's line-of-sight position SP is in the background portion of the second screen G2 is specified by the line-of-
図１１は、第２の画面Ｇ２の視認性を低下させる場合の第１の更新態様の例を示す図である。例えば図１１（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合、表示更新部２６は、図１１（ｂ）に示すように第２の画面Ｇ２の透過率を上げることにより、第２の画面Ｇ２の背面側にある第１の画面Ｇ１の表示コンテンツ３５〜３９を透過させて視認可能な状態に表示させる。このとき、ユーザーの関心は、第２の画面Ｇ２の表示コンテンツよりも、第１の画面Ｇ１の表示コンテンツ３５〜３９の方が高いと言える。そのため、表示更新部２６は、例えば第２の画面Ｇ２の透過率を５０％以上に設定し、第１の画面Ｇ１に含まれる隠蔽された表示コンテンツ３５〜３９の視認性が、第２の画面Ｇ２に含まれる表示コンテンツよりも高くなるようにする。その結果、ユーザーは、第２の画面Ｇ２が表示された状態のままで第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９を視認することができるようになる。
FIG. 11 is a diagram showing an example of a first update mode when the visibility of the second screen G2 is reduced. For example, as shown in FIG. 11A, when the line-of-
次に図１２は、第２の画面Ｇ２の視認性を低下させる場合の第２の更新態様の例を示す図である。例えば図１２（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合、表示更新部２６は、図１２（ｂ）に示すように第１の画面Ｇ１において隠蔽された状態の表示コンテンツ３５〜３９を第２の画面Ｇ２の表示領域内に表示させる。このとき、表示更新部２６は、例えば第２の画面Ｇ２に含まれる表示コンテンツを縮小して視認性を低下させることにより、第２の画面Ｇ２の余白部分を拡大し、その余白部分に隠蔽された表示コンテンツ３５〜３９と同じ表示コンテンツ３５ａ〜３７ａを表示する。
Next, FIG. 12 is a diagram showing an example of a second update mode when the visibility of the second screen G2 is reduced. For example, as shown in FIG. 12A, when the line-of-
ただし、第２の画面Ｇ２に含まれる表示コンテンツを縮小したとしても、第２の画面Ｇ２によって隠蔽された表示コンテンツ３５〜３９の全てを第２の画面Ｇ２の余白部分に表示させることができないこともある。その場合、表示更新部２６は、第１の画面Ｇ１において隠蔽された状態である複数の表示コンテンツ３５〜３９のうちから、ユーザーの視線位置ＳＰの近傍位置にある所定数の表示コンテンツ３５，３６，３７を抽出し、その抽出した所定数の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第２の画面Ｇ２の余白部分に表示させる。これにより、ユーザーが凝視する位置の近傍で隠蔽されていた表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを、第２の画面Ｇ２において視認することができるようになる。尚、表示更新部２６は、表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第２の画面Ｇ２に表示するとき、表示コンテンツ３５ａ，３６ａ，３７ａの表示サイズを、第２の画面Ｇ２に含まれていた表示コンテンツの表示サイズよりも大きくすることにより、表示コンテンツ３５ａ，３６ａ，３７ａを視認し易い態様で表示するようにしても良い。
However, even if the display content included in the second screen G2 is reduced, all of the
図１３は、第２の画面Ｇ２に表示コンテンツ３５ａ，３６ａ，３７ａを表示するときの表示態様の一例を示す図である。表示更新部２６は、上述したように第２の画面Ｇ２によって隠蔽された第１の画面Ｇ１の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第２の画面Ｇ２に表示させるとき、図１３に示すように各表示コンテンツ３５ａ，３６ａ，３７ａの移動軌跡５１を示すアニメーション動画を表示するようにしても良い。各表示コンテンツ３５ａ，３６ａ，３７ａの移動軌跡５１を動画態様で表示することにより、ユーザーは、第２の画面Ｇ２の表示領域内に複数の表示コンテンツ３５ａ，３６ａ，３７ａが表示されるとき、各表示コンテンツ３５ａ，３６ａ，３７ａが第１の画面Ｇ１のどの位置から移動してきたかを把握することができるようになり、注目していた表示コンテンツ３５がどのようなコンテンツであるかを容易に確認することができるという利点がある。
FIG. 13 is a diagram showing an example of a display mode when the
以上のように、視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の背景部分にあることを示す視認パターンが特定された場合、表示更新部２６は、第１の更新態様及び第２の更新態様のいずれかを採用し、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることにより、第２の画面Ｇ２に隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認できるようにする。尚、第１の更新態様及び第２の更新態様のいずれを採用するかは、情報処理装置１において適宜設定可能である。
As described above, when the line-of-
次に視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンが特定された場合の表示画面の更新処理について説明する。上述したように、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置と重なっている場合、ユーザーの関心が、第２の画面Ｇ２に含まれる表示コンテンツにあるのか、或いは、視線位置ＳＰにおいて隠蔽されている第１の画面Ｇ１の表示コンテンツにあるのかを特定するのは困難である。そのため、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることなく、第１の画面Ｇ１において隠蔽された状態の表示コンテンツを視認可能な状態に表示する必要がある。
Next, the display screen update process will be described when the line-of-
図１４は、第２の画面Ｇ２の視認性を低下させずに表示画面を更新する場合の第１の更新態様の例を示す図である。例えば図１４（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンが特定された場合、表示更新部２６は、図１４（ｂ）に示すように第１の画面Ｇ１において隠蔽された状態の表示コンテンツ３５〜３９を第１の画面Ｇ１の余白領域に表示させる。その結果、ユーザーは、第２の画面Ｇ２が表示された状態のままで第１の画面Ｇ１に含まれる表示コンテンツ３５〜３９を視認することができるようになる。
FIG. 14 is a diagram showing an example of a first update mode when the display screen is updated without deteriorating the visibility of the second screen G2. For example, as shown in FIG. 14A, when the line-of-
ただし、この場合においても、第２の画面Ｇ２によって隠蔽された表示コンテンツ３５〜３９の全てを第１の画面Ｇ１の余白領域に表示させることができないこともある。その場合、表示更新部２６は、第１の画面Ｇ１において隠蔽された状態である複数の表示コンテンツ３５〜３９のうちから、ユーザーの視線位置ＳＰの近傍位置にある所定数の表示コンテンツ３５，３６，３７を抽出し、その抽出した所定数の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第１の画面Ｇ１の余白部分に移動させて表示する。これにより、ユーザーが凝視する位置の近傍で隠蔽されていた表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを、第１の画面Ｇ１の余白領域において視認することができるようになる。
However, even in this case, it may not be possible to display all of the
また表示更新部２６は、第２の画面Ｇ２によって隠蔽された第１の画面Ｇ１の表示コンテンツ３５，３６，３７と同じ表示コンテンツ３５ａ，３６ａ，３７ａを第１の画面Ｇ１の余白領域に移動させて表示するとき、図１４（ｂ）に示すように各表示コンテンツ３５ａ，３６ａ，３７ａの移動軌跡５１を示すアニメーション動画を表示するようにしても良い。これにより、ユーザーは、第１の画面Ｇ１の余白領域内に複数の表示コンテンツ３５ａ，３６ａ，３７ａが表示されるとき、各表示コンテンツ３５ａ，３６ａ，３７ａが第１の画面Ｇ１のどの位置から移動してきたかを把握することができるようになり、注目していた表示コンテンツ３６がどのようなコンテンツであるかを容易に確認することができるようになる。
Further, the
次に図１５は、第２の画面Ｇ２の視認性を低下させずに表示画面を更新する場合の第２の更新態様の例を示す図である。例えば図１５（ａ）に示すように視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２における表示コンテンツの表示位置と重なった状態であることを示す視認パターンが特定された場合、表示更新部２６は、図１５（ｂ）に示すように第２の画面Ｇ２を表示部６の表示画面内で移動させ、それまで第２の画面Ｇ２によって隠蔽されていた表示コンテンツ３５〜３９をユーザーが視認可能な状態に表示する。このとき、表示更新部２６は、例えばユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域から外れるように第２の画面Ｇ２を移動させることにより、第２の画面Ｇ２によって隠蔽されていた表示コンテンツ３５〜３９のうち、ユーザーが視認しようとしていた可能性のある表示コンテンツ３６を視認可能な状態に表示することができる。
Next, FIG. 15 is a diagram showing an example of a second update mode when the display screen is updated without deteriorating the visibility of the second screen G2. For example, as shown in FIG. 15A, when the line-of-
以上のように、視線判別部２２によってユーザーの視線位置ＳＰが第２の画面Ｇ２の表示コンテンツと重なった位置にある場合、表示更新部２６は、上述した第１の更新態様及び第２の更新態様のいずれかを採用し、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることなく、第２の画面Ｇ２に隠蔽されていた第１の画面Ｇ１の表示コンテンツ３５〜３９を視認できるようにする。尚、第１の更新態様及び第２の更新態様のいずれを採用するかは、情報処理装置１において適宜設定可能である。
As described above, when the line-of-
ところで、図１５において第１の画面Ｇ１の前面側に表示される第２の画面Ｇ２は、ユーザーが第１の画面Ｇ１の一の表示コンテンツ３０を選択する操作を行うことにより、次に表示される画面にどのような選択項目が含まれているかを示す画面である場合を例示した。しかし、第２の画面Ｇ２は、次画面にどのような選択項目が含まれるかを表示するものに限られない。
By the way, the second screen G2 displayed on the front side of the first screen G1 in FIG. 15 is displayed next by the user performing an operation of selecting one
図１６は、第１の画面Ｇ１の一の表示コンテンツ３０の近傍に表示される第２の画面Ｇ２の別の例を示す図である。図１６（ａ）は、第２の画面Ｇ２に、一の表示コンテンツ３０に関するヘルプ情報５３が表示される例を示している。つまり、図１６（ａ）に示す第２の画面Ｇ２には、ヘルプ情報５３が表示コンテンツとして含まれている。この場合のヘルプ情報５３は、テキストとして表示されるものであっても良いし、画像として表示されるものであっても良い。このようなヘルプ情報５３が第２の画面Ｇ２に表示されることにより、ユーザーは、一の表示コンテンツ３０がどのようなコンテンツであるかを把握することができる。
FIG. 16 is a diagram showing another example of the second screen G2 displayed in the vicinity of the
また図１６（ｂ）は、ユーザーが凝視する一の表示コンテンツ３０が第１の画面Ｇ１を別の画面に遷移させるためのユーザーが選択操作可能な操作キーである場合に表示される第２の画面Ｇ２の例を示している。すなわち、図１６（ｂ）は、第２の画面Ｇ２に、一の表示コンテンツ３０がユーザーによって選択操作された場合に次に表示される画面のサムネイル画像５４が表示される例を示している。つまり、この第２の画面Ｇ２には、次の画面のサムネイル画像５４が表示コンテンツとして含まれる。このようなサムネイル画像５４が第２の画面Ｇ２に表示されることにより、ユーザーは、一の表示コンテンツ３０を操作すれば第１の画面Ｇ１がどのような画面に遷移するかを把握することができる。
Further, FIG. 16B is a second display when the one
さらに図１６（ｃ）は、ユーザーが凝視する一の表示コンテンツがドキュメントファイルである場合を例示している。例えば第１の画面Ｇ１が記憶部１５に記憶されているドキュメントファイルの一覧表示を行う画面である場合、ユーザーが第１の画面Ｇ１において一のドキュメントファイルを選択すると、そのドキュメントファイルに対して行うことが可能な処理を、ユーザーが複数の項目のうちから選択することができるメニュー画面が表示される。この場合、例えば図１６（ｃ）に示すように、ユーザーがドキュメントファイルを凝視して表示される第２の画面Ｇ２は、ユーザーが選択可能な複数の項目５５を表示コンテンツに含むメニュー画面として表示される。この場合、ユーザーは、一のドキュメントファイルを凝視すればメニュー画面が自動的に表示されるため、手動操作で一のドキュメントファイルを選択する必要がなく、操作性が向上する。
Further, FIG. 16C illustrates a case where one display content that the user gazes at is a document file. For example, when the first screen G1 is a screen for displaying a list of document files stored in the
次に視線判別部２２によるユーザーの視認状態を判別する処理の一時停止について説明する。情報処理装置１は、ユーザーが操作パネル５に対する操作を行っているときであっても、ネットワークインタフェース９を介してジョブを受信することが可能である。情報処理装置１は、ジョブを受信すると、ビープ音を発生させてジョブを受け付けたことを報知することがある。また情報処理装置１は、ジョブを受け付けると、操作パネル５の表示部６にジョブを受け付けたことを表示することもある。さらに情報処理装置１は、ジョブの実行を終了すると、ビープ音を発生させてジョブの実行が終了したことを報知することもある。このようにユーザーが操作パネル５に対する操作を行っている場合であっても、情報処理装置１は、ジョブのステータスが変化する度にビープ音を発生させたり、表示部６にジョブの実行状況を表示させたりすることがある。
Next, the temporary stop of the process of determining the user's visual state by the line-of-
図１７は、情報処理装置１がジョブを受信した場合に表示部６に表示されるメッセージ５７の例を示す図である。図１７に示すように、情報処理装置１は、第１の画面Ｇ１の前面側に第２の画面Ｇ２を表示している状態であっても、ネットワークインタフェース９を介してジョブを受信すると、表示部６の所定位置にジョブを受信したことを示すメッセージ５７を表示する。このとき、同時にビープ音が発生することもある。このようにユーザーが表示部６の表示画面を視認しているときに、ジョブのステータスに関するメッセージ５７が表示されたり、或いは、情報処理装置１においてビープ音が発生したりすると、ユーザーの気が散り、ユーザーの視線位置ＳＰが本来視認しようとしている位置から別の位置に移動してしまう可能性がある。そのため、視線判別部２２は、ジョブ制御部２８がジョブを受信した場合やジョブの実行を開始した場合、ジョブの実行を終了した場合などのジョブのステータスに変化が生じたときには、その変化が生じたタイミングから一定時間の間、ユーザーの視認状態を判別する処理を一時的に停止する。これにより、ジョブのステータス変化に伴うユーザーの視線移動を画面制御の対象から除外することができる。その結果、ジョブのステータスが変化したときにユーザーの視線移動を検知し、画面の切り替え制御を行ってしまうことを防止することができる。
FIG. 17 is a diagram showing an example of a
次に情報処理装置１において行われる処理手順の一例について説明する。図１８は、情報処理装置１において行われる主たる処理手順の一例を示すフローチャートである。この処理は、制御部１０のＣＰＵ１１がプログラム１６を実行することによって繰り返し行われる処理である。情報処理装置１は、この処理を開始すると、まず表示部６に第２の画面Ｇ２を表示しているか否かを判断する（ステップＳ１０）。その結果、第２の画面Ｇ２を表示しておらず、第１の画面Ｇ１だけを表示している状態である場合（ステップＳ１０でＮＯ）、情報処理装置１は、撮像部８を駆動してユーザーの顔画像を撮影し、その撮影画像を取得する（ステップＳ１１）。情報処理装置１は、ユーザーの顔画像を取得すると、視線検知処理を行い、ユーザーの視線位置ＳＰを検出する（ステップＳ１２）。そして情報処理装置１は、視線判別処理を行い（ステップＳ１３）、ユーザーが第１の画面Ｇ１に含まれる一の表示コンテンツを凝視しているか否かを判断する（ステップＳ１４）。すなわち、情報処理装置１は、ユーザーの視線位置ＳＰが第１の画面Ｇ１に含まれる一の表示コンテンツ上に所定時間以上留まっているか否かを判別することにより、ユーザーがその表示コンテンツを凝視しているか否かを判断する。その結果、ユーザーが第１の画面Ｇ１に含まれる一の表示コンテンツを凝視していない場合（ステップＳ１４でＮＯ）、第２の画面Ｇ２を表示する必要がないため、情報処理装置１による処理が終了する。
Next, an example of the processing procedure performed in the
一方、ユーザーが第１の画面Ｇ１に含まれる一の表示コンテンツを凝視している場合（ステップＳ１４でＹＥＳ）、情報処理装置１は、ユーザーが凝視している一の表示コンテンツに関連する第２の画面Ｇ２を第１の画面Ｇ１の前面側に表示する（ステップＳ１５）。そして情報処理装置１による処理はステップＳ１６へ進む。またステップＳ１０において第２の画面Ｇ２を表示中である場合も、情報処理装置１による処理はステップＳ１６へ進む。
On the other hand, when the user is staring at one display content included in the first screen G1 (YES in step S14), the
情報処理装置１は、第１の画面Ｇ１の前面側に第２の画面Ｇ２を表示している場合、第１の画面Ｇ１に含まれる表示コンテンツの中に、第２の画面Ｇ２によって隠蔽される表示コンテンツが存在するか否かを判断する（ステップＳ１６）。その結果、第１の画面Ｇ１に含まれる表示コンテンツの中に第２の画面Ｇ２によって隠蔽される表示コンテンツが存在しない場合（ステップＳ１６でＮＯ）、表示状態を更新する必要がないので、情報処理装置１による処理が終了する。
When the second screen G2 is displayed on the front side of the first screen G1, the
これに対し、第２の画面Ｇ２によって隠蔽される表示コンテンツが存在する場合（ステップＳ１６でＹＥＳ）情報処理装置１は、撮像部８を駆動してユーザーの顔画像を撮影した撮影画像を取得し（ステップＳ１７）、ユーザーの視線位置ＳＰを検知する視線検知処理を行う（ステップＳ１８）。そして情報処理装置１は、第２の画面Ｇ２によって隠蔽された第１の画面Ｇ１の表示コンテンツをユーザーが視認可能な状態に表示する必要があるか否かを判別するための視認状態判別処理を行う（ステップＳ１９）。この視認状態判別処理では、ユーザーの視線位置ＳＰが表示部６の表示画面内にある場合に、ユーザーの視認パターンが特定され、その視認パターンに基づいて表示部６の表示状態を更新する必要があるか否かが判断される。そして表示部６の表示状態を更新する必要があると判断された場合には、ユーザーの視認パターンに対応する表示部６の更新パターンが決定されると共に、更新フラグがオンに設定される。
On the other hand, when there is display content hidden by the second screen G2 (YES in step S16), the
情報処理装置１は、視認状態判別処理（ステップＳ１９）を実行した後、更新フラグがオンであるか否かを判断する（ステップＳ２０）。その結果、更新フラグがオフであれば（ステップＳ２０でＮＯ）、表示部６の表示状態を更新する必要がないので、情報処理装置１による処理が終了する。これに対し、更新フラグがオンであった場合（ステップＳ２０でＹＥＳ）、情報処理装置１は、表示更新処理を行う（ステップＳ２１）。この表示更新処理では、視認状態判別処理で決定された更新パターンに基づいて表示部６の表示状態を更新する処理が行われる。そして表示更新処理が終了すると、情報処理装置１は、更新フラグをオフに切り替える（ステップＳ２２）。以上で、情報処理装置１による処理が終了する。
After executing the visual state determination process (step S19), the
図１９は、視認状態判別処理（ステップＳ１９）の詳細な処理手順の一例を示すフローチャートである。情報処理装置１は、この処理を開始すると、まずユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にあるか否かを判断する（ステップＳ３０）。すなわち、情報処理装置１は、第２の画面Ｇ２の表示位置と表示サイズに基づいて表示部６における第２の画面Ｇ２の表示領域を特定し、ユーザーの視線位置ＳＰを示す座標がその表示領域内にあるか否かを判別するのである。その結果、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にない場合（ステップＳ３０でＮＯ）、情報処理装置１は、表示部６の更新パターンとして第１更新パターンを決定する（ステップＳ３１）。この第１更新パターンは、表示部６から第２の画面Ｇ２を消去することにより、第１の画面Ｇ１に含まれる表示コンテンツを視認可能にする更新パターンである。そして情報処理装置１は、更新フラグをオンにする（ステップＳ３２）。
FIG. 19 is a flowchart showing an example of a detailed processing procedure of the visual state determination process (step S19). When the
一方、ユーザーの視線位置ＳＰが第２の画面Ｇ２の表示領域内にある場合（ステップＳ３０でＹＥＳ）、情報処理装置１は、ユーザーの視線位置ＳＰが移動中であるか否かを判断する（ステップＳ３３）。そしてユーザーの視線位置ＳＰが移動中である場合（ステップＳ３３でＹＥＳ）、情報処理装置１は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる複数の表示コンテンツの全てを通過したか否かを更に判断する（ステップＳ３４）。その結果、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる複数の表示コンテンツの全てを通過した場合（ステップＳ３４でＹＥＳ）、情報処理装置１は、表示部６の更新パターンとして第１更新パターンを決定し（ステップＳ３５）、更新フラグをオンにする（ステップＳ３６）。これに対し、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる複数の表示コンテンツの全てを未だ通過していない場合（ステップＳ３４でＮＯ）、情報処理装置１は、ユーザーが第２の画面Ｇ２に含まれている表示コンテンツを確認中であると判断し、表示部６を更新しないようにする。
On the other hand, when the user's line-of-sight position SP is within the display area of the second screen G2 (YES in step S30), the
またユーザーの視線位置ＳＰが移動中でなかった場合（ステップＳ３３でＮＯ）、情報処理装置１は、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置にあるか否かを判断する（ステップＳ３７）。その結果、ユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置にある場合（ステップＳ３７でＹＥＳ）、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させることなく、第１の画面Ｇ１において隠蔽された状態にある表示コンテンツを視認可能にすべく、情報処理装置１は、表示部６の更新パターンとして第２更新パターンを決定する（ステップＳ３８）。そして情報処理装置１は、更新フラグをオンにする（ステップＳ３９）。
If the user's line-of-sight position SP is not moving (NO in step S33), the
またユーザーの視線位置ＳＰが第２の画面Ｇ２に含まれる表示コンテンツの表示位置にはなく、第２の画面Ｇ２の背景部分にある場合（ステップＳ３７でＮＯ）、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させつつ、第１の画面Ｇ１において隠蔽された状態にある表示コンテンツを視認可能にすべく、情報処理装置１は、表示部６の更新パターンとして第３更新パターンを決定する（ステップＳ４０）。そして情報処理装置１は、更新フラグをオンにする（ステップＳ４１）。以上で視線状態判別処理（ステップＳ１９）が終了する。
Further, when the user's line-of-sight position SP is not in the display position of the display content included in the second screen G2 but in the background portion of the second screen G2 (NO in step S37), it is included in the second screen G2. The
次に図２０は、表示更新処理（ステップＳ２１）の詳細な処理手順の一例を示すフローチャートである。情報処理装置１は、この処理を開始すると、視認状態判別処理（ステップＳ１９）で決定された更新パターンが第１更新パターンであるか否かを判断する（ステップＳ５０）。その結果、第１更新パターンである場合（ステップＳ５０でＹＥＳ）、情報処理装置１は、表示部６に表示されている第２の画面Ｇ２を消去する（ステップＳ５１）。これにより、例えば図１０（ｂ）に示したように第１の画面Ｇ１上から第２の画面Ｇ２が消えるため、第２の画面Ｇ２によって隠蔽されていた第１の画面Ｇ１の表示コンテンツが視認可能な状態に更新される。
Next, FIG. 20 is a flowchart showing an example of a detailed processing procedure of the display update process (step S21). When the
これに対し、第１更新パターンではなかった場合（ステップＳ５０でＮＯ）、情報処理装置１は、視認状態判別処理（ステップＳ１９）で決定された更新パターンが第２更新パターンであるか否かを判断する（ステップＳ５２）。その結果、第２更新パターンである場合（ステップＳ５２でＹＥＳ）、情報処理装置１は、第１の画面Ｇ１及び第２の画面Ｇ２のそれぞれに含まれる表示コンテンツの視認性を確保した状態で第２の画面Ｇ２に隠蔽されている第１の画面Ｇ１の表示コンテンツをユーザーが視認できる表示態様に更新する（ステップＳ５３）。これにより、表示部６の表示画面は、例えば図１４（ｂ）又は図１５（ｂ）に示した表示態様に更新される。したがって、第２の画面Ｇ２によって隠蔽されていた第１の画面Ｇ１の表示コンテンツが視認可能な状態となる。
On the other hand, when it is not the first update pattern (NO in step S50), the
また第２更新パターンでもなかった場合（ステップＳ５２でＮＯ）、情報処理装置１は、視認状態判別処理（ステップＳ１９）で決定された更新パターンが第３更新パターンであると判断する。この場合、情報処理装置１は、第２の画面Ｇ２に含まれる表示コンテンツよりも、第１の画面Ｇ１に含まれる表示コンテンツの視認性確保を優先する。そのため、情報処理装置１は、第２の画面Ｇ２に含まれる表示コンテンツの視認性を低下させつつ、第２の画面Ｇ２に隠蔽されている第１の画面Ｇ１の表示コンテンツをユーザーが視認できる表示態様に更新する（ステップＳ５４）。これにより、表示部６の表示画面は、例えば図１１（ｂ）又は図１２（ｂ）に示した表示態様に更新される。したがって、ユーザーは、第２の画面Ｇ２によって隠蔽されていた第１の画面Ｇ１の表示コンテンツを視認することができるようになる。以上で、表示更新処理（ステップＳ２１）が終了する。
If it is not the second update pattern (NO in step S52), the
以上説明したように本実施形態の情報処理装置１は、第１の画面Ｇ１に含まれる表示コンテンツに関連する第２の画面Ｇ２を第１の画面Ｇ１の前面側に重畳させて表示しているとき、第１の画面Ｇ１に含まれる表示コンテンツが第２の画面Ｇ２によって隠蔽された状態であり、且つ、ユーザーが第２の画面Ｇ２に含まれる表示コンテンツを視認していない可能性があると判別した場合に、第２の画面Ｇ２によって隠蔽された表示コンテンツを表示部６において視認可能な状態となるように表示画面を自動更新する構成である。すなわち、情報処理装置１は、ユーザーの視線を判別することにより、ユーザーがどの表示コンテンツを確認したいと考えているのかを推定して表示コンテンツの表示態様を適切に切り替えるのである。したがって、ユーザーにとっては、第２の画面Ｇ２を閉じる操作を行わなくても、第２の画面Ｇ２によって隠蔽されていた表示コンテンツを視認することができるようになるため、操作性が向上する。
As described above, the
以上、本発明に関する一実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。 Although one embodiment of the present invention has been described above, the present invention is not limited to the contents described in the above embodiment, and various modifications can be applied.
例えば上記実施形態では、情報処理装置１がＭＦＰなどの画像処理装置で構成される場合を例示した。しかし、上記実施形態で説明したようにユーザーの視線を判別して表示部６の表示画面を自動的に切り替える技術の適用範囲は、必ずしもＭＦＰなどの画像処理装置に限られるものではない。すなわち、本発明における情報処理装置１は、ＭＦＰなどの画像処理装置以外の装置であっても構わない。例えば、本発明における情報処理装置１は、スマートフォンやタブレット端末、パーソナルコンピュータなどのような電子機器であっても構わない。
For example, in the above embodiment, the case where the
１ 情報処理装置
６ 表示部（表示手段）
８ 撮像部（撮像手段）
１６ プログラム
２１ 視線検知部（視線検知手段）
２２ 視線判別部（視線判別手段）
２４ 画面制御部
２５ 表示制御部（表示制御手段）
２６ 表示更新部（表示更新手段）
２７ 隠蔽コンテンツ判定部（隠蔽コンテンツ判別手段）
２８ ジョブ制御部（ジョブ制御手段）
1 Information processing device 6 Display unit (display means)
8 Imaging unit (imaging means)
16
22 Line-of-sight discrimination unit (line-of-sight discrimination means)
24
26 Display update unit (display update means)
27 Concealed content determination unit (concealed content determination means)
28 Job control unit (job control means)
Claims (27)
前記表示画面内におけるユーザーの視線位置を検知する視線検知手段と、
前記表示画面に、複数の表示コンテンツを含む第１の画面を表示している状態で、前記第１の画面に含まれる前記複数の表示コンテンツのうちの一の表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる表示制御手段と、
前記第１の画面の前面側に前記第２の画面が表示されることに伴い、前記第１の画面に含まれる前記複数の表示コンテンツの中に、前記第２の画面によって隠蔽された状態となる表示コンテンツが存在するか否かを判別する隠蔽コンテンツ判別手段と、
前記第１の画面の前面側に前記第２の画面が表示されているとき、前記視線検知手段によって検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する視線判別手段と、
前記隠蔽コンテンツ判別手段によって前記第１の画面に含まれる少なくとも１つの表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記視線判別手段によってユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる表示更新手段と、
を備えることを特徴とする情報処理装置。 Display means that can display various images on the display screen,
A line-of-sight detection means for detecting the user's line-of-sight position in the display screen,
Wherein the display screen, while displaying the first screen including a plurality of display contents, a second screen associated with one display contents of the plurality of display contents included in the first screen Is superimposed on the front side of the first screen and displayed.
With particular the second screen to the front side of the first screen is displayed, in said plurality of display contents included in the first screen, and a state of being hidden by the second screen Hidden content determination means for determining whether or not the display content is present , and
When the second screen is displayed on the front side of the first screen, the line of sight for determining the user's visual status with respect to the second screen based on the user's line of sight position detected by the line of sight detecting means. Discrimination means and
The hidden content determination means determines that at least one display content included in the first screen is in a state of being hidden by the second screen, and the line-of-sight determination means allows the user to use the second screen. When it is determined that the display content included in the display content may not be visually recognized, the display update means for displaying the display content hidden by the second screen in a visible state on the display screen, and a display update means.
An information processing device characterized by being equipped with.
前記第２の画面は、前記別の画面に含まれる表示コンテンツを表示する画面であることを特徴とする請求項１３に記載の情報処理装置。 The one display content is an operation key that can be operated by the user for transitioning the first screen to another screen.
The information processing device according to claim 13, wherein the second screen is a screen for displaying display contents included in the other screen.
を更に備え、
前記視線判別手段は、前記ジョブ制御手段によって実行されるジョブのステータスに変化が生じた場合に、前記視線検知手段によって検知されるユーザーの視線位置に基づく判別処理を一定時間停止させることを特徴とする請求項１乃至１６のいずれかに記載の情報処理装置。 Job control means that accepts and executes jobs,
With more
The line-of-sight discriminating means is characterized in that, when the status of a job executed by the job control means changes, the discriminating process based on the line-of-sight position of the user detected by the line-of-sight detecting means is stopped for a certain period of time. The information processing apparatus according to any one of claims 1 to 16.
前記表示画面内におけるユーザーの視線位置を検知する第１のステップと、
前記表示画面に、複数の表示コンテンツを含む第１の画面を表示している状態で、前記第１の画面に含まれる前記複数の表示コンテンツのうちの一の表示コンテンツに関連する第２の画面を、前記第１の画面の前面側に重畳させて表示させる第２のステップと、
前記第１の画面の前面側に前記第２の画面が表示されることに伴い、前記第１の画面に含まれる前記複数の表示コンテンツの中に、前記第２の画面によって隠蔽された状態となる表示コンテンツが存在するか否かを判別する第３のステップと、
前記第１の画面の前面側に前記第２の画面が表示されているとき、前記第１のステップにおいて検知されるユーザーの視線位置に基づき、前記第２の画面に対するユーザーの視認状況を判別する第４のステップと、
前記第３のステップにおいて前記第１の画面に含まれる少なくとも１つの表示コンテンツが前記第２の画面によって隠蔽された状態であると判別されると共に、前記第４のステップにおいてユーザーが前記第２の画面に含まれる表示コンテンツを視認していない可能性があると判別された場合に、前記第２の画面によって隠蔽された表示コンテンツを前記表示画面において視認可能な状態に表示させる第５のステップと、
を実行させることを特徴とするプログラム。 A program executed in an information processing device provided with display means capable of displaying various images on a display screen.
The first step of detecting the line-of-sight position of the user in the display screen,
Wherein the display screen, while displaying the first screen including a plurality of display contents, a second screen associated with one display contents of the plurality of display contents included in the first screen In the second step of superimposing and displaying on the front side of the first screen.
With particular the second screen to the front side of the first screen is displayed, in said plurality of display contents included in the first screen, and a state of being hidden by the second screen The third step of determining whether or not the display content is present , and
When the second screen is displayed on the front side of the first screen, the user's visibility status with respect to the second screen is determined based on the user's line-of-sight position detected in the first step. 4th step and
In the third step, it is determined that at least one display content included in the first screen is hidden by the second screen, and in the fourth step, the user uses the second screen. When it is determined that the display content included in the screen may not be visually recognized, the fifth step of displaying the display content hidden by the second screen in a visible state on the display screen. ,
A program characterized by executing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016225623A JP6772777B2 (en) | 2016-11-21 | 2016-11-21 | Information processing equipment and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016225623A JP6772777B2 (en) | 2016-11-21 | 2016-11-21 | Information processing equipment and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018084851A JP2018084851A (en) | 2018-05-31 |
| JP6772777B2 true JP6772777B2 (en) | 2020-10-21 |
Family
ID=62238340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016225623A Active JP6772777B2 (en) | 2016-11-21 | 2016-11-21 | Information processing equipment and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6772777B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7085124B2 (en) * | 2018-04-27 | 2022-06-16 | トヨタ自動車株式会社 | Sulfide solid-state battery and sulfide solid-state battery system equipped with it |
| JP7430981B2 (en) * | 2018-12-18 | 2024-02-14 | コニカミノルタ株式会社 | Image processing device, image forming system, image forming device, control method, and computer program |
| JP2020129269A (en) * | 2019-02-08 | 2020-08-27 | コニカミノルタ株式会社 | Image forming device and display control method |
| JP7215254B2 (en) * | 2019-03-13 | 2023-01-31 | 株式会社リコー | Information processing device, display control method, and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07248891A (en) * | 1994-03-10 | 1995-09-26 | Fuji Facom Corp | Controlling method for multiwindow screen |
| JPH1049128A (en) * | 1996-08-06 | 1998-02-20 | Olympus Optical Co Ltd | Microscope image display system |
| JP2000112607A (en) * | 1998-10-09 | 2000-04-21 | Fujitsu Ltd | Method for controlling multi-window interface |
| JP2014157466A (en) * | 2013-02-15 | 2014-08-28 | Sony Corp | Information processing device and storage medium |
| JP6109103B2 (en) * | 2014-03-04 | 2017-04-05 | 三菱電機株式会社 | Plant monitoring screen display device |
| US10656773B2 (en) * | 2014-04-15 | 2020-05-19 | Rakuten, Inc. | Alternative presentation of occluded high-presence material within an ecommerce environment |
-
2016
- 2016-11-21 JP JP2016225623A patent/JP6772777B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018084851A (en) | 2018-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9626013B2 (en) | Imaging apparatus | |
| US10057482B2 (en) | Electronic camera, image display device, and storage medium storing image display program | |
| JP6772777B2 (en) | Information processing equipment and programs | |
| US8547468B2 (en) | Image pickup apparatus that shoots subject viewed through viewfinder, control method therefor, and storage medium | |
| JP5652652B2 (en) | Display control apparatus and method | |
| JP5906097B2 (en) | Electronic device, its control method, program, and recording medium | |
| JP2007184683A (en) | Image data processing apparatus and method | |
| JP5893456B2 (en) | Display control apparatus, control method therefor, program, and storage medium | |
| JP2014042164A (en) | Electronic apparatus, control method of the same, program, and recording medium | |
| JP6602361B2 (en) | Electronic device and control method thereof | |
| JP6873830B2 (en) | Display control device, its control method and program | |
| CN106250021B (en) | Photographing control method and mobile terminal | |
| JP5830564B2 (en) | Imaging apparatus and mode switching method in imaging apparatus | |
| JP2019109802A (en) | Display device, image processing device and program | |
| JP2011159180A (en) | Display control apparatus, display control method, program and storage medium | |
| US20120105660A1 (en) | Image producing apparatus | |
| JP5751775B2 (en) | Imaging apparatus, control method and program thereof, and recording medium | |
| JP7049179B2 (en) | Imaging control device and its control method, program and storage medium | |
| JP2018032075A (en) | Display control device and control method thereof | |
| JP6128919B2 (en) | Display control apparatus and control method thereof | |
| WO2018062181A1 (en) | Camera, camera display control method, and camera display control program | |
| JP2014207006A (en) | Display control unit, control method, program, and recording medium | |
| JPWO2018056010A1 (en) | Camera and display control method thereof | |
| JP5765364B2 (en) | Image processing apparatus, method for displaying preview image, and program | |
| JP2020161869A (en) | Electronic apparatus, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200914 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6772777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |