JP2014123179A - 情報処理装置、情報処理方法、見落し防止プログラム - Google Patents

Abstract

【課題】一側面によれば、文書の内容と表示位置との関係が変化する場合に重要情報の見落しを検出することが可能な情報処理装置を提供する。
【解決手段】画像処理部１５は、ドキュメントに対するユーザの視線の位置が、表示画面を複数に分割した視線領域のいずれに存在するかを示す視線情報を生成する。見落し判定部１６は、ドキュメントをオープンする指示を受け取った場合に、重要情報が視線領域のいずれに存在するかを示す重要情報の位置情報を定期的に取得し、視線情報を定期的に取得し、重要情報の位置情報と視線情報とに基づいて重要情報が確認されたか否かを判断し、ドキュメントをクローズする指示を受け取った場合に、重要情報が見落とされたことを表示処理部１１に通知して表示させる。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、見落し防止プログラムに関する。

情報処理装置は、ユーザが画面に表示された大量の電子メールや資料等の文書に含まれる重要な文章を見落とさないようにする手段を備える。例えば、メールソフトは、電子メールの文書に「重要」等のカテゴリを付加することにより、ユーザが重要なメールを読み落とすことを防止している。また、文書作成ソフトは、文書の重要部分を色や下線等により強調表示をすることで、ユーザの注意を喚起できるようにしている。

また、文書メモリに格納された文書情報に対して、要素抽出部が所定のキーワードを抽出し、文書編集処理部は、この抽出したキーワードについて彩色する等してキーワードを他と区別して見やすくし、視線検知処理部において視線が検出され、検出された視線がキーワード位置にあったかどうかが読み飛ばし検出部により判定され、視線がその表示範囲になかったキーワードについては、そのキーワードを読み飛ばしたとして、そのキーワードについて輝度を上昇させて警告を行うことが提案されている。

特開平１１−０２４５４９号公報

しかし、カテゴリの付加は重要な文書のファイルをユーザに開かせるだけであり、強調表示は当該個所を目立たせるだけである。従って、実際には、多忙なユーザが、文書の重要部分を見落しているケースも多い。

また、検出された視線がキーワード位置にあったかどうかを判定する方法は、ユーザの視線が同一文書を固定的に表示する画面内において文書の始点から終点に向けて移動することを前提としている。従って、ある文書を表示させて読んでいる途中で、他の文書を表示させて読むような場合には、重要部分を見落したか否かを判定することができない。これは、例えば、ある文書を読んでいた時にユーザの視線が他の文書の先頭に不連続に移動してしまうためである。例えば、ウェブページなどのように、ページ内に存在するアンカーにより他のページを参照しながら読む場合には対応できない。また、画面に対してのスクロール操作が行われた結果、表示される文書がスクロールして文書の内容と表示位置との関係が変化する場合には、重要部分を見落したか否かを判定することができない。

本発明は、一側面によれば、文書の内容と表示位置との関係が変化する場合に重要情報の見落しを検出することが可能な情報処理装置を提供することを目的とする。

情報処理装置は、一側面によれば、表示処理部と、画像処理部と、見落し判定部とを含む。表示処理部は、予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示する。画像処理部は、表示画面に表示されたドキュメントに対するユーザの視線の位置が、表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成する。見落し判定部は、ドキュメントをオープンする指示を受け取った場合に、重要情報が複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、視線情報を予め定められた第２の時間毎に取得し、複数の重要情報の位置情報と複数の視線情報とに基づいて重要情報が確認されたか否かを判断し、ドキュメントをクローズする指示を受け取った場合に、重要情報が見落とされたことを表示処理部に通知して表示させる。

情報処理装置は、一側面によれば、文書の内容と表示位置との関係が変化する場合に重要情報の見落しを検出することができる。

情報処理装置の一例を示す図である。 情報処理装置の構成の一例を示す図である。 情報処理装置の説明図である。 情報処理装置の説明図である。 情報処理装置の説明図である。 情報処理装置の説明図である。 情報処理装置の説明図である。 情報処理装置の説明図である。 情報処理装置の説明図である。 情報処理装置のハードウェア構成の説明図である。 表示処理フローである。 見落し防止処理フローである。 見落し防止処理フローである。 情報処理装置の説明図である。

図１は、情報処理装置の一例を示す図である。

情報処理装置は、例えばパーソナルコンピュータ、換言すれば、ＰＣであり、ＰＣ本体１と、表示装置２と、カメラ３と、キーボード４と、マウス５とを含む。表示装置２は、文書、換言すれば、ドキュメントや画像を表示する表示画面２４を含む。

ＰＣ本体１は、ＰＣの本体を収容する筐体である。表示装置２は、ＰＣ本体１とは別に設けられた表示装置の筐体であり、ＰＣ本体１と接続され、例えば、表示画面２４上に重要情報を含むドキュメントを表示する。カメラ３は、例えば、表示装置２において、表示画面２４の上部の中央に設けられる。キーボード４及びマウス５は、各々、ＰＣ本体１と接続される。

なお、情報処理装置は、図１に示すＰＣ本体１と表示装置２とが独立に設けられたデスクトップ型のＰＣ以外にも、キーボード装置の筐体と表示装置の筐体とが折り畳み可能に一体に設けられたノート型のＰＣ、キーボードを持たないタブレット型のＰＣ、又は、携帯電話機能及び通信機能を備えるスマートフォンのような情報処理端末であってもよい。

図２は、情報処理装置の構成の一例を示す図である。

情報処理装置は、ＰＣ本体１に設けられた、表示処理部１１と、ドキュメント記憶部１２と、メタデータ記憶部１３と、画面データ記憶部１４と、画像処理部１５と、見落し判定部１６と、通知部１７と、画面対応テーブル１９と、重要情報テーブル２０と、視線情報ログテーブル２１と、位置情報テーブル２２とを含む。また、情報処理装置１は、表示装置２と、カメラ３とを含む。

表示処理部１１は、ユーザにより入力装置からドキュメントをオープンする指示を受け取った場合に、ドキュメント記憶部１２に格納されたドキュメントのオープン処理を開始する。ドキュメント記憶部１２は、例えばドキュメントのメタデータをファイル形式で格納する。ドキュメントのメタデータは、予め定められた情報である重要情報を含む。

具体的には、表示処理部１１は、ドキュメントのオープンの指示において指定されたドキュメントのファイルをオープンし、オープンしたドキュメントのファイルから、ドキュメントのメタデータを読み込んで、読み込んだメタデータをメタデータ記憶部１３に格納する。メタデータ記憶部１３は、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述されたドキュメントのメタデータ１３Ａを格納する。

また、表示処理部１１は、読み込んだメタデータ１３Ａに基づいて表示用の画面データを生成して、生成した表示用の画面データを画面データ記憶部１４に格納する。画面データ記憶部１４は、実際に表示画面２４に表示される、表示用の画面データを格納する。この後、表示処理部１１は、生成した表示用の画面データを表示装置２の表示画面２４に表示する。これにより、ユーザの操作に合わせてドキュメントが表示装置２の表示画面２４に表示され、ユーザは、表示されたドキュメントを見る。この時、ユーザの視線がカメラ３で撮影される。表示されたドキュメントは、重要情報を含む。

更に、表示処理部１１は、ユーザにより入力装置からスクロールやアンカーのクリック等の画面の操作の指示を受け取った場合に、画面の操作の指示に従って、表示用の画面データを生成して、生成した表示用の画面データを画面データ記憶部１４に格納すると共に、生成した表示用の画面データを表示装置２の表示画面２４に表示する。これにより、ユーザの操作に合わせて、表示画面２４が更新される。

表示処理部１１は、ドキュメントをオープンする指示を受け取った場合に、見落し判定部１６を起動し、起動した見落し判定部１６に、ドキュメントをオープンする指示を受けた旨を通知する。見落し判定部１６は、ドキュメントをオープンする指示を受けた旨の通知を受けると、ドキュメントをクローズする指示を受け取った場合に、ドキュメントをクローズする指示を受けた旨を通知するように、表示処理部１１に対して依頼する。

一方、表示処理部１１は、ドキュメントの閲覧を終了したユーザにより入力装置からドキュメントをクローズする指示を受け取った場合に、見落し判定部１６の依頼に応じて、ドキュメントをクローズする指示を受けた旨を、見落し判定部１６に通知する。そして、表示処理部１１は、ドキュメントをクローズする指示を受け取った場合に、開始したクローズ処理を後述するサンプリング時間に相当する時間だけ停止し、その後、ドキュメントのファイルをクローズする。

また、表示処理部１１は、クローズ処理の停止中において、見落し判定部１６から重要情報が見落とされたことが通知された場合に、ユーザに対して、表示装置２の表示画面２４に、見落しメッセージをポップアップ表示する。そして、ポップアップ表示を見たユーザがドキュメントの閲覧を終了することを選択した場合、表示処理部１１は、ドキュメントのクローズ処理を再開して、ドキュメントのファイルをクローズする。一方、ユーザがドキュメントの閲覧を終了しないことを選択した場合、表示処理部１１は、ドキュメントをクローズする指示を破棄し、ドキュメントの表示を継続する。

画像処理部１５は、ドキュメントをオープンする指示を受け取った場合に、視線情報を生成する。具体的には、画像処理部１５は、表示処理部１１からドキュメントをオープンする指示を受けた旨を通知された場合に、視線情報を生成する。このため、表示処理部１１は、ドキュメントをオープンする指示を受け取った場合に、画像処理部１５にドキュメントをオープンする指示を受けた旨を通知する。なお、画像処理部１５は、ドキュメントをオープンする指示を受けたか否かに拘らず、視線情報を生成するようにしてもよい。

視線情報は、表示画面２４に表示されたドキュメントに対するユーザの視線の位置が、視線領域のいずれに存在するかを示す。視線領域は、表示画面２４を分割した領域である複数の領域である。視線情報及び視線領域については後述する。

見落し判定部１６は、表示処理部１１からドキュメントをオープンする指示を受けた旨を通知された場合に、ドキュメントのメタデータ１３Ａと、メタデータ１３Ａに基づいて生成されたドキュメント表示用の画面データとを、表示処理部１１から取得する。

そして、見落し判定部１６は、ドキュメントをオープンする指示を受け取った場合に、取得したドキュメントのメタデータ１３Ａから、重要情報を抽出して、重要情報テーブル２０を生成する。抽出される重要情報は、予め定められ、例えば、通常表示とは異なる表示がされる情報である。

また、見落し判定部１６は、ドキュメントをオープンする指示を受け取った場合に、表示画面２４に表示されている画像の画面データを、予め定められた第１の時間毎に取得する。そして、見落し判定部１６は、取得した表示画面２４に表示されている画像の画面データに基づいて画面対応テーブル１９を生成し、生成した画面対応テーブル１９に基づいて、重要情報が複数の視線領域のいずれに存在するかを示す重要情報の位置情報を、第１の時間毎に取得する。具体的には、見落し判定部１６は、第１の時間毎に取得した重要情報の位置情報を時系列に格納することにより、位置情報テーブル２２を生成する。換言すれば、位置情報テーブル２２は、見落し判定部１６により第１の時間毎に更新される。

また、見落し判定部１６は、ドキュメントをオープンする指示を受け取った場合に、視線情報を、予め定められた第２の時間毎に取得する。具体的には、見落し判定部１６は、第２の時間毎に取得した視線情報を時系列に格納することにより、視線情報ログテーブル２１を生成する。換言すれば、視線情報ログテーブル２１は、見落し判定部１６により第２の時間毎に更新される。

なお、実際には、第１の時間と第２の時間とは、等しくされる。等しくされた第１の時間と第２の時間をサンプリング時間という。見落し判定部１６は、位置情報テーブル２２と視線情報ログテーブル２１とを、サンプリング時間毎に更新する。

そして、見落し判定部１６は、複数の重要情報の位置情報と複数の視線情報とに基づいて重要情報が確認されたか否かを判断する。具体的には、見落し判定部１６は、位置情報テーブルに格納された重要情報の位置情報と、視線情報ログテーブル２１に格納された視線情報とに基づいて、重要情報が確認されたか否かを判断する。

見落し判定部１６は、ドキュメントをクローズする指示を受け取った場合に、重要情報が見落とされたことを、通知部１７に依頼して、表示処理部１１に通知して表示させる。具体的には、見落し判定部１６は、ドキュメントをクローズする指示を受け取った場合に、位置情報テーブルにおける重要情報についてのフラグに基づいて、重要情報が見落とされたことを、通知部１７に依頼して、表示処理部１１に通知して表示させる。

ドキュメントをクローズする指示を受け取らない場合でも、見落し判定部１６は、重要情報が表示画面２４の外部にあり、かつ、重要情報が見落とされている場合に、重要情報が見落とされたことを、通知部１７に依頼して、表示処理部１１に通知して表示させる。具体的には、見落し判定部１６は、重要情報が表示画面２４に存在しない場合、換言すれば、重要情報が表示画面２４の外部にある場合に、位置情報テーブル２２における重要情報の位置を画面外とし、位置情報テーブル２２において重要情報の位置が画面外であり、かつ、重要情報についてのフラグが重要情報が確認されていないことを示す場合に、重要情報が見落とされたことを、通知部１７に依頼して、表示処理部１１に通知して表示させる。

通知部１７は、見落し判定部１６からの依頼に応じて、重要情報が見落とされたことを、表示処理部１１に通知する。

なお、画面対応テーブル１９、重要情報テーブル２０、視線情報ログテーブル２１、位置情報テーブル２２については、後述する。

以下、図３を参照して、画像処理部１５における視線情報の処理について説明する。

図３は、情報処理装置の説明図であり、視線情報について示す。なお、図３は、ＰＣのユーザ６が表示装置２の表示画面２４に正対した状態を表すものとする。

例えば、ＰＣのユーザ６は、表示装置２の表示画面２４に表示されたドキュメント２５を見る。ドキュメント２５は、重要情報２６を含む。この時、ユーザ６の視線の位置は、ドキュメント２５上にある。そして、ユーザ６の視線の位置が重要情報２６上にあれば、ユーザ６が重要情報２６を確認したと考えられる。

ユーザ６は、表示装置２の表示画面２４に正対して、表示画面２４を見る。従って、表示装置２の表示画面２４の上部の中央に設けられたカメラ３は、ユーザ６を撮影することができる。カメラ３により撮影されたユーザ６の画像は、ユーザ６の顔を含む。換言すれば、カメラ３は、表示画面２４を見るユーザ６の顔を撮影して、ユーザ６の顔の画像を取得するように設定される。

カメラ３が撮影した画像は、画像処理部１５に送られる。画像処理部１５は、カメラ３が撮影したユーザ６の顔の画像を含む画像に基づいて、ユーザ６の視線の位置を表す視線情報を生成して、見落し判定部１６に送る。

例えば、画像処理部１５は、以下のようにして、視線情報を生成する。画像処理部１５は、カメラ３が撮影した画像を受け取ると、受け取った画像についてエッジ抽出処理を行い、例えばエッジ抽出の結果と顔の標準画像とを比較することにより、ユーザ６の顔を検出する。画像処理部１５は、顔の標準画像を予め保持する。なお、肌色の領域をユーザ６の顔として検出するようにしてもよい。次に、画像処理部１５は、例えばエッジ抽出の結果に基づいて、検出したユーザ６の顔における目の垂直方向の位置と水平方向の位置とを推定することにより、検出したユーザ６の顔の画像からユーザ６の目の画像を切り出す。

そして、画像処理部１５は、切り出した目の画像と当該画像の濃淡画像とに基づいて、切り出した目の画像における黒目の位置を、水平方向及び垂直方向について抽出する。この後、画像処理部１５は、抽出した黒目の水平方向及び垂直方向を、各々、黒目の水平方向標準パターン及び垂直方向標準パターンと比較することにより、黒目の方向、換言すれば、視線方向を検出する。

この後、画像処理部１５は、ユーザ６の目の空間座標位置（Ｘ’，Ｙ’，Ｚ’）を検出する。例えば、空間座標位置の座標Ｘ’及び座標Ｙ’は、カメラ３が撮影した２次元の画像におけるユーザ６の目の座標から、検出することができる。空間座標位置のＸ軸及びＹ軸は、図６におけるＸ軸及びＹ軸と同じ方向である。また、空間座標位置の座標Ｚ’は、検出したユーザ６の顔から、検出することができる。なお、空間座標位置の座標Ｚ’は、照射した光がユーザ６の顔等で反射して帰ってくるまでの時間に基づいて算出するようにしてもよい。

この後、画像処理部１５は、検出した視線方向と、ユーザ６の目の空間座標位置とに基づいて、視線の空間位置、換言すれば、視線の表示画面２４における位置を検出する。これにより、表示画面２４上におけるユーザ６の視線の位置を、視線の空間位置の座標Ｘ’及び座標Ｙ’として求めることができる。

この後、画像処理部１５は、求めた視線の空間位置の座標Ｘ’及び座標Ｙ’を、視線領域のＸ座標及びＹ座標に変換する。画像処理部１５は、変換した視線領域のＸ座標及びＹ座標を、視線情報として、見落し判定部１６に送る。

視線領域は、図６等を参照して後述するように、表示画面２４を予め定められた複数の領域に分割した領域である。視線領域のＸ座標及びＹ座標は、図６等を参照して後述するように、表示画面２４の分割に基づいて各々の視線領域に付与されたＸ軸方向の識別情報及びＹ軸方向の識別情報である。画像処理部１５は、表示画面２４を分割した個々の視線領域の範囲を示す情報である画面分割情報を予め保持し、画面分割情報を用いて、視線の空間位置の座標Ｘ’及び座標Ｙ’を、視線領域のＸ座標及びＹ座標に変換する。

例えば、視線領域のＸ座標及びＹ座標の単位距離は、視線の空間位置のＸ’ 座標及びＹ’ 座標の単位距離より十分に大きく、数１０倍程度である。このように、求めた視線の空間位置の座標は、より大きな単位距離で表される視線領域の座標に変換される。従って、詳細な視線情報を不要とすることができ、ユーザ６の目の空間座標位置（Ｘ’，Ｙ’，Ｚ’）の検出の計算量を少なくすることができ、求めた視線の空間位置の座標Ｘ’及び座標Ｙ’ の検出の計算量を少なくすることができる。

なお、画像処理部１５が、視線領域のＸ座標及びＹ座標に代えて、求めた視線の空間位置の座標Ｘ’及び座標Ｙ’を、見落し判定部１６に送るようにしてもよい。この場合、見落し判定部１６が、受け取った視線の空間位置の座標Ｘ’及び座標Ｙ’を変換することにより、視線領域のＸ座標及びＹ座標、換言すれば、視線情報を生成する。

視線情報は、以上に説明した手段には限られず、それ以外の種々の手段によって生成することができる。

例えば、画像ラボ、２０１０年１２月号、ｐ５７に掲載された「角膜反射を用いた三次元視線計測手法 リスティングの法則に基づく眼球の光軸と視軸の回転モデルによる視線推定」によって、視線情報を生成するようにしてもよい。また、近赤外光の反射角度や反射光の到達時間に基づいて、視線情報を生成するようにしてもよい。また、特開平８−３２２７９６号公報や特開平５−２０５０３０号公報に記載の手段に基づいて、視線情報を生成するようにしてもよい。

次に、図４〜図９を参照して、見落し判定部１６における見落し防止処理について説明する。

起動された見落し判定部１６は、前述したように、表示処理部１１からドキュメントオープン通知を受信すると、表示処理部１１からメタデータ１３Ａを取得し、取得したメタデータ１３Ａに基づいてドキュメントに含まれる重要情報を抽出し、抽出した重要情報を格納する重要情報テーブル２０を作成する。

図４は、情報処理装置の説明図であり、ドキュメントのメタデータ１３Ａの一例を示す。

ドキュメントのメタデータ１３Ａは、例えばＨＴＭＬで記述されたデータである。メタデータ１３Ａは、重要情報の記述を含む。重要情報は、例えば、ＨＴＭＬの場合、通常表示とは異なる表示の部分である。重要情報、換言すれば、通常表示とは異なる表示は、予め定められる。

通常表示とは異なる表示としては、「強調表示」「斜体表示」等がある。例えば、図４のメタデータ１３Ａにおいて、「ｘｘ会議室にて対策会議」は、強調表示のタグ「＜ＳＴＲＯＮＧ＞ 〜 ＜／ＳＴＲＯＮＧ＞」により囲まれているので、重要情報であり、強調表示される。「ｘｘ会議室にて対策会議」を重要情報ａということとする。また、「製品ラインナップ報告会」は、斜体表示のタグ「＜ＥＭ＞ 〜 ＜／ＥＭ＞」により囲まれているので、重要情報であり、斜体表示される。「製品ラインナップ報告会」を重要情報ｂということとする。ドキュメントに含まれる重要情報の数は、２個に限られず、１個でも３個以上でもよい。

なお、通常表示とは異なる表示には、「強調表示」「斜体表示」に限られず、他の種々の表示を含めるようにしてもよい。例えば、通常表示とは異なる表示に、周囲の文字色から変更がされる「彩色」等を含めるようにしてもよい。また、重要情報は、通常表示とは異なる表示の部分に限られず、他の種々の記述を含めるようにしてもよい。

また、重要情報は、通常表示とは異なる表示の部分に限られず、これ以外の情報であってもよい。例えば、特定のカテゴリに属するデータを、重要情報としてもよい。この場合、例えばカテゴリを表すタグに基づいて、重要情報を抽出することができる。

図５は、情報処理装置の説明図であり、図５（Ａ）は重要情報の一例を示し、図５（Ｂ）は表示画面の一例を示す。

図５（Ａ）は、重要情報テーブル２０に格納された重要情報の一例を示す。

重要情報テーブル２０に格納された重要情報は、図４のメタデータ１３Ａから抽出される。図４のメタデータ１３Ａは、前述したように、重要情報ａ及び重要情報ｂを含む。重要情報ａは、強調表示のタグで囲まれていたことを示す「＜強調表示＞」と共に、抽出され格納される。重要情報ｂは、斜体表示のタグで囲まれていたことを示す「＜斜体表示＞」と共に、抽出され格納される。

一方、表示処理部１１は、前述したように、読み込んだメタデータ１３Ａに基づいて表示用の画面データを生成して、生成した表示用の画面データを画面データ記憶部１４に格納し、生成した表示用の画面データを表示装置２の表示画面２４に表示する。表示画面２４の一部２４Ａには、メタデータ１３Ａに含まれる重要情報が含まれる。

図５（Ｂ）は、表示画面２４の一部２４Ａに表示された重要情報の一例を示す。

表示画面２４は、図４のメタデータ１３Ａに基づいて、生成される。表示画面２４において重要情報が表示された部分を、表示画面２４の一部２４Ａとして抜き出すと、図５(Ｂ)に示すような表示画面２４の一部２４Ａとなる。表示画面２４に表示された重要情報は、図４のメタデータにおける重要情報に基づいて生成される。

例えば、強調表示のタグ「＜ＳＴＲＯＮＧ＞ 〜 ＜／ＳＴＲＯＮＧ＞」により囲まれた重要情報ａは、例えば太字又はゴシック体により、強調表示されている。また、斜体表示のタグ「＜ＥＭ＞ 〜 ＜／ＥＭ＞」により囲まれた重要情報ｂは、斜体表示されている。

また、見落し判定部１６は、表示処理部１１から表示用の画面データを取得し、取得した表示用の画面データと重要情報テーブル２０の重要情報とに基づいて、画面対応テーブル１９を生成し、生成した画面対応テーブル１９に基づいて、取得した画面データにおける、換言すれば、その時点での重要情報の位置を抽出し、抽出した重要情報の位置に基づいて位置情報テーブル２２を作成又は更新する。

なお、図５（Ｂ）に示すドキュメントは横書きの文書であるが、見落し判定の対象は、横書きの文書に限られず、縦書きの文書についても同様に見落し判定を行うことができる。この場合、座標を９０°回転して、Ｘ座標を縦軸の座標とし、Ｙ座標を横軸の座標とすればよい。

図６は、情報処理装置の説明図であり、表示画面２４と、表示画面２４における重要情報の位置との関係を示す。

見落し判定部１６は、表示画面２４を分割した個々の視線領域の範囲を示す情報である画面分割情報を予め保持し、画面分割情報を用いて、表示画面２４を複数の視線領域に分割する。表示装置２の表示画面２４は、例えば、Ｘ軸方向に１０等分に分割され、かつ、Ｙ軸方向に１０等分に分割される。これにより、表示画面２４は、１００個の視線領域に分割される。換言すれば、視線領域は、表示画面２４を予め定められた複数の領域に分割した場合における、個々の領域である。各々の視線領域は、Ｘ１〜Ｘ１０のＸ座標と、Ｙ１〜Ｙ１０のＹ座標とを用いて一意に表わされる。これにより、重要情報がその時点で表示画面２４のどこに表示されているかを、視線領域を用いて表わすことができる。

なお、Ｘ軸方向の分割の数及びＹ軸方向の分割の数は、各々、１０に限られず、これ以外の値であってもよい。また、Ｘ軸方向の分割の数とＹ軸方向の分割の数とは、等しい値でなくともよい。

例えば、表示画面２４からその一部２４Ａを抜き出した時、図６に示すように、重要情報ａが、複数の視線領域に表示されているとする。この場合、例えば、重要情報ａの一部である重要情報ａ−１が座標（Ｘ５，Ｙ３）の視線領域に表示され、重要情報ａの他の一部である重要情報ａ−２が座標（Ｘ６，Ｙ３）の視線領域に表示されている。換言すれば、重要情報ａ−１が座標（Ｘ５，Ｙ３）の視線領域に対応し、重要情報ａ−２が座標（Ｘ６，Ｙ３）の視線領域に対応する。重要情報と視線領域との対応を示す情報を画面対応情報という。

これにより、重要情報ａがその時点で表示画面２４のどこに表示されているかが、視線領域を用いた画面対応情報により特定される。重要情報ｂについても、同様に、その時点で表示画面２４のどこに表示されているかが、視線領域を用いた画面対応情報により特定される。

表示画面２４における重要情報の表示の位置、換言すれば、視線領域を用いた画面対応情報は、図６に示すように、画面対応テーブル１９に格納される。なお、図６の画面対応テーブル１９は、視線領域を用いた画面対応情報を、概念的に表わしたものである。実際には、画面対応テーブル１９は、視線領域を用いた画面対応情報を格納する。例えば、重要情報ａに対して、座標（Ｘ５，Ｙ３）の視線領域と、座標（Ｘ６，Ｙ３）の視線領域とが対応付けられる。これにより、重要情報ａが、その時点で、座標（Ｘ５，Ｙ３）及び座標（Ｘ６，Ｙ３）の複数の視線領域に表示されていることが表わされる。重要情報ｂについても、同様である。

画面対応テーブル１９は、現時点における表示画面２４における重要情報の表示の位置を、視線領域用いた画面対応情報により示す。画面対応テーブル１９に基づいて、位置情報テーブル２２が作成され更新される。なお、画面対応テーブル１９を省略して、位置情報テーブル２２を作成し更新するようにしてもよい。

また、見落し判定部１６は、画像処理部１５からユーザ６の視線情報を取得し、取得した視線情報に基づいて視線情報ログテーブル２１を作成又は更新する。

図７は、情報処理装置の説明図であり、視線情報ログテーブル２１に格納された視線情報の一例を示す。

視線情報ログテーブル２１は、複数の視線情報を含む。複数の視線情報は、先頭から順に時系列に並べられる。１個の視線情報は、時刻と、位置情報とを含む。例えば、図７における先頭の視線情報は、時刻「時刻１」と、位置情報「Ｘ＝６，Ｙ＝５」とを含む。時刻は、その視線情報が取得された時刻を示す。位置情報は、その視線情報で表わされる視線の位置を示す。視線の位置は、視線領域のＸ座標及びＹ座標により表わされる。視線の位置は、視線が表示画面２４の外部にある場合には、「画面外」とされる。従って、視線情報ログテーブル２１は、その視線情報が取得された時刻と、その視線情報で表わされる視線の位置を示す位置情報であって視線領域の座標により表わされた位置情報とを含む。

そして、見落し判定部１６は、視線情報ログテーブル２１の視線情報と位置情報テーブル２２の位置情報とに基づいて、ユーザ６が重要情報を確認したか否かを判別する。

図８は、情報処理装置の説明図であり、表示画面２４における重要情報の位置と、視線情報との関係を示す。

例えば、時刻Ｔ１において、表示画面２４の一部２４Ａに着目する。なお、例えば、時刻Ｔ１における表示画面２４の一部２４Ａを、表示画面２４Ａ（Ｔ１）と表わす。表示画面２４Ａ（Ｔ１）において、図８に示すように、重要情報ａが複数の視線領域に表示されており、かつ、視線情報は視線の位置が領域Ｒ１にあることを示しているとする。視線が存在する領域Ｒ１は、Ｘ座標及びＹ座標を用いた視線領域により表わされる。例えば、重要情報ａが座標（Ｘ５，Ｙ３）及び座標（Ｘ６，Ｙ３）の複数の視線領域に表示されているとすると、領域Ｒ１は、座標（Ｘ４，Ｙ３）の視線領域として表わされる。

この後、時刻が、Ｔ２、Ｔ３、Ｔ４の順に経過する。この時、表示画面２４Ａ（Ｔ２，Ｔ３，Ｔ４）において、重要情報ａが表示されている視線領域には、変化がないものとする。なお、表示画面２４Ａ（Ｔ２，Ｔ３，Ｔ４）は、表示画面２４Ａ（Ｔ２）と、表示画面２４Ａ（Ｔ３）と、表示画面２４Ａ（Ｔ４）とを合わせて示した図である。

時刻Ｔ１後の時刻Ｔ２における表示画面２４Ａ（Ｔ２）において、図８に示すように、視線情報は、視線の位置が領域Ｒ２にあることを示しているとする。更に、視線情報は、時刻Ｔ２後の時刻Ｔ３における表示画面２４Ａ（Ｔ３）において視線の位置が領域Ｒ３にあることを示し、時刻Ｔ３後の時刻Ｔ４における表示画面２４Ａ（Ｔ４）において視線の位置が領域Ｒ４にあることを示しているとする。この場合、ＰＣのユーザ６の視線は、重要情報ａの左側から重要情報ａの先頭に達し、重要情報ａの表示された座標（Ｘ５，Ｙ３）及び座標（Ｘ６，Ｙ３）の視線領域を移動し、重要情報ａの右側へと移動したことになる。従って、ＰＣのユーザ６が重要情報ａを確認したと判断することができる。

なお、実際には、ＰＣのユーザ６の視線は、時刻Ｔ１〜Ｔ４毎に、個々の視線領域を移動するものではない。

図９は、情報処理装置の説明図であり、位置情報テーブル２２に格納された重要情報の位置情報の一例を示す。

位置情報テーブル２２は、複数の重要情報の位置情報を含む。複数の重要情報の位置情報は、先頭から順に矢印の方向に時系列に並べられる。図９において、１個の重要情報の位置情報を実線で囲んで示す。１個の重要情報の位置情報は、時刻と、重要情報と、重要情報の各々についての位置情報及びフラグとを含む。例えば、図９における先頭の重要情報の位置情報は、時刻「時刻１」と、複数の重要情報「ａ」及び「ｂ」と、重要情報「ａ」についての位置情報「Ｘ＝１，Ｙ＝１」及びフラグ「未確認」と、重要情報「ｂ」についての位置情報「Ｘ＝４，Ｙ＝１」及びフラグ「未確認」とを含む。

時刻は、その重要情報の位置情報が取得された時刻を示す。重要情報は、そのドキュメントに含まれる重要情報であり、実際には、重要情報の名前「ａ」「ｂ」等により表わされる。重要情報の数は１個であっても複数であってもよい。重要情報についての位置情報は、重要情報の位置を示す。重要情報の位置は、視線領域のＸ座標及びＹ座標により表わされる。重要情報の位置は、重要情報が表示画面２４の外部にある場合には、「画面外」とされる。重要情報についてのフラグは、重要情報が確認されたか否かを示し、「未確認」又は「確認済」のいずれかとされる。「未確認」は重要情報が確認されていないことを示し、「確認済」は重要情報が確認されたことを示す。従って、位置情報テーブル２２は、その重要情報の位置情報が取得された時刻と、各々の重要情報の位置であって、視線領域の座標により表わされた位置と、重要情報が確認されたか否かを示す重要情報についてのフラグとを含む。

時刻は、予め定められた時間間隔とされる。位置情報テーブル２２は、ドキュメントに含まれる全ての重要情報について、重要情報の位置情報を格納する。重要情報は、あるドキュメントがオープンされている期間中、変化することはない。重要情報の位置情報は、表示画面２４についてのスクロール等の画面操作や、ドキュメントｂに埋め込まれたアンカーのクリックによる他のドキュメントの参照等に応じて、その都度変化する。重要情報についてのフラグの初期値は「未確認」とされ、ユーザ６による重要情報の確認の検出に応じて「確認済」へ変化する。

そして、見落し判定部１６は、ドキュメントクローズ通知を受信した場合、各々の重要情報に対して見落しがないか否かを判断する。見落し判定部１６は、各々の重要情報に対して見落しがない場合、各々の重要情報が確認されたことを示す確認済み履歴を保存する。これにより、各々の重要情報が確認されたことを確認することができる。

また、見落し判定部１６は、各々の重要情報のいずれかに対して見落しがある場合、表示処理部１１を介して、ユーザ６に対して見落しメッセージをポップアップ表示する。これにより、重要情報の見落しがあった場合に、これを検出してユーザ６に通知することができる。従って、情報収集におけるユーザ６の利便性を大幅に向上することができる。また、ユーザ６が大量のドキュメントを閲覧する場合において、情報収集におけるユーザ６の負担を大幅に軽減することができる。

また、見落し判定部１６は、各々の重要情報に対して見落しがあることを示す見落し履歴を保存する。これにより、１日の業務中に定期的に、又は、１日の業務の終了後に、又は、見落しがあったことにユーザ６が気付いた場合に、見落した重要情報を確認することができ、情報収集におけるユーザ６の利便性を大幅に向上することができる。

図１０は、情報処理装置のハードウェア構成の説明図である。

ＣＰＵ１０１は、システムコントローラ１０２を介して、主記憶装置１０３と接続される。ＣＰＵ１０１は、システムコントローラ１０２を介して、主記憶装置１０３上に常駐する制御プログラムであるＯＳを実行し、コンピュータを制御する。ＣＰＵ１０１は、システムコントローラ１０２を介して、主記憶装置１０３上のアプリケーションプログラムを実行する。これにより、表示処理部１１、画像処理部１５、見落し判定部１６、通知部１７が実現される。アプリケーションプログラムは、例えば、ＣＤ−ＲＯＭやＤＶＤ等の記録媒体に格納され、記録媒体からＣＤ−ＲＯＭドライブやＤＶＤドライブ等を介してハードディスク１０７に入力され、ハードディスク１０７から主記憶装置１０３にロードされる。

システムコントローラ１０２には、バス１１０が接続される。バス１１０には、表示装置１０４、出力装置１０５、ハードディスク１０７、入力装置１０８、カメラ１０９が接続される。換言すれば、ＣＰＵ１０１は、システムコントローラ１０２及びバス１１０を介して、表示装置１０４、出力装置１０５、ハードディスク１０７、入力装置１０８、カメラ１０９に接続される。

ドキュメント記憶部１２、メタデータ格納部１３、画面データ記憶部１４、画面対応テーブル１９、重要情報テーブル２０、視線情報ログテーブル２１、位置情報テーブル２２は、例えばハードディスク１０７に設けられる。データは、必要に応じてハードディスク１０７から主記憶装置１０３にロードされ処理される。

表示装置１０４は、表示装置２等である。カメラ１０９は、カメラ３である。入力装置１０８は、例えばキーボード４、マウス５等を含む。出力装置１０５は、例えばスピーカ、プリンタ等の出力装置を含む。なお、実際は、カメラ１０９は入力装置の一種であり、表示装置１０４は出力装置の一種である。

図１１は、表示処理フローである。

表示処理部１１は、ユーザ６がドキュメントのオープンを指示すると、ドキュメントをオープンする指示を受けた旨を見落し判定部１６に通知し、ドキュメント記憶部１２に格納されたドキュメントのオープン処理を開始して該当するドキュメントをオープンし（ステップＳ１１）、オープンしたドキュメントのメタデータを読み込み（ステップＳ１２）、読み込んだメタデータをメタデータ記憶部１３に格納する。

そして、表示処理部１１は、読み込んだメタデータ１３Ａに基づいて表示用の画面データを生成して（ステップＳ１３）、生成した表示用の画面データを画面データ記憶部１４に格納する。この後、表示処理部１１は、生成した表示用の画面データを表示装置２に表示することにより、ドキュメントを表示する（ステップＳ１４）。これにより、ドキュメントが表示装置２の表示画面２４に表示され、表示されたドキュメントを見るユーザ６の視線がカメラ３で撮影される。

この後、表示処理部１１は、ユーザ６がドキュメントのクローズを指示すると、その時点でオープンしているドキュメントのクローズ処理を開始し、ドキュメントをクローズする指示を受けた旨を見落し判定部１６に通知する（ステップＳ１５）。この後、表示処理部１１は、クローズ処理の完了前に開始したクローズ処理を一時的に停止する（ステップＳ１６）。一時的に停止する時間は、第１の時間及び第２の時間に相当する時間、換言すれば、重要情報の位置情報を取得し視線情報を取得するサンプリング時間である。表示処理部１１は、クローズ処理の停止中に、クローズ処理の再開の通知を受け取ると、開始したクローズ処理を再開して最後まで実行して、該当するドキュメントをクローズする（ステップＳ１７）。

図１２は、見落し防止処理フローである。

見落し判定部１６は、表示処理部１１からドキュメントオープン通知を受信すると（ステップＳ２１）、表示処理部１１からメタデータ１３Ａを取得し（ステップＳ２２）、取得したメタデータ１３Ａに基づいて、重要情報のテーブルである重要情報テーブル２０を作成する（ステップＳ２３）。

また、見落し判定部１６は、表示処理部１１から表示用の画面データを取得し（ステップＳ２４）、取得した表示用の画面データを解析することにより、位置情報テーブル２２に位置情報を１行追加する（ステップＳ２５）。

この後、見落し判定部１６は、最新の重要情報の各要素の位置が「画面外」の場合、最新の重要情報から１つ前の重要情報の各要素の位置が「画面外」でなければ、最新の重要情報がスクロールアウトされたものとして、表示処理部１１を介して、ユーザ６に対して見落しメッセージをポップアップ表示する（ステップＳ２６）。これにより、例えば、ユーザ６が確認済みでない重要情報がスクロールアウトされた場合に、これを検出してユーザ６に通知して、スクロールアウトされた重要情報がそのまま見落とされることを防止することができる。従って、情報収集におけるユーザ６の利便性を大幅に向上することができる。また、ユーザ６が大量のドキュメントを閲覧する場合において、情報収集におけるユーザ６の負担を大幅に軽減することができる。

この後、見落し判定部１６は、画像処理部１５からユーザ６の視線情報を取得し、視線情報ログテーブル２１に視線情報を１行追加する（ステップＳ２７）。そして、見落し判定部１６は、視線情報ログテーブル２１の視線情報と位置情報テーブル２２の位置情報とに基づいて、ユーザ６が重要情報を確認したか否かを判別する（ステップＳ２８）。ステップＳ２８については、図１３を参照して後述する。

見落し判定部１６は、判別の結果、ユーザ６が重要情報を確認済みである場合（ステップＳ２９ Ｙｅｓ）、ステップＳ２４を繰り返す。また、見落し判定部１６は、判別の結果、ユーザ６が重要情報を確認済みでない場合（ステップＳ２９ Ｎｏ）、ドキュメントクローズ通知の受信を待つ（ステップＳ２１０）。

この後、見落し判定部１６は、予め定められた時間だけドキュメントクローズ通知の受信を待ってもドキュメントクローズ通知を受信しない場合には（ステップＳ２１１ Ｎｏ）、ステップＳ２４を繰り返す。また、見落し判定部１６は、予め定められた時間内にドキュメントクローズ通知を受信した場合（ステップＳ２１１ Ｙｅｓ）、各々の重要情報に対して見落しがないか否かを判断する（ステップＳ２１２）。

見落し判定部１６は、各々の重要情報に対して見落しがない場合（ステップＳ２１２ Ｙｅｓ）、各々の重要情報が確認されたことを示す確認済み履歴を保存し（ステップＳ２１３）、クローズ処理の再開を表示処理部１１に通知する。

また、見落し判定部１６は、各々の重要情報のいずれかに対して見落しがある場合（ステップＳ２１２ Ｎｏ）、表示処理部１１を介して、ユーザ６に対して見落しメッセージをポップアップ表示し（ステップＳ２１４）、クローズ処理の再開を表示処理部１１に通知する。

また、見落し判定部１６は、ステップＳ２１４において、各々の重要情報に対して見落しがあることを示す見落し履歴を保存する。

図１３は、見落し防止処理フローであり、図１２のステップＳ２８における処理の詳細を示す。

見落し判定部１６は、第１の時刻Ｂの視線位置と、第２の時刻Ｂの要素ａと要素ｂの位置とが同じか否かを判断する（ステップＳ３１）。換言すれば、位置情報テーブル２２の最新の、換言すれば、最下行の重要情報の位置情報と、視線情報ログテーブル２１の最新の、換言すれば、視線情報とが比較され、同じ位置にあるか否かが判断される。なお、時刻Ｂは、図７及び図９における時刻Ｂである。

第１の時刻Ｂの視線位置と第２の時刻Ｂの要素の位置とが同じである場合（ステップＳ３１ Ｙｅｓ）、見落し判定部１６は、後述するステップＳ３７を実行する。

第１の時刻Ｂの視線位置と第２の時刻Ｂの要素の位置とが同じでない場合（ステップＳ３１ Ｎｏ）、見落し判定部１６は、第１の時刻Ｂ−１の視線位置と、第２の時刻Ｂ−１の要素ａと要素ｂの位置とが同じか否かを判断する（ステップＳ３２）。換言すれば、ステップＳ３１で使用した最新から１つ前の重要情報の位置情報と、最新から１つ前の視線情報とが比較され、同じ位置にあるか否かが判断される。これにより、重要情報から視線の位置が外れたタイミングで、重要情報が確認されたか否かが判断される。

第１の時刻Ｂ−１の視線位置と第２の時刻Ｂ−１の要素の位置とが同じでない場合（ステップＳ３２ Ｎｏ）、見落し判定部１６は、後述するステップＳ３７を実行する。

第１の時刻Ｂ−１の視線位置と第２の時刻Ｂ−１の要素の位置とが同じである場合（ステップＳ３２ Ｙｅｓ）、見落し判定部１６は、同じ位置にあった重要情報の上にあり続けた視線情報と、その１つ前までの視線情報とを視線情報ログテーブル２１から取得する（ステップＳ３３）。例えば、図７及び図９の例において、時刻Ａから時刻Ｂまでの視線情報と、重要情報の位置情報が該当する。

なお、このように、重要情報から視線の位置が外れたタイミングで、視線情報ログテーブル２１が使用される。これにより、重要情報を見ている途中で視線の位置が外れることがあるので、重要情報に視線の位置が合わさったタイミングではなく、重要情報から視線の位置が外れたタイミングで判定を行うことができる。

この後、見落し判定部１６は、取得したテーブルの先頭の視線位置と重要情報の要素の位置を比較し、視線の方が左側にあるか否かを判断する（ステップＳ３４）。換言すれば、見落し判定部１６は、視線の位置が、重要情報を左から右に横切ったか否かを判断する。具体的には、視線の位置が表示画面２４の重要情報がある視線領域と重なる一つ以上前のサンプリング時間において、視線の位置が表示画面２４の重要情報がある視線領域の左側にあった否かが判断される。また、視線の位置が表示画面２４の重要情報が表示されている視線領域から離れた際のサンプリング時間において、視線の位置が表示画面２４の重要情報がある視線領域の右側にあったか否かが判断される。例えば、図７及び図９の例において、時刻Ａの視線情報のＸ座標と、重要情報ｂの時刻ＡのＸ座標とを比較した場合に、重要情報ｂのＸ座標の値の方が大きいか否かが判断される。

視線の位置が左側にない場合（ステップＳ３４ Ｎｏ）、見落し判定部１６は、後述するステップＳ３７を実行する。

視線の位置が左側にある場合（ステップＳ３４ Ｙｅｓ）、見落し判定部１６は、抜き出した視線情報ログテーブルの先頭の時刻データから最新の時刻データ間で予め定められた時間が経過したか否かを判断する（ステップＳ３５）。例えば、図７及び図９の例において、時刻Ａから時刻Ｂの間において、予め定められた時間が経過したかが判断される。換言すれば、見落し判定部１６は、予め定められた期間、ユーザ６の視線が１個の視線領域に留まったか否かを判断する。具体的には、例えば、文字列の長さに比例した期間、視線の位置が表示画面２４の重要情報がある視線領域と重なっていたか否かが判断される。又は、重要情報が複数の視線領域に跨る場合に、全ての視線領域に視線の位置が重なったか否かが判断される。

予め定められた時間が経過しない場合（ステップＳ３５ Ｎｏ）、見落し判定部１６は、後述するステップＳ３７を実行する。

予め定められた時間が経過した場合（ステップＳ３５ Ｙｅｓ）、見落し判定部１６は、対象となる重要情報を確認したものと判定して、最新の位置情報テーブル２２のフラグを、「確認済」に変更する（ステップＳ３６）。換言すれば、ユーザが重要情報を予め定められた時間以上見た場合である。

ステップＳ３１において第１の時刻Ｂの視線位置と第２の時刻Ｂの要素の位置とが同じである場合、ステップＳ３２において第１の時刻Ｂ−１の視線位置と第２の時刻Ｂ−１の要素の位置とが同じでない場合、ステップＳ３４において視線の方が左側にない場合、及び、ステップＳ３５において予め定められた時間が経過しない場合、見落し判定部１６は、対象となる重要情報を「未確認」と判定する（ステップＳ３７）。

図１４は、情報処理装置の説明図である。

図１４（Ａ）は、図１２のステップＳ２１４においてポップアップ表示される、ユーザ６に対する見落しメッセージの一例を示す。重要情報が表示画面２４に表示されたドキュメント２５に含まれているにも拘らず、ドキュメントクローズ通知を受け取った時点で、重要情報が見落とされているとする。この場合、ステップＳ２１４の処理により、ユーザ６がドキュメントを閉じる時点で、重要情報についての見落しメッセージ２７が、表示画面２４に表示される。これにより、ユーザ６は、重要情報の見落しを知ることができ、重要情報を確認することができる。

図１４（Ｂ）は、図１２のステップＳ２１４においてポップアップ表示される、ユーザ６に対する見落しメッセージの他の一例を示す。この場合、ステップＳ２１４の処理により、図１４（Ａ）の例に代えて、ユーザ６がドキュメントを閉じる時点で、重要情報についての見落しボタン２８が、表示画面２４に表示される。ユーザ６が見落しボタン２８をクリックすると、ユーザ６が見落した重要情報２９が色の付加、下線の付加、ゴシック等により強調表示される。これにより、ユーザ６は、重要情報の見落しを知ることができ、重要情報を確認することができる。

なお、見落しボタン２８は、ユーザ６がドキュメントを閉じる時点に限らず、例えばユーザ６が重要情報を見落した時点で表示するようにしてもよい。

図１４（Ｃ）は、図１２のステップＳ２６においてポップアップ表示される、ユーザ６に対する見落しメッセージの一例を示す。図１４（Ｃ）に示すように、重要情報３０が、表示画面２４に表示されたドキュメント２５に含まれている。表示画面２４においてドキュメント２５がスクロールされることにより、重要情報３０が表示画面２４から部分的にスクロールアウトして欠けてしまう。この場合、ステップＳ２６の処理により、重要情報３０についての見落しメッセージ３１が、表示画面２４に表示される。これにより、ユーザ６は、重要情報３０の見落しを知ることができ、重要情報３０を確認することができる。

以上の説明から理解されるように、以下のような実施の態様が把握される。

（付記１） 予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示する表示処理部と、
前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成する画像処理部と、
前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断し、前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる見落し判定部とを含む
ことを特徴とする情報処理装置。

（付記２） 前記見落し判定部は、前記第１の時間毎に取得した前記重要情報の位置情報を時系列に格納することにより位置情報テーブルを生成し、前記第２の時間毎に取得した前記視線情報を時系列に格納することにより視線情報ログテーブルを生成し、前記位置情報テーブルに格納された前記重要情報の位置情報と前記視線情報ログテーブルに格納された前記視線情報とに基づいて、前記重要情報が確認されたか否かを判断する
ことを特徴とする付記１に記載の情報処理装置。

（付記３） 前記位置情報テーブルは、その重要情報の位置情報が取得された時刻と、各々の重要情報の位置であって、前記視線領域の座標により表わされた位置と、前記重要情報が確認されたか否かを示す前記重要情報についてのフラグとを含む
ことを特徴とする付記２に記載の情報処理装置。

（付記４） 前記見落し判定部は、前記重要情報が前記表示画面の外部にある場合に、前記位置情報テーブルにおける前記重要情報の位置を画面外とし、前記位置情報テーブルにおいて前記重要情報の位置が画面外であり、かつ、前記重要情報についてのフラグが前記重要情報が確認されていないことを示す場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる
ことを特徴とする付記３に記載の情報処理装置。

（付記５） 前記見落し判定部は、前記ドキュメントをクローズする指示を受け取った場合に、前記位置情報テーブルにおける前記重要情報についてのフラグに基づいて、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる
ことを特徴とする付記３に記載の情報処理装置。

（付記６） 前記視線情報ログテーブルは、その視線情報が取得された時刻と、その視線情報で表わされる視線の位置を示す位置情報であって、前記視線領域の座標により表わされた位置情報とを含む
ことを特徴とする付記２に記載の情報処理装置。

（付記７） 前記第１の時間と前記第２の時間とが等しく、
前記見落し判定部は、前記位置情報テーブルと前記視線情報ログテーブルとを、前記第１及び第２の時間毎に更新する
ことを特徴とする付記２に記載の情報処理装置。

（付記８） 前記表示処理部は、前記ドキュメントをオープンする指示を受け取った場合に、前記ドキュメントをオープンする指示を受けた旨を、前記見落し判定部に通知する
ことを特徴とする付記１に記載の情報処理装置。

（付記９） 前記見落し判定部は、前記表示処理部から前記ドキュメントをオープンする指示を受けた旨を通知された場合に、前記ドキュメントのメタデータと前記メタデータに基づいて生成された前記ドキュメント表示用の画面データとを前記表示処理部から取得し、前記表示画面に表示されている画像の画面データを前記第１の時間毎に取得する
ことを特徴とする付記８に記載の情報処理装置。

（付記１０） 前記表示処理部は、前記ドキュメントをクローズする指示を受け取った場合に、前記ドキュメントをクローズする指示を受けた旨を、前記見落し判定部に通知する
ことを特徴とする付記１に記載の情報処理装置。

（付記１１） 前記表示処理部は、前記ドキュメントをオープンする指示を受け取った場合に、前記ドキュメントのファイルをオープンして、オープンした前記ドキュメントを前記表示画面に表示する
ことを特徴とする付記１に記載の情報処理装置。

（付記１２） 前記画像処理部は、前記ドキュメントをオープンする指示を受け取った場合に、前記視線情報を生成する
ことを特徴とする付記１に記載の情報処理装置。

（付記１３） 前記見落し判定部は、前記重要情報が前記表示画面の外部にあり、かつ、前記重要情報が見落とされている場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる
ことを特徴とする付記１に記載の情報処理装置。

（付記１４） 前記第１の時間と前記第２の時間とが等しく、
前記表示処理部は、前記ドキュメントをクローズする指示を受け取った場合に、開始したクローズ処理を前記第１及び第２の時間に相当する時間だけ停止した後に、前記ドキュメントのファイルをクローズする
ことを特徴とする付記１に記載の情報処理装置。

（付記１５） 表示処理部が、予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示し、
画像処理部が、前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成し、
見落し判定部が、前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断し、
見落し判定部が、前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる
ことを特徴とする情報処理方法。

（付記１６） 見落し防止プログラムであって、
コンピュータに、
予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示する処理と、
前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成する処理と、
前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断する処理と、
前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを表示させる処理とを、実行させる
ことを特徴とする見落し防止プログラム。

（付記１７） コンピュータに、
予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示する処理と、
前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成する処理と、
前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断する処理と、
前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを表示させる処理とを、実行させる見落し防止プログラムを記録した
ことを特徴とする記録媒体。

１ ＰＣ本体
２ 表示装置
３ カメラ
１１ 表示処理部
１２ ドキュメント記憶部
１３ メタデータ記憶部
１４ 画面データ記憶部
１５ 画像処理部
１６ 見落し判定部
１７ 通知部
１９ 画面対応テーブル
２０ 重要情報テーブル
２１ 視線情報ログテーブル
２２ 位置情報テーブル
２４ 表示画面

Claims (7)

1. 予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示する表示処理部と、
   前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成する画像処理部と、
   前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断し、前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる見落し判定部とを含む
   ことを特徴とする情報処理装置。
2. 前記見落し判定部は、前記第１の時間毎に取得した前記重要情報の位置情報を時系列に格納することにより位置情報テーブルを生成し、前記第２の時間毎に取得した前記視線情報を時系列に格納することにより視線情報ログテーブルを生成し、前記位置情報テーブルに格納された前記重要情報の位置情報と前記視線情報ログテーブルに格納された前記視線情報とに基づいて、前記重要情報が確認されたか否かを判断する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の時間と前記第２の時間とが等しく、
   前記見落し判定部は、前記位置情報テーブルと前記視線情報ログテーブルとを、前記第１及び第２の時間毎に更新する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記見落し判定部は、前記重要情報が前記表示画面の外部にあり、かつ、前記重要情報が見落とされている場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記第１の時間と前記第２の時間とが等しく、
   前記表示処理部は、前記ドキュメントをクローズする指示を受け取った場合に、開始したクローズ処理を前記第１及び第２の時間に相当する時間だけ停止した後に、前記ドキュメントのファイルをクローズする
   ことを特徴とする請求項１に記載の情報処理装置。
6. 表示処理部が、予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示し、
   画像処理部が、前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成し、
   見落し判定部が、前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断し、
   見落し判定部が、前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを前記表示処理部に通知して表示させる
   ことを特徴とする情報処理方法。
7. 見落し防止プログラムであって、
   コンピュータに、
   予め定められた情報である重要情報を含むドキュメントを表示装置の表示画面に表示する処理と、
   前記表示画面に表示された前記ドキュメントに対するユーザの視線の位置が、前記表示画面を分割した領域である複数の視線領域のいずれに存在するかを示す視線情報を生成する処理と、
   前記ドキュメントをオープンする指示を受け取った場合に、前記重要情報が前記複数の視線領域のいずれに存在するかを示す重要情報の位置情報を予め定められた第１の時間毎に取得し、前記視線情報を予め定められた第２の時間毎に取得し、複数の前記重要情報の位置情報と複数の前記視線情報とに基づいて前記重要情報が確認されたか否かを判断する処理と、
   前記ドキュメントをクローズする指示を受け取った場合に、前記重要情報が見落とされたことを表示させる処理とを、実行させる
   ことを特徴とする見落し防止プログラム。

Images