JP2020190851A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】短時間しか表示されないポップアップでは、ユーザーがメッセージの存在を認識しないことがあり、未読のメールを見落とすおそれがあった。【解決手段】クライアントＰＣ２は、メッセージを視認するユーザー１の操作画面４０における目線の位置を表す目線座標を取得する目線座標取得部２１と、メッセージ受信部１４によりメッセージが受信されたことを、操作画面４０に設けたポップアップ６０に所定期間内だけ通知する受信通知部１６と、ポップアップ６０の内側に、目線座標が含まれる場合に、ポップアップ６０に通知されたメッセージに対して、ユーザー１がメッセージを認識したことを示す認識情報を付してメッセージを管理するメッセージ管理部１５と、操作画面４０に設けた閲覧画面５０に、認識情報の有無に合わせた表示形態でメッセージを表示する閲覧表示部１７と、を備える。【選択図】図２

Description

本発明は、情報処理装置及びプログラムに関する。

メールやコミュニケーションツールは、他者からメッセージを受信すると、ポップアップウィンドウ（以下、「ポップアップ」と略称する）などで新しいメッセージを受信したことをユーザに通知する機能を持つ。ポップアップには、新しいメッセージの件名などが書いてあることが多い。ユーザーは、ポップアップを見ることで、新たにメッセージが受信された、という認識が生まれる。また、ユーザーは、ポップアップに表示された件名や送信元を見ることで、メッセージが重要であるか否かを判断しやすい。そして、ユーザーは、重要と判断したメッセージであれば、すぐにメッセージの内容を確認する操作を行い、重要ではないと判断したメッセージであれば、メッセージの確認操作を後回しにするといった対応をとることができる。

特許文献１には、受信メールボックス（受信メール保管場所）を一覧表示する前に、有効期限の近い配信メールの題名を強調して一定時間表示し、ユーザに注意喚起する技術が開示されている。

特開２０１５−５６１１６号公報

ところで、ポップアップは短時間だけ表示された後、消えてしまう仕様とされることが多い。ユーザーが常に画面を見ていれば表示されたポップアップを認識することができる。しかし、ユーザーが、画面を見ていなければ、ポップアップが表示されたことすら気づかない。また、ポップアップが表示された箇所とは違う箇所をユーザーが見ていれば、ポップアップの表示内容を認識しないこともある。ユーザーがポップアップを見ておらず、さらに表示されたことを認識すらしてないポップアップに関連するメッセージは、メールリストを見たときに確認しやすくすることが望ましい。

特許文献１に開示された技術は、期限が近い未読のメールを強調して表示することが可能であった。しかし、未読のメールが強調表示されたとしても、ユーザーがどのように認識したかが表示内容に反映されるわけではない。このため、ユーザーは、認識していなかった未読のメールをあたかも認識していたかのように誤解することがあり、未認識のメールを見落とすおそれがあった。

本発明はこのような状況に鑑みて成されたものであり、ユーザーがメッセージを認識したかどうか確認しやすくすることを目的とする。

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した情報処理装置は、ネットワークを通じてメッセージを受信するメッセージ受信部と、メッセージを視認するユーザーの操作画面における目線の位置を表す目線座標を取得する目線座標取得部と、メッセージ受信部によりメッセージが受信されたことを、操作画面に設けた通知領域に所定期間内だけ通知する受信通知部と、通知領域の内側に、目線座標が含まれる場合に、通知領域から通知されたメッセージに対して、ユーザーがメッセージを認識したことを示す認識情報を付してメッセージを管理するメッセージ管理部と、操作画面に設けた閲覧領域に、認識情報の有無に合わせた表示形態でメッセージを表示する閲覧表示部と、を備える。
なお、上記の情報処理装置は本発明の一態様であり、本発明の一側面を反映したプログラムについても、上記の情報処理装置と同様に構成される。

本発明によれば、ユーザーが通知領域から通知されたメッセージを認識したことが閲覧領域に示されるので、閲覧領域を見たユーザーは、メッセージを認識したか否かを判断しやすくなる。このため、ユーザーは、認識していないメッセージを優先して確認することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。

本発明の一実施の形態に係るメッセージ送受信システムの概要を示す全体構成図である。 本発明の一実施の形態に係るクライアントＰＣとメッセージアプリケーションの内部構成例を示すブロック図である。 本発明の一実施の形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の一実施の形態に係るクライアントＰＣがポップアップを表示する処理の例を示すフローチャートである。 本発明の一実施の形態に係る閲覧画面の第１の表示例とポップアップの表示例を示す図である。 本発明の一実施の形態に係る拡張プログラムの処理の例を示すフローチャートである。 本発明の一実施の形態に係る比較部が行う比較処理の例を示すフローチャートである。 本発明の一実施の形態に係るメッセージを強調するフォーマットの例を示す一覧表である。 本発明の一実施の形態に係る閲覧画面の第２及び第３の表示例を示す図である。

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

［一実施の形態］
始めに、本発明の一実施の形態に係るメッセージ送受信システムの構成例及び動作例について説明する。
図１は、メッセージ送受信システム１０の概要を示す全体構成図である。

メッセージ送受信システム１０は、クライアントＰＣ２（情報処理装置の一例）、メッセージサーバー３、クライアントＰＣ４（情報処理装置の一例）を備える。クライアントＰＣ２，４、メッセージサーバー３は、互いにネットワーク６を通じて接続されている。ネットワーク６は、例えば、インターネット等のオープンネットワークであるが、社内ＬＡＮ（Local Area Network）等のクローズネットワークであってもよい。

メッセージ送受信システム１０は、クライアントＰＣ２とクライアントＰＣ４との間で交換されるメッセージの送受信を管理している。本実施の形態では、メッセージの一例として、電子メール（「メッセージ」と略記する）を送受信する場合について説明する。メッセージの内容は、クライアントＰＣ２の操作画面４０上の閲覧画面５０に表示される。メッセージは、主にメッセージの差出人であるユーザーのメッセージアドレス、メッセージの宛先であるユーザーのメッセージアドレス、件名、メッセージ本文等によって構成され、メッセージ本文にメッセージの文面等が記載される。また、メッセージには、各種のファイルが添付されることもある。そして、閲覧画面５０に、クライアントＰＣ２が送受信したメッセージが閲覧可能に表示される。

ユーザー１は、クライアントＰＣ２を操作し、メッセージアプリケーション１３（メッセージ作成プログラムの一例）を使用してメッセージを作成する。クライアントＰＣ２上で動作するメッセージアプリケーション１３は、メッセージサーバー３からメッセージを受信可能なメッセージクライアントとして用いられる。なお、クライアントＰＣ４においても、ユーザー５がメッセージを作成可能なメッセージアプリケーション１３が稼働しているものとする。

クライアントＰＣ２上でメッセージアプリケーション１３は、ユーザー５から送信されたメッセージを受信したり、ユーザー１が作成したメッセージを送信したりする。メッセージアプリケーション１３から送信されるメッセージには、ユーザー１が返信するメッセージも含まれる。そして、本実施の形態に係るメッセージアプリケーション１３は、メッセージを受信したときに、ポップアップ６０を表示する機能を持つ。ポップアップ６０は一定時間経つと消える動作が一般的である。また、ポップアップ６０は、ユーザー１の作業の邪魔にならないように小さな表示領域で表示される。このため、ポップアップ６０に表示される内容は、メッセージアプリケーション１３が受信したメッセージの差出人や件名等の情報に限られる。しかし、ユーザー１は、表示されたポップアップ６０を見れば、どのようなメッセージが受信したかを大まかに把握することができる。

メッセージサーバー３は、クライアントＰＣ２と、クライアントＰＣ４との間で送受信されるメッセージを管理するメッセージ管理サーバーの一例として用いられる。メッセージサーバー３には、メッセージボックスが設けられており、他のユーザー（例えば、ユーザー５）から受信したメッセージや、ユーザー１が他のユーザーに送信したメッセージをメッセージボックスに保存することが可能である。例えば、ネットワーク６が社内ＬＡＮであれば、メッセージサーバー３は、クライアントＰＣ２と、クライアントＰＣ４により共用される１台のサーバーである。また、ネットワーク６がインターネットであれば、メッセージサーバー３は、クライアントＰＣ２、クライアントＰＣ４毎に使用される複数台のサーバーである。

クライアントＰＣ４は、ユーザー５により使用される。ユーザー５は、クライアントＰＣ４にインストールされたメッセージアプリケーション１３を使用して、返信を要求するメッセージをユーザー１に送信したり、ユーザー１から送信されたメッセージを受信したりする。

図２は、クライアントＰＣ２とメッセージアプリケーション１３の内部構成例を示すブロック図である。
クライアントＰＣ２は、通信部１１、撮像部１２及びメッセージアプリケーション１３を備える。

通信部１１は、ネットワーク６を通じてメッセージサーバー３から受信したメッセージをメッセージ受信部１４を通じてメッセージアプリケーション１３内のメッセージ管理部１５に渡したり、メッセージ管理部１５の指示により、他のユーザーを宛先とするメッセージをネットワーク６を介して送信したりする。通信部１１からネットワーク６に送信されたメッセージは、メッセージサーバー３に蓄積され、メッセージに付加されるヘッダー情報等に基づいて、他のユーザーがアクセス可能なメッセージサーバー３に転送された後、他のユーザーが受信可能となる。

撮像部１２は、例えば、クライアントＰＣ２を操作するユーザー１に向けて設置され、ユーザー１の顔を撮像する機能を有する。そして、撮像部１２は、ユーザー１の目を含む画像を撮像する。撮像部１２が撮像した画像は、メッセージアプリケーション１３内の拡張プログラム２０が有する目線座標取得部２１に入力される。

メッセージアプリケーション１３は、クライアントＰＣ２にて動作するアプリケーションソフトウェアであり、メッセージを送受信する機能、メッセージを作成する機能、メッセージを受信日時ごとに並べ替えたりする管理機能を有する。ただし、本実施の形態では、メッセージアプリケーション１３の受信機能に着目して、メッセージアプリケーション１３の構成例及び動作例を説明する。このメッセージアプリケーション１３は、メッセージ受信部１４、メッセージ管理部１５、受信通知部１６、閲覧表示部１７及び拡張プログラム２０を備える。

メッセージ受信部１４は、通信部１１がネットワーク６を通じてメッセージサーバー３から受信したメッセージを受信する。そして、メッセージ受信部１４は、受信したメッセージをメッセージ管理部１５に出力する。

メッセージ管理部１５は、通信部１１を通じて受信されたメッセージを不図示のメッセージリストに保存し、管理する。メッセージリストには多数のメッセージが保存されており、メッセージ管理部１５は、ユーザーが必要とするメッセージをメッセージリストから読み出し、閲覧表示部１７に出力することが可能である。ここで、通信部１１が受信するメッセージは、他のユーザーが、受信者であるユーザー１に向けて送信したものである。

そして、メッセージ管理部１５は、ポップアップ６０の内側に、目線座標が含まれる場合に、ポップアップ６０から通知されたメッセージに対して、ユーザー１がメッセージを認識したことを示す認識情報を付してメッセージを管理する。この認識情報は、拡張プログラム２０の比較部２３から出力される判定結果に基づいて更新される情報であり、本実施の形態では、視線認識フラグとして用いられる。また、メッセージ管理部１５は、メッセージが既読又は未読のいずれであるかを管理することもできる。

受信通知部１６は、メッセージ受信部１４がメッセージを受信すると、操作画面４０に所定の通知領域を確保して、この通知領域にポップアップ６０を表示することで、ユーザー１にメッセージの受信があったことを通知する。そして、受信通知部１６は、ポップアップ６０を表示した画面内の位置情報を拡張プログラム２０の通知領域情報取得部２２に出力する。ユーザー１は、受信通知部１６を通じて、メッセージが受信されたことを確認することができる。

受信通知部１６は、メッセージ受信部１４によりメッセージが受信されたことを、操作画面４０に設けたポップアップ６０に所定期間内だけ通知する。このため、受信通知部１６は、ユーザー１が閲覧画面５０を通じてメッセージを開いてメッセージ本文を読む前に、メッセージ管理部１５により管理されるメッセージに関連するメッセージ情報を表示することが可能である。メッセージ情報には、例えば、メッセージの送信者名、メッセージの受信日時、メッセージの件名等が含まれる。受信通知部１６がポップアップ６０を表示するタイミングに合わせて、拡張プログラム２０が起動される。

閲覧表示部１７（閲覧表示部の一例）は、操作画面４０に設けた閲覧画面５０（閲覧領域の一例）に、認識情報の有無に合わせた表示形態でメッセージを表示する。ここで、認識情報が有るとは、メッセージ管理部１５により管理されるメッセージに認識情報が付された状態、すなわち後述する視線認識フラグが立った状態であることを表す。一方、認識情報が無いとは、メッセージ管理部１５により管理されるメッセージに認識情報が付されていない状態、すなわち視線認識フラグが立っていない状態であることを表す。

閲覧表示部１７は、メッセージ管理部１５から読み出したメッセージの既読又は未読で異なる表示形態として閲覧画面５０にメッセージを表示する。さらに閲覧表示部１７は、ユーザー１が未読であるメッセージのうち、ユーザー１が認識していないメッセージについて、メッセージを認識していないことを示す情報（後述する図５に示す認識なしアイコン５１ａ）をメッセージと共に閲覧画面５０に表示する。また、閲覧表示部１７は、ユーザー１が認識したメッセージについて、メッセージを認識したことを示す情報（後述する図５に示す認識ありアイコン５１ｂ）をメッセージと共に閲覧画面５０に表示する。

拡張プログラム２０は、目線座標取得部２１、通知領域情報取得部２２及び比較部２３を備える。
目線座標取得部２１は、メッセージを視認するユーザー１の操作画面４０における目線の位置を表す目線座標を取得する。ここで、目線座標取得部２１は、撮像部１２から入力した画像におけるユーザー１の表情、又は目の移動方向に基づいて、目線座標を取得する。目線座標取得部２１が操作画面４０上の目線座標を計測するプログラムは、独立したプロセスでもいいし、メッセージアプリケーション１３に内蔵してもいいし、メッセージアプリケーション１３にアドインで追加できる拡張機能であってもよい。目線座標を計測する機能は、クライアントＰＣ２にインストールされたＯＳ（Operating System）が備える場合もある。そして、目線座標取得部２１は、目線座標を計測すると、比較部２３に計測した目線座標を提供する。

通知領域情報取得部２２は、受信通知部１６から操作画面４０に表示されたポップアップ６０の位置を含む通知領域情報を取得する。通知領域情報は、ポップアップ６０の操作画面４０における縦方向及び横方向の座標を含む。

比較部２３は、通知領域情報取得部２２が取得したポップアップ６０の通知領域情報と、目線座標取得部２１が取得したユーザー１の目線座標とを比較する。そして、比較部２３は、ポップアップ６０に目線座標が含まれていた場合に、メッセージ管理部１５によってメッセージ毎にメッセージの属性として管理される視線認識フラグを立てる。比較部２３がメッセージに視線認識フラグを立てたことは、メッセージ管理部１５に通知される。視線認識フラグは、閲覧表示部１７によるメッセージの表示に際してメッセージの表示形態を異ならせる際に参照される情報であり、例えば、後述する図５の閲覧画面５０に表示形態の例が示される。

ここで、ユーザー１が画面を見ていても、たまたまポップアップ６０に目線が移動した場合、ユーザー１は、ポップアップ６０の表示内容を認識していないと考えられる。このため、比較部２３が比較対象とする目線座標は、ポップアップ６０の内部に数秒以上にわたって止まっていた場合に限ってよい。これにより、比較部２３は、ユーザー１が関心を持ってポップアップ６０の表示内容を認識したか否かといったユーザー１の意図を、ポップアップ６０の認識結果に反映することができる。

次に、メッセージ送受信システム１０のクライアントＰＣ２，４及びメッセージサーバー３を構成する計算機３０のハードウェア構成を説明する。
図３は、計算機３０のハードウェア構成例を示すブロック図である。

計算機３０は、いわゆるコンピュータとして用いられるハードウェアである。計算機３０は、バス３４にそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理装置）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３を備える。さらに、計算機３０は、表示装置３５、入力装置３６、不揮発性ストレージ３７、ネットワークインターフェイス３８及びカメラ３９を備える。

ＣＰＵ３１は、本実施の形態例に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ３２から読み出して実行する。ＲＡＭ３３には、演算処理の途中に発生した変数やパラメーター等が一時的に書き込まれる。表示装置３５は、例えば、液晶ディスプレイモニターであり、計算機３０で行われる処理の結果等をユーザー１に表示する。入力装置３６は、例えば、キーボード、マウス、タッチパネル等であり、ユーザー１が所定の操作入力、指示を行うことが可能である。なお、クライアントＰＣ２，４は、表示装置３５、入力装置３６に対応する受信通知部１６を備えるが、メッセージサーバー３は表示装置３５、入力装置３６を備えない構成としてもよい。

不揮発性ストレージ３７としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージ３７には、ＯＳ、各種のパラメーターの他に、計算機３０を機能させるためのプログラムが記録されている。ＲＯＭ３２、不揮発性ストレージ３７は、ＣＰＵ３１が動作するために必要なプログラムやデータ等を記録しており、計算機３０によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。このため、ＲＯＭ３２、不揮発性ストレージ３７には、このプログラムが永続的に格納される。

ネットワークインターフェイス３８には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＬＡＮ、専用線等を介して各種のデータを装置間で送受信することが可能である。

カメラ３９は、撮像部１２によって撮像開始及び終了、撮像画角等が制御される。カメラ３９が撮像した画像は、ＲＡＭ３３に一時記憶され、ＣＰＵ３１によりＲＡＭ３３から適宜読みだされ、所定の処理に用いられる。カメラ３９は、ユーザー１の動画像を撮像可能であるが、静止画像を撮像してもよい。

図４は、クライアントＰＣ２がポップアップ６０を表示する処理の例を示すフローチャートである。
初めに、クライアントＰＣ２は、メッセージアプリケーション１３を起動する。メッセージアプリケーション１３が起動すると、操作画面４０に閲覧画面５０が表示される。

メッセージアプリケーション１３のメッセージ受信部１４は、一定の時間毎、又はユーザー１の操作指示により、メッセージサーバー３にアクセスし、サーバーチェックを行う（Ｓ１）。次に、メッセージ受信部１４は、クライアントＰＣ２が受信可能な新しいメッセージがメッセージサーバー３にあるか否かを判断する（Ｓ２）。

メッセージサーバー３に新しいメッセージがなければ（Ｓ２のＮＯ）、再びステップＳ１に戻って、メッセージ受信部１４がサーバーチェックを行う。新しいメッセージがあれば（Ｓ２のＹＥＳ）、メッセージ受信部１４がメッセージサーバー３からメッセージをダウンロード（受信）する（Ｓ３）。そして、メッセージ管理部１５が、受信されたメッセージを不図示のメッセージリストに格納し、メッセージを管理する（Ｓ４）。

次に、受信通知部１６は、ポップアップ６０を表示する（Ｓ５）。そして、受信通知部１６は、拡張プログラム２０による拡張プログラム処理を起動する（Ｓ６）。その後、ステップＳ１に戻って処理を繰り返す。なお、図示しないが、ステップＳ５で表示されたポップアップ６０は、所定時間後に非表示となり、同時に拡張プログラム２０も停止する。

＜閲覧画面の第１の表示例とポップアップの表示例＞
図５は、閲覧画面５０の第１の表示例とポップアップ６０の表示例を示す図である。閲覧画面５０とポップアップ６０は、共に表示装置３５における操作画面４０内に表示される。

閲覧表示部１７は、閲覧画面５０を表示装置３５に表示する処理を行う。閲覧画面５０の上部には、「メッセージアプリケーション」というアプリケーション名が表示される。閲覧画面５０は、閲覧ウィンドウ５１、プレビューウィンドウ５２を備える。閲覧ウィンドウ５１、プレビューウィンドウ５２は、それぞれユーザー１がメッセージを閲覧し、メッセージ本文を確認するために表示されるメッセージオブジェクトの一例である。

閲覧ウィンドウ５１には、既読、認識、差出人、タイトルの各項目が表示される。
既読項目では、既読のメッセージにチェックマークが付けて表示される。チェックマークは、ユーザー１がタイトル項目のタイトルをクリックして読んだメッセージに対する既読を表すマークである。

認識項目では、ユーザー１がポップアップ６０に目線を向けて、ポップアップ６０に表示されたメッセージを認識したか否かを表すアイコンが表示される。閲覧表示部１７は、メッセージ属性のうち、ユーザー１がメッセージを認識したことを示す視線認識フラグが立ったか否かにより、認識項目の表示内容を変えることができる。図５の閲覧画面５０には、認識なしアイコン５１ａ又は認識ありアイコン５１ｂが認識項目に表示された例が示される。認識なしアイコン５１ａは、瞳の画像に斜線を重ねたデザインで表示され、認識ありアイコン５１ｂは、瞳だけの画像で表示される。このアイコンにより、差出人がＴａｒｏ、Ｈａｎａｋｏであるメッセージをユーザー１が認識したことがわかる。

差出人項目には、メッセージの差出人の名前が表示される。
タイトル項目には、メッセージに付けられたタイトルが表示される。ここで閲覧表示部１７は、視線認識フラグが立っていないメッセージのタイトルを表すテキストのフォーマットを、視線認識フラグが立っているメッセージのタイトルを表すテキストのフォーマットとは異ならせて閲覧領域にメッセージを表示する。例えば、視線認識フラグが立っていないメッセージのタイトルを表すテキストには、下線が引かれて表示され、ユーザー１に注意喚起される。また、閲覧表示部１７は、視線認識フラグが立っていないメッセージを他のメッセージよりも強調する表示形態で閲覧領域にメッセージを表示する。

そして、メッセージが強調される表示形態は、視線認識フラグにより異なるアイコンを表示する形態、メッセージのテキスト及びアイコンを点滅表示する形態、テキスト及びメッセージの色を変えて表示する形態、及びメッセージの表示領域のサイズを変えて表示する形態のうち、少なくとも一つを含むものとしてよい。

プレビューウィンドウ５２には、ユーザー１が選択したメッセージの本文がプレビュー表示される。この例では、差出人がＪｉｒｏであるメッセージの本文がプレビュー表示されている。プレビューウィンドウ５２に本文がプレビュー表示されたメッセージは、既読項目にチェックマークが付けられる。

ポップアップ６０には、メッセージアプリケーション１３が新しく受信したメッセージに関する情報が表示される。操作画面４０の右下にポップアップ６０が表示されるタイミングは、メッセージアプリケーション１３がメッセージを受信した直後であり、ポップアップ６０が一定時間表示される。そして、一定時間が経過すると、ポップアップ６０が非表示となる。なお、図５では、閲覧画面５０とポップアップ６０が同時に表示された例が示されているが、ポップアップ６０だけが表示されてもよい。

ポップアップ６０に表示されるメッセージに関する情報としては、例えば、差出人、件名の項目が含まれる。このポップアップ６０は、メッセージに関する情報をユーザー１に通知する通知領域の一例として用いられる。ポップアップ６０の大きさは小さいため、ポップアップ６０には、差出人、件名の項目だけが表示され、メッセージの本文は表示されないが、本文の冒頭の一部が表示されてもよい。

ポップアップ６０は、表示装置３５における操作画面４０内の特定位置に表示される。メッセージアプリケーション１３の受信通知部１６は、操作画面４０のサイズに基づいて、閲覧画面５０とポップアップ６０を表示する位置を計算する。なお、ポップアップ６０のサイズは予め決められているものとするが、ポップアップ６０が表示される位置は使用状況により異なることがある。

本実施の形態では、操作画面４０の左上の位置を原点座標（０，０）と定め、原点座標から右方向にｘ座標が増加し、原点座標から下方向にｙ座標が増加するものとする。この場合、ポップアップ６０の特定位置及び大きさは、例えば、ポップアップ６０の左上を（ｘ１，ｙ１）とし、ポップアップ６０の右下を（ｘ２，ｙ２）とする座標で表される。図２に示した通知領域情報取得部２２は、受信通知部１６によりポップアップ６０が表示されると、ポップアップ６０の座標である（ｘ１，ｙ１），（ｘ２，ｙ２）の組を取得する。

次に、メッセージアプリケーション１３の処理の例について、図６と図７を参照して説明する。
図６は、拡張プログラム２０の処理の例を示すフローチャートである。上述したように拡張プログラム２０は、メッセージ受信部１４が通信部１１を介してメッセージを受信したことをトリガーとして起動される。

初めに、通知領域情報取得部２２は、受信通知部１６からポップアップ６０の表示に関する情報を取得する（Ｓ１１）。ポップアップ６０の表示に関する情報としては、操作画面４０にポップアップ６０が表示されたときに設定される表示フラグ等がある。

次に、通知領域情報取得部２２は、ポップアップ６０の表示に関する情報に基づいて、ポップアップ６０が表示されているか否かを判断する（Ｓ１２）。例えば、通知領域情報取得部２２が受信通知部１６から取得した表示フラグがオフされていれば、ポップアップ６０が表示されていないので（Ｓ１２のＮＯ）、ステップＳ１９に移行する。

一方、通知領域情報取得部２２が受信通知部１６から取得した表示フラグがオンされていれば、ポップアップ６０が表示されている（Ｓ１２のＹＥＳ）。このため、目線座標取得部２１は、撮像部１２から入力した撮像画像より、操作画面４０上におけるユーザー１の目線を検出して、ユーザー１の目線座標を取得する（Ｓ１３）。

また、目線座標取得部２１は、取得した目線座標が適切であるか否かを判断する（Ｓ１４）。例えば、ユーザー１がクライアントＰＣ２の前にいないため、目線座標取得部２１がユーザー１の目線座標を取得できなければ、目線座標取得部２１は、目線座標が不適切であると判断する（Ｓ１４のＮＯ）。この場合、目線座標取得部２１は、操作画面４０には存在しない座標として、例えば（−１０００，−１０００）を設定する。そして、ステップＳ１１に戻って、拡張プログラム２０の最初の処理から繰り返す。

目線座標が適切であれば（Ｓ１４のＹＥＳ）、通知領域情報取得部２２は、受信通知部１６からポップアップ６０の通知領域を取得する（Ｓ１５）。ポップアップ６０の通知領域は、図５に示したように、操作画面４０における左上座標（ｘ１，ｙ１）と右下座標（ｘ２，ｙ２）の２点で表された四角形の領域である。

次に、比較部２３は、目線座標取得部２１が取得した目線座標と、通知領域情報取得部２２が取得したポップアップ６０の通知領域とを比較する（Ｓ１６）。この比較処理により、ユーザー１がポップアップ６０に通知されたメッセージを認識したか否かが判定される。ステップＳ１６の詳細な比較処理の例については、図７を参照して後述する。

そして、比較部２３は、比較部２３から出力された判定結果が認識ありであるか否かを判定する（Ｓ１７）。比較部２３は、判定結果が認識なしと判定した場合（Ｓ１７のＮＯ）、ステップＳ１１に戻って、拡張プログラム２０が最初の処理から繰り返す。

一方、比較部２３は、判定結果が認識ありと判定した場合（Ｓ１７のＹＥＳ）、ポップアップ６０に表示されたメッセージに対して視線認識フラグを立てる（Ｓ１８）。その後、閲覧表示部１７は、視線認識フラグに応じた処理を行ってメッセージを閲覧画面５０に表示し（Ｓ１９）、本処理を終了する。

視線認識フラグに応じた処理とは、例えば、閲覧表示部１７が、視線認識フラグが立っていないメッセージに認識なしアイコン５１ａを表示し、視線認識フラグが立ったメッセージに認識ありアイコン５１ｂを表示する処理である。

図７は、比較部２３が行う比較処理の例を示すフローチャートである。図７に示す処理は、図６のステップＳ１６にて呼び出されるサブルーチンである。

始めに、比較部２３は、目線座標取得部２１からユーザー１の目線座標（Ｘｅ，Ｙｅ）を取得する（Ｓ２１）。次に、比較部２３は、通知領域情報取得部２２からポップアップ６０の位置を表す左上座標（ｘ１，ｙ１）と右下座標（ｘ２，ｙ２）を取得する（Ｓ２２）。

次に、比較部２３は、目線座標が、ポップアップ６０の内部にあうるか否か、すなわち、ｘ１＜Ｘｅ＜ｘ２ かつ ｙ１＜Ｙｅ＜ｙ２を満たすか否かを判断する（Ｓ２３）。目線座標が、ポップアップ６０の内部にある場合（Ｓ２３のＹＥＳ）、比較部２３は、ユーザー１がポップアップ６０に表示されたメッセージを認識ありと判定する（Ｓ２４）。

一方、目線座標が、ポップアップ６０の内部にない場合（Ｓ２３のＮＯ）、比較部２３は、ユーザー１がポップアップ６０に表示されたメッセージを認識なしと判定する（Ｓ２５）。そして、比較部２３は、メッセージの認識あり又はなしの判定結果を、図６のメインルーチンに返す（Ｓ２６）。

図８は、メッセージを強調するフォーマットの例を示す一覧表である。

閲覧表示部１７は、メッセージ属性に示されるフラグを参照して、メッセージの表示形態を変更することが可能である。この一覧表には、ユーザー１によるポップアップ６０の認識有無と、ユーザー１がメッセージを未読又は既読のいずれかであることにより異なるフォーマットでメッセージが表示されることが示される。

例えば、ユーザー１がポップアップ６０を認識し、かつメッセージを未読である場合、閲覧表示部１７は、メッセージタイトルのテキストをボールド（太字）にして表示する通常の未読フォーマットを適用して表示する。このとき、認識ありアイコン５１ｂも表示される。
一方、ユーザー１がポップアップ６０を認識し、かつメッセージを既読である場合、閲覧表示部１７は、メッセージタイトルのテキストを装飾なしとし、認識ありアイコン５１ｂを表示するフォーマットを適用して表示する。

また、ユーザー１がポップアップ６０を認識せず、かつメッセージを未読である場合、閲覧表示部１７は、未読を強調するフォーマットを適用して表示する。このフォーマットでは、例えば、メッセージタイトルのテキストをボールド（太字）にし、テキストの色を赤色にし、テキストサイズを大きめにしたり、テキストのフォント種類をイタリック体にする等の表示が行われる。また、認識なしアイコン５１ａも表示される。

なお、ユーザー１がポップアップ６０を認識せず、かつメッセージを既読である場合は想定できないので、フォーマットは定義されない。すなわち、閲覧表示部１７は、メッセージタイトルのテキストを装飾なしとし、認識なしアイコン５１ａを表示するフォーマットを適用して表示する。

＜閲覧画面とポップアップの第２及び第３の表示例＞
ここで、閲覧画面には様々な表示形態が考えられる。このため、図５に示した閲覧画面５０以外にも、図９に示すような形態で閲覧画面が表示されてもよい。
図９は、閲覧画面５０の第２及び第３の表示例を示す図である。

図９の上側に示す第２の表示例に係る閲覧画面５０Ａは、未読グループ５３と既読グループ５４とを表示する領域を備えている。
閲覧表示部１７は、メッセージ管理部１５によってメッセージに付けられる優先度に従ってメッセージを並び替えて表示する。優先度は、メッセージをユーザー１が認識していないが未読であること、メッセージが既読であること、メッセージをユーザー１が認識したが未読であることの順に割り当てられた値であり、この順に優先度が高いものとする。そして、閲覧表示部１７は、優先度が高い順、又は優先度が低い順にメッセージを閲覧画面５０に並び替えて表示することができる。

例えば、受信通知部１６は、メッセージ管理部１５が管理するメッセージのメッセージ属性を参照して、メッセージの未読又は既読を判断し、未読又は既読のグループに分けてメッセージを閲覧画面５０Ａに表示する。さらに、受信通知部１６は、未読グループ５３の中で、視線認識フラグが立っていないものが優先して表示されるようにソート処理を行う。このため、ユーザー１が認識していないメッセージが、未読グループ５３の上側に並んで表示される。このため、ユーザー１は、認識していないメッセージがあることに気づき、メッセージの本文を確認する等の操作を行いやすくなる。

図９の下側に示す第３の表示例に係る閲覧画面５０Ｂにおいても、未読グループ５３と既読グループ５４とを表示する領域を備えている。ただし、閲覧画面５０Ｂでは、未読グループ５３における各行の高さが、既読グループ５４における各行の高さより大きく表示される。また、未読グループ５３におけるタイトルのテキストサイズが、既読グループ５４におけるタイトルのテキストサイズより大きく表示される。このため、ユーザー１は、認識していないメッセージがあること、そのメッセージのタイトル等に気づきやすくなる。

以上説明した一実施の形態に係るクライアントＰＣ２では、ポップアップ６０にて通知されたメッセージに関する情報をユーザー１が認識したか否かの認識結果に応じた表示形態でメッセージに関する情報が表示される。このため、ポップアップ６０に表示されたメッセージが、一定時間が経過したことでポップアップ６０が非表示となっても、ユーザー１が後から閲覧画面５０に表示された認識なしアイコン５１ａ及び認識ありアイコン５１ｂを見ることで、どのメッセージを認識したか否かを判断しやすくなる。このため、ユーザー１は、認識していないメッセージを優先して確認することができる。

また、ユーザー１がポップアップ６０に表示されたメッセージを認識していなければ、閲覧画面５０には、認識していなかったメッセージが強調表示される。例えば、認識なしアイコン５１ａやタイトルの色が変わったり、タイトルのテキストが太字になったりする。このため、ユーザー１は、認識していなかったメッセージがあることに気づきやすく、重要なメッセージの見落としを防ぐことができる。

また、ユーザー１がメッセージを認識したか否かは、ポップアップ６０が表示されたときに、ポップアップ６０にユーザー１の目線が移動してポップアップ６０を確認したか否かにより判断される。このため、ユーザー１が明示的な操作を行わなくても、ユーザー１がポップアップ６０の表示内容を確認したことが確実に判明される。

なお、上述した実施の形態では、メッセージアプリケーション１３が電子メールを受信した時に行う表示処理の例について説明したが、メッセージの種類は電子メールに限らない。例えば、ＳＭＳ（Short Message Service）、短文のメッセージサービス等のスマートフォンアプリケーションにおける受信メッセージの通知、クライアントＰＣ２にセキュリティパッチを適用するときのメッセージ及び通知等に上述した実施の形態を適用してもよい。これらの場合についても同様に、ポップアップ６０を表示してユーザー１にメッセージを通知し、ユーザー１の目線によりユーザー１がメッセージを認識したか否かを判断した上で、ユーザー１が認識していないメッセージをユーザー１に通知することができる。

また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

２…クライアントＰＣ、３…メッセージサーバー、１１…通信部、１２…撮像部、１３…メッセージアプリケーション、１４…メッセージ受信部、１５…メッセージ管理部、１６…受信通知部、１７…閲覧表示部、２０…拡張プログラム、２１…目線座標取得部、２２…通知領域情報取得部、２３…比較部、４０…操作画面、５０…閲覧画面、６０…ポップアップ

Claims (11)

1. ネットワークを通じてメッセージを受信するメッセージ受信部と、
   前記メッセージを視認するユーザーの操作画面における目線の位置を表す目線座標を取得する目線座標取得部と、
   前記メッセージ受信部により前記メッセージが受信されたことを、前記操作画面に設けた通知領域に所定期間内だけ通知する受信通知部と、
   前記通知領域の内側に、前記目線座標が含まれる場合に、前記通知領域から通知された前記メッセージに対して、前記ユーザーが前記メッセージを認識したことを示す認識情報を付して前記メッセージを管理するメッセージ管理部と、
   前記操作画面に設けた閲覧領域に、前記認識情報の有無に合わせた表示形態で前記メッセージを表示する閲覧表示部と、を備える
   情報処理装置。
2. 前記閲覧表示部は、前記メッセージ管理部から読みだした前記メッセージの既読又は未読で異なる表示形態として前記メッセージを表示し、さらに前記ユーザーが未読である前記メッセージのうち、前記ユーザーが認識していない前記メッセージについて、前記メッセージを認識していないことを示す情報を前記メッセージと共に表示する
   請求項１に記載の情報処理装置。
3. 前記閲覧表示部は、前記ユーザーが認識した前記メッセージについて、前記メッセージを認識したことを示す情報を前記メッセージと共に表示する
   請求項１又は２に記載の情報処理装置。
4. さらに、前記ユーザーの目を含む画像を撮像する撮像部を備え、
   前記目線座標取得部は、前記画像における前記ユーザーの目の移動方向に基づいて、前記目線座標を取得する
   請求項１〜３のいずれか一項に記載の情報処理装置。
5. さらに、前記受信通知部から前記操作画面に表示された前記通知領域の位置を含む通知領域情報を取得する通知領域情報取得部と、
   前記通知領域情報と、前記目線座標とを比較し、前記通知領域に前記目線座標が含まれていた場合に、前記メッセージ管理部によって管理される前記メッセージ毎に前記認識情報を付す比較部とを備える
   請求項４に記載の情報処理装置。
6. 前記閲覧表示部は、前記認識情報が付されていない前記メッセージのタイトルを表すテキストのフォーマットを、前記認識情報が付された前記メッセージのタイトルを表すテキストのフォーマットとは異ならせて前記閲覧領域に前記メッセージを表示する
   請求項５に記載の情報処理装置。
7. 前記閲覧表示部は、前記認識情報が付されていない前記メッセージを他の前記メッセージよりも強調する表示形態で前記閲覧領域に前記メッセージを表示する
   請求項５又は６に記載の情報処理装置。
8. 前記メッセージが強調される前記表示形態は、前記認識情報の有無により異なるアイコンを表示する形態、前記メッセージのテキスト及び前記アイコンを点滅表示する形態、前記テキスト及び前記メッセージの色を変えて表示する形態、及び前記メッセージの表示領域のサイズを変えて表示する形態のうち、少なくとも一つを含む
   請求項７に記載の情報処理装置。
9. 前記閲覧表示部は、前記メッセージに付けられる優先度に従って前記メッセージを並び替えて表示する
   請求項１〜８のいずれか一項に記載の情報処理装置。
10. 前記閲覧表示部は、前記メッセージを前記ユーザーが認識していないが未読であること、前記メッセージが既読であること、前記メッセージを前記ユーザーが認識したが未読であることの順に割り当てた前記優先度が高い順、又は前記優先度が低い順に前記メッセージを表示する
    請求項９に記載の情報処理装置。
11. ネットワークを通じてメッセージを送受信する手順と、
    前記メッセージを視認するユーザーの操作画面における目線の位置を表す目線座標を取得する手順と、
    前記メッセージが受信されたことを、前記操作画面に設けた通知領域に所定期間内だけ通知する手順と、
    前記通知領域の内側に、前記目線座標が含まれる場合に、前記通知領域から通知された前記メッセージに対して、前記ユーザーが前記メッセージを認識したことを示す認識情報を付して前記メッセージを管理する手順と、
    前記操作画面に設けた閲覧領域に、前記認識情報の有無に合わせた表示形態で前記メッセージを表示する手順と、を
    コンピューターに実行させるためのプログラム。
    

Images