JP2016051186A - 情報提示装置、その制御方法、プログラム、情報提示システム、ならびに、サーバ装置 - Google Patents

Abstract

【課題】ユーザによるメッセージの送信を促進するための、情報提示装置、情報提示方法、プログラム、および情報提示システムを提供すること。【解決手段】ユーザＡは、スマートフォンのメインユーザである。スマートフォンは、表示欄９１０に、ユーザＸの最新のメッセージを表示する。当該メッセージの投稿日時は２０１４年８月１日１０時１０分である。スマートフォンは、当該スマートフォンに登録された画像のうち、当該投稿日時に対して予め定められた関係の範囲内（たとえば、投稿時から１時間内）に撮影（登録）された画像が、選択する。そして、スマートフォンは、情報表示部９００Ｂに、選択された画像を、メッセージの返信に利用される情報の候補として表示する。【選択図】図１

Description

本開示は、情報提示装置、その制御方法、プログラム、情報提示システム、ならびに、サーバ装置に関し、特に、メッセージの受信に際して情報を提示するための情報提示装置、その制御方法、プログラム、情報提示システム、ならびに、サーバ装置に関する。

従来、ネットワークを介して、ユーザ間での電子的なメッセージの送受信が行なわれている。また、近年の電子機器の普及に伴い、多くのユーザが、ＳＮＳ（social networking service）等を利用して電子的なメッセージを送受信している。このような背景において、ユーザ間の交流を深めるために、メッセージの送信（投稿）を促すための種々の技術が提案されている。

たとえば特許文献１のサーバ装置は、その要約等に記載されるように、ユーザの端末から所定のＳＮＳサービスの開始要求を管理する。サーバ装置は、さらに、ＳＮＳサービスに参加させる１以上の参加ユーザの情報を受け付けて、参加ユーザごとに、画像をアップロードさせるためのターンを管理する。そして、サーバ装置は、ターンが到来したユーザの端末に対して、ターンが到来したことを通知し、そのユーザからアップロードされた画像を受け付けた場合、次のターンに係る参加ユーザを新たなターン到来ユーザとして設定する。

また、特許文献２の情報処理システムでは、その要約等に記載されるように、アプリケーション実行手段は、仮想時間および仮想空間の少なくとも一方において進行する複数のイベントを実行するためのプログラム（例えばゲームプログラム）を実行する。投稿促し手段は、仮想時間における所定範囲内の時間または仮想空間における所定範囲内の空間において一のイベント（対象イベント）が所定回数繰り返して発生した場合に、コミュニティへの投稿を促す。投稿手段は、投稿促し手段に対するユーザの指示に応じて、対象イベントに対応する投稿情報をサービスに投稿する。

特許第５３７２２８８号公報 特開２０１３−２５０８４０号公報

しかしながら、特許文献１に記載の技術では、投稿順序はサーバ装置において予め設定されている。これにより、サーバ装置は、当該順序に従って、ユーザに対して通知を行なう。つまり、通知がなされる時点で通知の対象であるユーザに投稿の必要性があるかどうかは考慮されていない。このことから、メッセージの送信の必要性が低いタイミングでユーザが通知を受ける場合があった。このような場合、当該通知は、ユーザのメッセージの送信への動機付けにはなりにくく、したがって、メッセージ送信を十分に促進できなかった。

また、特許文献２に記載の技術では、投稿促し手段が投稿を促すには、特別な条件の成立が必要とされる。つまり、当該特別な条件が成立しなければ、ユーザに対してメッセージ送信を促進するための処理が実行されない。また、特許文献２は、特別なコミュニティ内での制御に関するものである上に、促進の際にどのような情報をユーザに送信するかについては検討がなされていない。したがって、特許文献２に記載のシステムも、ユーザに対して、十分にメッセージの送信を動機付ける情報を与えることはできなかった。したがって、特許文献２に記載の技術によってもメッセージ送信を十分に促進できなかった。

本開示は、かかる実情に鑑み考え出されたものであり、その目的は、ユーザによるメッセージの送信を促進するための、情報提示装置、情報提示方法、プログラム、および情報提示システムを提供することである。

本開示のある局面に従うと、メッセージを受信し、メッセージに返信するために利用される情報の候補を提示する、情報提示装置であって、メッセージの特徴を抽出するように構成された抽出手段と、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、候補を取得するように構成された取得手段とを備えるが提供される。

好ましくは、受信されたメッセージと、受信者に関連付けられて格納されているデータとは、時間情報、位置情報、およびテキスト情報のいずれかの中の少なくとも一つを含む。取得手段は、特徴に対して予め定められた関係を有する時間情報、位置情報、およびテキスト情報のいずれかの中の少なくとも一つを含むデータを、検索の結果として取得するように構成されている。

好ましくは、予め定められた関係は、データの時間情報が特徴の時間情報によって特定される時刻から予め定められた範囲内の時刻を特定することを含む。

好ましくは、予め定められた関係は、少なくとも、メッセージの受信者がメッセージの送信者に対して情報を送信した時刻以前の時刻を特定する時間情報に関連付けられているデータを排除する。

好ましくは、受信者に関連付けられて格納されているデータは、メッセージの受信者の行動を時間情報に関連付けて特定する行動情報を含む。取得手段は、検索の結果として行動情報を取得するように構成されている。

好ましくは、行動情報は、情報提示装置において起動されたアプリケーションの種類を含む。

好ましくは、行動情報は、情報提示装置において起動されたアプリケーションによって処理されたデータを特定する情報を含む。

好ましくは、メッセージの受信者に関連付けられて格納されているデータは、予め定められた態様で２以上のグループに分類される。取得手段は、メッセージの送信者および特徴の少なくとも一方に応じて、データのうち検索の対象となるグループを選択するように構成されている。

好ましくは、２以上のグループは、メッセージの受信者によって指定された態様で、メッセージの受信者に関連付けられているデータを分類する。

好ましくは、情報提示装置は、入力を受け付けるように構成された操作手段をさらに備える。候補は、操作手段が入力を受け付けたことを条件として提示される。

好ましくは、取得手段は、２以上の種類のデータからの特徴を用いた検索の結果として候補を取得するように構成されている。

本開示の他の局面に従うと、情報を提示する情報提示装置のコンピュータによって実行される、当該情報提示装置の制御方法が提供される。制御方法は、メッセージを受信するステップと、メッセージの特徴を抽出するステップと、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を取得するステップと、候補を提示するステップとを備える。

本開示のさらに他の局面に従うと、情報を提示する情報提示装置のコンピュータによって実行される、当該情報提示装置を制御するためのプログラムが提供される。プログラムは、コンピュータに、メッセージを受信するステップと、メッセージの特徴を抽出するステップと、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を取得するステップと、候補を提示するステップとを実行させる。

本開示のさらに他の局面に従うと、情報を提示する情報提示装置と、情報提示装置と通信可能なサーバ装置とを備える情報提示システムが提供される。情報提示装置は、メッセージを受信するための受信手段を含む。サーバ装置は、サーバ装置は、メッセージの特徴を抽出するように構成された抽出手段と、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を生成するように構成された生成手段と、情報提示装置に候補を送信するための送信手段とを含む。受信手段は、送信手段から送信された候補を受信する。情報提示装置は、受信手段によって受信された候補を表示するための提示手段をさらに備える。

本開示のさらに他の局面に従うと、情報を提示する情報提示装置と通信可能なサーバ装置が提供される。サーバ装置は、情報提示装置において表示されるメッセージの特徴を抽出するように構成された抽出手段と、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を生成するように構成された生成手段と、情報提示装置に候補を送信するための送信手段とを備える。

本開示のさらに他の局面に従うと、メッセージとメッセージに返信するために利用される情報の候補とを受信するための受信手段と、メッセージと候補とを提示するように構成されている提示手段とを備える、情報提示装置が提供される。

好ましくは、情報提示装置は、メッセージの特徴を抽出するように構成された抽出手段と、特徴を用いた候補の生成を他の装置に指示するように構成されている指示手段とをさらに備える。

本開示によれば、受信されたメッセージに返信するために利用される情報の候補が提示される。これにより、ユーザは、受信されたメッセージの返信として提示された情報を利用できる。

また、ユーザは、提示された情報を、受信されたメッセージの返信の一具体例として与えられる。これにより、当該ユーザは、返信を作成するための具体的なイメージを持つことができる。

したがって、提示される情報は、ユーザに対して、受信されたメッセージへの返信に対する動機付けを与え得る。これにより、本開示によれば、ユーザによるメッセージの送信を促進できる。

情報提示装置の第１の実施の形態のスマートフォンにおいて提示される情報の一例を説明するための図である。 スマートフォンによって実行される検索の一例を説明するための図である。 情報提示装置の一実施の形態であるスマートフォンの外観の一例を示す図である。 スマートフォンのハードウェア構成の一例を示す図である。 スマートフォンの機能構成の一例を示す図である。 データ記憶部に格納される画像のライブラリのデータテーブルの一例を示す図である。 スマートフォンにおいてＳＮＳのメッセージが表示されるときの処理のフローチャートである。 受信されるメッセージが電子メールである場合の、返信に利用される情報の候補の表示の一例を示す図である。 第２の実施の形態の情報提示システムの構成の一例を概略的に示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 第３の実施の形態のスマートフォンとサーバ装置の機能構成の一例を示す図である。 第３の実施の形態のスマートフォンにおいてＳＮＳのメッセージが表示されるときの処理のフローチャートである。 第４の実施の形態のスマートフォンの動作を説明するための図である。 第５の実施の形態のデータ記憶部に格納される画像のライブラリのデータテーブルの一例を示す図である。 第５の実施の形態のスマートフォンにおいてＳＮＳのメッセージが表示されるときの処理のフローチャートである。 第６の実施の形態における、候補の提示の概要を説明するための図である。 第６の実施の形態のスマートフォンにおいてＳＮＳのメッセージが表示されるときの処理のフローチャートである。 第７の実施の形態における、候補の提示の概要を説明するための図である。 第７の実施の形態のスマートフォンにおいてＳＮＳのメッセージが表示されるときの処理のフローチャートである。 第７の実施の形態の変形例を説明するための図である。 第８の実施の形態におけるフォルダ設定テーブルの一例を模式的に示す図である。 第９の実施の形態のスマートフォンにおける上記候補の提示の態様を説明するための図である。 第９の実施の形態のスマートフォンにおいてＳＮＳのメッセージが表示されるときの処理のフローチャートである。 第１０の実施の形態における候補の提示の一例を説明するための図である。 第１０の実施の形態における候補の提示の一例を説明するための図である。 第１１の実施の形態における、返信に利用される情報の候補の提示を説明するための図である。 第１１の実施の形態における、返信に利用される情報の候補の提示を説明するための図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［第１の実施の形態］
第１の実施の形態では、情報提示装置の一実施の形態としてスマートフォンが示される。当該スマートフォンは、メッセージを受信し、受信されたメッセージの特徴を抽出し、当該特徴をキーワードとして検索を実行し、そして、当該検索結果を提示する。なお、当該検索結果は、受信されたメッセージの返信に利用されるデータの候補である。

＜Ａ．提示される情報の概要＞
図１は、スマートフォンにおいて提示される情報の一例を説明するための図である。図１の画像９００は、ＳＮＳにおけるメッセージのやり取りを表示する。

画像９００は、メッセージ表示部９００Ａと情報表示部９００Ｂとを含む。メッセージ表示部９００Ａは、３個のメッセージのそれぞれを表示する表示欄９１０〜９３０と、メッセージを入力するための入力欄９５０とを含む。

表示欄９１０は、メッセージ（今、奈良にいるよ。）と、当該メッセージの投稿者（ユーザＸ）を表わす画像９０１と、当該メッセージの投稿日時（２０１４年８月１日１０時１０分）とを表示する。

表示欄９２０は、メッセージ（おはよう。）と、当該メッセージの投稿者（ユーザＹ）を表わす画像９０２と、当該メッセージの投稿日時（２０１４年８月１日９時５５分）とを表示する。

表示欄９３０は、メッセージ（おやすみなさい。）と、当該メッセージの投稿者（ユーザＸ）を表わす画像９０１と、当該メッセージの投稿日時（２０１４年７月３１日２３時５５分）とを含む。

メッセージ表示部９００Ａでは、投稿日時が遅い（投稿が新しい）メッセージほど、上方に表示される。図１の例では、表示欄９１０に表示されたメッセージが最新のメッセージである。

入力欄９５０は、入力されたテキストを表示するための欄９５１と、欄９５１に表示されたテキストを送信するための送信ボタン９５２と、ファイルを呼び出すための呼出ボタン９５３とを含む。スマートフォンは、呼出ボタン９５３が操作されると、当該スマートフォン内またはネットワーク上に格納されているファイルを呼び出す。呼び出されるファイルは、画像ファイル、動画ファイル、音声ファイルなどのいかなる種類のファイルであってもよい。スマートフォンは、送信ボタン９５２が操作されると、呼び出されたファイルをＳＮＳの管理サーバ（ＳＮＳを管理するサーバ装置）へ送信する。

情報表示部９００Ｂは、５個のサムネイル画像９６１〜９６５を含む。スマートフォンは、所与の条件に従って最新のメッセージから特徴を抽出し、当該特徴をキーワードとして、メインユーザに関連付けられているデータを検索する。そして、スマートフォンは、当該検索の結果を、情報表示部９００Ｂに表示する。

スマートフォンは、サムネイル画像９６１〜９６５の中の１個以上のサムネイル画像の選択を受け付ける。送信ボタン９５２が操作されると、スマートフォンは選択されているサムネイル画像に対応する画像をＳＮＳの管理サーバへ送信する。より具体的には、スマートフォンは最新のメッセージへの返信として当該画像をＳＮＳの管理サーバへ送信する。つまり、スマートフォンのユーザは、サムネイル画像９６１〜９６５を選択して送信ボタン９５２を操作するこにより、最新のメッセージに返信できる。このことから、サムネイル画像９６１〜９６５は、最新のメッセージへの返信に利用される情報の候補として、情報表示部９００Ｂに表示されていると言える。

本明細書では、「表示」は「提示」の一態様を意味する。検索結果は、「表示」によって提示されてもよいし、音声出力などの他の態様によって提示されてもよい。また、本明細書では、「投稿」はＳＮＳの管理サーバへのメッセージなどの「送信」を意味する。

＜Ｂ．検索の概要＞
第１の実施の形態では、スマートフォンは、提示される候補を取得するために、メッセージから抽出された特徴を用いて検索を行なう。図２は、スマートフォンによって実行される検索の一例を説明するための図である。検索の一例では、メッセージから抽出される特徴が利用される。メッセージから抽出される特徴の一例は、メッセージの投稿日時である。

図２の上部には、時間軸が示されている。当該時間軸の下には、スマートフォンのメインユーザに関連付けられている９個の画像（画像８０１〜８０９）が示されている。画像８０１〜８０９のそれぞれは、時間軸に対して、画像８０１〜８０９のそれぞれが生成された（撮影された）日時に対応する位置に配置されている。

スマートフォンは、最新のメッセージから、投稿日時（図２中の時点Ｔ０１）を抽出する。投稿日時は、メッセージ自体から抽出されてもよいし、メッセージに付随する情報（当該メッセージに関連付けられてスマートフォンに送信された情報）から抽出されてもよい。

次に、スマートフォンは、上記検索として、メインユーザに関連付けられているデータのうち、抽出された投稿日時から予め定められた時間的な範囲内に生成された画像を選択する。図２では、時点Ｔ０１から予め定められた範囲の時間が経過する時刻が、時点Ｔ０２で示されている。そして、サムネイル画像９６１〜９６５が、時点Ｔ０１から時点Ｔ０２までの範囲内で生成された画像である。したがって、スマートフォンは、上記検索の結果として、画像８６１〜８６５を選択する。

そして、情報提示装置は、選択した画像（画像８６１〜８６５）のサムネイル画像（サムネイル画像９６１〜９６５）を、情報表示部９００Ｂに表示する。

なお、情報表示部９００Ｂでは、サムネイル画像９６１が、他の４個のサムネイル画像９６２〜９６５とは異なる態様（大きさ）で表示されている。サムネイル画像９６１は、画像８０４に対応する。画像８０４は、５個の画像８０４〜８０８のうち最も投稿日時に近い時刻に生成された画像である。つまり、情報表示部９００Ｂでは、表示される２以上の候補の中で、投稿日時に最も近い時刻に生成された画像を、他の候補とは異なる態様で表示することができる。

＜Ｃ．ハードウェア構成＞
図３は、スマートフォンの外観の一例を示す図である。図４は、スマートフォン１０のハードウェア構成の一例を示す図である。図３に示されるように、スマートフォン１０は、その一つの面に、タッチスクリーン１５９を備える。図４を主に参照して、スマートフォン１０のハードウェア構成を詳細に説明する。

スマートフォン１０は、主たる構成要素として、プログラムを実行するＣＰＵ（Central Processing Unit）１５１と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１５２と、ＣＰＵ１５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ（Random Access Memory）１５３と、データを不揮発的に格納する記憶装置１５４と、ＬＥＤ（Light Emitting Diode）１５５と、スイッチ１５６と、通信ＩＦ（Interface）１５７と、電源回路１５８と、タッチスクリーン１５９と、操作キー１６０と、カメラ１６１とを含む。各構成要素は、相互にデータバスによって接続されている。記憶装置１５４は、たとえばフラッシュメモリ等の不揮発性メモリにより構成される。タッチスクリーンは、ディスプレイ１５９１と、タッチパネル１５９２により構成される。

電源回路１５８は、コンセントを介して受信した商用電源の電圧を降圧し、スマートフォン１０の各部に電源供給を行なう回路である。スイッチ１５６は、電源回路１５８に給電を行なうか否かを切替えるための主電源用のスイッチ、およびその他の各種の押しボタンスイッチである。

タッチスクリーン１５９は、各種のデータを表示および入力を受け付けるためのデバイスである。ディスプレイ１５９１は、画像を表示するための画面を含んで構成されている。

通信ＩＦ１５７は、サーバ装置２０に対するデータの送信処理およびサーバ装置２０から送信されたデータの受信処理を行なう。ＬＥＤ１５５は、スマートフォン１０の動作状態を表す各種の表示ランプである。たとえば、ＬＥＤ１５５は、スマートフォン１０の主電源のオンまたはオフ状態、および記憶装置１５４への読み出しまたは書き込み状態等を表す。操作キー１６０は、スマートフォン１０のユーザが主電源のオンまたはオフ等するためのキー（操作ボタン）である。

スマートフォン１０における処理は、各ハードウェアおよびＣＰＵ１５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、記憶装置１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５７等を介してダウンロードされた後、記憶装置１５４に一旦格納される。そのソフトウェアは、ＣＰＵ１５１によって記憶装置１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。ＣＰＵ１５１は、そのプログラムを実行する。

同図に示されるスマートフォン１０を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５３、記憶装置１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、スマートフォン１０の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記録媒体としては、ＤＶＤ（Digital Versatile Disk）−ＲＡＭに限られず、ＤＶＤ-ＲＯＭ、ＣＤ（Compact Disk）−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。また、ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜Ｄ．機能構成＞
図５は、スマートフォン１０の機能構成の一例を示す図である。図５を参照して、スマートフォン１０は、制御部１００と、通信ＩＦ部１１０と、撮像部１１２と、入力処理部１１４と、表示部１１６と、記憶部１２０とを含む。

制御部１００は、受信したメッセージから特徴を抽出する情報抽出部１０２と、抽出された特徴をキーワードとして検索を実行する検索処理部１０４と、検索処理部１０４による検索結果を図１の情報表示部９００Ｂにおいて候補として表示する表示制御部１０６とを含む。制御部１００は、たとえばＣＰＵ１５１が適切なプログラムを実行することによって実現される。

通信ＩＦ部１１０は、ネットワークＮ上の種々の装置との間で情報の送受信の処理を行なう。当該処理は、ＳＮＳの管理サーバからメッセージを受信する処理と、ＳＮＳの管理サーバへメッセージを送信する処理とを含む。通信ＩＦ部１１０は、たとえば通信ＩＦ１５７によって実現される。

撮像部１１２は、静止画および／または動画を撮影する。撮像部１１２は、たとえばカメラ１６１により構成される。

入力処理部１１４は、外部からの情報の入力を制御部１００へ入力する。制御部１００は、入力処理部１１４から入力された情報に基づいて、プログラムを実行する。入力処理部１１４は、たとえば、スイッチ１５６、タッチパネル１５９２、および操作キー１６０により構成される。

表示部１１６は、制御部１００からの指示に基づいて、情報を表示する。表示部１１６は、たとえばディスプレイ１５９１により構成される。

記憶部１２０は、プログラム記憶部１２２とデータ記憶部１２４とを含む。プログラム記憶部１２２は、制御部１００を構成するＣＰＵ１５１によって実行されるプログラムを記憶する。データ記憶部１２４は、当該プログラムの実行に利用されるデータを記憶する。記憶部１２０は、たとえば記憶装置１５４により構成される。撮像部１１２によって撮影された静止画および／または動画のデータは、制御部１００によって、データ記憶部１２４に格納される。

＜Ｅ．ライブラリのデータテーブル＞
本明細書では、画像などのデータが格納される記憶装置の領域を「ライブラリ」と称する。ライブラリは、たとえばデータ記憶部１２４内に位置する。図６は、データ記憶部１２４内のライブラリ内の画像についてのデータテーブルの一例を示す図である。

図６を参照して、データテーブルは、画像ＩＤと、撮影日時と、データ保存先アドレスとを関連付ける。制御部１００は、カメラ１６１で撮影された画像のそれぞれにＩＤを付与する。そして、制御部１００は、ライブラリに格納する。制御部１００は、付与されたＩＤを、「画像ＩＤ」としてデータテーブルに登録する。また、制御部１００は、画像が撮影された日時を、「日時」としてデータテーブルに登録する。さらに、制御部１００は、画像が格納されたアドレスを、「データ保存先アドレス」としてデータテーブルに登録する。

＜Ｆ．処理の流れ＞
図７は、スマートフォン１０においてＳＮＳのメッセージが表示されるときの処理のフローチャートである。以下に、当該処理においてＣＰＵ１５１が実行する処理の流れを説明する。たとえばＳＮＳアプリケーションを起動する指示が入力されたことに応じて、ＣＰＵ１５１は図７の処理を開始する。本明細書では、「アプリケーション」を適宜「アプリ」と略す。図７の処理は、ＳＮＳアプリの一部として実装されてもよいし、ＳＮＳアプリを補助するためのアプリとして実装されてもよい。

図７を参照して、ステップＳ１０で、ＣＰＵ１５１は、メッセージ表示の対象となるユーザが指定されたかどうかを判断する。ＣＰＵ１５１は、対象となるユーザが指定されたと判断するまでステップＳ１０の制御で留まる。そして、ＣＰＵ１５１は、対象となるユーザが指定されたと判断すると、ステップＳ２０へ制御を進める。

ステップＳ２０で、ＣＰＵ１５１は、メインユーザと指定されたユーザとの間で送受信されたメッセージの中から最新のメッセージを抽出する。そして、制御はステップＳ３０へ進められる。

ステップＳ３０で、ＣＰＵ１５１は、ステップＳ２０で抽出された最新のメッセージが、メインユーザ以外によって投稿されたかどうかを判断する。そして、最新のメッセージがメインユーザによって投稿された場合には、ＣＰＵ１５１は、ステップＳ７０へ制御を進める。一方、最新のメッセージがメインユーザ以外によって投稿された場合には、ＣＰＵ１５１は、ステップＳ４０へ制御を進める。

ステップＳ４０で、ＣＰＵ１５１は、最新のメッセージの投稿日時を抽出する。そして、制御はステップＳ５０へ進められる。

ステップＳ５０で、ＣＰＵ１５１は、ステップＳ４０で抽出された投稿日時をキーワードとして、ライブラリの画像を検索する。より具体的には、ＣＰＵ１５１は、ライブラリから、その「日時」が抽出された投稿日時から予め定められた範囲内にある画像を抽出する。そして、制御はステップＳ６０へ進められる。

ステップＳ６０で、ＣＰＵ１５１は、ディスプレイ１５９１にステップＳ５０の検索結果をメッセージと共に表示させる。これにより、ディスプレイ１５９１には、図１の画像９００のような画像が表示される。そして、図７の処理は終了する。

なお、ＳＮＳアプリにおいて、ＣＰＵ１５１は、たとえば、図１のサムネイル画像９６１〜９６５の中から画像を選択する操作と、送信ボタン９５２に対する操作とを受け付けることにより、選択された画像を送信する。これにより、当該画像は、ユーザＸからの最新のメッセージの返信としてＳＮＳの管理サーバへ送信される。

一方、ステップＳ７０で、ＣＰＵ１５１は、ディスプレイ１５９１にメッセージを表示する。これにより、ディスプレイ１５９１には、メインユーザとステップＳ１０で指定されたユーザの間のメッセージのみが表示される。図１の情報表示部９００Ｂとして示されたような、メッセージへの返信の候補を含む情報は表示されない。そして、図７の処理は終了する。

図７の処理は、図５に示した機能ブロック図の各構成に基づいて、以下のように説明される。ユーザは、タッチパネル１５９２（図４）にＳＮＳアプリの開始を指示する情報を入力する。これにより、入力処理部１１４は、ＳＮＳアプリの開始の指示を受け付ける。これに応じて、ＣＰＵ１５１は、ＳＮＳアプリを開始し、図７の処理を開始する。

ユーザは、タッチパネル１５９２（図４）にメッセージの表示対象のユーザを指定する情報を入力する。これにより、入力処理部１１４は、当該情報を入力を受け付ける。これに応じて、ＣＰＵ１５１は、ステップＳ１０でユーザが指定されたと判断する。これにより、制御は、ステップＳ２０へ進められる。

情報抽出部１０２は、通信ＩＦ部１１０に、メインユーザと表示対象のユーザとの間のメッセージの受信を指示する。これに応じて、通信ＩＦ部１１０は、ＳＮＳの管理サーバに対して、メインユーザと表示対象のユーザとの間のメッセージを要求する。そして、通信ＩＦ部１１０は、メインユーザと表示対象のユーザとの間のメッセージを受信する。

ステップＳ２０で、情報抽出部１０２は、通信ＩＦ部１１０によって受信されたメッセージから最新のメッセージを抽出する。

ステップＳ３０で、検索処理部１０４は、最新のメッセージがメインユーザ以外によって投稿されたかどうかを判断する。

最新のメッセージがメインユーザ以外によって投稿された場合、ステップＳ４０で、検索処理部１０４は、最新のメッセージの投稿日時を抽出する。そして、ステップＳ５０で、検索処理部１０４は、データ記憶部１２４のライブラリ内の画像から、投稿日時から予め定められた範囲内に日時を有する画像を検索する。そして、検索処理部１０４は、検索結果を表示制御部１０６へ渡す。

ステップＳ６０で、表示制御部１０６は、メインユーザと表示対象のユーザの間のメッセージを表示部１１６において表示する。さらに、表示制御部１０６は、ステップＳ５０の検索結果を表示部１１６において表示する。

一方、最新のメッセージがメインユーザによって投稿された場合、ステップＳ７０で、表示制御部１０６は、メインユーザと表示対象のユーザとの間のメッセージを表示部１１６において表示する。

＜Ｇ．処理のまとめ＞
図７の処理のステップＳ６０では、ディスプレイ１５９１に、表示対象のユーザについて、当該ユーザから送信されたメッセージの返信に利用される情報の候補が表示される。候補の一例は、スマートフォン１０のライブラリ内の画像の中で、当該最新のメッセージの投稿日時に対して予め定められた範囲内に生成された画像である。

図１に示された例では、ユーザＡがメインユーザである。表示欄９１０は、ユーザＸの最新のメッセージを表示する。当該メッセージの投稿日時は２０１４年８月１日１０時１０分である。スマートフォン１０は、当該スマートフォン１０に登録された画像のうち、当該投稿日時に対して予め定められた関係の範囲内（たとえば、投稿時から１時間内）に撮影（登録）された画像を選択する。情報表示部９００Ｂは、当該選択された画像を、メッセージの返信に利用される情報の候補として表示する。なお、本実施の形態において、「メインユーザ」は、「メッセージの受信者」の一例である。当該メッセージの受信者は、メッセージの送信先によって特定される。

表示された候補は、ユーザＸの最新のメッセージが投稿された頃に、ユーザＡによって撮影された画像である。したがって、このような候補を提示されることにより、ユーザＡは、その頃にユーザＡ自身が何をしていたかを容易に思い返すことができる。

また、ユーザＡは、提示された候補を、ユーザＸの最新のメッセージに対する返信に利用できる。つまり、たとえば、提示された画像を使用しながらユーザＸの投稿の時のユーザＡの行動を説明することによって、ユーザＡは、ユーザＸのメッセージに対して返信できる。このことから、ユーザＡに提示された候補は、ユーザＡがユーザＸに返信することについての具体的な動機付けとなり得る。

＜Ｈ．変形例＞
ステップＳ７０では、情報表示部９００Ｂ（図１）に相当する部分に、上記の候補以外の情報（広告など）が表示され得る。

受信されたメッセージの投稿日時に対して予め定められた関係の範囲内に撮影された画像が予め定められた数以上存在する場合、ＣＰＵ１５１は、その中から候補として表示する画像を当該予め定められた数に絞り込んでもよい。この場合、ＣＰＵ１５１は、投稿日時に近い時間に撮影された順で絞り込んでもよいし、他の条件（たとえば、各画像にタグが付されている場合、なるべく多くの種類のタグが付された画像を選択する）に従って絞り込んでもよい。

「受信されたメッセージの投稿日時に対して予め定められた関係の範囲」は、図１で示されたような「投稿日時以降」に限定されない。当該範囲は、当該投稿日時より前の時間を含んでいてもよく、また当該投稿日時より前の時間のみを含む場合もあり得る。

候補の検索のためにメッセージから抽出される特徴は、メッセージの投稿日時以外の情報であってもよい。投稿日時以外の情報の一例は、投稿に添付されたデータ（たとえば、画像データ、動画データ、音声データ、など）の生成日時である。

第１の実施の形態では、検索の対象は、スマートフォン１０のライブラリ内の画像である。ユーザＡは、スマートフォン１０のメインユーザである。これにより、スマートフォン１０のライブラリ内の画像は、ユーザＡに関連付けられたデータの一例である。なお、ユーザＡがスマートフォン１０のメインユーザであることは、たとえば、データ記憶部１２４にユーザＡに関連付けられた情報（たとえばユーザＡが登録したパスコード）が格納されていることを意味する。

検索の対象は、スマートフォン１０内のライブラリに限定されない。検索対象は、ＳＮＳアプリのメインユーザに関連付けられた情報を格納している記憶領域であればよい。つまり、メインユーザであるユーザＡが受信したメッセージを表示するスマートフォン１０以外の記憶装置が、上記した候補の検索の対象とされる場合もあり得る。

受信されるメッセージは、ＳＮＳ上のメッセージに限定されない。受信されるメッセージは、電子メールなどの他の形態のメッセージであってもよい。図８は、受信されるメッセージが電子メールである場合の、返信に利用される情報の候補の表示の一例を示す図である。

図８を参照して、画像９７０は、電子メールメッセージを表示する。より具体的には、画像９７０は、差出人９７２と件名９７４と本文９７６と送信日時９７８とを含む。そして、画像９７０は、候補表示部９８０をさらに含む。候補表示部９８０は、画像９７０のメッセージへの返信に利用される画像の候補（サムネイル画像９８２〜９８８）を含む。ＣＰＵ１５１は、たとえば送信日時９７８によって特定される日時に対して予め定められた関係を有する範囲内に撮影された画像を、候補表示部９８０内に表示する。

［第２の実施の形態］
第２の実施の形態では、情報提示装置は、ネットワークを介してＳＮＳの管理サーバに接続されている。そして、第２の実施の形態では、情報提示装置と当該管理サーバとが、情報提示システムを構成する。

第１の実施の形態では、情報提示装置は、受信されたメッセージの返信に利用される情報の候補を提示するために、当該メッセージの特徴を抽出した。これに対して、第２の実施の形態では、情報提示装置ではなく、サーバ装置が、受信されたメッセージの特徴を抽出する。

＜Ａ．情報提示システムの構成＞
図９は、第２の実施の形態の情報提示システムの構成の一例を概略的に示す図である。図９を参照して、情報提示システム１では、情報提示装置の一例であるスマートフォン１０は、ネットワークＮを介して、サーバ装置２０（管理サーバ）と接続されている。

＜Ｂ．ハードウェアの構成＞
第２の実施の形態のスマートフォン１０のハードウェア構成は、第１の実施の形態のものと同様とされ得る。図１０は、サーバ装置２０のハードウェア構成の一例を示す図である。

図１０を参照して、サーバ装置２０は、主たる構成要素として、プログラムを実行するＣＰＵ２５１と、データを不揮発的に格納するＲＯＭ２５２と、ＣＰＵ２５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ２５３と、データを不揮発的に格納するＨＤＤ２５４と、ＬＥＤ２５５と、スイッチ２５６と、通信ＩＦ（Interface）２５７と、電源回路２５８と、ディスプレイ２５９と、操作キー２６０とを含む。各構成要素は、相互にデータバスによって接続されている。

電源回路２５８は、コンセントを介して受信した商用電源の電圧を降圧し、サーバ装置２０の各部に電源供給を行なう回路である。スイッチ２５６は、電源回路２５８に給電を行なうか否かを切替えるための主電源用のスイッチ、およびその他の各種の押しボタンスイッチである。ディスプレイ２５９は、各種のデータを表示するためのデバイスである。

通信ＩＦ２５７は、スマートフォン１０に対するデータの送信処理およびスマートフォン１０から送信されたデータの受信処理を行なう。

ＬＥＤ２５５は、サーバ装置２０の動作状態を表す各種の表示ランプである。たとえば、ＬＥＤ２５５は、サーバ装置２０の主電源のオンまたはオフ状態、およびＨＤＤ２５４への読み出しまたは書き込み状態等を表す。操作キー２６０は、サーバ装置２０のユーザがサーバ装置２０へデータを入力するための用いるキー（キーボード）である。

サーバ装置２０における処理は、各ハードウェアおよびＣＰＵ２５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ２５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ２５７等を介してダウンロードされた後、ＨＤＤ２５４に一旦格納される。そのソフトウェアは、ＣＰＵ２５１によってＨＤＤ２５４から読み出され、ＲＡＭ２５３に実行可能なプログラムの形式で格納される。ＣＰＵ２５１は、そのプログラムを実行する。

図１０に示されるサーバ装置２０を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ２５３、ＨＤＤ２５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置２０の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記録媒体としては、ＤＶＤ−ＲＡＭに限られず、ＤＶＤ-ＲＯＭ、ＣＤ−ＲＯＭ、ＦＤ、ハードディスク、磁気テープ、カセットテープ、光ディスク、ＥＥＰＲＯＭ、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。また、ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜Ｃ．処理の流れ＞
上述の第１の実施の形態では、サーバ装置２０は、スマートフォン１０に対して、ＳＮＳ上で当該スマートフォン１０のメインユーザに向けられたメッセージを送信する。第２の実施の形態では、サーバ装置２０は、スマートフォン１０に対して、メッセージに関連付けて、当該メッセージから抽出された特徴をさらに送信する。

第２の実施の形態において、スマートフォン１０の情報抽出部１０２は、第１の実施の形態のステップＳ４０でメッセージから特徴（投稿日時）を抽出する代わりに、サーバ装置２０から特徴として送信されてきた情報を抽出する。その他の制御内容は、図７に示された第１の実施の形態における処理と同様とすることができる。

第２の実施の形態では、第１の実施の形態においてスマートフォン１０が実行していた処理の一部をサーバ装置２０が実行する。これにより、サーバ装置２０は、スマートフォン１０における処理の負担を軽減できる。

［第３の実施の形態］
第３の実施の形態では、第２の実施の形態と同様に、情報提示装置（スマートフォン１０）は、ネットワークを介してＳＮＳの管理サーバ（サーバ装置２０）に接続される。そして、情報提示システム１は、スマートフォン１０とサーバ装置２０とを含む。

上述された第１の実施の形態では、情報提示装置が、メッセージを受信し、当該メッセージの特徴を抽出し、当該特徴をキーワードとして検索し、そして、検索結果を当該メッセージの返信に利用される情報の候補として提示した。第３の実施の形態では、情報提示装置ではなく、サーバ装置が、特徴をキーワードとした検索を行なう。

第３の実施の形態において、情報提示装置の一例であるスマートフォン１０およびサーバ装置２０のハードウェア構成は、第２の実施の形態のものと同様とすることができる。

＜Ａ．機能構成＞
図１１は、第３の実施の形態のスマートフォン１０とサーバ装置２０の機能構成の一例を示す図である。図１１に示されたスマートフォン１０は、図５に示されたものと比較して、検索処理部１０４の代わりに検索指示部１０５を含む。第３の実施の形態では、スマートフォン１０は、受信されたメッセージから特徴を抽出し、当該特徴をキーワードとした検索をサーバ装置２０へ指示する。

サーバ装置２０は、図１１に示されるように、制御部２００と、通信ＩＦ部２１０と、記憶部２２０とを含む。制御部２００は、検索部２０２を含む。検索部２０２は、第１の実施の形態において検索処理部１０４が行なっていた検索を行なう。

通信ＩＦ部２１０は、スマートフォン１０（通信ＩＦ部１１０）を含む他の機器から情報を受信し、また、他の機器に対して情報を送信する。通信ＩＦ部２１０は、たとえば通信ＩＦ２５７によって実現される。

記憶部２２０は、プログラム記憶部２２２とデータ記憶部２２４とを含む。プログラム記憶部２２２は、ＣＰＵ２５１によって実行されるプログラムを記憶する。データ記憶部２２４は、当該プログラムの実行に利用される種々のデータを記憶する。データ記憶部２２４は、たとえばオンラインストレージとして利用され得る。これにより、データ記憶部２２４は、スマートフォン１０のメインユーザであって、スマートフォン１０において実行されるＳＮＳアプリのメインユーザに関連付けられたデータ（画像データ等）を格納し得る。記憶部２２０は、たとえばＲＯＭ２５２およびＨＨＤ２５４により実現される。

＜Ｂ．処理の流れ＞
図１２は、第３の実施の形態のスマートフォン１０においてＳＮＳのメッセージが表示されるときの処理のフローチャートである。図１２には、スマートフォン１０側の処理のフローチャート（左側）と、サーバ装置２０側の処理のフローチャート（右側）とが示されている。

図１２を参照して、スマートフォン１０のＣＰＵ１５１は、タッチパネル１５９２等においてＳＮＳアプリを起動させる操作がなされると、第１の実施の形態と同様に、ステップＳ１０〜Ｓ４０の制御を実行する。より具体的には、ＣＰＵ１５１は、ステップＳ１０で対象となるユーザの指定を受付けるとステップＳ２０へ制御を進める。ＣＰＵ１５１は、ステップＳ２０で、対象となるユーザとメインユーザとの間のメッセージの中から最新のメッセージを抽出する。ＣＰＵ１５１は、ステップＳ３０で、最新の投稿者がメインユーザ以外のユーザであるかどうかを判断する。そして、ＣＰＵ１５１は、最新の投稿者がメインユーザであると判断すると、ステップＳ７０へ制御を進める。一方、ＣＰＵ１５１は、最新の投稿者がメインユーザ以外のユーザであると判断すると、ステップＳ４０へ制御を進める。ＣＰＵ１５１は、ステップＳ４０で、最新のメッセージから投稿日時を抽出する。そして、制御はステップＳ５２へ進められる。

ステップＳ５２で、ＣＰＵ１５１は、サーバ装置２０に対して、メッセージの検索を依頼する情報を送信する。このときに送信される情報は、少なくともステップＳ４０で抽出された特徴（投稿日時）を含む。

ステップＳＡ１０で、サーバ装置２０のＣＰＵ２５１は、スマートフォン１０から送信された特徴（投稿日時）を受信する。そして、制御はステップＳＡ２０へ進められる。

ステップＳＡ２０で、ＣＰＵ２５１は、データ記憶部２２４内の画像データから、スマートフォン１０から受信した投稿日時から予め定められた範囲内に生成された画像データを検索する。ここで、検索対象となるデータ記憶部２２４内の画像データは、メインユーザに関連付けられて格納されている画像データである。「メインユーザ」とは、スマートフォン１０および当該スマートフォン１０において実行されているＳＮＳアプリのメインユーザである。そして、制御は、ステップＳＡ３０へ進められる。

ステップＳＡ３０で、ＣＰＵ２５１は、ステップＳＡ２０における検索の結果を、スマートフォン１０へ送信する。

これに応じて、ステップＳ５４で、スマートフォン１０のＣＰＵ１５１は、サーバ装置２０から送信された検索結果を受信する。

そして、ステップＳ６０で、ＣＰＵ１５１は、受信した検索結果とメッセージ（メインユーザとステップＳ１０で指定を受付けたユーザとの間のメッセージ）を表示する。これにより、ディスプレイ１５９１には、図１の画像９００が表示される。そして、図１２の処理は終了する。

第３の実施の形態では、スマートフォン１０の代わりにサーバ装置２０が、スマートフォン１０によって受信されるメッセージから特徴を抽出してもよい。これにより、サーバ装置２０は、スマートフォン１０における処理の負担をさらに軽減できる。

［第４の実施の形態］
第４の実施の形態では、第１の実施の形態と同様に、情報提示装置の一実施の形態であるスマートフォンは、メッセージを受信し、受信されたメッセージの特徴を抽出し、当該特徴をキーワードとして検索を実行し、そして、受信されたメッセージの返信に利用される情報の候補として検索結果を提示する。第４の実施の形態では、スマートフォンは、抽出した特徴を利用して、２種類以上の検索を実行する。

＜Ａ．概要＞
図１３は、第４の実施の形態のスマートフォンの動作を説明するための図である。第４の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。そして、図１３に示されるように、第４の実施の形態のスマートフォン１０のデータ記憶部１２４は、ＳＮＳアプリのメインユーザに関連付けて、画像データの他にライフログ８１０を格納する。

ライフログ８１０は、スマートフォン１０において起動されたアプリの種類（図１３中の「アラーム」「ブラウザ」「天気予報」「電話」）を、各アプリが起動された時刻に関連付けて格納する。図１３のライフログ８１０は、２０１３年８月１日に、スマートフォン１０において、６時００分に目覚まし時計アプリ（「アラーム」）が起動し、６時３０分にＷｅｂブラウザ（「ブラウザ」）が起動し、６時５０分に天気予報アプリ（「天気予報」）が起動し、また、８時００分に電話アプリ（「電話」）が起動したことを示す。

ライフログ８１０は、さらに、各アプリで処理されたデータを含む。たとえば、ライフログ８１０は、８時００分の電話アプリの通話相手として、電話帳内の「Ａさん」のデータが参照されたことを示す。

第４の実施の形態では、ＣＰＵ１５１は、第１の実施の形態と同様に図７のフローチャートに沿って、処理を実行する。なお、ＣＰＵ１５１は、ステップＳ５０において、データ記憶部１２４に格納された画像において投稿日時から予め定められた範囲で生成された画像データを検索し、さらに、ライフログ８１０において投稿日時から予め定められた範囲に記録されているログを検索する。

図１３の例では、予め定められた範囲は、２０１４年８月１日の午前８時００分から午前１０時００分であるとする。これにより、ＣＰＵ１５１は、図１３のライフログ８１０から枠Ｆ１で囲われた部分のログを検索結果として抽出する。これにより、第４の実施の形態では、検索結果として、図１３の画像９９０が表示される。

＜Ｂ．表示例＞
画像９９０の情報表示部９００Ｂは、図１の画像９００の情報表示部９００Ｂと比較して、さらに欄９９１を含む。欄９９１は、ライフログ８１０における検索結果を表示する。より具体的には、欄９９１には、枠Ｆ１内の３個のログ、つまり、８時００分と８時３０分と１０時００分のログが表示される。これにより、スマートフォン１０は、メインユーザに対して、最新のメッセージが投稿された時点での当該メインユーザの行動をより確実に思い出させる情報を提供できる。欄９９１に表示された３個のログのそれぞれは、テキスト情報として欄９５１にコピーされ得る。また、各ログに対して操作することにより、各ログに関連付けられたアプリを起動でき、また、各ログに関連付けられたファイルを再生し、また、各ログに関連付けられたファイルを最新のメッセージへの返信として送信することができる。

各ログに関連付けられたファイルとは、当該ログにおいて、アプリで処理されたことが記録されているファイルである。たとえば、一例において、あるログが、Ｗｅｂブラウザであるウェブページが閲覧されたことを示す場合、当該ログに関連付けられたファイルは、閲覧されたウェブページのファイルである。より具体的には、Ｗｅｂブラウザでニュースを閲覧したことを示すログに関連付けられたファイルは、閲覧されたニュースを示すＷｅｂページのファイルである。なお、Ｗｅｂブラウザのログには、閲覧されたファイルの代わりに、当該閲覧されたファイルのＵＲＬ（Uniform Resource Locator）が関連付けられていてもよい。また、他の例において、あるログが、動画を閲覧するアプリである動画ファイルが再生されたことを示す場合、当該ログに関連付けられたファイルは、当該動画ファイルである。

第４の実施の形態によれば、スマートフォン１０は、メインユーザに、最新のメッセージが投稿日時に基づいてメインユーザのライフログの一部を提示する。これにより、メインユーザは、投稿日時あたりの時間帯の自身の行動内容をより具体的に思い出し、これにより、最新のメッセージに返信することについての動機付けを得る。

［第５の実施の形態］
第５の実施の形態では、最新のメッセージから抽出される特徴として、第１の実施の形態の投稿日時の代わりに、位置情報が抽出される。ＳＮＳアプリのメッセージは、位置情報を含む。メッセージに含まれる位置情報は、たとえばメッセージを送信したユーザが当該メッセージを送信する操作を行なった場所を示す。位置情報は、メッセージを構成する情報に含まれていてもよいし、メッセージに関連付けられた情報としてＳＮＳの管理サーバからスマートフォンに送信されてもよい。また、スマートフォンが、メッセージに含まれるテキストおよび／または画像などから位置情報を抽出してもよい。さらには、位置情報は、メッセージに添付されたファイル（画像等）に対してタグ等として付された情報であってもよい。

第５の実施の形態では、情報提示装置の一例であるスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。

＜Ａ．ライブラリのデータテーブル＞
第５の実施の形態では、スマートフォン１０のプログラム記憶部１２２に格納される画像の少なくとも一部は、位置情報を含む。図１４は、第５の実施の形態のデータ記憶部１２４に格納される画像のライブラリのデータテーブルの一例を示す図である。当該データテーブルは、たとえばデータ記憶部１２４に格納される。図１４のデータテーブルでは、図６のデータテーブルと比較すると、プログラム記憶部１２２内の各画像が、画像ＩＤと日時とデータ保存先アドレスとに加えて、位置情報に関連付けられている。

＜Ｂ．処理の流れ＞
図１５は、第５の実施の形態のスマートフォン１０においてＳＮＳのメッセージが表示されるときの処理のフローチャートである。図１５のフローチャートを図７のフローチャートと比較すると、スマートフォン１０のＣＰＵ１５１は、第１の実施の形態のＣＰＵ１５１と同様にステップＳ１０〜Ｓ３０を実行する。つまり、ＣＰＵ１５１は、メッセージ表示の対象となるユーザの指定が入力されるまでステップＳ１０の制御に留まり、当該指定を受け付けるとステップＳ２０へ制御を進める。ステップＳ２０で、ＣＰＵ１５１は、メインユーザと指定されたユーザとの間のメッセージの中の最新のメッセージを抽出するい。ステップＳ３０で、ＣＰＵ１５１は、最新のメッセージを投稿（送信）した者がメインユーザ以外であるかどうかを判断する。そして、ＣＰＵ１５１は、メインユーザであると判断するとステップＳ７０へ制御を進め、メインユーザ以外であると判断するとステップＳ４２へ制御を進める。

ステップＳ４２で、ＣＰＵ１５１は、最新のメッセージから位置情報を抽出する。位置情報は、メッセージを構成するデータに含まれていてもよいし、メッセージに関連付けられた情報としてメッセージとは別に送受信されてもよいし、メッセージのテキスト等から抽出されてもよい。メッセージのテキストからの抽出において、ＣＰＵ１５１は、たとえばデータ記憶部１２４に格納された位置情報用の辞書を利用する。当該辞書には、位置情報を特定する文字列（たとえば、都道府県名を表わす文字列）が登録されている。ＣＰＵ１５１は、メッセージ内のテキストのうち当該辞書に含まれる文字列に基づいて位置情報を特定する。そして、制御は、ステップＳ５６へ進められる。

ステップＳ５６で、ＣＰＵ１５１は、ライブラリ内の画像において、ステップＳ４２で抽出された位置情報から予め定められた範囲内の位置情報を有する画像を検索する。そして、制御はステップＳ６０へ進められる。「抽出された位置情報から予め定められた範囲内の位置情報を有する」ことの一例は、抽出された位置情報から予め定められた距離の範囲内に位置することである。

「抽出された位置情報から予め定められた範囲内の位置情報を有する」ことの他の例は、抽出された位置情報によって特定される場所に対して予め定められた関係にある場所に位置することである。より具体的な例として、抽出された位置情報によって特定される場所が「奈良駅」である例が示される。予め定められた関係の一例は、「同じ種類の場所であること」である。「奈良駅」の種類は、「駅」である。したがって、この例では、ライブラリの中で「駅」に対応する位置情報を有する画像が、検索結果として選出される。

図１５に戻って、ステップＳ６０で、ＣＰＵ１５１は、ステップＳ５６における検索の結果をメッセージとともに表示する。また、ステップＳ７０で、ＣＰＵ１５１は、メッセージのみを表示する。

以上説明した第５の実施の形態によれば、メッセージを受信したユーザは、当該ユーザに関連付けられたデータの中で、受信したメッセージに地理的に関連するデータを提示される。これにより、メッセージを受信したユーザは、提示されたデータを利用して、受信したメッセージに対してより容易に返信できる。

［第６の実施の形態］
第６の実施の形態のスマートフォンは、最新のメッセージの特徴として、第１の実施の形態の投稿日時の代わりに、テキスト情報を抽出する。そして、スマートフォンは、当該テキスト情報をキーワードとして検索を行ない、その結果を、メッセージの返信に利用するデータの候補として提示する。

ＳＮＳアプリのメッセージは、テキストを含む。メッセージに含まれるテキストは、メッセージに添付された画像から文字認識処理によって抽出されたテキストであってもよい。

＜Ａ．概要＞
図１６は、第６の実施の形態における、候補の提示の概要を説明するための図である。図１６を参照して、画像１０００は、スマートフォン１０においてメッセージの表示のためのディスプレイ１５９１における表示の一例である。画像１０００は、メッセージ表示部９００Ａと情報表示部９００Ｂとを含む。メッセージ表示部９００Ａは、３個のメッセージのそれぞれを表示する表示欄９１０〜９３０と、メッセージを入力するための入力欄９５０とを含む。図１６では、図１と同様に、表示欄９３０はユーザＸのメッセージを示し、表示欄９２０はユーザＡのメッセージを示し、表示欄９３０はユーザＸのメッセージを示す。なお、図１６の表示欄９１０〜９３０のそれぞれに表示されるメッセージは、図１の各メッセージとは異なる。

画像１０００では、表示欄９３０のメッセージが最新のメッセージである。スマートフォン１０は、表示欄９３０のメッセージからテキスト「決裁書」を抽出する。図１６では、ライブラリ内のファイルが、ファイル群８２０で示されている。スマートフォン１０は、テキスト「決裁書」をキーワードとしてライブラリを検索し、検索結果である１以上のファイル８２１を取得する。そして、スマートフォン１０は、画像１０００の情報表示部９００Ｂに、メッセージとともに、ファイル８２１に含まれる各ファイルのアイコン（図１６では３個のアイコン１０６１〜１０６３）を表示する。

第６の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。

＜Ｂ．処理の流れ＞
図１７は、第６の実施の形態のスマートフォン１０においてＳＮＳのメッセージが表示されるときの処理のフローチャートである。図１７のフローチャートを図７のフローチャートと比較すると、ＣＰＵ１５１は、ステップＳ４０の代わりにステップＳ４４の制御を実行し、また、ステップＳ５０の代わりにステップＳ５８の制御を実行する。

ステップＳ４４で、ＣＰＵ１５１は、最新のメッセージからテキスト情報を抽出する。より具体的には、たとえば、データ記憶部１２４は、キーワード抽出用の辞書を格納している。当該辞書は、たとえば検索に利用可能な名詞のリストを含む。ＣＰＵ１５１は、最新のメッセージのテキストから上記辞書に含まれる名詞を抽出する。そして、制御はステップＳ５８へ進められる。

ステップＳ５８で、ＣＰＵ１５１は、ステップＳ４４で抽出したテキストをキーワードとして、ライブラリを検索する。ライブラリは、ファイルを含む。ＣＰＵ１５１は、検索結果として１以上のファイルを取得する。そして、制御はステップＳ６０へ進められる。

ステップＳ６０で、ＣＰＵ１５１は、ステップＳ５８で取得したファイルのアイコンをメッセージとともに表示する。メッセージを見たユーザは、たとえば当該メッセージとともに表示されているアイコンをクリックすることにより、メッセージの返信として当該アイコンに対応するファイルを送信できる。

第６の実施の形態では、スマートフォン１０は、最新のメッセージから抽出されたテキスト情報を用いて、返信に利用される情報の候補を選択する。テキスト情報は、多くの場合、メッセージの内容を具体的に示す。これにより、第６の実施の形態では、提示される候補が最新のメッセージと確実に関連する確率が高くなる。したがって、提示される候補がメインユーザの返信への動機付けを高める確率が高くなる。

［第７の実施の形態］
第７の実施の形態のスマートフォンは、最新のメッセージから複数の特徴を抽出する。そして、複数の特徴をキーワードとしてライブラリを検索し、その結果をメッセージとともに表示する。

＜Ａ．概要＞
図１８は、第７の実施の形態における、候補の提示の概要を説明するための図である。第７の実施の形態では、スマートフォンは、最新のメッセージから、第１の特徴として時間情報を抽出し、第２の特徴してテキスト情報を抽出する。そして、スマートフォン１０は、ライブラリにおいて、第１の特徴である時間情報をキーワードとしてファイルを選択する。たとえば、スマートフォンは、時間情報で特定される時刻から予め定められた範囲内に生成されたファイルを選択する。このようなファイルの選択は、図１８において「１）時間情報に基づくファイルの選択」として示されている。この選択により、ライブラリ内のファイル８３１〜８３９から、ファイル８３４〜８３８が選択される。

次に、スマートフォンは、上記のように選択されたファイルから、第２の特徴であるテキスト情報をキーワードとして検索を行なうことにより、さらにファイルを選択する。このようなファイルの選択は、図１８において「２）ファイルの検索」として示されている。この選択により、ファイル８３４〜８３８からファイル８３５，８３８が選択される。ファイル８３５，８３８が、第７の実施の形態の最終的な検索結果８４０である。第７の実施の形態では、検索結果８４０に含まれる各ファイルのアイコンが、メッセージとともに表示される。

第７の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。

＜Ｂ．処理の流れ＞
図１９は、第７の実施の形態のスマートフォン１０においてＳＮＳのメッセージが表示されるときの処理のフローチャートである。図１９のフローチャートを図７のフローチャートと比較すると、ＣＰＵ１５１は、ステップＳ４０に加えてステップＳ４４の制御を実行し、また、ステップＳ５０の代わりにステップＳ５９の制御を実行する。

図１９を参照して、ステップＳ４０で、ＣＰＵ１５１は、最新のメッセージの投稿日時を抽出する。そして、制御はステップＳ４４へ進められる。

ステップＳ４４で、ＣＰＵ１５１は、最新のメッセージからテキスト情報を抽出する。ステップＳ４４の制御内容は、第６の実施の形態のステップＳ４４（図１７参照）と同様とすることができる。そして、制御はステップＳ５９へ進められる。

ステップＳ５９で、ＣＰＵ１５１は、ステップＳ４０で抽出した投稿日時を用いて、ライブラリからファイルを選択する（時間情報に基づくファイルの選択）。そして、当該選択されたファイルから、ＣＰＵ１５１は、ステップＳ４４で抽出したテキスト情報をキーワードとしてファイルを検索する（ファイルの検索）。そして、制御はステップＳ６０へ進められる。

ステップＳ６０で、ＣＰＵ１５１は、メッセージとともに、ステップＳ５９の検索結果に含まれるファイルのアイコンを提示する。

第７の実施の形態によれば、メッセージの返信に利用される情報の候補として、複数の特徴のそれぞれを用いた複数の段階で選択されたファイルが提示される。これにより、提示される候補の数を絞ることができる。

＜Ｃ．変形例＞
第７の実施の形態では、提示される候補は、スマートフォン１０におけるファイルの閲覧履歴など、ユーザの処理内容から選択されてもよい。図２０は、第７の実施の形態の変形例を説明するための図である。

図２０に示されるように、スマートフォン１０には、ファイルの閲覧履歴８５０が記録される。閲覧履歴８５０は、閲覧時刻と、閲覧されたファイルのＵＲＬとを含む。たとえば、ファイルの閲覧履歴８５０は、６月１４日８時００分に閲覧されたＵＲＬ「\\server\xxx.pdf」を含む。

図２０に示された変形例では、ファイルの閲覧履歴８５０から、メッセージから抽出された時間情報に基づいて履歴に対応するファイルが選択される。たとえば、６月１４日の８時００分から同日１０時００分の範囲内のファイルが選択されることにより、枠Ｆ２で囲われた３個の履歴に対応するファイルが選択される。３個のファイルは、ＵＲＬ「\\server\xxx.pdf」で特定されるファイル（６月２０日８時００分に閲覧された）と、ＵＲＬ「\\server\aaa.pdf」で特定されるファイル（６月２０日８時３０分に閲覧された）と、ＵＲＬ「\\server\bbb.pdf」で特定されるファイル（６月２０日１０時００分に閲覧された）とを含む。図２０では、これらのファイルが３個のアイコン８５１〜８５３で示されている。

図２０の変形例では、これらの３個のファイルから、キーワードを用いた検索によりさらにファイルが検索される。図２０では、検索結果８６０は、ファイル８５１とファイル８５２とを含む。そして、当該変形例では、２個のファイル８５１，８５２を示すアイコンが、最新のメッセージの返信に利用される情報の候補として表示される。

［第８の実施の形態］
第８の実施の形態では、スマートフォンは、最新のメッセージの投稿者に応じて候補の選択対象を設定する。第８の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。

第８の実施の形態のデータ記憶部１２４には、画像を格納するための２以上のフォルダが設定されている。２以上のフォルダの組合せの一例は、３個のフォルダ「旅行記」「レシピ」「仕事」である。そして、データ記憶部１２４は、メッセージが誰から送信されたかによって候補の選択対象のフォルダを変更するためのフォルダ設定テーブルを格納する。

＜Ａ．概要＞
図２１は、フォルダ設定テーブルの一例を模式的に示す図である。図２１のフォルダ設定テーブルでは、ユーザＸに対して、２個のフォルダ「旅行記」「レシピ」が設定されている。ユーザＹに対して、１個のフォルダ「仕事」が設定されている。フォルダ設定テーブルは、たとえばスマートフォン１０のメインユーザによって設定れる。

第８の実施の形態のスマートフォン１０においてＳＮＳのメッセージが表示されるときの処理は、第１の実施の形態と同様に、図７のフローチャートで示されることができる。ただし、第８の実施の形態では、ステップＳ５０の画像の検索では、最新のメッセージを投稿したユーザごとに、フォルダ設定テーブルに基づいて、検索対象のフォルダが設定される。

たとえば、最新のメッセージの投稿者がユーザＸである場合、ステップＳ５０において、ＣＰＵ１５１は、フォルダ「旅行記」とフォルダ「レシピ」の中から、投稿日時に対して予め定められた範囲内に生成された画像を選択する。

第８の実施の形態では、ＳＮＳにおける最新のメッセージへの返信に利用される情報の候補として、当該最新のメッセージから抽出された特徴を用いた検索の結果が提示される。なお、検索の対象は、当該最新のメッセージを投稿したユーザによって変更され得る。これにより、提示される情報は、情報が提示されるユーザ（メインユーザ）と返信の送信先のユーザとの関係に即したものとされ得る。

フォルダ設定テーブルは、たとえばスマートフォン１０のタッチパネル１５９２に入力された情報に基づいて、生成される。つまり、スマートフォン１０のユーザは、タッチパネル１５９２を操作することにより、メッセージの送信者ごとに検索対象のフォルダを設定することができる。

＜Ｂ．変形例＞
ある変形例では、各ユーザに属性が割り当てられ、フォルダ設定テーブルはユーザの属性をフォルダに関連付ける。以下、当該変形例について説明する。

スマートフォン１０内に格納される電話帳において、各ユーザに属性が割り当てられている。たとえばユーザＸおよびユーザＹのそれぞれに、以下の属性が割り当てられる。

ユーザＸ：属性「ワイン同好会」
ユーザＹ：属性「仕事」
フォルダ設定テーブルは、たとえば各属性に以下のフォルダを割り当てる。

属性「ワイン同好会」：フォルダ「旅行記」，フォルダ「レシピ」
属性「仕事」：フォルダ「仕事」
そして、この変形例では、最新のメッセージの投稿者がユーザＸである場合、ステップＳ５０において、ＣＰＵ１５１は、フォルダ「旅行記」とフォルダ「レシピ」の中から、投稿日時に対して予め定められた範囲内に生成された画像を選択する。ユーザＸの属性が「ワイン同好会」であり、属性「ワイン同好会」に割り当てられたフォルダがフォルダ「旅行記」とフォルダ「レシピ」だからである。

他の変形例では、フォルダ設定テーブルは、メッセージが送信された時間帯に応じて、検索対象のフォルダを選択する。これにより、たとえば、同じ送信者によって送信されたメッセージであっても、当該送信者がプライベートを楽しんでいると考えられる時間帯に送信したメッセージに対する返信用の候補と、当該送信者が仕事をしていると考えられる時間帯に送信したメッセージに対する返信用の候補とは、異なるフォルダから検索される。したがって、より返信に適したデータが、候補として選択され得る。

さらに他の変形例では、フォルダ設定テーブルは、ユーザごとに、検索対象のファイルの種類を設定する。これにより、返信に利用される情報の候補として、返信先のユーザに適した種類のファイルが提示される。返信先のユーザが利用する端末の種類によって再生されるファイルの種類が異なる場合があり得る。したがって、この変形例によれば、返信先のユーザが利用する端末の種類に応じた候補が提示され得る。

［第９の実施の形態］
＜Ａ．概要＞
第９の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。そして、第９の実施の形態のスマートフォンは、メッセージの表示後、特定の操作がなされたことを条件として、表示されたメッセージへの返信に利用される情報の候補を提示する。

図２２は、第９の実施の形態のスマートフォンにおける上記候補の提示の態様を説明するための図である。スマートフォン１０は、ディスプレイ１５９１に図２２の画像１１００を表示する。これにより、スマートフォン１０においてメッセージが表示される。画像１１００は、３個の表示欄９１１，９２０，９３０を含む。表示欄９１１，９２０，９３０のそれぞれは、メッセージを表示する。

図２２の表示欄９１１は、図１の表示欄９１０と比較して、「その時自分は」ボタン９１１Ａを含む。そして、スマートフォン１０は、「その時自分は」ボタン９１１Ａを操作されると、ディスプレイ１５９１に図２２の画像９００を表示させる。図２２の画像９００は、図１の画像９００と同様に、メッセージ表示部９００Ａと情報表示部９００Ｂとを含む。

第１の実施の形態で説明されたように、情報表示部９００Ｂは、メッセージ表示部９００Ａに表示されたメッセージの返信に利用される情報の候補を表示する。第９の実施の形態では、スマートフォン１０は、「その時自分は」ボタン９１１Ａを操作されたことを条件として、情報表示部９００Ｂを表示する。

＜Ｂ．処理の流れ＞
図２３は、第９の実施の形態のスマートフォン１０においてＳＮＳのメッセージが表示されるときの処理のフローチャートである。図２３のフローチャートは、図７のフローチャートと比較すると、３個の制御（ステップＳ３２，ステップＳ３４，ステップＳ３６）をさらに備える。

より具体的には、ＣＰＵ１５１は、ステップＳ３０で最新のメッセージの投稿者がメインユーザ以外のユーザであると判断した場合、ステップＳ３２へ制御を進める。

ステップＳ３２で、ＣＰＵ１５１は、最新のメッセージとともに「その時自分は」ボタンを表示する。これにより、図２２に示されたように、画像１１００において、「その時自分は」ボタン９１１Ａが表示される。そして、制御はステップＳ３４へ進められる。

ステップＳ３４で、ＣＰＵ１５１は、スマートフォン１０においてなされた操作の内容をチェックする。そして、ＣＰＵ１５１は、なされた操作が「その時自分は」ボタンに対する操作であれば、ステップＳ４０へ制御を進める。一方、ＣＰＵ１５１は、なされた操作が「その時自分は」ボタンに対する操作以外の操作であれば、ステップＳ３６へ制御を進める。

ステップＳ３６で、ＣＰＵ１５１は、なされた操作の内容に従った制御を実行する。これにより、図２３の処理は終了する。

ステップＳ４０で、ＣＰＵ１５１は、第１の実施の形態において説明されたように、最新のメッセージの投稿日時を抽出する。そして、制御はステップＳ５０へ進められる。

第９の実施の形態では、スマートフォン１０は、ユーザが特定の操作（「その時自分は」ボタン９１１Ａに対する操作）を行なうまでは、メッセージの返信に利用される情報の候補を表示しない。これにより、ユーザに無駄な情報が提示されることが回避され、また、スマートフォン１０によって実行される処理が必要最小限に抑えられる。

［第１０の実施の形態］
第１０の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。第１０の実施の形態のスマートフォン１０は、第１の実施の形態のスマートフォン１０と同様に、最新のメッセージを受信し、最新のメッセージの投稿日時から予め定められた範囲内に生成された画像データを選択して、最新のメッセージの返信に利用される情報の候補として提示する。なお、第１０の実施の形態では、スマートフォン１０のメインユーザが最新のメッセージの投稿者にメッセージを送信した時以前に生成された画像は提示されない。

図２４は、第１０の実施の形態における候補の提示の一例を説明するための図である。図２５は、第１０の実施の形態における候補の提示の一例を説明するための図である。第１０の実施の形態では、ユーザＡ（メインユーザ）がユーザＸからメッセージを受信する。図２４および図２５を参照して、ユーザＸへの返信に利用される情報の候補のユーザＡへの提示ついて説明する。なお、図２４と図２５の双方において、時点Ｔ２３は、ユーザＸによるメッセージの投稿時を示す。時点Ｔ２２から時点Ｔ２４は、時点Ｔ２３に対して予め定められた範囲を示す。また、時点Ｔ２１は、ユーザＡが、前回ユーザＸへメッセージを送信した日時を表わす。

図２４の例では、ライブラリ内の９個の画像８７１〜８７９のうち、５個の画像８７３〜８７７が、時点Ｔ２３に対して予め定められた範囲内に生成された画像ファイルである。図２４の例では、時点Ｔ２１は、時点Ｔ２３に対して予め定められた範囲外にある。したがって、図２４の例では、ＣＰＵ１５１は、枠Ｆ３で示されるように、画像８７３〜８７７のすべてを候補として提示する。

図２５の例でも、図２４の例と同様に、ライブラリ内の９個の画像８７１〜８７９のうち、５個の画像８７３〜８７７が、時点Ｔ２３に対して予め定められた範囲内に生成された画像ファイルである。しかしながら、図２４の例では、時点Ｔ２１は、時点Ｔ２３に対して予め定められた範囲内にある。より具体的には、時点Ｔ２１は、画像８７４が生成された時点よりも前ではあるが、画像８７３が生成された時点よりも後である。したがって、図２５の例では、ＣＰＵ１５１は、上記範囲内の５個の画像８７３〜８７７のうち、画像８７３を、提示される候補から除外する。つまり、図２５の例では、ＣＰＵ１５１は、枠Ｆ４で示されるように、４個の画像８７４〜８７７を候補として提示する。

第１０の実施の形態において、スマートフォン１０は、ユーザＡからユーザＸへの返信に利用される情報の候補を、ユーザＡがそれ以前にユーザＸにメッセージを送信した時刻以降の時刻に関連する情報に限定する。つまり、ユーザＡがそれ以前にユーザＸにメッセージを送信した時刻以前に関連する情報を、当該候補から除外する。これにより、既にユーザＡがユーザＸに既に送信されている情報を再度ユーザＸに送信する事態がより確実に回避される。

［第１１の実施の形態］
第１１の実施の形態のスマートフォンは、第１の実施の形態のスマートフォン１０と同様のハードウェア構成（図４参照）および機能構成（図５参照）を有し得る。第１１の実施の形態では、返信に利用される情報の候補の提示の対象が、最新のメッセージに限定されない。たとえば、メインユーザが２以上のユーザとメッセージを交換する場合、スマートフォン１０は、メインユーザ以外の各ユーザのメッセージについて、返信に利用される情報の候補を提示する。

図２６および図２７は、第１１の実施の形態における、返信に利用される情報の候補の提示を説明するための図である。まず、図２６を参照して、候補の提示を説明する。

図２６において、画像１２００は、スマートフォン１０のディスプレイ１５９１における表示の一例を示す。画像１２００は、メッセージ表示部９００Ａと情報表示部９００Ｂを含む。メッセージ表示部９００Ａは、３個の表示欄９１２，９２２，９３２を含む。

表示欄９３２は、スマートフォン１０およびＳＮＳアプリのメインユーザ（ユーザＡ）の投稿を表示する。表示欄９３０は、画像９０２を含む。画像９０２は、ユーザＡに関連付けられた画像である。

表示欄９２２は、ユーザＮ（メインユーザ以外のユーザの一例）から送信されたメッセージを表示する。表示欄９２２は、画像９０３とボタン９２２Ａとを含む。画像９０３は、ユーザＮに関連付けられた画像である。

表示欄９１２は、ユーザＭ（メインユーザ以外のユーザの一例）から送信されたメッセージを表示する。表示欄９１２は、画像９０４とボタン９１２Ａとを含む。画像９０４は、ユーザＭに関連付けられた画像である。

第１１の実施の形態のＣＰＵ１５１は、ボタン９２２Ａを操作されると、表示欄９２２内のメッセージの送信者（ユーザＮ）への返信に利用される情報の候補を情報表示部９００Ｂに表示する。また、ＣＰＵ１５１は、ボタン９１２Ａを操作されると、表示欄９１２内のメッセージの送信者（ユーザＭ）への返信に利用される情報の候補を情報表示部９００Ｂに表示する。

図２７を参照して、各ユーザに対する候補の選択を説明する。図２７には、時間軸と、当該時間軸に対して生成された日時に対応する位置に配置された９個の画像８８１〜８８９とが示されている。画像８８１〜８８９は、たとえばスマートフォン１０のデータ記憶部１２４内にスマートフォン１０のメインユーザに関連付けられて格納されている。

また、図２７において、時点Ｔ３１は、表示欄９２２に表示されたメッセージ（ユーザＮのメッセージ）の投稿日時を示す。時点Ｔ３２は、表示欄９１２に表示されたメッセージ（ユーザＭのメッセージ）の投稿日時を示す。

図２７では、時点Ｔ３１から時点Ｔ３３までの範囲Ｐ１によって、時点Ｔ３１から予め定められた範囲が示される。また、時点Ｔ３２から時点Ｔ３４までの範囲Ｐ２によって、時点Ｔ３２から予め定められた範囲が示される。

図２６および図２７を参照して、ユーザＮのメッセージに関するボタン９２２Ａを操作されると、ＣＰＵ１５１は、ユーザＮに対応する範囲Ｐ１内で生成された画像（５つの画像８８２〜８８６）を、ユーザＮへの返信に利用される情報の候補として情報表示部９００Ｂに表示する。一方、ユーザＭのメッセージに関するボタン９１２Ａを操作されると、ＣＰＵ１５１は、ユーザＭに対応する範囲Ｐ２内で生成された画像（５つの画像８８４〜８８８）を、ユーザＭへの返信に利用される情報の候補として情報表示部９００Ｂに表示する。

第１１の実施の形態によれば、返信に利用される情報の候補が返信の対象となるユーザごとに設定される。これにより、ユーザにおける返信の動機付けが、より確実に高められる。

［まとめ］
（１）本開示のある局面に従うと、メッセージを受信し、メッセージに返信するために利用される情報の候補を提示する、情報提示装置（スマートフォン１０）が提供される。

情報提示装置は、メッセージの特徴を抽出するように構成された抽出手段（情報抽出部１０２）を備える。

また、情報提示装置は、メッセージの受信者に関連付けられて格納されているデータ（スマートフォン１０のデータ記憶部１２４（図５）および／またはデータ記憶部２２４内のライブラリの画像）の中から、特徴を用いた検索（図２）の結果として、候補を取得するように構成された取得手段（検索処理部１０４）とを備える、情報提示装置。

（２）好ましくは、受信されたメッセージ（図１の表示欄９１０内のメッセージ）と、受信者に関連付けられて格納されているデータ（図６）とは、時間情報、位置情報、およびテキスト情報のいずれかの中の少なくとも一つを含む。取得手段は、特徴に対して予め定められた関係を有する時間情報、位置情報、およびテキスト情報のいずれかの中の少なくとも一つを含むデータを、検索の結果として取得するように構成されている。

（３）好ましくは、予め定められた関係（図２の「投稿日時から予め定められた範囲内」）は、データの時間情報が特徴の時間情報によって特定される時刻から予め定められた範囲内の時刻を特定することを含む。

（４）好ましくは、予め定められた関係（図２５）は、少なくとも、メッセージの受信者がメッセージの送信者に対して情報を送信した時刻以前の時刻を特定する時間情報に関連付けられているデータを排除する。

（５）好ましくは、受信者に関連付けられて格納されているデータは、メッセージの受信者の行動を時間情報に関連付けて特定する行動情報（図１３のライフログ）を含む。取得手段は、検索の結果として行動情報を取得するように構成されている。

（６）好ましくは、行動情報は、情報提示装置において起動されたアプリケーションの種類（図１３のライフログの「電話」等）を含む。

（７）好ましくは、行動情報は、情報提示装置において起動されたアプリケーションによって処理されたデータを特定する情報（図１３のライフログのアプリ「電話」の「Ａさん」）を含む。

（８）好ましくは、メッセージの受信者に関連付けられて格納されているデータは、予め定められた態様で２以上のグループに分類される（第８の実施の形態の３個のフォルダ「旅行記」「レシピ」「仕事」）。取得手段は、メッセージの送信者および特徴の少なくとも一方に応じて、データのうち検索の対象となるグループを選択するように構成されている。

（９）好ましくは、２以上のグループは、メッセージの受信者によって指定された態様（図２１）で、メッセージの受信者に関連付けられているデータを分類する。

（１０）好ましくは、情報提示装置は、入力を受け付けるように構成された操作手段（タッチパネル１５９２）をさらに備える。候補は、操作手段が入力を受け付けたことを条件として提示される（図２２）。

（１１）好ましくは、取得手段は、２以上の種類のデータ（図１３の「画像」と「ライフログ」からの特徴を用いた検索の結果として候補を取得するように構成されている（図１３））。

（１２）本開示の他の局面に従うと、情報を提示する情報提示装置のコンピュータによって実行される、当該情報提示装置の制御方法が提供される。制御方法は、メッセージを受信するステップと、メッセージの特徴を抽出するステップ（ステップＳ４０，Ｓ４２，Ｓ４４）と、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を取得するステップ（ステップＳ５０，Ｓ５６，Ｓ５８）と、候補を提示するステップ（ステップＳ６０）とを備える。

（１３）本開示のさらに他の局面に従うと、情報を提示する情報提示装置のコンピュータによって実行される、当該情報提示装置を制御するためのプログラムが提供される。プログラム（プログラム記憶部１２２内のプログラム）は、コンピュータに、メッセージを受信するステップと、メッセージの特徴を抽出するステップ（ステップＳ４０，Ｓ４２，Ｓ４４）と、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を取得するステップ（ステップＳ５０，Ｓ５６，Ｓ５８）と、候補を提示するステップ（ステップＳ６０）とを実行させる。

（１４）本開示のさらに他の局面に従うと、情報を提示する情報提示装置（スマートフォン１０）と、情報提示装置と通信可能なサーバ装置（サーバ装置２０）とを備える情報提示システム（情報提示システム１）が提供される。情報提示装置は、メッセージを受信するための受信手段（図１１の通信ＩＦ部１１０）を含む。サーバ装置は、メッセージの特徴を抽出し、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を生成するように構成された生成手段（図１１の検索部２０２）と、情報提示装置に候補を送信するための送信手段（図１１の通信ＩＦ部２１０）とを含む。受信手段は、送信手段から送信された候補を受信する。情報提示装置は、受信手段によって受信された候補を表示するための提示手段（（図１１の表示制御部１０６））をさらに備える。

（１５）本開示のさらに他の局面に従うと、情報を提示する情報提示装置と通信可能なサーバ装置（サーバ装置２０）が提供される。サーバ装置は、情報提示装置において表示されるメッセージの特徴を抽出し、メッセージの受信者に関連付けられて格納されているデータの中から、特徴を用いた検索の結果として、メッセージに返信するために利用される情報の候補を生成するように構成された送信手段（図１１の通信ＩＦ部２１０）とを備える。

（１６）本開示のさらに他の局面に従うと、メッセージとメッセージに返信するために利用される情報の候補とを受信するための受信手段と、メッセージと候補とを提示するように構成されている提示手段とを備える、情報提示装置（第３の実施の形態のスマートフォン１０）が提供される。

（１７）好ましくは、情報提示装置は、メッセージの特徴を抽出するように構成された抽出手段（図１１の情報抽出部１０２）と、特徴を用いた候補の生成を他の装置に指示するように構成されている指示手段（図１１の検索指示部１０５）とをさらに備える。

今回開示された実施の形態およびその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ スマートフォン、２０ サーバ装置、１００，２００ 制御部、１０２ 情報抽出部、１０４ 検索処理部、１０５ 検索指示部、１０６ 表示制御部、１２０，２２０ 記憶部、１２２，２２２ プログラム記憶部、１２４，２２４ データ記憶部、１５１，２５１ ＣＰＵ、１５４ 記憶装置、１５６，２５６ スイッチ、１５８，２５８ 電源回路、１５９ タッチスクリーン、８１０ ライフログ、１５９１ ディスプレイ、１５９２ タッチパネル。

Claims (17)

1. メッセージを受信し、前記メッセージに返信するために利用される情報の候補を提示する、情報提示装置であって、
   前記メッセージの特徴を抽出するように構成された抽出手段と、
   前記メッセージの受信者に関連付けられて格納されているデータの中から、前記特徴を用いた検索の結果として、前記候補を取得するように構成された取得手段とを備える、情報提示装置。
2. 受信された前記メッセージと、前記受信者に関連付けられて格納されているデータとは、時間情報、位置情報、およびテキスト情報のいずれかの中の少なくとも一つを含み、
   前記取得手段は、前記特徴に対して予め定められた関係を有する時間情報、位置情報、およびテキスト情報のいずれかの中の少なくとも一つを含むデータを、前記検索の結果として取得するように構成されている、請求項１に記載の情報提示装置。
3. 前記予め定められた関係は、前記データの時間情報が前記特徴の時間情報によって特定される時刻から予め定められた範囲内の時刻を特定することを含む、請求項２に記載の情報提示装置。
4. 前記予め定められた関係は、少なくとも、前記メッセージの受信者が前記メッセージの送信者に対して情報を送信した時刻以前の時刻を特定する時間情報に関連付けられているデータを排除する、請求項３に記載の情報提示装置。
5. 前記受信者に関連付けられて格納されているデータは、前記メッセージの受信者の行動を時間情報に関連付けて特定する行動情報を含み、
   前記取得手段は、前記検索の結果として前記行動情報を取得するように構成されている、請求項３または請求項４に記載の情報提示装置。
6. 前記行動情報は、前記情報提示装置において起動されたアプリケーションの種類を含む、請求項５に記載の情報提示装置。
7. 前記行動情報は、前記情報提示装置において起動されたアプリケーションによって処理されたデータを特定する情報を含む、請求項５または請求項６に記載の情報提示装置。
8. 前記メッセージの受信者に関連付けられて格納されているデータは、予め定められた態様で２以上のグループに分類され、
   前記取得手段は、前記メッセージの送信者および前記特徴の少なくとも一方に応じて、前記データのうち前記検索の対象となるグループを選択するように構成されている、請求項１〜請求項７のいずれか１項に記載の情報提示装置。
9. 前記２以上のグループは、前記メッセージの受信者によって指定された態様で、前記メッセージの受信者に関連付けられているデータを分類する、請求項８に記載の情報提示装置。
10. 入力を受け付けるように構成された操作手段をさらに備え、
    前記候補は、前記操作手段が入力を受け付けたことを条件として提示される、請求項１〜請求項９のいずれか１項に記載の情報提示装置。
11. 前記取得手段は、２以上の種類のデータからの前記特徴を用いた検索の結果として前記候補を取得するように構成されている、請求項１〜請求項１０のいずれか１項に記載の情報提示装置。
12. 情報を提示する情報提示装置のコンピュータによって実行される、当該情報提示装置の制御方法であって、
    メッセージを受信するステップと、
    前記メッセージの特徴を抽出するステップと、
    前記メッセージの受信者に関連付けられて格納されているデータの中から、前記特徴を用いた検索の結果として、前記メッセージに返信するために利用される情報の候補を取得するステップと、
    前記候補を提示するステップとを備える、情報提示装置の制御方法。
13. 情報を提示する情報提示装置のコンピュータによって実行される、当該情報提示装置を制御するためのプログラムであって、
    前記プログラムは、前記コンピュータに、
    メッセージを受信するステップと、
    前記メッセージの特徴を抽出するステップと、
    前記メッセージの受信者に関連付けられて格納されているデータの中から、前記特徴を用いた検索の結果として、前記メッセージに返信するために利用される情報の候補を取得するステップと、
    前記候補を提示するステップとを実行させる、プログラム。
14. 情報を提示する情報提示装置と、前記情報提示装置と通信可能なサーバ装置とを備える情報提示システムであって、
    前記情報提示装置は、メッセージを受信するための受信手段を含み、
    前記サーバ装置は、
    前記メッセージの特徴を抽出するように構成された抽出手段と、
    前記メッセージの受信者に関連付けられて格納されているデータの中から、前記特徴を用いた検索の結果として、前記メッセージに返信するために利用される情報の候補を生成するように構成された生成手段と、
    前記情報提示装置に前記候補を送信するための送信手段とを含み、
    前記受信手段は、前記送信手段から送信された前記候補を受信し、
    前記情報提示装置は、前記受信手段によって受信された前記候補を表示するための提示手段をさらに備える、情報提示システム。
15. 情報を提示する情報提示装置と通信可能なサーバ装置であって、
    情報提示装置において表示されるメッセージの特徴を抽出するように構成された抽出手段と、
    前記メッセージの受信者に関連付けられて格納されているデータの中から、前記特徴を用いた検索の結果として、前記メッセージに返信するために利用される情報の候補を生成するように構成された生成手段と、
    前記情報提示装置に前記候補を送信するための送信手段とを備える、サーバ装置。
16. メッセージと前記メッセージに返信するために利用される情報の候補とを受信するための受信手段と、
    前記メッセージと前記候補とを提示するように構成されている提示手段とを備える、情報提示装置。
17. 前記メッセージの特徴を抽出するように構成された抽出手段と、
    前記特徴を用いた前記候補の生成を他の装置に指示するように構成されている指示手段とをさらに備える、請求項１６に記載の情報提示装置。

Images