JP2022086885A - 表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】ユーザに合わせて表示態様を適切に調整する。【解決手段】表示装置は、画像を表示する表示部２２と、表示部２２に画像を表示させる出力制御部４８Ａと、ユーザの位置情報を取得する位置情報取得部５０と、ユーザの位置情報に基づき、ユーザが同じ場所を訪れた回数である訪問回数を特定する訪問回数特定部５２と、を含む。出力制御部４８Ａは、訪問回数に基づき、表示部２２に、ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させる。【選択図】図８

Description

本発明は、表示装置、表示方法及びプログラムに関する。

昨今、高速なＣＰＵや高精細な画面表示技術、小型軽量のバッテリーの技術の進化、無線ネットワーク環境の普及や広帯域化などに伴い、情報機器が大きな進化をしている。そして、このような情報機器としては、その代表例であるスマートフォンだけでなく、ユーザに装着される所謂ウエラブルデバイスなども普及してきた。ウェアラブルデバイスとしては、視覚情報を提供するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）があり、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）用や、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）用などに用いられる。例えば特許文献１には、ＡＲ技術を用いて、オブジェクトを現実空間の画像に重畳する際のオブジェクトの色調を考慮するための技術として、現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が開示されている。

特開２０１０－１７０３１６号公報

ここで、例えはＨＭＤなどの画像を表示する表示装置においては、その表示装置のユーザによらず、表示態様が一様となってしまう。そのため、表示装置のユーザに合わせて表示態様を適切に調整することが求められている。

本発明は、上記課題を鑑み、ユーザに合わせて表示態様を適切に調整可能な表示装置、表示方法及びプログラムを提供することを目的とする。

本発明の一態様にかかる表示装置は、画像を表示する表示部と、前記表示部に画像を表示させる出力制御部と、ユーザの位置情報を取得する位置情報取得部と、前記ユーザの位置情報に基づき、前記ユーザが同じ場所を訪れた回数である訪問回数を特定する訪問回数特定部と、を含み、前記出力制御部は、前記訪問回数に基づき、前記表示部に、前記ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させる。

本発明の一態様にかかる表示方法は、表示部に画像を表示させる表示方法であって、前記ユーザの位置情報を取得するステップと、ユーザの位置情報に基づき、前記ユーザが同じ場所を訪れた回数である訪問回数を特定するステップと、前記訪問回数に基づき、前記表示部に、前記ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させるステップと、を含む。

本発明の一態様にかかるプログラムは、表示部に画像を表示させる表示方法をコンピュータに実行させるプログラムであって、ユーザの位置情報を取得するステップと、前記ユーザの位置情報に基づき、前記ユーザが同じ場所を訪れた回数である訪問回数を特定するステップと、前記訪問回数に基づき、前記表示部に、前記ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させるステップと、をコンピュータに実行させる。

本発明によれば、ユーザに合わせて表示態様を適切に調整できる。

図１は、第１実施形態に係る表示装置の模式図である。 図２は、表示装置が表示する画像の一例を示す図である。 図３は、第１実施形態に係る表示装置の模式的なブロック図である。 図４は、表示モードの設定処理を説明するフローチャートである。 図５は、通常モードと強調モードでサブ画像を表示した場合の一例を示す図である。 図６は、通常モードと強調モードでサブ画像を表示した場合の一例を示す図である。 図７は、サブ画像の表示処理を説明するフローチャートである。 図８は、第２実施形態に係る表示装置の模式的なブロック図である。 図９は、表示モードの設定処理を説明するフローチャートである。 図１０は、サブ画像の表示処理を説明するフローチャートである。 図１１は、通常モードと強調モードでサブ画像を表示した場合の一例を示す図である。 図１２は、第３実施形態に係る表示装置の模式的なブロック図である。 図１３は、表示モードの設定処理を説明するフローチャートである。 図１４は、非表示モードの場合の一例を示す図である。 図１５は、第４実施形態に係る表示装置の模式的なブロック図である。 図１６は、表示モードの設定処理を説明するフローチャートである。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

（第１実施形態）
図１は、第１実施形態に係る表示装置の模式図である。第１実施形態に係る表示装置１０は、画像を表示する表示装置である。図１に示すように、表示装置１０は、ユーザＵの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、表示装置１０は、ユーザＵの目に装着される装置１０ａと、ユーザＵの耳に装着される装置１０ｂと、ユーザの腕に装着される装置１０ｃとを含む。ユーザＵの目に装着される装置１０ａは、ユーザＵに視覚刺激を出力する（画像を表示する）後述の表示部２２を含む。ユーザＵの耳に装着される装置１０ｂは、ユーザＵに聴覚刺激（音声）を出力する音声出力部を含み、ユーザＵの腕に装着される装置１０ｃは、ユーザＵに触覚刺激を出力する触覚刺激出力部を含む。ただし、図１の構成は一例であり、装置の数や、ユーザＵへの装着位置も任意であってよい。例えば、表示装置１０は、装置１０ｂや装置１０ｃを含まなくてもよい。また例えば、表示装置１０は、ウェアラブルデバイスに限られない。例えば、表示装置１０は、スマートフォンやタブレット端末など、ユーザＵに携帯される装置であってもよい。

（メイン像）
図２は、表示装置が表示する画像の一例を示す図である。図２に示すように、表示装置１０は、表示部２２を通して、ユーザＵにメイン像ＰＭを提供する。これにより、表示装置１０を装着したユーザＵは、メイン像ＰＭを視認できる。メイン像ＰＭとは、本実施形態では、ユーザＵが表示装置１０を装着していないと仮定した場合に、ユーザＵが視認することになる景色の像であり、ユーザＵの視野範囲に入る実在の対象物の像であるともいえる。視野範囲とは、ユーザＵの視線を中心とした、眼球を動かさないで見える範囲を指す。本実施形態では、表示装置１０は、例えば表示部２２から外光（周辺の可視光）を透過させることで、ユーザＵにメイン像ＰＭを提供する。すなわち、本実施形態では、ユーザＵは、表示部２２を通して、実際の景色の像を直接視認しているといえる。ただし、表示装置１０は、ユーザＵに実際の景色の像を直接視認させることに限られず、表示部２２にメイン像ＰＭの画像を表示させることで、表示部２２を通してユーザＵにメイン像ＰＭを提供してもよい。この場合、ユーザＵは、表示部２２に表示された景色の画像を、メイン像ＰＭとして視認することとなる。この場合、表示装置１０は、後述する撮像部２８が撮像した、ユーザＵの視野範囲に入る像を、メイン像ＰＭとして表示部２２に表示させる。なお、図２では、メイン像ＰＭとして道路と建物が含まれているが、単なる一例である。

（サブ画像）
図２に示すように、表示装置１０は、表示部２２を通して提供されるメイン像ＰＭに重畳するように、表示部２２にサブ画像ＰＳを表示させる。これにより、ユーザＵは、メイン像ＰＭにサブ画像ＰＳが重畳された像を視認することとなる。サブ画像ＰＳとは、メイン像ＰＭに重畳される画像であり、ユーザＵの視野範囲に入る実在の景色以外の画像といえる。すなわち、表示装置１０は、実在の景色であるメイン像ＰＭにサブ画像ＰＳを重畳させることで、ユーザＵにＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を提供するといえる。

本実施形態では、サブ画像ＰＳは、メイン像ＰＭに含まれている対象物に関する情報を含む画像である。すなわち、サブ画像ＰＳは、ユーザＵの視野範囲に入っている実在の対象物に関する情報（ユーザＵが現在視認している対象物に関する情報）を含む画像といえる。サブ画像ＰＳは、対象物毎に設定される。メイン像ＰＭにある対象物が含まれている際に（ユーザＵがその対象物を視認している際に）、その対象物についてのサブ画像ＰＳが表示される。図２の例では、ユーザＵが視認している対象物が建物であり、その建物に関する情報であるサブ画像ＰＳが表示されている。図２では、サブ画像ＰＳはＢＵという文字であるが、単なる一例である。

このように、表示装置１０は、メイン像ＰＭとサブ画像ＰＳとを提供するが、それ以外にも、メイン像ＰＭとサブ画像ＰＳとは異なる内容のコンテンツ画像を表示部２２に表示させてもよい。コンテンツ画像は、例えば映画やテレビ番組など、任意のコンテンツの画像であってよい。また、表示装置１０は、メイン像ＰＭを提供せずにサブ画像ＰＳを表示させるものであってもよい。

（表示装置の構成）
図３は、第１実施形態に係る表示装置の模式的なブロック図である。図３に示すように、表示装置１０は、入力部２０と、表示部２２と、記憶部２４と、通信部２６と、撮像部２８と、ＧＮＳＳ受信器３０と、制御部３２とを備える。

入力部２０は、ユーザの操作を受け付ける装置であり、例えばタッチパネルなどであってよい。表示部２２は、画像を表示するディスプレイである。本実施形態では、表示部２２は、いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）である。なお、表示部２２以外にも、出力部として、音声を出力する音声出力部（スピーカ）や、ユーザＵに触覚刺激を出力する触覚刺激出力部が備えられていてもよい。触覚刺激出力部は、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。

記憶部２４は、制御部３２の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２４が保存する制御部３２用のプログラムは、表示装置１０が読み取り可能な記録媒体に記憶されていてもよい。

通信部２６は、外部の装置などと通信するモジュールであり、例えばアンテナなどを含んでよい。通信部２６による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。

撮像部２８は、ユーザＵの視野範囲内の対象物を撮像するカメラである。撮像部２８は、撮像範囲が、ユーザＵの視野範囲と重複するような位置に、設けられている。図１の例では、撮像部２８は、装置１０ａに設けられており、撮像方向がユーザＵの顔が向いている方向となるように、取り付けられている。これにより、撮像部２８は、ユーザＵの視野範囲内の対象物を撮像できる。なお、撮像部２８は、所定のフレームレート毎に撮像するビデオカメラであってよい。撮像部２８の数は任意であり、単数であっても複数であってもよい。撮像部２８が複数ある場合には、カメラ２０Ａが向いている方向の情報も、取得されてよい。

ＧＮＳＳ受信器３０は、表示装置１０の位置情報を検出する装置である。ここでの位置情報とは、地球座標である。本実施形態では、表示装置１０はユーザＵに装着されているので、ユーザＵと表示装置１０との位置は同じである。従って、ＧＮＳＳ受信器３０は、ユーザＵの位置情報を検出するといえる。本実施形態では、ＧＮＳＳ受信器３０は、いわゆるＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）モジュールであり、衛星からの電波を受信して、表示装置１０（ユーザＵ）の位置情報を検出する。なお、第１実施形態においては、ＧＮＳＳ受信器３０は必須の構成ではない。

制御部３２は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部３２は、画像取得部４０と、視認物特定部４２と、視認回数特定部４４と、表示モード設定部４６と、出力制御部４８とを含む。制御部３２は、記憶部２４からプログラム（ソフトウェア）を読み出して実行することで、画像取得部４０と視認物特定部４２と視認回数特定部４４と表示モード設定部４６と出力制御部４８とを実現して、それらの処理を実行する。なお、制御部３２は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像取得部４０と視認物特定部４２と視認回数特定部４４と表示モード設定部４６と出力制御部４８との少なくとも一部を、ハードウェアで実現してもよい。

画像取得部４０は、撮像部２８を制御して、撮像部２８に画像を撮像させて、撮像部２８が撮像した画像（画像データ）を取得する。すなわち、画像取得部４０は、撮像部２８によって撮像された、ユーザＵの視野範囲を撮像範囲とした画像（画像データ）を取得する。画像取得部４０は、所定の期間ごとに撮像部２８に画像を撮像させる。画像取得部４０は、撮像部２８が画像を撮像するごとに、撮像部２８が撮像した画像データを取得する。

視認物特定部４２は、撮像部２８が撮像した画像に基づき、ユーザＵの視野範囲内の対象物の種類を特定する。視認物特定部４２の処理については後述する。

視認回数特定部４４は、視認物特定部４２の特定結果に基づき、すなわちユーザＵの視野範囲内の対象物の種類に基づき、ユーザＵが同じ種類の対象物を視認した回数である視認回数を特定する。視認回数特定部４４の処理については後述する。

表示モード設定部４６は、視認回数に基づき、サブ画像ＰＳの表示モードを決定する。サブ画像ＰＳの表示モードとは、サブ画像ＰＳの表示のさせ方を指し、表示態様と呼ぶこともできる。表示モード設定部４６の処理については後述する。

出力制御部４８は、表示部２２を制御して、表示部２２に画像を表示させる。出力制御部４８は、メイン像ＰＭに重畳するように、表示部２２にサブ画像ＰＳを表示させる。また、出力制御部４８は、表示モード設定部４６が決定したサブ画像ＰＳの表示モードに基づき、サブ画像ＰＳを表示させる。サブ画像ＰＳの表示モードは視認回数に基づき設定されるため、出力制御部４８は、視認回数に基づきサブ画像ＰＳを表示させるといえる。出力制御部４８の具体的な処理内容については後述する。

表示装置１０は、以上説明したような構成となっている。以下、表示装置１０による処理内容について説明する。

（表示モードの設定処理）
まず、表示装置１０による処理内容として、表示モードの設定処理について説明する。図４は、表示モードの設定処理を説明するフローチャートである。

（画像の取得）
図４に示すように、制御部３２は、画像取得部４０によって、撮像部２８によって撮像された画像を取得する（ステップＳ１０）。画像取得部４０は、撮像部２８によって撮像された、ユーザＵの視野範囲内を撮像範囲とした画像（画像データ）を取得する。すなわち、画像取得部４０は、表示部２２を通して視認されるユーザＵの視野範囲内のメイン像ＰＭを含む画像を取得するといえる。

（視認対象物の種類の特定）
制御部３２は、視認物特定部４２により、画像取得部４０が取得した画像に基づき、視認対象物を抽出して、視認対象物の種類を特定する（ステップＳ１２）。視認対象物とは、ユーザＵが表示部２２を通して視認した対象物を指し、ユーザＵの視野範囲内に存在する対象物といえる。視認物特定部４２は、画像取得部４０が取得した画像に写っている対象物を、視認対象物として抽出し、その視認対象物の種類を特定する。対象物の種類とは、対象物を所定の分類基準で分類した場合の、その対象物の所属を指す。ここでの分類基準は任意であってよい。

視認物特定部４２は、任意の方法で視認対象物を抽出して種類を特定してよいが、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルを用いて対象物を特定してもよい。この場合のＡＩモデルは、記憶部２４に記憶されており、画像データから、画像に写っている対象物を抽出して種類を特定するためのモデルである。ＡＩモデルは、画像データと、その画像に写っている対象物の種類を示す情報とを１つのデータセットとし、複数のデータセットを教師データとして学習して構築された、学習済みのＡＩモデルとなっている。視認物特定部４２は、学習済みのＡＩモデルに、画像取得部４０が取得した画像データを入力して、その画像に写っている視認対象物の種類を特定した情報を取得して、視認対象物の種類を特定する。なお、ＡＩモデルとしては任意のモデルを用いてよいが、例えば、ＣＮＮ（Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）モデルを用いてよい。

なお、視認物特定部４２は、画像取得部４０が取得した画像に写っている対象物（ユーザＵの視野範囲内に存在する対象物）の全てを、視認対象物として抽出してよいが、それに限られず、画像取得部４０が取得した画像に含まれる対象物（ユーザＵの視野範囲内に存在する対象物）のうちの一部を、視認対象物として抽出してよい。この場合例えば、視認物特定部４２は、画像取得部４０が取得した画像に含まれる対象物のうちの、ユーザＵの視線に重なる対象物を、視認対象物として抽出してよい。視認物特定部４２は、例えば、画像取得部４０が取得した画像のうちの所定領域（例えば中心の領域）における画像データを、ＡＩモデルに入力して、その所定領域に写っている視認対象物の種類を特定した情報を取得して、視認対象物の種類を特定する。

また例えば、視認物特定部４２は、所定時間以上連続して視野範囲内にある対象物を、視認対象物として抽出してもよい。この場合、視認物特定部４２は、撮像部２８によって時系列で連続して撮像された画像から、所定時間以上連続して視野範囲内にある対象物を、すなわち所定時間以上連続した画像の全てに含まれる対象物を、視認対象物として抽出する。この場合例えば、視認物特定部４２は、時系列で連続して撮像された画像の画像データをそれぞれＡＩモデルに入力して、それぞれの画像に写っている対象物の種類の情報を取得する。そして、視認物特定部４２は、所定時間以上連続して撮像された画像の全てに同じ種類とされた対象物が写っている場合に、その対象物を視認対象物とする。

また、視認物特定部４２は、メイン像ＰＳ内における視認対象物の位置（画像取得部４０が取得した画像における視認対象物の座標）を示す情報も取得してよい。

（視認回数の特定）
次に、制御部３２は、視認回数特定部４４により、視認物特定部４２の特定結果に基づき、ユーザＵが同じ種類の対象物を視認した回数を示す視認回数を特定する（ステップＳ１４）。視認回数特定部４４は、視認対象物の種類毎に、視認物特定部４２によって視認対象物として抽出された回数をカウントして視認回数とし、記憶部２４に記憶させる。すなわち、視認回数特定部４４は、同じ種類の視認対象物が視認物特定部４２によって抽出された回数を、視認回数として特定する。例えば、視認物特定部４２により、バナナという種類の視認対象物が異なるタイミングで５回抽出された場合、視認回数特定部４４は、バナナという種類の対象物の視認回数を、５回として特定する。

視認回数特定部４４は、所定期間が経過したら、視認回数をリセットしてゼロに戻してもよい。すなわち、視認回数特定部４４は、所定期間内において、視認物特定部４２によって同じ種類の視認対象物が抽出された回数を、視認回数としてもよい。所定期間は、任意に設定してよく、例えば１か月であってもよいし１年であってもよい。

（表示モードの設定）
表示モード設定部４６は、視認回数に基づいて、サブ画像ＰＳの表示モードを設定する。サブ画像ＰＳは、ユーザＵの視野範囲内にある対象物（メイン像ＰＳに含まれる対象物）に関する情報であり、その対象物がユーザＵの視野範囲内にある際に、表示される。サブ画像ＰＳの表示モードとは、上述のようにサブ画像ＰＳの表示のさせ方を指す。表示モード設定部４６は、対象物の種類毎に、サブ画像ＰＳの表示モードを設定する。

より詳しくは、表示モード設定部４６は、視認回数に基づいて、対象物の種類毎に、サブ画像ＰＳの表示モードを設定する。すなわち、表示モード設定部４６は、視認回数に基づき、その視認回数がカウントされた種類の対象物についてのサブ画像ＰＳの表示モードを設定する。例えば、表示モード設定部４６は、バナナという種類の視認対象物の視認回数に基づき、バナナという種類の対象物についてのサブ画像ＰＳの表示モードを設定する。

図５及び図６は、通常モードと強調モードでサブ画像を表示した場合の一例を示す図である。表示モード設定部４６は、視認回数に応じて、サブ画像ＰＳの表示モードを、通常モード又は強調モードのいずれかに設定する。強調モードは、通常モードよりも、その対象物に関する情報が強調して表示されるモードである。すなわち、強調モードに設定されたサブ画像ＰＳは、通常モードに設定されたサブ画像ＰＳよりも、より目立つように表示される。例えば図５の例では、バナナという種類の対象物がユーザＵの視野範囲に入っている場合に、サブ画像ＰＳとして、「バナナ」という文字を表示する場合を示している。図５の例では、通常モードにおける「バナナ」という文字よりも、強調モードにおける「バナナ」という文字の方が大きくなっており、強調モードの文字が強調して表示されている。また、図６の例では、サブ画像ＰＳとして、バナナという種類の対象物を指し示す矢印を表示する場合を示している。図６の例では、通常モードにおける矢印よりも、強調モードにおける矢印の方が大きくなっており、強調モードの矢印が強調して表示されている。

ただし、図５及び図６は一例であり、サブ画像ＰＳは、対象物に関する情報を示すものであれば、任意の画像であってよい。例えば、サブ画像ＰＳは、対象物に関する情報を示す任意の言語の文字であってもよいし、感嘆符など任意の形状のアイコンでもよい。また例えば、サブ画像ＰＳは、その対象物を説明する文章であってもよい。この場合の強調モードは、通常モードよりも、その対象物の説明の詳しさ度合いが高いことを指してよい。また例えば、サブ画像ＰＳとして、前に抽出された同じ種類の視認対象物に関する情報を表示させてもよいし、今回ユーザＵに視認されている対象物と、前に抽出された同じ種類の視認対象物とを比較した情報である比較情報を表示させてもよい。この場合例えば、ユーザＵが今回バナナを視認している場合には、前にユーザＵに視認されたバナナに関する情報を、サブ画像ＰＳとして表示させてもよいし、今回視認されているバナナと前に視認されたバナナとを比較する情報を表示させてもよい。

また、図５及び図６の例では、強調モードのサブ画像ＰＳを通常モードのサブ画像ＰＳより大きくしていたが、それに限られず、強調モードのサブ画像ＰＳを通常モードのサブ画像ＰＳよりも強調させる任意の表示方法を用いてよい。例えば、強調モードのサブ画像ＰＳの、メイン像ＰＳ内における表示位置を、通常モードのサブ画像ＰＳの表示位置よりも目立つ場所（例えば中央など）にしてもよい。また、強調モードのサブ画像ＰＳの輝度を、通常モードのサブ画像ＰＳの輝度より高くしてもよい。また、強調モードのサブ画像ＰＳの表示頻度を、通常モードのサブ画像ＰＳの表示頻度より高くしてもよい。ここでの表示頻度とは、単位時間当たりのサブ画像ＰＳの表示時間を指してもよいし、サブ画像ＰＳの点滅させる速さを指してもよい。

以下、図４での説明に戻り、視認回数に基づいた表示モードの設定方法について具体的に説明する。図４に示すように、制御部３２は、表示モード設定部４６により、視認回数が所定回数以上であるかを判断し（ステップＳ１６）、視認回数が所定回数以上である場合（ステップＳ１６；Ｙｅｓ）、その視認対象物と同じ種類の対象物についてのサブ画像ＰＳの表示モードを、強調モードに設定する（ステップＳ１８）。一方、視認回数が所定回数以上でない場合（ステップＳ１６；Ｎｏ）、すなわち視認回数が所定回数未満である場合には、その視認対象物と同じ種類の対象物についてのサブ画像ＰＳの表示モードを強調モードに設定することなく、ステップＳ２０に進む。より詳しくは、表示モード設定部４６は、視認回数が所定回数未満である視認対象物と同じ種類の対象物についてのサブ画像ＰＳについては、表示モードを、通常モードとする。例えば、バナナという種類の視認対象物の視認回数が所定回数以上であり、リンゴという種類の視認対象物の視認回数が所定回数未満である場合には、表示モード設定部４６は、バナナという種類の対象物についてのサブ画像ＰＳの表示モードを、強調モードとし、リンゴという種類の対象物についてのサブ画像ＰＳの表示モードを、通常モードとする。

その後、処理が終了する場合には（ステップＳ２０；Ｙｅｓ）、本処理を終了し、処理が終了しない場合には（ステップＳ２０；Ｎｏ）、ステップＳ１０に戻り、処理を繰り返す。その際、視認回数が所定回数未満であったが、その後の処理で視認回数が所定回数以上となった視認対象物がある場合には、その視認対象物と同じ種類の対象物についてのサブ画像ＰＳの表示モードを、通常モードから強調モードに切り替える。

このように、表示モード設定部４６は、視認回数が所定回数未満の場合のサブ画像ＰＳを通常モードとし、視認回数が所定回数以上の場合のサブ画像ＰＳを強調モードとする。ただし、表示モード設定部４６の処理はこれに限定されず、視認回数に基づいた任意の方法で、サブ画像ＰＳの表示モードを設定してよい。例えば、表示モード設定部４６は、視認回数が所定回数未満である場合には、サブ画像ＰＳを表示しない非表示モードとし、視認回数が所定回数以上となった場合に、サブ画像ＰＳを表示させるモードとしてもよい。また例えば、表示モード設定部４６は、視認回数が多いほど、サブ画像ＰＳの強調度合いが大きくなるように、表示モードを設定してよい。例えば、表示モード設定部４６は、視認回数が多いほど、サブ画像ＰＳを大きくしてよい。

また例えば、表示モード設定部４６は、対象物の種類毎に、サブ画像ＰＳを表示しない非表示モードと、サブ画像ＰＳを表示するモードとのいずれに設定するかを選択してよい。この場合例えば、表示モード設定部４６は、サブ画像ＰＳを表示する対象物の種類を示す種類情報を取得する。そして、表示モード設定部４６は、種類情報で示された以外の種類の対象物については、非表示モードに設定する。一方、表示モード設定部４６は、種類情報で示された種類の対象物については、サブ画像ＰＳを表示させるモードに設定する。なお、種類情報は、サブ画像ＰＳを表示しない対象物の種類を示す情報であってもよく、この場合には、種類情報で示された種類の対象物について、非表示モードに設定する。この種類情報は、予め設定されてよく、例えばユーザＵによって予め設定されてよい。すなわち例えば、ユーザＵが果物に興味があり肉類に興味がない場合には、果物については表示するモードとし、肉類については非表示モードとする。このように、対象物の種類毎に、表示モードを設定することで、ユーザＵの嗜好に合わせてサブ画像ＰＳを提供できる。

（サブ画像の表示処理）
次に、サブ画像ＰＳの表示処理について説明する。出力制御部４８は、視認物特定部４２によって抽出された視認対象物に関するサブ画像ＰＳを、その視認対象物が含まれるメイン像ＰＭに重畳するように、表示部２２に表示させる。言い換えれば、出力制御部４８は、ユーザＵの視野範囲内に視認対象物が存在している際に、その視認対象物に関するサブ画像ＰＳを表示部２２に表示させる。

出力制御部４８は、表示モード設定部４６が設定した表示モードに基づき、すなわち視認回数に基づき、視認物特定部４２によって抽出された視認対象物（ユーザＵの視野範囲内にある視認対象物）に関するサブ画像ＰＳを、表示部２２に表示させる。出力制御部４８は、視認物特定部４２によって抽出された視認対象物の種類に関するサブ画像ＰＳの表示モードを読み出し、その表示モードで、抽出した視認対象物についてのサブ画像ＰＳを表示させる。以下、より具体的に説明する。

図７は、サブ画像の表示処理を説明するフローチャートである。図７に示すように、視認対象物を抽出して視認対象物の種類を特定するＳ１２までの処理は、図４で示した表示モードの設定における処理と同じである。すなわち、本実施形態では、制御部３２は、図４で示したステップＳ１４以降の処理（表示モードの設定処理）と、図７で示すステップＳ３０以降の処理（サブ画像ＰＳの表示処理）とを、並行して行う。

ステップＳ１２で視認対象物を抽出して視認対象物の種類を特定したら、制御部３２は、出力制御部４８により、抽出した視認対象物の種類についてのサブ画像ＰＳの表示モードが、強調モードであるかを判断する（ステップＳ３０）。抽出した視認対象物の種類についての表示モードが強調モードである場合（ステップＳ３０；Ｙｅｓ）、出力制御部４８は、表示部２２に、その視認対象物についてのサブ画像ＰＳを、強調モードで表示させる（ステップＳ３２）。出力制御部４８は、その視認対象物が含まれるメイン像ＰＭに重畳するように、強調モードでサブ画像ＰＳを表示させる。一方、抽出した視認対象物の種類についての表示モードが強調モードでない場合（ステップＳ３０；Ｎｏ）、すなわち通常モードである場合、出力制御部４８は、表示部２２に、その視認対象物についてのサブ画像ＰＳを、通常モードで表示させる（ステップＳ３４）。出力制御部４８は、その視認対象物が含まれるメイン像ＰＭに重畳するように、通常モードでサブ画像ＰＳを表示させる。すなわち、出力制御部４８は、視認回数が所定回数未満である場合に表示させるサブ画像ＰＳ（通常モードに設定されたサブ画像ＰＳ）よりも、視認回数が所定回数以上である場合に表示させるサブ画像（強調モードに設定されたサブ画像ＰＳ）を、強調して表示させるといえる。

例えば、抽出した視認対象物の種類がバナナである場合には、上述の例ではバナナについてのサブ画像ＰＳが強調モードであるため、バナナに関するサブ画像ＰＳが、強調モードで表示される。すなわち、ユーザＵがこれまでに所定回数以上バナナを視認していた場合には、バナナが強調モードに設定されるため、今回バナナを視認した際には、バナナに関するサブ画像ＰＳが、強調モードで表示される。一方、抽出した視認対象物の種類がリンゴである場合には、上述の例ではリンゴについてのサブ画像ＰＳが通常モードであるため、リンゴに関するサブ画像ＰＳは、通常モードで表示される。

（効果）
以上説明したように、本実施形態に係る表示装置１０は、画像を表示する表示部２２と、撮像部２８と、視認物特定部４２と、視認回数特定部４４と、出力制御部４８とを含む。撮像部２８は、ユーザＵの視野範囲内の対象物を撮像する。視認物特定部４２は、撮像部２８が撮像した画像に基づき、ユーザＵの視野範囲内の視認対象物の種類を特定する。視認回数特定部４４は、視認物特定部４２の特定結果に基づき、ユーザＵが同じ種類の視認対象物を視認した回数である視認回数を特定する。出力制御部４８は、表示部２２を通して視認されるユーザＵの視野範囲内のメイン像ＰＭに重畳するように、表示部２２に画像を表示させる。出力制御部４８は、視認回数に基づき、その種類の対象物が含まれるメイン像ＰＭに重畳するように、表示部２２に、その種類の対象物に関する情報を含むサブ画像ＰＳを表示させる。

表示装置においては、その表示装置のユーザによらず、表示態様が一様となる場合がある。それに対し、本実施形態に係る表示装置１０は、ユーザＵが同じ種類の対象物を視認した回数を、視認回数としてカウントしておく。そして、表示装置１０は、ユーザＵがその対象物と同じ種類の対象物を視認した場合に、カウントしていた視認回数に基づき、その対象物に関するサブ画像ＰＳを表示させる。本実施形態に係る表示装置１０によると、ユーザＵのこれまでの行動に合わせてサブ画像ＰＳの表示態様を調整することが可能となり、ユーザＵに合わせて表示態様を適切に調整することが可能となる。

出力制御部４８は、視認回数が所定回数未満である場合に表示させるサブ画像ＰＳよりも、視認回数が所定回数以上である場合に表示させるサブ画像ＰＳを、強調して表示させる。本実施形態に係る表示装置１０によると、ユーザＵが見た回数が多い対象物に対するサブ画像ＰＳを強調表示させるため、ユーザＵに合わせて表示態様を適切に調整することが可能となる。例えば、ユーザＵがバナナに興味がある場合には、バナナの視認回数が多くなる。このような場合に、バナナを見た際のサブ画像ＰＳが強調表示されることで、ユーザＵにバナナに関する情報を適切に伝えることが可能となる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態においては、同じ場所を訪問した回数である訪問回数に基づき、サブ画像ＰＳの表示モードを設定する点で、第１実施形態と異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。

（表示装置の構成）
図８は、第２実施形態に係る表示装置の模式的なブロック図である。図８に示すように、第２実施形態に係る表示装置１０Ａの制御部３２Ａは、位置情報取得部５０と、訪問回数特定部５２と、表示モード設定部４６Ａと、出力制御部４８Ａとを含む。

位置情報取得部５０は、ユーザＵ（表示装置１０Ａ）の位置情報を取得する。位置情報取得部５０は、ＧＮＳＳ受信器３０にユーザＵの位置情報を検出させて、ＧＮＳＳ受信器３０から、ユーザＵの位置情報の検出結果を取得する。位置情報取得部５０は、所定期間ごとにＧＮＳＳ受信器３０にユーザＵの位置情報を検出させる。位置情報取得部５０は、ＧＮＳＳ受信器３０がユーザＵの位置情報を検出するごとに、ＧＮＳＳ受信器３０が検出したユーザＵの位置情報を取得する。

訪問回数特定部５２は、ユーザＵの位置情報に基づき、ユーザＵの訪問回数を特定する。訪問回数とは、ユーザＵが同じ場所を訪れた回数である。訪問回数特定部５２の処理については後述する。

表示モード設定部４６Ａは、訪問回数に基づき、サブ画像ＰＳの表示モードを決定する。表示モード設定部４６Ａの処理については後述する。

出力制御部４８Ａは、表示モード設定部４６Ａが決定したサブ画像ＰＳの表示モードに基づき、サブ画像ＰＳを表示させる。サブ画像ＰＳの表示モードは訪問回数に基づき設定されるため、出力制御部４８Ａは、訪問回数に基づきサブ画像ＰＳを表示させるといえる。出力制御部４８Ａの具体的な処理内容については後述する。

（表示モードの設定処理）
図９は、表示モードの設定処理を説明するフローチャートである。

（位置情報の取得）
図９に示すように、制御部３２は、位置情報取得部５０によって、ユーザＵの位置情報を取得する（ステップＳ４０）。

（訪問回数の特定）
制御部３２は、訪問回数特定部５２によって、ユーザＵの位置情報に基づき、ユーザＵが同じ場所を訪問した回数である訪問回数を特定する（ステップＳ４２）。訪問回数特定部５２は、ユーザＵの位置情報から、ユーザＵが訪問した場所である訪問場所を特定し、訪問場所毎にユーザＵが訪問した回数をカウントして、訪問回数として記憶部２４に記憶させる。本実施形態における場所とは、地球座標系において所定の面積を占める領域を指す。例えば、訪問回数特定部５２は、地球座標系を複数の領域（場所）に区分して、ユーザＵの位置を範囲に含む領域（場所）を、訪問場所と判断する。そして、訪問回数特定部５２は、訪問場所とされた回数を領域（場所）ごとにカウントして、訪問回数とする。例えば、訪問回数特定部５２は、異なるタイミングで検出されたユーザＵの位置が領域ＡＲ１内となった回数が、合計５回である場合には、領域ＡＲ１の訪問回数を５回とする。

より詳しくは、訪問回数特定部５２は、ユーザＵが所定時間以上連続して同じ領域内に位置している場合に、その領域を訪問場所としてよい。すなわち、訪問回数特定部５２は、ユーザＵが所定時間以上同じ領域に留まった場合に、その領域を訪問したと判断してよい。この場合、訪問回数特定部５２は、時系列で連続して検出されたユーザＵの位置情報に基づき、所定時間以上連続して検出されたユーザＵの位置情報が示す位置のそれぞれが、同じ領域内にある場合に、その領域を訪問場所とする。

ただし、訪問回数特定部５２は、このように地球座標系を複数の領域に区分して訪問回数をカウントすることに限られない。例えば、訪問回数特定部５２は、異なるタイミングで検出されたユーザＵの位置同士を比較して、それらの位置が所定距離範囲内にある場合に、同じ場所を訪問したと判断して、訪問回数をカウントしてもよい。

訪問回数特定部５２は、所定期間が経過したら、訪問回数をリセットしてゼロに戻してもよい。すなわち、訪問回数特定部５２は、所定期間内においてユーザＵが同じ場所を訪問した回数を、視認回数としてもよい。所定期間は、任意に設定してよく、例えば１か月であってもよいし１年であってもよい。

（表示モードの設定）
表示モード設定部４６Ａは、訪問回数に基づいて、サブ画像ＰＳの表示モードを設定する。表示モード設定部４６Ａは、訪問回数が特定された場所に対して所定距離範囲内にある対象物を、近接対象物として抽出する。例えば、表示モード設定部４６Ａは、記憶部２４から地図データを読み出して、地図データに基づき、訪問回数が特定された場所に対して所定距離範囲内にある対象物を、近接対象物として抽出する。そして、表示モード設定部４６Ａは、近接対象物と同じ種類の対象物に関するサブ画像ＰＳの表示モードを、訪問回数に基づいて設定する。例えば、訪問回数が特定された場所を領域ＡＲ１とすると、地図データから表示モード設定部４６Ａは、領域ＡＲ１から所定距離範囲内にある設備を読み出して、読み出した設備を、近接対象物とする。そして、表示モード設定部４６Ａは、近接対象物とされた設備と同じ種類の設備に関するサブ画像ＰＳの表示モードを、領域ＡＲ１の訪問回数に基づき、設定する。

より詳しくは、図９に示すように、制御部３２は、表示モード設定部４６Ａにより、訪問回数が所定回数以上であるかを判断する（ステップＳ４４）。表示モード設定部４６Ａは、訪問回数が所定回数以上である場合（ステップＳ４４；Ｙｅｓ）、訪問回数が所定回数以上となった場所から所定距離範囲内にある近接対象物を抽出する。そして、表示モード設定部４６Ａは、近接対象物と同じ種類の対象物についてのサブ画像ＰＳの表示モードを、強調モードに設定する（ステップＳ４６）。一方、訪問回数が所定回数以上でない場合（ステップＳ４４；Ｎｏ）、すなわち訪問回数が所定回数未満である場合には、表示モードを強調モードに設定することなく、ステップＳ４８に進む。より詳しくは、表示モード設定部４６Ａは、最初は、全ての種類の対象物についてのサブ画像ＰＳの表示モードを、通常モードに設定しておく。そして、表示モード設定部４６Ａは、訪問回数が所定回数未満である場所については、近接対象物の抽出や表示モードの設定を行わないが、訪問回数が所定回数以上となる場所がある場合には、その場所の近接対象物を抽出して、その近接対象物と同じ種類の対象物についての表示モードを、強調モードに切り替える。

その後、処理が終了する場合には（ステップＳ４８；Ｙｅｓ）、本処理を終了し、処理が終了しない場合には（ステップＳ４８；Ｎｏ）、ステップＳ１０に戻り、処理を繰り返す。

（サブ画像の表示処理）
出力制御部４８Ａは、表示モード設定部４６Ａが設定した表示モードに基づき、すなわち訪問回数に基づき、視認物特定部４２によって抽出された視認対象物（ユーザＵの視野範囲内にある視認対象物）に関するサブ画像ＰＳを、表示部２２に表示させる。出力制御部４８は、視認物特定部４２によって抽出された視認対象物の種類に関するサブ画像ＰＳの表示モードを読み出し、その表示モードで、抽出した視認対象物についてのサブ画像ＰＳを表示させる。以下、より具体的に説明する。

図１０は、サブ画像の表示処理を説明するフローチャートである。図１０に示すように、制御部３２は、画像取得部４０により、撮像部２８によって撮像された画像を取得し（ステップＳ１０Ａ）、視認物特定部４２により、画像取得部４０が取得した画像に基づき、視認対象物を抽出して、視認対象物の種類を特定する（ステップＳ１２Ａ）。制御部３２は、出力制御部４８Ａにより、抽出した視認対象物の種類についてのサブ画像ＰＳの表示モードが、強調モードであるかを判断する（ステップＳ３０Ａ）。抽出した視認対象物の種類についての表示モードが強調モードである場合（ステップＳ３０Ａ；Ｙｅｓ）、出力制御部４８は、表示部２２に、その視認対象物についてのサブ画像ＰＳを、強調モードで表示させる（ステップＳ３２Ａ）。出力制御部４８Ａは、その視認対象物が含まれるメイン像ＰＭに重畳するように、強調モードでサブ画像ＰＳを表示させる。一方、抽出した視認対象物の種類についての表示モードが強調モードでない場合（ステップＳ３０Ａ；Ｎｏ）、すなわち通常モードである場合、出力制御部４８Ａは、表示部２２に、その視認対象物についてのサブ画像ＰＳを、通常モードで表示させる（ステップＳ３４Ａ）。出力制御部４８Ａは、その視認対象物が含まれるメイン像ＰＭに重畳するように、通常モードでサブ画像ＰＳを表示させる。すなわち、出力制御部４８Ａは、訪問回数が所定回数未満である場合に表示させるサブ画像ＰＳ（通常モードに設定されたサブ画像ＰＳ）よりも、訪問回数が所定回数以上である場合に表示させるサブ画像（強調モードに設定されたサブ画像ＰＳ）を、強調して表示させるといえる。

このように、出力制御部４８Ａは、ユーザＵが視認した対象物についての表示モードが強調モードである場合に、その対象物についてのサブ画像ＰＳを強調モードで表示する。従って、ユーザＵが、訪問回数が所定回数以上となった場所を再度訪れて、その場所の近接対象物そのものを視認した場合には、その近接対象物についてのサブ画像ＰＳが、強調モードで表示される。また、ユーザＵが、訪問回数が所定回数以上となった場所以外の場所を訪れて、訪問回数が所定回数以上となった場所の近接対象物とは別の対象物であるが、種類が同じ対象物を視認した場合にも、視認した対象物についてのサブ画像ＰＳが、強調モードで表示される。具体例として、領域ＡＲ１の訪問回数が所定回数以上であり、領域ＡＲ１の近接対象物が薬局である場合を挙げる。この場合、ユーザＵが領域ＡＲ１を再度訪れて近接対象物である同じ薬局を視認した際にも、ユーザＵが領域ＡＲ１以外の場所で別の薬局を視認した場合にも、薬局に関するサブ画像ＰＳが、強調モードで表示される。

図１１は、通常モードと強調モードでサブ画像を表示した場合の一例を示す図である。図１１の例では、薬局という種類の対象物がユーザＵの視野範囲に入っている場合に、サブ画像ＰＳとして、「薬局」という文字を表示する場合を示している。図１１の例では、通常モードにおける「薬局」という文字よりも、強調モードにおける「薬局」という文字の方が大きくなっており、強調モードの文字が強調して表示されている。ただし、図１１は一例であり、サブ画像ＰＳは、対象物に関する情報を示すものであれば、任意の画像であってよい。例えば、サブ画像ＰＳは、対象物に関する情報を示す任意の言語の文字であってもよいし、感嘆符や矢印など任意の形状のアイコンでもよい。また例えば、サブ画像ＰＳは、その対象物を説明する文章であってもよい。この場合の強調モードは、通常モードよりも、その対象物の説明の詳しさ度合いが高いことを指してよい。また例えば、サブ画像ＰＳとして、前に抽出された同じ種類の視認対象物に関する情報を表示させてもよいし、今回ユーザＵに視認されている対象物と、前に抽出された近接対象物とを比較した情報である比較情報を表示させてもよい。この場合例えば、ユーザＵが今回薬局を視認している場合には、前にユーザＵが訪れた薬局に関する情報を、サブ画像ＰＳとして表示させてもよいし、今回視認されている薬局と前に訪れた薬局とを比較する情報を表示させてもよい。

また、図１１の例では、強調モードのサブ画像ＰＳを通常モードのサブ画像ＰＳより大きくしていたが、それに限られず、強調モードのサブ画像ＰＳを通常モードのサブ画像ＰＳよりも強調させる任意の表示方法を用いてよい。例えば、強調モードのサブ画像ＰＳの、メイン像ＰＳ内における表示位置を、通常モードのサブ画像ＰＳの表示位置よりも目立つ場所（例えば中央など）にしてもよい。また、強調モードのサブ画像ＰＳの輝度を、通常モードのサブ画像ＰＳの輝度より高くしてもよい。また、強調モードのサブ画像ＰＳの表示頻度を、通常モードのサブ画像ＰＳの表示頻度より高くしてもよい。ここでの表示頻度とは、単位時間当たりのサブ画像ＰＳの表示時間を指してもよいし、サブ画像ＰＳの点滅させる速さを指してもよい。

また、本実施形態では、訪問回数が所定回数未満の場合のサブ画像ＰＳを通常モードとし、訪問回数が所定回数以上の場合のサブ画像ＰＳを強調モードとする。ただし、第２実施形態での表示モードの設定方法はこれに限定されず、訪問回数に基づいた任意の方法で、サブ画像ＰＳの表示モードを設定してよい。例えば、表示モード設定部４６Ａは、訪問回数が所定回数未満である場合には、サブ画像ＰＳを表示しない非表示モードとし、訪問回数が所定回数以上となった場合に、サブ画像ＰＳを表示させるモードとしてもよい。また例えば、表示モード設定部４６Ａは、訪問回数が多いほど、サブ画像ＰＳの強調度合いが大きくなるように、表示モードを設定してよい。例えば、表示モード設定部４６は、訪問回数が多いほど、サブ画像ＰＳを大きくしてよい。

（効果）
以上説明したように、第２実施形態に係る表示装置１０Ａは、画像を表示する表示部２２と、出力制御部４８Ａと、位置情報取得部５０と、訪問回数特定部５２と、出力制御部４８Ａとを含む。位置情報取得部５０は、ユーザＵの位置情報を取得する。訪問回数特定部５２は、ユーザＵの位置情報に基づき、ユーザＵが同じ場所を訪れた回数である訪問回数を特定する。出力制御部４８Ａは、表示部２２を通して視認されるユーザＵの視野範囲内のメイン像ＰＭに重畳するように、表示部２２に画像を表示させる。出力制御部４８Ａは、訪問回数に基づき、表示部２２に、ユーザＵが訪れた場所から所定距離範囲内にある対象物（近接対象物）と同じ種類の対象物に関する情報を含むサブ画像ＰＳを表示させる。

表示装置においては、その表示装置のユーザによらず、表示態様が一様となる場合がある。それに対し、本実施形態に係る表示装置１０Ａは、ユーザＵが同じ場所を訪問した回数を、訪問回数としてカウントしておく。そして、表示装置１０Ａは、ユーザＵがその場所の近くにある近接対象物と同じ種類の対象物を視認した場合に、カウントしていた訪問回数に基づき、その対象物に関するサブ画像ＰＳを表示させる。本実施形態に係る表示装置１０によると、ユーザＵのこれまでの行動に合わせてサブ画像ＰＳの表示態様を調整することが可能となり、ユーザＵに合わせて表示態様を適切に調整することが可能となる。

また、出力制御部４８Ａは、訪問回数が所定回数未満である場合に表示させるサブ画像ＰＳよりも、訪問回数が所定回数以上である場合に表示させるサブ画像ＰＳを、強調して表示させる。本実施形態に係る表示装置１０Ａによると、訪問回数が多い場所の近くにある近接対象物と同じ種類の対象物に対するサブ画像ＰＳを強調表示させる。そのため、表示装置１０Ａによると、ユーザＵの行動に合わせて表示態様を適切に調整することが可能となる。

また、出力制御部４８Ａは、訪問回数が所定回数以上となった場所とは異なる場所で、近接対象物と同じ種類の対象物がユーザＵの視野範囲に入った場合にも、その対象物に関するサブ画像ＰＳを、強調して表示させる。これにより、例えばユーザＵが初めて訪れる場所などでも、ユーザＵが興味を示す対象物を認識させ易くすることが可能となり、ユーザＵの行動に合わせて表示態様を適切に調整することが可能となる。

また、訪問回数特定部５２は、ユーザＵが所定時間以上同じ場所に位置している場合に、その場所に訪れたと判断する。これにより、ユーザＵの行動に合わせて表示態様を調整することが可能となる。

なお、第２実施形態と第１実施形態とを組み合わせてもよい。すなわち、第１実施形態で説明した処理を用いて視認回数に基づきサブ画像ＰＳを表示させつつ、第２実施形態で説明した処理を用いて、訪問回数にも基づき、サブ画像ＰＳを表示させてよい。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態においては、ユーザＵが同じ場所で同じ種類の対象物を視認した回数に基づき、サブ画像ＰＳの表示モードを設定する点で、第１実施形態及び第２実施形態と異なる。第３実施形態において第１実施形態や第２実施形態と構成が共通する箇所は、説明を省略する。

（表示装置の構成）
図１２は、第３実施形態に係る表示装置の模式的なブロック図である。図１２に示すように、第３実施形態に係る表示装置１０Ｂの制御部３２Ｂは、画像取得部４０と、視認物特定部４２と、視認回数特定部４４と、位置情報取得部５０と、訪問回数特定部２と、重複回数特定部６０と、表示モード設定部４６Ｂと、出力制御部４８Ｂとを含む。

重複回数特定部６０は、ユーザＵが同じ場所で同じ種類の対象物を視認した回数である重複回数を特定する。重複回数特定部６０の処理内容については後述する。

（表示モードの設定処理）
第３実施形態に係る制御部３２Ｂは、第１実施形態と同様の方法で、視認回数に基づき、サブ画像ＰＳの表示モードを設定し、第２実施形態と同様の方法で、訪問回数に基づき、サブ画像ＰＳの表示モードを設定する。ただし、制御部３２Ｂは、重複回数にも基づいてサブ画像ＰＳの表示モードを設定する点で、第１実施形態及び第２実施形態とは異なる。以下、重複回数に基づいた表示モードの設定処理について説明する。

図１３は、表示モードの設定処理を説明するフローチャートである。図１３に示すように、制御部３２Ｂの重複回数特定部６０は、視認物特定部４２が特定した視認対象物の種類と、位置情報取得部５０が取得したユーザＵの位置情報とに基づき、重複回数を特定する（ステップＳ５０）。具体的には、重複回数特定部６０は、視認物特定部４２が特定した視認対象物の種類の情報と、その視認対象物の種類を特定するために用いた画像が撮像されたタイミングにおけるユーザＵの位置情報とを、１つのデータセットとし、画像が撮像されたタイミング毎のデータセットを取得する。そして例えば、重複回数特定部６０は、それらのデータセットを、視認対象物の種類及びユーザＵが位置する場所の組み合わせ毎に区分して、同じ種類の対象物でありかつユーザＵの位置する場所が同じデータセットの数を、重複回数としてカウントする。重複回数特定部６０は、視認対象物の種類及びユーザＵが位置する場所の組み合わせ毎に、重複回数をカウントする。すなわち例えば、領域ＡＲ１で薬局を５回視認した場合には、領域ＡＲ１の薬局についての重複回数が、５回となる。

重複回数特定部６０は、所定期間が経過したら、重複回数をリセットしてゼロに戻してもよい。すなわち、重複回数特定部６０は、所定期間内において、ユーザＵが同じ場所で同じ対象物を視認した回数を、重複回数としてもよい。所定期間は、任意に設定してよく、例えば１か月であってもよいし１年であってもよい。

表示モード設定部４６Ｂは、重複回数に基づいて、サブ画像ＰＳの表示モードを設定する。表示モード設定部４６Ｂは、重複回数がカウントされた場所で視認された視認対象物についての表示モードを、その重複回数に基づき設定する。具体的には、図１３に示すように、表示モード設定部４６Ｂは、重複回数が所定回数以上であるかを判断し（ステップＳ５２）、所定回数以上である場合には（ステップＳ５２；Ｙｅｓ）、重複回数が所定回数以上となった場所における視認対象物についてのサブ画像ＰＳの表示モードを、非表示モードに設定する（ステップＳ５４）。例えば、領域ＡＲ１で薬局が視認された回数である重複回数が所定回数以上である場合には、領域ＡＲ１の薬局についての表示モードが、非表示モードに設定される。

一方、重複回数が所定回数以上でない場合（ステップＳ５２；Ｎｏ）、すなわち重複回数が所定回数未満である場合には、表示モードを非表示モードに設定することなく、ステップＳ５６に進む。その後、処理が終了する場合には（ステップＳ５６；Ｙｅｓ）、本処理を終了し、処理が終了しない場合には（ステップＳ５６；Ｎｏ）、ステップＳ５０に戻り、処理を繰り返す。

なお、表示モード設定部４６Ｂは、非表示モードに設定してから所定の期間が経過したら、非表示モードの設定を停止して、サブ画像ＰＳを表示するモードに切り替えてもよい。

（サブ画像の表示処理）
図１４は、非表示モードの場合の一例を示す図である。出力制御部４８Ｂは、表示モード設定部４６Ｂが設定した表示モードに基づき、視認物特定部４２によって抽出された視認対象物（ユーザＵの視野範囲内にある視認対象物）に関するサブ画像ＰＳを、表示部２２に表示させる。例えば、出力制御部４８Ｂは、第１実施形態や第２実施形態と同様に、抽出した視認対象物の種類についてのサブ画像ＰＳの表示モードが強調モードである場合には、強調モードでサブ画像ＰＳを表示させ、抽出した視認対象物の種類についてのサブ画像ＰＳの表示モードが通常モードである場合には、通常モードでサブ画像ＰＳを表示させる。一方、出力制御部４８Ｂは、抽出した視認対象物についてのサブ画像ＰＳの表示モードが非表示モードである場合には、その視認対象物についてのサブ画像ＰＳを表示させない。なおこの場合、出力制御部４８Ｂは、抽出した視認対象物が視認された際のユーザＵの位置情報を取得して、視認対象物が視認された際のユーザＵの位置が、重複回数が所定回数以上となった場所と同じ場所にあり、かつ、視認対象物の種類と重複回数が所定回数以上となった場所の近接対象物の種類とが合致する場合に、視認対象物についてのサブ画像ＰＳを表示させないといえる。図１４は、非表示モードである場合の例を示している。図１４に示すように、非表示モードである場合には、サブ画像ＰＳが表示されない。

（効果）
以上説明したように、第３実施形態に係る表示装置１０Ｂは、重複回数特定部６０を含む。重複回数特定部６０は、視認物特定部４２の特定結果及びユーザＵの位置情報に基づき、ユーザが同じ場所で同じ種類の対象物を視認した回数である重複回数を特定する。出力制御部４８Ｂは、重複回数が所定回数以上である場合には、その対象物についてのサブ画像ＰＳの表示を停止させる。ここで、一般的に、ユーザＵは、１週間単位で行動パターンを１クール回す生活をしている。そのため、ユーザＵは、興味がないにもかかわらず、同じ対象物を視認したり、同じ場所を訪問したりすることも想定される。そのような場合に、その対象物のサブ画像ＰＳを表示した場合には、ユーザＵにとって煩わしくなる可能性がある。それに対し、第３実施形態に係る表示装置１０Ｂは、重複回数が所定回数以上となる場合には、その対象物のサブ画像ＰＳの表示を停止させる。従って、第３実施形態に係る表示装置１０Ｂによると、ユーザＵが煩わしく感じることを抑制して、ユーザＵの行動に合わせて表示態様を適切に調整することが可能となる。

なお、以上の説明では、重複回数が所定回数以上となった場所にある視認対象物についてのサブ画像ＰＳを非表示モードとしており、その場所とは別の場所にある同じ種類の対象物のサブ画像ＰＳについては、非表示モードとしない。ただしこれに限られず、別の場所にある同じ種類の対象物のサブ画像ＰＳについても、非表示モードとしてよい。すなわち、表示装置１０Ｂは、重複回数が所定回数以上となった場所の近接対象物と同じ種類の対象物についてのサブ画像ＰＳを、非表示モードとしてもよい。例えば、領域ＡＲ１の薬局の重複回数が所定回数以上である場合には、領域ＡＲ１以外の場所の薬局についてのサブ画像ＰＳの表示モードも、非表示モードとしてもよい。

また、以上の説明では、表示装置１０Ｂは、視認回数及び訪問回数に基づき表示モードを設定しつつ、重複回数にも基づいて表示モードを設定するが、それに限られない。例えば、表示装置１０Ｂは、視認回数及び訪問回数に基づいた表示モードの設定処理を行わず、重複回数に基づいた表示モードを設定するものであってもよい。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態においては、ユーザＵが対象物から目をそらした回数に基づき、サブ画像ＰＳの表示モードを設定する点で、第１実施形態と異なる。第４実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。なお、第４実施形態は、第２実施形態や第３実施形態にも組み合わせ可能である。

（表示装置の構成）
図１５は、第４実施形態に係る表示装置の模式的なブロック図である。図１５に示すように、第４実施形態に係る表示装置１０Ｃの制御部３２Ｃは、画像取得部４０と、視認物特定部４２Ｃと、視線切替回数特定部７０と、表示モード設定部４６Ｃと、出力制御部４８Ｃとを含む。

視認物特定部４２Ｃは、撮像部２８が撮像した画像に基づき、ユーザＵが所定時間以内に目をそらした対象物の種類を特定する。視認物特定部４２Ｃの処理については後述する。

視線切替回数特定部７０は、視認物特定部４２Ｃの特定結果に基づき、ユーザＵが同じ種類の対象物から視線をそらした回数である視線切替回数を特定する。視線切替回数特定部７０の処理については後述する。

（表示モードの設定処理）
第４実施形態に係る制御部３２Ｃは、視線切替回数に基づき、サブ画像ＰＳの表示モードを設定する。なお、第４実施形態においても、第１実施形態と同様に視認回数に基づいて表示モードを設定してもよいし、第２実施形態と同様に訪問回数に基づいて表示モードを設定してもよいし、第３実施形態と同様に重複回数に基づいて表示モードを設定してもよい。

図１６は、表示モードの設定処理を説明するフローチャートである。図１６に示すように、制御部３２Ｃは、画像取得部４０により、撮像部２８によって撮像された画像を取得し（ステップＳ６０）、視認物特定部４２Ｃにより、画像取得部４０が取得した画像に基づき、視線切替対象物の種類を特定する（ステップＳ６２）。視線切替対象物とは、ユーザＵが所定時間以内に目をそらせた対象物を指す。

視認物特定部４２Ｃは、時系列で連続して撮像された画像の画像データに基づき、視線切替対象物を抽出して、視線切替対象物の種類を特定する。具体的には、視認物特定部４２Ｃは、一度視野範囲内に入ってから所定時間以内に視野範囲外となった対象物を、視線切替対象物として抽出する。すなわち、視認物特定部４２Ｃは、画像に写っている対象物であって、その画像から所定時間が経過するまでに撮像された画像には写らなくなった対象物を、視線切替対象物として抽出する。ただし、視認物特定部４２Ｃは、一度視野範囲内に入ってから所定時間以内に視野範囲外となった対象物を、視線切替対象物として抽出することに限られない。例えば、視認物特定部４２Ｃは、一度ユーザＵの視線に重なってから所定時間以内に視線と重ならなくなった対象物を、視線切替対象物として抽出してもよい。この場合例えば、視認物特定部４２Ｃは、画像のうちの所定領域（例えば中心の領域）内に写っている対象物であって、その画像から所定時間が経過するまでに撮像された画像においては、所定領域（例えば中心の領域）内に写らなくなった対象物を、視線切替対象物として抽出する。なお、視線切替対象物の種類の特定方法は任意であるが、例えば第１実施形態と同様にＡＩモデルを用いて特定してよい。

ここでの所定時間は、任意に設定されてよいが、例えば、２００ミリ秒以上９００ミリ秒以下であることが好ましい。脳科学的には、既知の１種の刺激が提示され、それに対して決められた１種の反応をする（単純検出課題）ときの反応時間は、１５０ミリ秒から３００ミリ秒程度であるといわれている。しかし、本実施形態においては、ある対象物を見てから、その対象物を見たくないと判断してから目をそらすという反応を適切に検出するために、単純反応に加えて、判断するための弁別反応時間も加味することが好ましい。すなわち、本実施形態においては、所定時間を２００ミリ秒以上９００ミリ秒以下とすることで、２つの物体に視点が移る往復時間（単純反応の時間）と、判断するための弁別反応時間とを適切に加味できるため、好ましい。

視線切替回数特定部７０は、視認物特定部４２Ｃの特定結果に基づき、ユーザＵが同じ種類の対象物から目をそらせた回数を示す視線切替回数を特定する（ステップＳ６４）。視線切替回数特定部７０は、視線切替対象物の種類毎に、視線切替対象物として抽出された回数をカウントして視線切替回数とし、記憶部２４に記憶させる。すなわち、視線切替回数特定部７０は、同じ種類の視線切替対象物が抽出された回数を、視線切替回数として特定する。例えば、蜘蛛という種類の視線切替対象物が異なるタイミングで５回抽出された場合、視線切替回数特定部７０は、蜘蛛の視線切替回数を、５回として特定する。

視線切替回数特定部７０は、所定期間が経過したら、視線切替回数をリセットしてゼロに戻してもよい。すなわち、視線切替回数特定部７０は、所定期間内において、視認物特定部４２Ｃによって同じ種類の視線切替対象物が抽出された回数を、視線切替回数としてもよい。所定期間は、任意に設定してよく、例えば１か月であってもよいし１年であってもよい。

表示モード設定部４６Ｃは、視線切替回数に基づいて、サブ画像ＰＳの表示モードを設定する。表示モード設定部４６Ｃは、視線切替回数がカウントされた視線切替対象物と同じ種類の対象物についての表示モードを、その視線切替回数に基づき設定する。具体的には、図１６に示すように、表示モード設定部４６Ｃは、視線切替回数が所定回数以上であるかを判断し（ステップＳ６６）、所定回数以上である場合には（ステップＳ６６；Ｙｅｓ）、その視線切替対象物と同じ種類の対象物についてのサブ画像ＰＳの表示モードを、非表示モードに設定する（ステップＳ６８）。例えば、蜘蛛という種類の対象物の視線切替回数が所定回数以上である場合には、蜘蛛についてのサブ画像ＰＳの表示モードが、非表示モードに設定される。

一方、視線切替回数が所定回数以上でない場合（ステップＳ６６；Ｎｏ）、すなわち視線切替回数が所定回数未満である場合には、表示モードを非表示モードに設定することなく、ステップＳ７０に進む。その後、処理が終了する場合には（ステップＳ７０；Ｙｅｓ）、本処理を終了し、処理が終了しない場合には（ステップＳ７０；Ｎｏ）、ステップＳ６０に戻り、処理を繰り返す。

なお、表示モード設定部４６Ｃは、非表示モードに設定してから所定の期間が経過したら、非表示モードの設定を停止して、サブ画像ＰＳを表示するモードに切り替えてもよい。

（サブ画像の表示処理）
出力制御部４８Ｃは、表示モード設定部４６Ｃが設定した表示モードに基づき、視認物特定部４２Ｃによって抽出された視認対象物（ユーザＵの視野範囲内にある視認対象物）に関するサブ画像ＰＳを、表示部２２に表示させる。例えば、出力制御部４８Ｃは、第１実施形態と同様に、抽出した視認対象物の種類についてのサブ画像ＰＳの表示モードが強調モードである場合には、強調モードでサブ画像ＰＳを表示させ、抽出した視認対象物の種類についてのサブ画像ＰＳの表示モードが通常モードである場合には、通常モードでサブ画像ＰＳを表示させる。一方、出力制御部４８Ｃは、抽出した視認対象物についてのサブ画像ＰＳの表示モードが非表示モードである場合には、その視認対象物についてのサブ画像ＰＳを表示させない。

（効果）
以上説明したように、本実施形態に係る表示装置１０は、画像を表示する表示部２２と、撮像部２８と、視認物特定部４２Ｃと、視線切替回数特定部７０と、出力制御部４８Ｃとを含む。撮像部２８は、ユーザＵの視野範囲内の対象物を撮像する。視認物特定部４２Ｃは、撮像部２８が撮像した画像に基づき、ユーザＵが所定時間以内に目をそらした対象物（視線切替対象物）の種類を特定する。視線切替回数特定部７０は、視認物特定部４２Ｃの特定結果に基づき、ユーザＵが同じ種類の対象物から目をそらせた回数である視線切替回数を特定する。出力制御部４８Ｃは、表示部２２を通して視認されるユーザＵの視野範囲内のメイン像ＰＭに重畳するように、表示部２２に画像を表示させる。出力制御部４８Ｃは、視線切替回数が所定回数以上となった場合には、その種類の対象物に関する情報を含むサブ画像ＰＳの表示を停止させる。

ここで、ユーザＵには、見たくない対象物が存在する場合がある。見たくない対象物についてのサブ画像ＰＳを表示すると、ユーザＵが見たくない対象物を意識してしまい、ユーザＵの気分を阻害する可能性がある。それに対して、本実施形態に係る表示装置１０Ｃは、ユーザＵが目をそらせた回数が多い対象物については、その対象物のサブ画像ＰＳの表示を停止させる。従って、第３実施形態に係る表示装置１０Ｂによると、ユーザＵの気分を阻害することを抑制して、ユーザＵの行動に合わせて表示態様を適切に調整することが可能となる。

また、出力制御部４８Ｃは、視線切替回数が所定回数未満である場合には、その種類の対象物が含まれるメイン像ＰＭに重畳するように、表示部２２にサブ画像ＰＳを表示させる。本実施形態に係る表示装置１０Ｃは、目をそらせた回数が少ない対象物についてはサブ画像ＰＳを表示させることで、ユーザＵの行動に合わせて表示態様を適切に調整することが可能となる。

また、所定時間は、２００ミリ秒以上９００ミリ秒以下であることが好ましい。所定時間をこの範囲とすることで、単純反応の時間と弁別反応の時間とを適切に加味して、ユーザＵの行動に合わせて表示態様をより適切に調整することが可能となる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１０ 表示装置
２２ 表示部
２８ 撮像部
３０ ＧＮＳＳ受信器
４０ 画像取得部
４２ 視認物特定部
４４ 視認回数特定部
４６ 表示モード設定部
４８ 出力制御部
５０ 位置情報取得部
５２ 訪問回数特定部
６０ 重複回数特定部
７０ 視線切替回数特定部
ＰＭ メイン像
ＰＳ サブ画像

Claims (6)

1. 画像を表示する表示部と、
   前記表示部に画像を表示させる出力制御部と、
   ユーザの位置情報を取得する位置情報取得部と、
   前記ユーザの位置情報に基づき、前記ユーザが同じ場所を訪れた回数である訪問回数を特定する訪問回数特定部と、を含み、
   前記出力制御部は、前記訪問回数に基づき、前記表示部に、前記ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させる、
   表示装置。
2. 前記出力制御部は、前記訪問回数が所定回数未満である場合に表示させる前記サブ画像よりも、前記訪問回数が所定回数以上である場合に表示させる前記サブ画像を、強調して表示させる、請求項１に記載の表示装置。
3. 前記出力制御部は、前記訪問回数が所定回数以上となった場所とは異なる場所で、前記ユーザの視野範囲に前記同じ種類の対象物が入った場合にも、その対象物に関する前記サブ画像を、強調して表示させる、請求項２に記載の表示装置。
4. 前記訪問回数特定部は、前記ユーザが所定時間以上同じ場所に位置している場合に、その場所に訪れたと判断する、請求項１又は請求項２に記載の表示装置。
5. 表示部に画像を表示させる表示方法であって、
   ユーザの位置情報を取得するステップと、
   前記ユーザの位置情報に基づき、前記ユーザが同じ場所を訪れた回数である訪問回数を特定するステップと、
   前記訪問回数に基づき、前記表示部に、前記ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させるステップと、
   を含む、
   表示方法。
6. 表示部に画像を表示させる表示方法をコンピュータに実行させるプログラムであって、
   ユーザの位置情報を取得するステップと、
   前記ユーザの位置情報に基づき、前記ユーザが同じ場所を訪れた回数である訪問回数を特定するステップと、
   前記訪問回数に基づき、前記表示部に、前記ユーザが訪れた場所から所定距離範囲内にある対象物と同じ種類の対象物に関する情報を含むサブ画像を表示させるステップと、
   をコンピュータに実行させる、
   プログラム。
   

Images