JP2021162980A - 拡張現実表示システム、拡張現実表示方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】新しいＡＲ表示技術を提供する。【解決手段】現実空間上の複数ユーザに共通する地点において複数ユーザのそれぞれに対して個別のコンテンツ１３０を表示するために、複数ユーザのそれぞれに対する表示対象のコンテンツ１３０が、予め用意されたコンテンツ群から選択される。表示対象のコンテンツ１３０が拡張現実表示されるように、複数ユーザのそれぞれが有するモバイルデバイス１０のディスプレイ１４に対する表示制御が行われる。【選択図】図１

Description

本開示は、拡張現実表示システム及び関連する方法に関する。

従来、共通の仮想オブジェクトを、複数ユーザのそれぞれが有するヘッドマウントディスプレイを通じて複数ユーザに表示するシステムが知られている（例えば特許文献１参照）。

このシステムでは、テーブル上に仮想オブジェクトが表示される。テーブルを囲む各ユーザには、テーブルに対するユーザの相対位置に応じた外観で仮想オブジェクトが表示される。このシステムは、医師による手術前カンファレンスにおいて、手術の対象となる部位を拡張現実表示するために使用される。

特開２０１６−１７０６４１号公報

ところで、本発明者らは、拡張現実（ＡＲ）表示技術を利用して、広告コンテンツなどの消費者向けのコンテンツを、ユーザに表示することを考えている。しかしながら、この種のコンテンツに関する従来技術は、決められた現実空間上の地点に、その地点に関連付けられた単一のコンテンツを、ＡＲ表示するという単純なものである。

そこで、本開示の一側面によれば、複数ユーザに対するコンテンツ表示に適した新しいＡＲ表示技術を提供できることが望ましい。

本開示の一側面によれば、選択部と、表示制御部とを備える拡張現実表示システムが提供される。選択部は、現実空間上の複数ユーザに共通する地点において複数ユーザのそれぞれに対して個別のコンテンツを表示するために、複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択するように構成され得る。表示制御部は、上記共通する地点において上記選択された表示対象のコンテンツが拡張現実表示されるように、複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うように構成され得る。

複数ユーザに共通する地点でユーザ別のコンテンツを拡張現実表示することによれば、ユーザ間における拡張現実の情報共有を可能にしつつ、各ユーザに適したコンテンツを表示することができる。従って、本開示の一側面によれば、複数ユーザに対するコンテンツ表示に適した新しいＡＲ表示技術を提供することができる。

本開示の一側面によれば、表示制御部は、表示対象のコンテンツが複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、ディスプレイに対する表示制御を行う構成にされ得る。

表示制御によって、複数ユーザのそれぞれのディスプレイには、拡張現実画像に対応する三次元物体が仮に上記地点において現実に存在する場合の周囲からの三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で拡張現実画像が表示されてもよい。

共通地点で複数ユーザに共通する仮想オブジェクトを表示することによれば、ユーザ間で仮想オブジェクトの認識を共有することができる。コンテンツのユーザ別の表示によれば、各ユーザに対してより適したコンテンツを表示することができる。しかも、現実の三次元物体の見え方に即した拡張現実画像の表示は、現実空間に対して親和性が高い。

従って、本開示の一側面によれば、多様でありながら統一感のある、現実空間との調和のとれたコンテンツのＡＲ表示技術を提供することができる。この技術は、消費者向けの多様なコンテンツのＡＲ表示に適している。

本開示の一側面によれば、複数ユーザのそれぞれの位置及び向きは、対応するユーザのモバイルデバイスに搭載されたカメラからの映像データ又は測距デバイスからの測距データと、現実空間の三次元マップデータとに基づいて推定されてもよい。

拡張現実表示システムは、映像データ又は測距データに基づき、三次元マップデータを更新するように構成されるマップ更新部を更に備えていてもよい。三次元マップデータに基づけば、ユーザの位置及び向きを高精度に推定可能であり、高精度な推定は、地点に紐づいた拡張現実画像の適切な表示に役立つ。

本開示の一側面によれば、選択部は、複数ユーザのそれぞれの属性及び行動履歴の少なくとも一方を説明する説明データを取得してもよい。選択部は、説明データに基づき、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。こうした選択によれば、各ユーザに適切なコンテンツを表示可能である。

本開示の一側面によれば、選択部は、複数ユーザのそれぞれに対する過去のコンテンツの表示履歴を説明する表示履歴データを取得してもよい。選択部は、表示履歴データに基づき、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。

本開示の一側面によれば、拡張現実表示システムは、状態判別部を備えていてもよい。状態判別部は、現実空間を撮影するカメラからの映像データに基づき、複数ユーザのそれぞれの状態として、心理的な状態及び身体的な状態の少なくとも一方を判別するように構成されてもよい。

本開示の一側面によれば、選択部は、状態判別部により判別された複数ユーザのそれぞれの状態に基づき、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。こうした選択によれば、各ユーザの状態に応じた適切なコンテンツを表示可能である。

本開示の一側面によれば、拡張現実表示システムは、関係判別部を備えていてもよい。関係判別部は、ユーザ間の社会的関係を判別するように構成されてもよい。選択部は、関係判別部により判別された社会的関係に基づいて、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。

本開示の一側面によれば、関係判別部は、複数ユーザのそれぞれの予め登録された知人情報に基づき、社会的関係を判別してもよい。選択部は、知人関係にあるユーザグループに対して、同じコンテンツ又は相互に関連するコンテンツが表示されるように、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。こうした選択によれば、行動を共にしている可能性や目的を共有している可能性の高い知人関係にある複数ユーザに対して、より適切なコンテンツを表示可能である。

本開示の一側面によれば、拡張現実表示システムは、地点判別部を備えていてもよい。地点判別部は、コンテンツが表示される地点の特徴を判別するように構成されてもよい。選択部は、地点判別部により判別された地点の特徴に基づいて、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択するように構成されてもよい。

本開示の一側面によれば、選択部は、上記地点の特徴に応じてコンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、複数ユーザのそれぞれに対する表示対象のコンテンツを選択するように構成されてもよい。

本開示の一側面によれば、選択部は、コンテンツ群における各コンテンツの特徴と地点の特徴との関係に基づいて、コンテンツ群の一部を選択対象から除外してもよい。コンテンツの表示に関する価値又は適切さは、そのコンテンツが表示される地点の特徴とコンテンツの特徴との関係に応じて変化する。従って、地点の特徴に応じて、その地点に相応しくないコンテンツ群の一部を選択対象から除外することは、大変有意義である。

本開示の一側面によれば、予め用意されたコンテンツ群から表示対象のコンテンツを選択する選択部と、表示対象のコンテンツがユーザの視界において現実空間に重ねて拡張現実表示されるように、ユーザが有するモバイルデバイスのディスプレイに対する表示制御を行うように構成される表示制御部と、コンテンツが表示される現実空間上の地点の特徴を判別するように構成される地点判別部と、を備え、選択部が、コンテンツ群における各コンテンツの特徴と地点の特徴との関係に基づいて、コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、表示対象のコンテンツを選択する拡張現実表示システムが提供されてもよい。

本開示の一側面によれば、地点判別部は、地点の特徴として、地点に存在する施設の属性を判別してもよい。選択部は、コンテンツ群における各コンテンツの特徴と施設の属性との関係に基づいて、コンテンツ群の一部を選択対象から除外してもよい。こうした除外によれば、表示地点に存在する施設に対して相応しくない広告コンテンツ等のコンテンツを選択対象から除外することができる。

本開示の一側面によれば、拡張現実表示システムにおける選択部、表示制御部、状態判別部、関係判別部、地点判別部、及びマップ更新部の少なくとも一つとしてコンピュータを機能させるためのコンピュータプログラムが提供されてもよい。

本開示の一側面によれば、コンピュータによって実行される拡張現実表示方法が提供されてもよい。拡張現実表示方法は、現実空間上の複数ユーザに共通する地点において複数ユーザのそれぞれに対して個別のコンテンツを表示するために、複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択することと、当該共通する地点において表示対象のコンテンツが拡張現実表示されるように、複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、を含んでいてもよい。

表示制御を行うことは、表示対象のコンテンツが複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、ディスプレイに対する表示制御を行うことを含んでいてもよい。

表示制御によって、複数ユーザのそれぞれのディスプレイには、拡張現実画像に対応する三次元物体が仮に地点において現実に存在する場合の周囲からの三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で拡張現実画像が表示されてもよい。

本開示の一側面によれば、コンピュータによって実行される拡張現実表示方法であって、予め用意されたコンテンツ群から表示対象のコンテンツを選択することと、表示対象のコンテンツがユーザの視界において現実空間に重ねて拡張現実表示されるように、ユーザが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、コンテンツが表示される現実空間上の地点の特徴を判別することと、を備える拡張現実表示方法が提供されてもよい。選択することは、コンテンツ群における各コンテンツの特徴と地点の特徴との関係に基づいて、コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、表示対象のコンテンツを選択することを含んでいてもよい。

本開示の例示的実施形態に係るＡＲ表示システムの構成を表すブロック図である。 図２Ａは、コンテンツ関連データの構成を表す図であり、図２Ｂは、登録地点データの構成を表す図であり、図２Ｃは、選択制御データの構成を表す図である。 顧客データの構成を表す図である。 ＡＲ画像の表示に関する説明図である。 図５Ａ、図５Ｂ、及び図５Ｃは、互いに異なる位置及び向きのユーザから見えるＡＲ画像を説明する図である。 モバイルデバイスのプロセッサが実行する表示制御処理を表すフローチャートである。 サービス提供システムのプロセッサが実行する受信更新処理を表すフローチャートである。 サービス提供システムのプロセッサが実行する状態判別処理を表すフローチャートである。 サービス提供システムのプロセッサが実行する重み計算処理を表すフローチャートである。 サービス提供システムのプロセッサが実行する受信応答処理を表すフローチャートである。 サービス提供システムのプロセッサが実行する除外処理を表すフローチャートである。 建物と表示コンテンツとの関係に関する説明図である。 サービス提供システムのプロセッサが実行する選択処理を表すフローチャートである。

以下に本開示の例示的実施形態を、図面を参照しながら説明する。
本実施形態の拡張現実（ＡＲ）表示システム１は、ユーザ毎のモバイルデバイス１０と、サービス提供システム５０とを備える。このＡＲ表示システム１では、モバイルデバイス１０が、サービス提供システム５０からＡＲ画像データの提供を受けて、ユーザの視界にある現実空間に重ねてＡＲ画像１１０を表示する。以下において「ＡＲ」は、拡張現実を意味すると理解されてよい。

モバイルデバイス１０は、例えば、眼鏡、ゴーグル、又はコンタクトレンズ型のウェアラブル機器として構成される。モバイルデバイス１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、ディスプレイ１４と、入力デバイス１５と、カメラ１６と、位置検出器１７と、通信デバイス１９とを備える。

プロセッサ１１は、ストレージ１３に格納されたコンピュータプログラムに従う処理を実行するように構成される。メモリ１２は、プロセッサ１１による処理実行時に作業領域として使用される。ストレージ１３は、例えばフラッシュメモリで構成される。ストレージ１３は、コンピュータプログラム及び各種データを記憶する。

ディスプレイ１４は、例えば透過型ディスプレイとして構成され、ユーザの視界上に配置される。ディスプレイ１４は、プロセッサ１１により制御されて、ユーザの視界にある現実空間に重ねてＡＲ画像１１０を表示する。

入力デバイス１５は、モバイルデバイス１０に対するユーザ操作を受付可能であり、ユーザからの操作信号をプロセッサ１１に入力するように構成される。入力デバイス１５の例には、ユーザからのタッチ操作を受付可能なデバイスの他、ユーザからの音声操作を受付可能なデバイスが含まれる。

カメラ１６は、ユーザの視界に対応するユーザの前方領域を撮影可能に配置される。カメラ１６は、ユーザ周りの複数方位を撮影可能な多眼カメラや全方位カメラであってもよい。位置検出器１７は、現在の位置及び向きを検出するように構成される。位置検出器１７は、例えばＧＰＳ受信機、モーションセンサ、及び電子コンパスを備えることができる。

位置検出器１７は、ＧＰＳ受信機を備えることに代えて、ペアリングされたスマートフォン等のユーザデバイスからのＧＰＳ位置情報を取得して、現在の位置及び向きを検出するように構成されてもよい。

通信デバイス１９は、モバイルデバイス１０とサービス提供システム５０との間の広域ネットワークＮＴを通じた通信のために、セルラー通信及び／又は無線ＬＡＮ（ローカルエリアネットワーク）通信可能に構成される。

このモバイルデバイス１０は、位置検出器１７によって得られる位置及び向きに関する粗い情報と、三次元マップデータ６１と、カメラ１６からの映像データと、に基づいた自己位置推定により、精度の高い位置及び向き、換言すれば、モバイルデバイス１０を装着するユーザの位置及び向きを推定するように構成される。

モバイルデバイス１０は、推定された位置及び向きに基づき、ユーザの視界に表示すべきＡＲ画像１１０に対応するＡＲ画像データをサービス提供システム５０から取得し、ディスプレイ１４を通じてＡＲ画像１１０をユーザに表示するように構成される。

サービス提供システム５０は、一つ以上のサーバ装置から構成される。図１において簡易表示されるサービス提供システム５０は、プロセッサ５１と、メモリ５２と、ストレージ５３と、通信デバイス５９とを備える。

プロセッサ５１は、ストレージ５３に格納されたコンピュータプログラムに従う処理を実行するように構成される。メモリ５２は、プロセッサ５１による処理実行時に作業領域として使用される。

ストレージ５３は、コンピュータプログラム及び各種データを記憶する。通信デバイス５９は、広域ネットワークＮＴを通じて各ユーザのモバイルデバイス１０と通信可能に構成される。

サービス提供システム５０は、ストレージ５３内に、三次元マップデータ６１と、コンテンツ関連データベース６３と、登録地点データベース６５と、選択制御データベース６７と、顧客データベース６９とを備える。

三次元マップデータ６１は、複数のモバイルデバイス１０から収集される映像データに基づき生成される、現実空間の屋外及び屋内における三次元空間位置座標を示すデータである。三次元マップデータ６１は、モバイルデバイス１０での自己位置推定に利用される。

コンテンツ関連データベース６３は、図２Ａに示すように、予め用意されたコンテンツ毎のコンテンツ関連データ６３１を備える。コンテンツ関連データ６３１は、図２Ａに示すように、対応するコンテンツの識別情報であるコンテンツＩＤに関連付けて、コンテンツそれ自体を定義するコンテンツデータ、及び、コンテンツ属性を示すコンテンツ属性データを備える。

コンテンツは、例えば、ユーザに訴求する商品又は役務に関する広告コンテンツであり得る。この場合、コンテンツ属性は、広告コンテンツが訴求しようとする商品又は役務の属性を示し得る。

別例として、コンテンツ属性は、コンテンツの配信対象として適切なユーザのデモグラフィック属性、ジオグラフィック属性、及びサイコグラフィック属性を示し得る。デモグラフィック属性の例には、性別、年齢及び職業が含まれる。ジオグラフィック属性の例には、居住地域が含まれる。コンテンツ属性は、複数種類の属性の組み合わせで定義され得る。

図２Ｂに示される登録地点データベース６５は、コンテンツの表示地点として登録された現実空間上の地点毎に、登録地点データ６５１を有する。各登録地点データ６５１は、対応する地点の識別情報である地点ＩＤに関連付けて、対応する地点の絶対位置座標及び場所属性の情報を有する。場所属性の情報は、対応する地点に相応しくない種類のコンテンツが表示対象として選択されるのを抑制する目的で利用される。

場所属性は、人が対応する地点に対して通常認識する場所の属性を示し得る。コンテンツの表示地点が屋外である場合、対応する地点の場所属性は、当該地点周辺に存在する施設の属性を示し得る。コンテンツの表示地点が屋内の商業施設である場合、対応する地点の場所属性は、当該対応する地点周辺に存在する店舗の属性を示し得る。

図２Ｃに示される選択制御データベース６７は、場所属性毎の選択制御データ６７１を備える。選択制御データ６７１は、対応する場所属性の情報に関連付けて禁止リストを備える。禁止リストは、対応する場所属性を有するコンテンツの表示地点で、表示対象から除外されるべきコンテンツ群に対応するコンテンツ属性の一覧を示す。

図３に示される顧客データベース６９は、サービス提供システム５０に対して登録されたユーザ毎に、顧客データ６９１を備える。顧客データ６９１は、対応するユーザの識別コードであるユーザＩＤに関連付けて、ユーザ属性データ、表示履歴データ、行動履歴データ、フレンド登録データ、及び、ユーザ指定重みデータを備える。

ユーザ属性データは、対応するユーザのデモグラフィック属性、ジオグラフィック属性、及びサイコグラフィック属性を示す。具体的に、ユーザ属性データは、対応するユーザの性別、年齢、職業、居住地域、関心、及び好みの一以上を表す情報を有し得る。

表示履歴データは、対応するユーザに対するコンテンツの表示履歴を示す。表示履歴データは、対応するユーザに対する過去のコンテンツ表示毎に、当該コンテンツの表示日時及び表示コンテンツのコンテンツＩＤを示し得る。この表示履歴データによれば、ユーザに対する各コンテンツの表示回数を特定可能である。

行動履歴データは、対応するユーザの行動履歴を示す。具体的に、行動履歴データは、対応するユーザの過去の各時刻における位置情報を有し得る。位置情報は、絶対位置座標を示してもよいし、自宅、職場、カフェ、及びレストラン等の対応する位置の分類を示してもよい。

フレンド登録データは、対応するユーザによってフレンドとして登録されたユーザのリストを示す。すなわち、フレンド登録データは、対応するユーザの知人情報であり、対応するユーザの他のユーザとの社会的関係を示す。フレンド登録データは、ユーザＩＤのリストの形態で、フレンドとして登録されたユーザを示し得る。

ユーザ指定重みデータは、対応するユーザに配信するコンテンツの選択に用いられるデータである。ユーザ指定重みデータの詳細については後述する。

続いて、図４を用いてＡＲ画像１１０の表示方法を説明する。本実施形態では、登録地点データベース６５に登録された、現実空間上の絶対位置座標で規定される地点１００にＡＲ画像１１０が表示される。ＡＲ画像１１０は、地点１００に現実に存在するかのように表示される。

すなわち、ＡＲ画像１１０は、対応する地点１００において、ＡＲ画像１１０に対応する三次元物体が仮に現実に存在する場合の周囲からの三次元物体の外観を模倣するように、ユーザの地点１００に対する相対位置及び向きに応じた外観で、当該ユーザに対応するモバイルデバイス１０のディスプレイ１４に表示される。

図４によれば、室内の地点１００に存在するかのように表示されるＡＲ画像１１０を見る三人のユーザＵ１，Ｕ２，Ｕ３が、室内の異なる位置に存在する。ユーザＵ１は、地点１００の正面に位置し、ユーザＵ２は、地点１００の左側に位置し、ユーザＵ３は、地点１００の右側に位置する。

このとき、ユーザＵ１により使用されるディスプレイ１４には、図５Ａに示す外観でＡＲ画像１１０が表示され、ユーザＵ２により使用されるディスプレイ１４には、図５Ｂに示す外観でＡＲ画像１１０が表示される。ユーザＵ３により使用されるディスプレイ１４には、図５Ｃに示す外観でＡＲ画像１１０が表示される。

図５Ａ−５Ｃに示される例によれば、仮想的なディスプレイの形態を有する三次元の仮想オブジェクト１２０上に、ユーザ別のコンテンツ１３０を有するＡＲ画像１１０が表示される。本実施形態では、例えば、複数ユーザに共通する仮想オブジェクト１２０と、仮想オブジェクト１２０上に表示されるユーザ別のコンテンツ１３０との組合せにより、ユーザ別のＡＲ画像１１０が表示される。

同じ現実空間に位置する複数ユーザＵ１，Ｕ２，Ｕ３に対し、共通する地点１００に、ＡＲ画像１１０が表示されることによって、ユーザＵ１，Ｕ２，Ｕ３間では、拡張現実の表示位置に関する情報を共有することができる。更に、複数ユーザＵ１，Ｕ２，Ｕ３に共通する仮想オブジェクト１２０が表示されることによって、ユーザＵ１，Ｕ２，Ｕ３間では、仮想オブジェクト１２０の認識を共有することができる。

更に、コンテンツ１３０のユーザ別の表示は、各ユーザに適したコンテンツ１３０の表示を可能にする。しかも、現実の三次元物体の見え方に即したＡＲ画像１１０の表示は、現実空間に対して親和性が高い。

従って、本実施形態によれば、多様でありながら統一感のある、現実空間との調和のとれたコンテンツのＡＲ表示が可能である。この表示技術は、特に広告コンテンツを含む消費者向けの多様なコンテンツのＡＲ表示に適している。

仮想オブジェクト１２０は、図５Ａ−５Ｃに示される仮想スクリーンの形態に限定されない。仮想オブジェクト１２０は、例えば商品ラベルの付されていない瓶、缶、袋の外形を有する仮想オブジェクトであってもよい。コンテンツ１３０は、仮想オブジェクト１２０に対応するポリゴン上のテクスチャであってもよい。

仮想オブジェクト１２０として、外形の異なる複数種類の仮想オブジェクトが用意されてもよい。更には、コンテンツの表示地点毎に異なる外形の仮想オブジェクトが表示されてもよい。

この場合、図２Ｂに破線で示すように、登録地点データ６５１には、対応する地点で表示すべき仮想オブジェクトのタイプを示す情報が含まれてもよい。また、図２Ａに破線で示すように、コンテンツ関連データ６３１には、コンテンツに対応する仮想オブジェクトのタイプを示す情報が含まれてもよい。この場合、表示対象のコンテンツは、対応する地点のオブジェクトタイプに合致するコンテンツ群の中から選択される。

続いて、モバイルデバイス１０のプロセッサ１１が、ＡＲ画像表示のために繰返し実行する表示制御処理を、図６を用いて説明する。この表示制御処理を開始すると、プロセッサ１１は、現在位置周辺の三次元マップデータ６１を、広域ネットワークＮＴを通じてサービス提供システム５０から通信により取得する（Ｓ１１０）。プロセッサ１１は、現在位置周辺の三次元マップデータ６１を取得するために、粗い現在の位置及び向きの情報を、位置検出器１７から取得することができる。

その後、プロセッサ１１は、位置検出器１７から得られる粗い現在の位置及び向きの情報、カメラ１６からの映像データ、及び、三次元マップデータ６１に基づき、詳細な現在位置及び向きを推定する（Ｓ１２０）。この推定は、公知の自己推定技術に基づいて実現され得る。具体的にプロセッサ１１は、映像データの解析により判別される三次元空間の形状と、三次元マップデータ６１が示す三次元空間の形状との照合により、カメラ１６の位置を高精度に推定し、それにより、モバイルデバイス１０の現在の位置及び向きを高精度に推定することができる。

Ｓ１２０での推定後、プロセッサ１１は、カメラ１６からの映像データに、推定された位置及び向きの情報を付加してなる位置映像データを、サービス提供システム５０に送信する（Ｓ１３０）。

その後、プロセッサ１１は、カメラ１６の映像データ及び推定された位置及び向きの情報に基づき、ユーザの視界にコンテンツの表示地点として登録された地点が存在するか否かを判断する（Ｓ１４０）。この判断のために、三次元マップデータ６１は、コンテンツの表示地点の情報を含んだ構成にされ得る。例えば、三次元マップデータ６１は、各表示地点の地点ＩＤに関連付けて、その地点の絶対位置座標を示すデータを内包した構成にされ得る。

プロセッサ１１は、ユーザの視界にコンテンツの表示地点がないと判断すると（Ｓ１４０でＮｏ）、表示制御処理を終了する。プロセッサ１１は、表示地点があると判断すると（Ｓ１４０でＹｅｓ）、その地点でのＡＲ表示のためにコンテンツリクエストをサービス提供システム５０に通信デバイス１９を通じて送信する（Ｓ１５０）。プロセッサ１１は、ユーザの視界にある表示地点の地点ＩＤと共に、Ｓ１２０で推定されたユーザの現在位置及び向きの情報を含んだコンテンツリクエストを送信することができる。

その後、プロセッサ１１は、コンテンツリクエストに対する応答データを、通信デバイス１９を通じてサービス提供システム５０から受信する（Ｓ１６０）。プロセッサ１１は、受信データに基づいて、表示地点に対するユーザの相対的な位置及び向きに応じた外観で、ＡＲ画像１１０が当該地点に表示されるように、ディスプレイ１４に対するＡＲ画像１１０の表示制御を行う（Ｓ１７０）。その後、プロセッサ１１は、当該表示制御処理を終了する。

コンテンツリクエストに対するサービス提供システム５０からの応答データは、ＡＲ画像データを含む。このＡＲ画像データは、例えば、コンテンツの表示地点に対するユーザの相対的な位置及び向きを考慮して、ＡＲ画像１１０の形状及びテクスチャの最適化がなされたＡＲ画像データであり得る。このＡＲ画像データは、ＡＲ画像１１０の三次元データをディスプレイ表示用の二次元データに置換して形成され得る。すなわち、このＡＲ画像データは、モバイルデバイス１０が、回転やサイズ調整などの加工なしに、ユーザの視点からの外観を有するＡＲ画像１１０を、ディスプレイ１４に表示可能な画像データであり得る。

あるいは、サービス提供システム５０から送信されるＡＲ画像データは、ユーザの位置及び向きを考慮しないＡＲ画像データであってもよい。ＡＲ画像データは、ＡＲ画像１１０の三次元データであってもよい。この場合、プロセッサ１１は、受信したＡＲ画像データに基づいて、ユーザの位置及び向きを考慮した回転及びサイズ調整などのＡＲ画像１１０に対する加工を伴って、ディスプレイ１４に、加工後のＡＲ画像１１０を表示させる表示制御を行うことができる。

すなわち、プロセッサ１１は、受信したＡＲ画像１１０の三次元表現を含むＡＲ画像データに対するレンダリング処理を実行して、ＡＲ画像データをユーザの位置及び向きを考慮したディスプレイ表示用の二次元データに変換し、ディスプレイ１４に、ユーザの位置及び向きに応じたＡＲ画像１１０を表示させてもよい。

続いて、サービス提供システム５０のプロセッサ５１が繰返し実行する受信更新処理の詳細を、図７を用いて説明する。受信更新処理は、ユーザ毎に実行される。受信更新処理では、対応するユーザのモバイルデバイス１０からＳ１３０で送信されてくる位置映像データに基づく処理が実行される。

この受信更新処理を開始すると、プロセッサ５１は、対応するユーザのモバイルデバイス１０から送信されてくる位置映像データを受信する（Ｓ２１０）。その後、プロセッサ５１は、受信した位置映像データに基づいて、対応するユーザの状態を判別する（Ｓ２２０）。

Ｓ２２０において、プロセッサ５１は、図８に示す状態判別処理を実行する。状態判別処理において、プロセッサ５１は、受信した位置映像データに対する映像解析を行う（Ｓ２２１）。この解析結果に基づいて、ユーザが手に把持しているものを判別する（Ｓ２２３）。現在の映像にユーザの手が写っていない場合、プロセッサ５１は、映像の時間変化に基づいて、過去に把持されていると判別された物が依然として手に把持されているかを判別することができる。この判別は、ユーザの身体的な状態を判別することに対応する。

続くＳ２２５において、プロセッサ５１は、ユーザが注視しているものを判別する。プロセッサ５１は、現在の映像だけではなく一定期間前からの映像から特定される視線の時間変化に基づいて、ユーザが注視しているものを判別することができる。例えば、所定時間継続的にユーザの視界中心に映るものをユーザが注視しているものと判別することができる。

続くＳ２２７において、プロセッサ５１は、共に行動するフレンドを判別する。プロセッサ５１は、この判別のために、対応するユーザが登録するフレンドの位置情報を参照することができる。フレンドの位置情報は、そのフレンドのモバイルデバイス１０からサービス提供システム５０に送信される位置映像データに基づいて判別可能である。フレンドは、ユーザとの間に強い社会的関係が存在する知人に対応する。

プロセッサ５１は、フレンドの移動軌跡とユーザの移動軌跡とが重なっており、更には、ユーザの視界に高頻度に入り込むフレンドがいると推定されるとき、対応するフレンドを、共に行動するフレンドとして判別することができる。

続くＳ２２９において、プロセッサ５１は、ユーザの感情を判別する（Ｓ２２９）。モバイルデバイス１０のカメラ１６には、マイクロフォン（図示せず）も付属しており、位置映像データには、音声が含まれる。プロセッサ５１は、この音声からユーザの感情を推定することができる（Ｓ２２９）。あるいは、プロセッサ５１は、ユーザの現在位置及び向きに基づき、ユーザを視界に収める別のユーザの位置映像データを参照し、その位置映像データからユーザの顔の表情を分析して、ユーザの感情を判別することができる。ユーザの感情は、ユーザの心理的な状態に対応する。

その後、プロセッサ５１は、Ｓ２３０に移行し、ユーザが現在いる場所の意味を判別する。ここでいう「場所の意味」は、ユーザがその場所にいる理由に対応する。「場所の意味」として、プロセッサ５１は、「自宅」、「職場」、「休憩」、「食事」、「買い物」などの予め定められた「場所の意味」の選択肢の中から、最も合致する選択肢を選択することにより、場所の意味を判別することができる。この判別のために、顧客データ６９１は、ユーザの自宅及び職場の情報を有することができる（図示せず）。

続くＳ２４０において、プロセッサ５１は、ユーザの顧客データ６９１が有する行動履歴データを更新する。プロセッサ５１は、受信した位置映像データから、ユーザの現在の位置及び向きを判別することができる。

プロセッサ５１は、位置映像データから、ユーザの現在の行為を判別することができる。プロセッサ５１は、判別した行為の情報を、現在時刻、並びにユーザの位置及び向きと関連付けたレコードを、ユーザの行動履歴データに登録することによって、行動履歴データを更新することができる。

続くＳ２５０において、プロセッサ５１は、図９に示す重み計算処理を実行する（Ｓ２５０）。上述したコンテンツ属性は、予め定められた範囲の属性値を採り得る。Ｓ２５０では、例えば、この採り得る属性値のそれぞれに対する重みを計算し得る。大きい重みが設定された属性値を有するコンテンツほど、表示対象コンテンツとして選択される可能性を高くする目的で重みは計算され得る。すなわち各属性値に対する重みは、対応する属性値を有するコンテンツを表示対象として選択する確率に対応し得る。以下、Ｓ２５０で計算される重みのことを、コンテンツ重みと表現する。

重み計算処理において、プロセッサ５１は、Ｓ２２０で判別されたユーザが手に把持しているものに基づく、第一のコンテンツ重みＷ１を計算する（Ｓ２５１）。手に把持しているものが存在している場合には、把持しているものに関連する属性値を有するコンテンツの選択確率が上昇するようにコンテンツ重みＷ１を計算することができる。手に把持しているものが存在しない場合には、各属性値に対する重みが一律である形式的なコンテンツ重みＷ１を算出し得る。

サービス提供システム５０は、予め重みの計算ルールを定義する定義データをストレージ５３に記憶することができる。プロセッサ５１は、記憶された定義データに従って、手に把持されているものに対応するコンテンツ重みＷ１を計算することができる。

続くＳ２５２において、プロセッサ５１は、Ｓ２２０で判別されたユーザが注視しているものに基づく、第二のコンテンツ重みＷ２を算出する。ユーザが注視しているものが存在している場合には、注視しているものに関連する属性値を有するコンテンツの選択確率が上昇するようにコンテンツ重みＷ２を算出することができる。注視しているものが存在しない場合には、各属性値に対する重みが一律である形式的なコンテンツ重みＷ２を算出し得る。

続くＳ２５３において、プロセッサ５１は、Ｓ２２０で判別された共に行動するフレンドに基づく、第三のコンテンツ重みＷ３を算出する。例えば、共に行動するフレンドが存在している場合には、集団行動に関連するコンテンツの選択確率が上昇するように、関連する属性値に対する重みを高くする方式で、コンテンツ重みＷ３を算出することができる。共に行動するフレンドが存在しない場合には、各属性値に対する重みが一律の形式的なコンテンツ重みＷ３を算出し得る。

続くＳ２５４において、プロセッサ５１は、Ｓ２２０で判別されたユーザの感情に基づく、第四のコンテンツ重みＷ４を算出する。例えば、ユーザの感情に適したコンテンツの選択確率が上昇するように、関連する属性値に対する重みを高くする方式で、コンテンツ重みＷ４を算出することができる。

続くＳ２５５において、プロセッサ５１は、ユーザの顧客データ６９１を参照して判別されるユーザ属性に基づく、第五のコンテンツ重みＷ５を算出する。例えば、ユーザの性別及び年齢に適したコンテンツの選択確率が上昇するように、関連する属性値に対する重みを高くする方式で、コンテンツ重みＷ５を算出することができる。

続くＳ２５６において、プロセッサ５１は、Ｓ２３０で判別されたユーザの現在位置に対応する場所の意味に基づく、第六のコンテンツ重みＷ６を算出する。続くＳ２５７において、プロセッサ５１は、ユーザの顧客データ６９１内の行動履歴データを参照して、ユーザの行動パターンに基づく、第七のコンテンツ重みＷ７を算出する。例えば、プロセッサ５１は、ユーザの行動パターンに適したコンテンツの選択確率が上昇するように、コンテンツ重みＷ７を算出することができる。

続くＳ２５９において、プロセッサ５１は、上記算出したコンテンツ重みＷ１〜Ｗ７を統合して、統合コンテンツ重みＷＳを算出し得る。統合コンテンツ重みＷＳは、コンテンツ重みＷ１〜Ｗ７の和に対応し得る。統合コンテンツ重みＷＳは、顧客データ６９１が有するユーザ指定重みデータを参照して、コンテンツ重みＷ１〜Ｗ７を重み付けしながら、統合コンテンツ重みＷＳを算出し得る。その後、重み計算処理（図９）を終了する。

ユーザ指定重みデータは、第一から第七のコンテンツ重みＷ１〜Ｗ７に対する重み係数を示し得る。この場合、統合コンテンツ重みＷＳは、重み係数に従うコンテンツ重みＷ１〜Ｗ７の重み付け和であり得る。重み係数を用いることにより、把持しているもの重視、感情重視、行動履歴重視といったユーザの好みに応じた重みで、コンテンツ選択及び表示を行うことができる。

上述した重み計算処理（Ｓ２５０）を終了すると、プロセッサ５１は、ユーザのモバイルデバイス１０から受信した位置映像データに基づき、三次元マップデータ６１を更新して（Ｓ２６０）、受信更新処理（図７）を終了する。

続いて、サービス提供システム５０のプロセッサ５１が繰返し実行する受信応答処理の詳細を、図１０を用いて説明する。受信応答処理は、ユーザ毎に実行される。受信応答処理では、対応するユーザのモバイルデバイス１０からＳ１５０で送信されるコンテンツリクエストに基づく処理が実行される。

受信応答処理を開始すると、プロセッサ５１は、対応するモバイルデバイス１０からのコンテンツリクエストを受信するまで待機する（Ｓ３１０）。コンテンツリクエストを受信すると、そのコンテンツリクエストに含まれる地点ＩＤに対応する登録地点データ６５１を参照して、対応する地点の場所属性を判別する（Ｓ３２０）。

プロセッサ５１は、上記判別した場所属性に基づいて、表示対象コンテンツとして選択可能なコンテンツ群を絞り込む（Ｓ３３０）。プロセッサ５１は、例えば図１１に示す除外処理を実行することにより、選択可能なコンテンツ群を絞り込むことができる。

除外処理（図１１）において、プロセッサ５１は、Ｓ３２０で判別した場所属性に関連付けられた選択制御データ６７１内の禁止リストを読み出す（Ｓ３３１）。そして、コンテンツ関連データベース６３に登録されたコンテンツ群のうち、禁止リストに列挙されたコンテンツ属性を有するコンテンツ群を、選択可能なコンテンツ群から除外することにより、選択可能なコンテンツ群を絞り込む（Ｓ３３５）。

禁止リストは、対応する場所属性を有する地点での表示が好ましくないコンテンツのコンテンツ属性を示す。例えば、図１２に示すように建物２００に関連付けて屋外でＡＲ画像１１０が表示される場合を考える。この場合、ＡＲ画像１１０は、無意識のうちに、ユーザに建物２００と関連付けて理解される可能性がある。

例えば、建物２００が警察署である場合、ユーザは、表示されるＡＲ画像１１０のコンテンツ１３０に信用があると錯覚する場合がある。また、建物２００に対応する企業が、自社のブランド価値を守るために、特定の種類のコンテンツの表示を好ましくないと考える可能性がある。禁止リストは、こうした可能性を考慮して作成され得る。

本実施形態では、禁止リストに基づいて、場所属性にふさわしくないコンテンツ属性を有するコンテンツ群が除外され、残りのコンテンツ群から表示対象のコンテンツが選択されることにより、現実空間の地点と結び付けた適切なＡＲ表示が可能である。

Ｓ３３０での選別を抑えると、続いてプロセッサ５１は、ユーザと共に行動するフレンドがいるか否かを判断する（Ｓ３４０）。ここでは、Ｓ２２７での判別に従うことができる。

共に行動するフレンドがいないと判断すると（Ｓ３４０でＮｏ）、プロセッサ５１は、Ｓ２５０で算出された、対応するユーザの統合コンテンツ重みＷＳを参照する（Ｓ３５０）。この統合コンテンツ重みＷＳは、上述した通り、現在のユーザの状態、行動履歴、及び場所の意味が考慮された各コンテンツ属性の重みである。

プロセッサ５１は、この統合コンテンツ重みＷＳに基づいて、表示対象コンテンツを、Ｓ３３０で絞り込まれたコンテンツ群の中から選択する（Ｓ３６０）。例えば、プロセッサ５１は、統合コンテンツ重みＷＳに従う確率で選択するという条件の中で、無作為に一つのコンテンツを、上記絞り込まれたコンテンツ群の中から選択することができる。

選択に際して、プロセッサ５１は、対応するユーザの顧客データ６９１内の表示履歴データを参照し、表示回数又は表示頻度の少ないコンテンツほど優先的に選択されるように、各コンテンツの選択確率に修正を加えて、上記コンテンツ群の中から、一つのコンテンツを、表示対象コンテンツとして選択することができる。

一方、共に行動するフレンドがいると判断すると（Ｓ３４０でＹｅｓ）、プロセッサ５１は、ユーザの統合コンテンツ重みＷＳと、共に行動する一人以上のフレンドの統合コンテンツ重みＷＳとを統合して、ユーザグループの統合コンテンツ重みＷＧを算出する（Ｓ３７０）。ここでいうユーザグループは、注目ユーザと、注目ユーザと共に行動する一人以上のフレンドからなるグループである。注目ユーザは、コンテンツリクエスト送信元のユーザである。

ユーザグループの統合コンテンツ重みＷＧは、ユーザグループに属する注目ユーザ及びフレンドの統合コンテンツ重みＷＧの平均であり得る。平均は、重み付け平均であってもよい。重み付け平均は、注目ユーザの重みよりも、フレンドの重みを小さくすることにより実現され得る。別例として重み付け平均は、ユーザグループ内の一人をランダムにグループリーダを選択し、グループリーダの重みを大きくすることにより実現され得る。

続くＳ３８０において、プロセッサ５１は、ユーザグループの統合コンテンツ重みＷＧに基づいて、表示対象コンテンツを、Ｓ３３０で絞り込まれたコンテンツ群の中から選択する。Ｓ３８０での選択方法は、Ｓ３６０と同様であり得る。Ｓ３８０では、ユーザグループ全体におけるコンテンツの表示履歴を加味して、表示対象コンテンツを選択することができる。

Ｓ３８０で選択される表示対象コンテンツは、注目ユーザに対する表示対象コンテンツであってもよいし、ユーザグループ全体に対する表示対象コンテンツであってもよい。

ユーザグループ全体に対して共通する一つの表示対象コンテンツを選択する場合には、次のように表示対象コンテンツを選択することができる。すなわち、ユーザグループ内のグループリーダからのコンテンツリクエストに基づくＳ３８０の処理で表示対象コンテンツを統合コンテンツ重みＷＧに基づいて選択する。

ユーザグループ内のグループリーダ以外のユーザからのコンテンツリクエストに基づくＳ３８０の処理では、グループリーダに関するＳ３８０の処理で選択された表示対象コンテンツと同じコンテンツを、表示対象コンテンツに選択する。この場合、一つのユーザグループに属する知人関係のある行動を共にする全てのユーザに対して同一のコンテンツがＡＲ画像１１０として各モバイルデバイス１０で表示されることになる。

別例として、一部のコンテンツ属性の重みを他のコンテンツ属性の重みよりも顕著に大きくするように、ユーザグループ間で共通する統合コンテンツ重みＷＧを設定すれば、ユーザグループに属する知人関係のある行動を共にするユーザの夫々に対し相互に関連性の高いコンテンツが表示対象コンテンツとして選択される。サービス提供システム５０は、Ｓ３８０における表示対象コンテンツの選択方法を、ユーザからの指示に基づき、又は確率的に切り替えるように構成され得る。

プロセッサ５１は、Ｓ３６０又はＳ３８０において表示対象コンテンツを選択すると、続くＳ４００において、コンテンツ関連データベース６３から表示対象コンテンツに対応するコンテンツデータを読み出し、読み出したコンテンツデータと、Ｓ３１０でコンテンツリクエストと共に受信したユーザの位置及び向きの情報と、に基づいて、コンテンツの表示地点に対するユーザの相対位置及び向きに応じた外観で、表示対象コンテンツと仮想オブジェクトとの組合せからなるＡＲ画像１１０をモバイルデバイス１０に表示させるためのＡＲ画像データを生成する。

その後、プロセッサ５１は、Ｓ４００で生成したＡＲ画像データを格納した、コンテンツリクエストに対する応答データを、コンテンツリクエスト送信元に送信する（Ｓ４１０）。これにより、ユーザのモバイルデバイス１０では、ユーザの位置及び向きに応じた外観でディスプレイ１４にＡＲ画像１１０が表示される。

プロセッサ５１は、更に、応答データの送信によりモバイルデバイス１０で表示されるコンテンツについての表示履歴を記録するように、対応するユーザの表示履歴データを更新する（Ｓ４２０）。その後、図１０に示す受信応答処理を終了する。

以上に説明した本実施形態によれば、複数ユーザに共通する仮想オブジェクト１２０と、ユーザ別のコンテンツ１３０との組合せによる新規で有意義なＡＲ表示が可能である。本実施形態によれば、ＡＲ画像１１０の表示が現実空間の地点と結びついている。そこで、表示地点の場所属性にふさわしくないコンテンツが表示されないように、禁止リストに基づき、一部属性のコンテンツが表示対象コンテンツに選択されないようにした。

従って、本実施形態によれば、現実空間との関係を考慮しつつ、ユーザの状態、行動特性、及び関心等に基づくユーザ別の適切なコンテンツを、ＡＲ画像１１０として、ユーザに表示可能である。

本開示が、上述した実施形態に限定されることなく、種々の態様を採り得ることは言うまでもない。例えば、時間的な変化の少ない静的な場所属性だけではなく、ユーザの視界に写る物体の属性である物属性に基づいて、表示対象コンテンツとして選択するコンテンツ群の絞り込みを行ってもよい。

例えば、サービス提供システム５０は、選択制御データベース６７に、場所属性に関連する禁止リストと共に、物属性に関連する禁止リストを備えることができる。プロセッサ５１は、Ｓ３６０，Ｓ３８０において、図１３に示す選択処理を実行することができる。

すなわち、プロセッサ５１は、ユーザ又はユーザグループのモバイルデバイス１０から受信した位置映像データに基づいて、ユーザ又はユーザグループの視界にある物の属性を判別し（Ｓ３９１）、その視界にある物属性に対応する禁止リストを読み出すことができる（Ｓ３９３）。

更に、プロセッサ５１は、読み出した禁止リストに列挙されたコンテンツ属性に対応するコンテンツ群を、Ｓ３３０で絞り込まれたコンテンツ群から更に除外し（Ｓ３９５）、残りのコンテンツ群から表示対象コンテンツを選択する（Ｓ３９７）。Ｓ３９７での表示対象コンテンツの選択手法は、上述したＳ３６０，Ｓ３８０での選択手法と同様である。

こうした物属性に基づいた一部コンテンツ群の表示対象からの排除は、ユーザの視界に写る商品に競合する別の商品の広告コンテンツの表示を禁止するのに役立つ。

また、上述したモバイルデバイス１０は、ウェアラブル機器ではなくスマートフォンやタブレットなどの携帯端末であってもよい。この他、サービス提供システム５０で実行される処理の一部は、モバイルデバイス１０で実行されてもよいし、モバイルデバイス１０で実行される処理の一部は、サービス提供システム５０で実行されてもよい。

モバイルデバイス１０は、カメラ１６に代えて、又は、カメラ１６に加えて、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などの測距デバイスが周辺の空間位置座標の特定のために、及び、三次元マップの形成のために設けられてもよい。

モバイルデバイス１０は、周辺の空間位置座標を示す測距デバイスからの測距データと、三次元マップデータ６１とに基づいて、位置及び向きを推定するように構成されてもよい。測距データは、モバイルデバイス１０からサービス提供システム５０に送信されてもよい（Ｓ１３０）。三次元マップデータ６１は、複数のモバイルデバイス１０から収集される測距データに基づき生成されてもよい（Ｓ２６０）。モバイルデバイス１０には、その他の周辺環境を捕捉するためのセンサが設けられてもよい。

コンテンツの選択手法も、上述した実施形態に説明した具体的手法に限定されない。例えば、ユーザの状態及び関心等に基づいたユーザの特徴を表す特徴ベクトルと、各コンテンツの特徴を表す特徴ベクトルとの間の特徴空間上の距離に基づいて、ユーザの特徴と各コンテンツの特徴との類似度を判別し、判別した類似度に基づいて表示対象コンテンツを選択するように、サービス提供システム５０は構成されてもよい。

上述した共通する仮想オブジェクト１２０とユーザ別のコンテンツ１３０との組合せに基づくＡＲ画像１１０の表示は、仮想オブジェクト１２０に対応する仮想的な缶の三次元画像に仮想的に貼り付けるコンテンツ１３０としてのラベルを、ユーザ別に選択することにより、ユーザの嗜好に合致した飲料の広告を行う目的にも活用できる。仮想オブジェクト１２０は、芸術性のある仮想的な外形を有することができる。この場合、コンテンツ１３０は、仮想オブジェクト１２０を装飾する模様及び色彩であってもよい。

フレンドの判別は、モバイルデバイス１０がスマートフォンであるときの電話帳を参照して行われてもよいし、モバイルデバイス１０内のチャットツールを参照して行われてもよい。

上記実施形態では、サービス提供システム５０が、コンテンツ関連データベース６３から表示対象コンテンツに対応するコンテンツデータを読み出し、コンテンツデータに基づくコンテンツ１３０を、仮想オブジェクト１２０と合成して、表示対象コンテンツと仮想オブジェクトとの組合せからなるＡＲ画像１１０をモバイルデバイス１０に表示させるためのＡＲ画像データを生成した。

しかしながら、合成後のＡＲ画像１１０を表すＡＲ画像データが、最初からコンテンツ関連データベース６３に、コンテンツデータとして格納されていてもよい。この場合、プロセッサ５１は、Ｓ４４０において、表示対象コンテンツに対応するＡＲ画像データを、コンテンツ関連データベース６３から読み出し、このＡＲ画像データを、ディスプレイ表示用の二次元データに変換して、応答データを、モバイルデバイス１０に送信することができる。

この他、上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

１…ＡＲ表示システム、１０…モバイルデバイス、１１…プロセッサ、１２…メモリ、１３…ストレージ、１４…ディスプレイ、１５…入力デバイス、１６…カメラ、１７…位置検出器、１９…通信デバイス、５０…サービス提供システム、５１…プロセッサ、５２…メモリ、５３…ストレージ、５９…通信デバイス、６１…三次元マップデータ、６３…コンテンツ関連データベース、６５…登録地点データベース、６７…選択制御データベース、６９…顧客データベース、１１０…ＡＲ画像、１２０…仮想オブジェクト、１３０…コンテンツ、２００…建物、６３１…コンテンツ関連データ、６５１…登録地点データ、６７１…選択制御データ、６９１…顧客データ、ＮＴ…広域ネットワーク。

Claims (17)

1. 現実空間上の複数ユーザに共通する地点において前記複数ユーザのそれぞれに対して個別のコンテンツを表示するために、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択する選択部と、
   前記共通する地点において前記表示対象のコンテンツが拡張現実表示されるように、前記複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行う表示制御部と、
   を備える拡張現実表示システム。
2. 請求項１記載の拡張現実表示システムであって、
   前記表示制御部は、前記表示対象のコンテンツが、前記複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、前記ディスプレイに対する表示制御を行うように構成され、
   前記表示制御によって、前記複数ユーザのそれぞれの前記ディスプレイには、前記拡張現実画像に対応する三次元物体が仮に前記地点において現実に存在する場合の周囲からの前記三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で前記拡張現実画像が表示される拡張現実表示システム。
3. 請求項２記載の拡張現実表示システムであって、
   前記複数ユーザのそれぞれの位置及び向きは、対応するユーザの前記モバイルデバイスに搭載されたカメラからの映像データ又は測距デバイスからの測距データと、前記現実空間の三次元マップデータとに基づいて推定され、
   前記拡張現実表示システムは、前記映像データ又は前記測距データに基づき、前記三次元マップデータを更新するように構成されるマップ更新部を更に備える拡張現実表示システム。
4. 請求項１〜請求項３のいずれか一項記載の拡張現実表示システムであって、
   前記選択部は、前記複数ユーザのそれぞれの属性及び行動履歴の少なくとも一方を説明する説明データを取得し、前記説明データに基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。
5. 請求項１〜請求項４のいずれか一項記載の拡張現実表示システムであって、
   前記選択部は、前記複数ユーザのそれぞれに対する過去のコンテンツの表示履歴を説明する表示履歴データを取得し、前記表示履歴データに基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。
6. 請求項１〜請求項５のいずれか一項記載の拡張現実表示システムであって、
   前記現実空間を撮影するカメラからの映像データに基づき、前記複数ユーザのそれぞれの状態として、心理的な状態及び身体的な状態の少なくとも一方を判別するように構成される状態判別部
   を備え、
   前記選択部は、前記状態判別部により判別された前記複数ユーザのそれぞれの前記状態に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。
7. 請求項１〜請求項６のいずれか一項記載の拡張現実表示システムであって、
   ユーザ間の社会的関係を判別するように構成される関係判別部
   を備え、
   前記選択部は、前記関係判別部により判別された前記社会的関係に基づいて、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。
8. 請求項７記載の拡張現実表示システムであって、
   前記関係判別部は、前記複数ユーザのそれぞれの予め登録された知人情報に基づき、前記社会的関係を判別し、
   前記選択部は、知人関係にあるユーザグループに対して、同じコンテンツ又は相互に関連するコンテンツが表示されるように、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。
9. 請求項１〜請求項８のいずれか一項記載の拡張現実表示システムであって、
   前記コンテンツが表示される前記地点の特徴を判別するように構成される地点判別部
   を備え、
   前記選択部は、前記地点判別部により判別された前記地点の特徴に基づいて、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択するように構成される拡張現実表示システム。
10. 請求項９記載の拡張現実表示システムであって、
    前記選択部は、前記地点の特徴に応じて前記コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、前記複数ユーザのそれぞれに対する表示対象のコンテンツを選択するように構成される拡張現実表示システム。
11. 請求項１０記載の拡張現実表示システムであって、
    前記選択部は、前記コンテンツ群における各コンテンツの特徴と前記地点の特徴との関係に基づいて、前記コンテンツ群の一部を選択対象から除外する拡張現実表示システム。
12. 拡張現実表示システムであって、
    予め用意されたコンテンツ群から表示対象のコンテンツを選択するように構成される選択部と、
    前記表示対象のコンテンツがユーザの視界において現実空間に重ねて拡張現実表示されるように、前記ユーザが有するモバイルデバイスのディスプレイに対する表示制御を行うように構成される表示制御部と、
    前記コンテンツが表示される前記現実空間上の地点の特徴を判別するように構成される地点判別部と、
    を備え、
    前記選択部は、前記コンテンツ群における各コンテンツの特徴と前記地点の特徴との関係に基づいて、前記コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、前記表示対象のコンテンツを選択する拡張現実表示システム。
13. 請求項１１又は請求項１２記載の拡張現実表示システムであって、
    前記地点判別部は、前記地点の特徴として、前記地点に存在する施設の属性を判別し、
    前記選択部は、前記施設の属性との関係に基づいて、前記コンテンツ群の一部を選択対象から除外する拡張現実表示システム。
14. 請求項１〜請求項５のいずれか一項記載の拡張現実表示システムにおける前記選択部及び前記表示制御部としてコンピュータを機能させるためのコンピュータプログラム。
15. コンピュータによって実行される拡張現実表示方法であって、
    現実空間上の複数ユーザに共通する地点において前記複数ユーザのそれぞれに対して個別のコンテンツを表示するために、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択することと、
    前記共通する地点において前記表示対象のコンテンツが拡張現実表示されるように、前記複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、
    を含む拡張現実表示方法。
16. 請求項１５記載の拡張現実表示方法であって、
    前記表示制御を行うことは、前記表示対象のコンテンツが前記複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、前記ディスプレイに対する表示制御を行うことを含み、
    前記表示制御によって、前記複数ユーザのそれぞれの前記ディスプレイには、前記拡張現実画像に対応する三次元物体が仮に前記地点において現実に存在する場合の周囲からの前記三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で前記拡張現実画像が表示される拡張現実表示方法。
17. コンピュータによって実行される拡張現実表示方法であって、
    予め用意されたコンテンツ群から表示対象のコンテンツを選択することと、
    前記表示対象のコンテンツがユーザの視界において現実空間に重ねて拡張現実表示されるように、前記ユーザが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、
    前記コンテンツが表示される前記現実空間上の地点の特徴を判別することと、
    を備え、
    前記選択することは、前記コンテンツ群における各コンテンツの特徴と前記地点の特徴との関係に基づいて、前記コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、前記表示対象のコンテンツを選択することを含む拡張現実表示方法。

Images