JP2017126142A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の階層からなる建物の撮像画像に店舗情報をＡＲ表示する際に、重畳表示される店舗情報がどの階層に対応するかをユーザに容易に把握させる。
【解決手段】店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶する記憶手段と、ユーザ端末から当該ユーザ端末で撮像された撮像画像と当該撮像の方位を示す方位情報と当該ユーザ端末の位置を示す端末位置情報とを受信する通信手段と、上記受信された端末位置情報及び方位情報と上記記憶された店舗位置情報を基に、上記撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定し、上記撮像画像における当該特定された店舗が存在する階層の位置を上記階層情報を基に特定し、上記特定された店舗の上記識別情報を、上記撮像画像の上記特定された階層の位置に重畳させて表示させるための表示情報を生成し上記ユーザ端末へ送信する制御手段を有する。
【選択図】図５

Description

本発明は、飲食店に関する情報を提供可能な情報処理装置、情報処理方法及びプログラムに関する。

従来から、現実空間に仮想空間のコンテンツを重畳表示することで現実の感覚を増強するＡＲ（Augmented Reality）技術が存在する。このＡＲは、例えばスマートフォンや、ＨＭＤ（Head Mount Display）、シースルー眼鏡型等のウェアラブル機器等において既に実現されている。

例えば、下記特許文献１には、サーバが、携帯端末により撮影される現実空間に含まれるビル等の対象物を把握し、それに対応した仮想表示をデータベースから選択して読み出して携帯端末へ送信し、携帯端末では、撮影された現実空間に仮想表示情報が重ねて表示されるシステムが記載されている。

特開２０１１−２４２８１６号公報

しかしながら、上記特許文献１に記載の技術では、ビル等の建物の撮像画像にそれに対応する仮想表示情報を重畳できるものの、複数の階層を有し各階層に異なる店舗が存在する建物においては、その仮想表示情報が当該建物のどの階層に存在する店舗の情報であるかをユーザに容易に把握させることはできない。

以上のような事情に鑑み、本発明の目的は、複数の階層からなる建物の撮像画像に店舗情報をＡＲ表示する際に、重畳表示される店舗情報がのどの階層に対応するかをユーザに容易に把握させることが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、記憶手段と、通信手段と、制御手段とを有する。上記記憶手段は、店舗の識別情報、当該店舗の位置を示す店舗位置情報、及び当該店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶する。上記通信手段は、ユーザ端末から、当該ユーザ端末で撮像された撮像画像と、当該撮像の方位を示す方位情報と、当該ユーザ端末の位置を示す端末位置情報とを受信する。上記制御手段は、上記受信された端末位置情報及び方位情報と上記記憶された店舗位置情報を基に、上記受信された撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定し、上記撮像画像における当該特定された店舗が存在する階層の位置を上記階層情報を基に特定し、上記特定された店舗の上記識別情報を、上記撮像画像の上記特定された階層の位置に重畳させて表示させるための表示情報を生成する。さらに制御手段は、上記生成された表示情報を上記ユーザ端末へ送信するように上記通信手段を制御する。

この構成により情報処理装置は、複数の階層からなる建物の撮像画像に店舗識別情報をＡＲとして重畳表示させる際に、重畳表示される店舗識別情報が建物のどの階層に対応するかをユーザに容易に把握させることができる。ここで店舗の識別情報は、店舗を識別することができるあらゆる情報を含み、例えば店舗名やそのジャンル、店舗の外観・看板・代表メニュー等を表す画像等であるが、これらに限られない。

上記階層情報は、地上階層情報及び地下階層情報を含んでもよい。この場合上記制御手段は、上記地下階層情報によって地下階層に存在すると特定された店舗の上記識別情報を表示させるための表示情報を、上記地上階層情報によって地上階層に存在すると特定された店舗の上記識別情報を表示させるための表示情報とは異なる表示形態で生成してもよい。

これにより情報処理装置は、地下に存在する店舗を地上に存在する店舗とは明確に区別してユーザに視覚的に把握させることができる。

上記制御手段は、上記表示情報に、上記店舗の位置または階層を示す情報を含ませてもよい。

これにより情報処理装置は、ユーザの撮像範囲に関わらずユーザが注目した店舗の位置または階層を容易に把握させることができる。

上記記憶手段は、上記建物の各階層における区画に関する建物区画情報を記憶してもよい。この場合上記制御手段は、上記記憶された建物区画情報に基づいて、上記特定された店舗が存在する上記階層における当該店舗が存在する区画の位置を他の区画の位置と区別して示した区画位置情報を上記表示情報として生成してもよい。

これにより情報処理装置は、店舗が存在する階層における当該店舗の区画の位置をユーザに容易に把握させることができる。ここで、当該区画表示情報は例えば平面図として生成されてもよい。

上記店舗情報は、上記店舗のジャンルを示すジャンル情報を含んでもよい。この場合上記制御手段は、上記特定された店舗のジャンルに応じた色で上記表示情報を生成してもよい。

これにより情報処理装置は、表示情報の色によってユーザの店舗のジャンルを容易に把握させることができる。例えば、和食レストランの識別情報は青色、イタリアンレストランの識別情報は赤色等の色で表示情報として生成されてもよい。

上記店舗情報は、上記店舗の営業時間を示す営業時間情報を記憶してもよい。この場合上記制御手段は、上記営業時間情報を基に、上記店舗を特定した時刻が当該特定された店舗の営業時間外であるか否かを判断し、上記時刻が営業時間外であると判断した場合には当該店舗の識別情報のための上記表示情報を生成しないようにしてもよい。

これにより情報処理装置は、営業時間外の店舗に関する表示情報がユーザに閲覧されてユーザが誤って店舗を訪れてしまうのを防ぐことができる。

上記通信手段は、上記店舗から当該店舗の混雑状況を示す混雑情報を受信してもよい。この場合上記制御手段は、上記特定された店舗の上記受信された混雑状況に応じた表示態様で上記表示情報を生成してもよい。

これにより情報処理装置は、建物内の店舗の混雑状況を一目でユーザに把握させることができる。ここで表示態様とは例えば色や明度、何らかのマーク等の数等であるが、これらに限られない。

本発明の他の形態に係る端末装置は、ユーザに装着可能な端末装置であって、撮像部と、上記撮像部の撮像方向を示す方位情報を取得する方位センサと、当該端末装置の位置を示す端末位置情報を取得する位置取得手段と、サーバ装置と通信可能な通信手段と、表示手段と、制御手段とを有する。上記制御手段は、上記撮像部によって撮像された撮像画像と、上記方位センサによって取得された方位情報と、上記位置取得手段によって取得された端末位置情報とを上記サーバ装置へ送信するように上記通信手段を制御する。また制御手段は、上記撮像画像、上記方位情報、及び上記端末位置情報に基づいて、上記撮像画像に含まれる建物の特定の階層に存在することが特定された店舗の識別情報を上記撮像画像の上記特定の階層の位置に重畳して表示させるための表示情報を上記サーバ装置から受信するように上記通信手段を制御する。さらに制御手段は、上記受信された表示情報を上記撮像画像に重畳させて表示するように上記表示手段を制御する。

本発明のまた別の形態に係る情報処理方法は、
店舗の識別情報、当該店舗の位置を示す店舗位置情報、及び当該店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶し、
ユーザ端末から、当該ユーザ端末で撮像された撮像画像と、当該撮像の方位を示す方位情報と、当該ユーザ端末の位置を示す端末位置情報とを受信し、
上記受信された端末位置情報及び方位情報と上記記憶された店舗位置情報を基に、上記受信された撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定し、
上記撮像画像における当該特定された店舗が存在する階層の位置を上記階層情報を基に特定し、
上記特定された店舗の上記識別情報を、上記撮像画像の上記特定された階層の位置に重畳させて表示させるための表示情報を生成し、
上記生成された表示情報を上記ユーザ端末へ送信する
ことを含む。

本発明のさらに別形態に係るプログラムは、情報処理装置に、
店舗の識別情報、当該店舗の位置を示す店舗位置情報、及び当該店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶するステップと、
ユーザ端末から、当該ユーザ端末で撮像された撮像画像と、当該撮像の方位を示す方位情報と、当該ユーザ端末の位置を示す端末位置情報とを受信するステップと、
上記受信された端末位置情報及び方位情報と上記記憶された店舗位置情報を基に、上記受信された撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定するステップと、
上記撮像画像における当該特定された店舗が存在する階層の位置を上記階層情報を基に特定するステップと、
上記特定された店舗の上記識別情報を、上記撮像画像の上記特定された階層の位置に重畳させて表示させるための表示情報を生成するステップと、
上記生成された表示情報を上記ユーザ端末へ送信するステップと
を実行させる。

以上説明したように、本発明によれば、複数の階層からなる建物の撮像画像に店舗情報をＡＲ表示する際に、重畳表示される店舗情報がのどの階層に対応するかをユーザに容易に把握させることができる。しかし、当該効果は本発明を限定するものではない。

本発明の一実施形態に係る飲食店情報提供システムの構成を示した図である。 本発明の一実施形態に係る飲食店情報提供サーバのハードウェア構成を示した図である。 本発明の一実施形態に係るユーザ端末のハードウェア構成を示した図である。 本発明の一実施形態に係る飲食店情報提供サーバが有するデータベースの構成を示した図である。 本発明の一実施形態に係る飲食店情報提供サーバによる、飲食店情報提供処理の流れを示したフローチャートである。 本発明の一実施形態に係るユーザ端末による、飲食店情報表示処理の流れを示したフローチャートである。 本発明の一実施形態においてユーザ端末に表示される飲食店情報の例を示した図である。 本発明の一実施形態においてユーザ端末に表示される飲食店詳細情報の例を示した図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［システムの構成］
図１は、本実施形態に係る飲食店情報提供システムの構成を示した図である。

同図に示すように、このシステムは、インターネット５０上の飲食店情報提供サーバ１００と、複数のユーザ端末２００とを含む。

飲食店情報提供サーバ１００は、飲食店に関する情報を掲載したポータルサイトを運営するウェブサーバである。飲食店情報提供サーバ１００は、複数のユーザ端末２００とインターネット５０を介して接続されている。

飲食店情報提供サーバ１００は、上記ポータルサイトにおいて、ユーザ端末２００のユーザ向けに飲食店情報の検索システムを提供する。具体的には、飲食店情報提供サーバ１００は、ユーザ端末２００からの検索要求に基づいて検索条件に合致する飲食店情報を検索し、検索結果を掲載したＷｅｂページを生成してユーザ端末２００へ送信する。

また本実施形態では、飲食店情報提供サーバ１００は、ユーザ端末２００から撮像画像、方位及び端末位置情報を受信し、それらの情報から撮像画像に含まれる飲食店を認識して、当該飲食店に関する情報をユーザ端末２００上で撮像画像に重畳表示させるＡＲ情報を生成して、ユーザ端末２００へ送信することができる。

特に本実施形態においては、飲食店情報提供サーバ１００は、上記飲食店が、撮像画像中の複数階層からなる建物のいずれかの階層に存在する場合に、当該階層を視覚的に把握させるためのＡＲ情報を生成可能である。

ユーザ端末２００（２００Ａ，２００Ｂ，２００Ｃ...）は、ユーザにより使用される端末であり、例えばスマートフォンやタブレットＰＣ（Personal Computer）、ウェアラブル端末（ヘッドマウントディスプレイ、スマートウォッチ等）のポータブルデバイスである。ユーザ端末２００は、飲食店情報提供サーバ１００へアクセスし、上記Ｗｅｂページを受信してブラウザ等により画面に表示する。

またユーザ端末２００は、当該ユーザ端末２００による撮像画像に含まれる飲食店に関する情報を飲食店情報提供サーバ１００から受信し、当該飲食店情報を撮像画像に重畳させたＡＲ情報を表示可能である。

［飲食店情報提供サーバのハードウェア構成］
図２は、上記飲食店情報提供サーバ１００のハードウェア構成を示した図である。同図に示すように、飲食店情報提供サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら飲食店情報提供サーバ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース１５には、表示部１６、操作受付部１７、記憶部１８、通信部１９等が接続される。

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルは表示部１６と一体となり得る。

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。

後述するが、特に本実施形態において、記憶部１８は、飲食店情報データベース、地図情報データベース、及び建物情報データベースを有している。

通信部１９は、例えばEthernet（登録商標）用のＮＩＣ（Network Interface Card）や無線ＬＡＮ等の無線通信用の各種モジュールであり、上記ユーザ端末２００との間の通信処理を担う。

［ユーザ端末のハードウェア構成］
図３は、上記ユーザ端末２００のハードウェア構成を示した図である。同図に示すように、ユーザ端末２００は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、入出力インタフェース２５、及び、これらを互いに接続するバス２４を備える。

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら飲食店情報提供サーバ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース２５には、表示部２６、操作受付部２７、記憶部２８、通信部２９、カメラ３０、方位情報取得部３１、位置情報取得部３２等が接続される。

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

操作受付部２７は、典型的には、表示部２６と一体的なタッチパネルとして構成されるが、その他のボタンやキー等の入力装置で構成されてもよい。

記憶部２８は、例えばフラッシュメモリやその他の固体メモリ等の不揮発性メモリである。当該記憶部２８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部２８には、カメラ３０による撮像画像上に、飲食店情報提供サーバ１００から受信したＡＲ情報を重畳表示するためのアプリケーション及びその実行に必要なデータが記憶される。

通信部２９は、例えば３Ｇ（3rd Generation）またはＬＴＥ（Long Term Evolution）等のモバイル通信規格や、ＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）等の通信規格に対応した無線通信モジュールであり、上記飲食店情報提供サーバ１００や他のユーザ端末との間の通信処理を担う。

カメラ３０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）センサ等の撮像素子により、静止画（写真）及び動画を撮像する。

方位情報取得部３１は、例えば磁気センサと加速度センサとを有する。磁気センサは、ユーザ端末２００から見た磁北の向きを検出可能である。加速度センサは、鉛直（重力）方向を検出可能である。これら検出された磁北の向き及び鉛直の向きから、ユーザ端末２００の方位（カメラ３０のアングル）が算出される。

位置情報取得部３２は、例えばＧＰＳセンサとして構成され、３つ以上の衛星からの電波を捕捉し、それぞれの衛星までの距離に基づいて、ユーザ端末２００が存在する位置を地球座標系で記述した座標を算出し、これを地球楕円体の上に当てはめて、ユーザ端末２００の位置情報（緯度・経度・標高情報）を検出する。

［飲食店情報提供サーバのデータベース構成］
図４は、上記飲食店情報提供サーバ１００が有するデータベースの構成を示した図である。

同図に示すように、飲食店情報提供サーバ１００は、記憶部１８に、飲食店情報データベース４１、地図情報データベース４２、及び建物情報データベース４３を有している。

飲食店情報データベース４１は、飲食店毎に、その飲食店の店名や所在位置情報（緯度・経度情報または住所情報、階層情報）、その飲食店を識別するＩＤ（店舗ＩＤ）の他、その飲食店の業態・サービスのジャンル（カテゴリ）情報、その飲食店を紹介する内容、すなわち、店舗のＰＲ文等の店舗の特徴を示す情報、飲食店が行うイベント情報、飲食店が立地しているエリア情報、飲食店の住所、電話番号、飲食店に関する（飲食店を紹介する）画像データ、飲食店が提供するメニューに関するメニュー情報、営業時間、ウェブサイトＵＲＬ等の情報を記憶している。これらの情報のうち少なくとも一部によって、ユーザ端末２００へ送信されるＡＲ情報が生成される。

地図情報データベース４２は、飲食店が存在するビル等の建物の位置（緯度・経度・標高）を含む地図情報を記憶する。

建物情報データベース４３は、上記地図情報内に存在する各建物について、それらの階層情報（地上何階、地下何階の建物であるか）や、建物の地上からの高さに関する情報、各階層の地上からの高さに関する情報、各階層における区画に関する建物区画情報を記憶する。当該建物区画情報には、各区画に入居している店舗（飲食店等）の情報も各区画の位置と対応付けて記憶される。

これら各データベースは、後述する飲食店情報提供サーバ１００による飲食店情報提供処理において、必要に応じて相互に参照されて用いられる。

［飲食店情報提供サーバの動作］
次に、以上のように構成された飲食店情報提供サーバ１００の動作について説明する。飲食店情報提供サーバ１００の動作は、ＣＰＵ１１及び通信部１９等のハードウェアと、記憶部１８に記憶されたソフトウェアとの協働により実行される。以下の説明では、便宜上、ＣＰＵ１１を動作主体とする。

図５は、飲食店情報提供サーバ１００による、飲食店情報提供処理の流れを示したフローチャートである。

同図に示すように、飲食店情報提供サーバ１００のＣＰＵ１１は、まず、ユーザ端末２００から、ユーザ端末２００のカメラ３０によって撮影された撮像画像と、当該撮影時にユーザ端末２００において取得された方位情報及び端末位置情報とを受信したか否かを判断する（ステップ５１）。

上記撮像画像、方位情報及び端末位置情報を受信したと判断した場合（Ｙｅｓ）、ＣＰＵ１１は、当該撮像画像中から建物を認識する（ステップ５２）。当該建物の認識には、例えばエッジ抽出、特徴点抽出、パターンマッチング等の従来から存在する技術が用いられる。

続いてＣＰＵ１１は、上記方位情報及び端末位置情報を基に、上記撮影画像中から認識した建物に存在する飲食店を特定する（ステップ５３）。具体的には、ＣＰＵ１１は、上記端末位置情報（緯度・経度・標高）及び方位情報（磁北に対する向き及びカメラアングル）を基に、上記認識した建物の位置（緯度・経度）を特定し、当該位置に合致する（完全に合致する必要は無く、誤差が所定の閾値範囲内であればよい）位置情報を有する飲食店を上記飲食店情報データベース４１から特定する。

これに加えて、またはこれに代えて、ＣＰＵ１１は、上記地図情報データベース４２を参照して上記特定した建物の位置から建物名を特定し、当該建物名を住所の一部として有する飲食店を上記飲食店情報データベース４１から特定してもよい。

続いてＣＰＵ１１は、上記特定した飲食店の階層を上記飲食店情報データベース４１中の階層情報から特定する（ステップ５４）。

続いてＣＰＵ１１は、上記特定した飲食店の識別情報を上記飲食店情報データベース４１から抽出する（ステップ５５）。識別情報は、典型的には飲食店の名称であるが、これに加えて、またはこれに代えて、店舗のジャンル、店舗が存在する階層等が識別情報としても用いられてもよい。識別情報はこれらに限らず、例えば、店舗の外観や看板を表す画像（写真）や、当該店舗を代表する料理の画像等、店舗を直接的または間接的に識別可能な情報であればどのような情報でも構わない。

続いてＣＰＵ１１は、上記抽出した識別情報を、上記撮像画像内の建物の、上記特定された飲食店の階層の位置に重畳表示させるためのＡＲ情報を生成する（ステップ５６）。

具体的には、ＣＰＵ１１は、例えば、上記端末位置情報（緯度・経度・標高）と、上記建物の位置情報、上記方位情報中のアングル情報を基に、上記端末位置から画像を撮影するユーザの平均的な身長（目の高さ）も加味して、三角測量の原理により、当該撮像画像において上記特定された建物が写っている範囲の実際の高さを算出する。この場合、ユーザ端末２００のユーザの身長（目の高さ）が予め登録されていれば、それが考慮されてもよい。撮像画像において建物の全体が写っていない場合には、ＣＰＵ１１は、建物の地上階部分または最上階部分のいずれかを基準として高さを算出する。またこの場合ＣＰＵ１１は、上記受信した端末位置情報に含まれる標高情報も考慮して高さを算出してもよい。

そしてＣＰＵ１１は、当該算出された建物の撮像部分の高さと、上記建物情報データベース４３中の建物の高さ及び上記特定された階層の高さを基に、撮像画像中の建物における上記特定された階層の位置（高さ範囲）を特定し、その位置に存在する建物上の面に、上記識別情報が三次元的に重畳表示されるように設定されたＡＲ情報を生成する。

当該識別情報は、例えば、飲食店の名称や料理ジャンル等を含むが、これに限られない。

また飲食店の階層が地下に存在すると判断された場合には、ＣＰＵ１１は、上記撮像画像中の建物の地下の階層に相当する位置を算出し、その位置に上記識別情報が重畳表示されるように設定されたＡＲ情報を生成する。この場合のＡＲ情報は、地上階のＡＲ情報と区別されるように、例えば破線や半透明等の異なる表示態様で表示されるように生成されてもよい。

続いてＣＰＵ１１は、上記生成されたＡＲ情報をユーザ端末２００へ送信する（ステップ５７）。

続いてＣＰＵ１１は、上記ユーザ端末２００から、店舗詳細情報の送信要求を受信したか否かを判断する（ステップ５８）。

店舗詳細情報の送信要求を受信したと判断した場合（Ｙｅｓ）、ＣＰＵ１１は、上記飲食店情報データベース４１から、例えばメニュー情報、所在地情報、おすすめ情報等の詳細情報を抽出し、それを上記撮像画像上にＡＲ表示させるように設定してユーザ端末２００へ送信する（ステップ５９）。

また、上記特定された飲食店が存在する階層が複数の区画に分かれている場合には、ＣＰＵ１１は、上記建物情報データベース４３を参照して、上記詳細情報として、当該階層における当該飲食店が存在する区画の位置を他の区画の位置と区別して示した区画位置情報をＡＲ情報として生成してユーザ端末２００へ送信してもよい。ここで区画位置情報は、例えば平面図として生成されるが、これに限られない。

［ユーザ端末の動作］
次に、ユーザ端末２００の動作について説明する。ユーザ端末２００の動作は、ＣＰＵ２１及び通信部２９等のハードウェアと、記憶部２８に記憶されたソフトウェアとの協働により実行される。以下の説明では、便宜上、ＣＰＵ２１及びを動作主体とする。

ユーザ端末２００による、飲食店情報表示処理の流れを示したフローチャートである。

同図に示すように、ユーザ端末２００のＣＰＵ２１は、まず、カメラ３０により画像が撮影されたか否かを判断する（ステップ６１）。

画像が撮影されたと判断した場合、ＣＰＵ２１は、その時点における、ユーザ端末２００の位置を示す端末位置情報及びユーザ端末２００の方位情報（磁北に対してカメラ３０が向いている方向及びカメラ３０のアングル）を、上記位置情報取得部３２及び方位情報取得部３１から取得する（ステップ６２）。

続いてＣＰＵ２１は、上記撮像画像、端末位置情報、方位情報を飲食店情報提供サーバ１００へ送信する（ステップ６３）。

続いてＣＰＵ２１は、上記図５で説明した飲食店情報提供サーバ１００による処理によって送信されたＡＲ情報を受信したか否かを判断する（ステップ６４）。

ＡＲ情報を受信したと判断した場合（Ｙｅｓ）、ＣＰＵ２１は、当該ＡＲ情報を上記撮像画像に重畳させて表示部２６に表示させる（ステップ６５）。

続いてＣＰＵ２１は、上記ＡＲ情報として表示された飲食店情報について、店舗詳細情報の要求操作が入力されたか否かを判断する（ステップ６６）。当該要求操作は、例えば表示部２６上の上記重畳表示されたＡＲ情報の位置がタップされたり、長押しされたりする操作であるが、これらに限られない。

上記店舗詳細情報の要求操作が入力されたと判断した場合（Ｙｅｓ）、ＣＰＵ２１は、当該店舗詳細情報要求を飲食店情報提供サーバ１００へ送信する（ステップ６７）。

続いてＣＰＵ２１は、上記店舗詳細情報要求に応答して飲食店情報提供サーバ１００から送信された店舗詳細情報を受信したか否かを判断し（ステップ６８）、受信した場合（Ｙｅｓ）、当該店舗詳細情報を表示部２６の上記撮像画像上に重畳表示する（ステップ６９）。

図７は、上記飲食店情報提供サーバ１００によって生成されてユーザ端末２００の表示部に表示される撮像画像上のＡＲ情報の例を示した図である。

同図に示すように、ユーザ端末２００によって撮影された撮像画像７０にはビルＢが含まれており、飲食店情報提供サーバ１００によって、当該ビルＢに飲食店が存在することが特定されたとする。具体的には、例えば当該ビルＢの７階、９階、及び地下１階にそれぞれ飲食店が存在することが特定された場合を想定する。

この場合、飲食店情報提供サーバ１００は、地上階である７階及び９階に存在する飲食店については、ビルＢの各階に相当する位置の面に重畳表示されるように、それぞれ飲食店の識別情報としてのＡＲ情報７１ａ、７１ｂを生成する。

識別情報としては、飲食店の名称、料理のジャンル及び当該飲食店が存在する階層等が挙げられる。階層に代えて、または加えて、飲食店の位置情報（住所）が識別情報に含まれてもよい。同図の例では、７階に存在する飲食店は「レストランＸＹＺ」という名称で、その料理のジャンルは中華料理であり、９階に存在する飲食店は「レストランＡＢＣ」という名称で、その料理のジャンルは日本料理である。これらに加えて、またはこれらに代えて、例えば飲食店の外観や看板の画像（写真）や当該飲食店を代表する料理（メニュー）の画像（写真）が識別情報として例えばサムネイル形式で生成されてもよい。

ここで、上記ＡＲ情報７１は、上記料理のカテゴリ等に応じてその表示態様（典型的には色）が異なるように生成されてもよい。この場合、各色がどのジャンルの料理に対応するのかの情報も併せてＡＲ情報として提供されてもよい。同図の例では、日本料理に属する飲食店のＡＲ情報７１ａは黒色、中華料理に属する飲食店のＡＲ情報７１ｂは灰色で示されている。これによりユーザは一目でその飲食店のジャンルを把握することができる。

一方、地下階である地下１階に存在する飲食店については、飲食店情報提供サーバ１００は、撮像画像上において当該ビルＢの地下１階に相当する位置の面に、破線または半透明で重畳表示されるように飲食店識別情報としてのＡＲ情報７１ｃを生成する。

この場合の識別情報の内容は地上階の場合と同様である。同図の例では、地下１階に存在する飲食店は「レストランＤＥＦ」という名称で、その料理のジャンルは日本料理である。

撮像画像上で認識された複数のビルに飲食店が存在することが特定された場合には、同様に各ビルの飲食店について上記ＡＲ情報が生成される。

飲食店情報提供サーバ１００は、ＡＲ情報が重畳表示されるべき平面及びその三次元形状も撮像画像を解析することで特定する。典型的には、認識されたビルのうち撮像画像上で最も大きい面積を有する面上にＡＲ情報が重畳表示されるように平面が選択されるが、これに限られない。

図８は、上記店舗詳細情報として表示される区画位置情報の例を示した図である。

同図に示すように、例えば上記図７で示したビルＢにおいて「レストランＡＢＣ」が存在する９階が複数の区画（店舗領域）Ｃ１〜Ｃ６に分かれていた場合、飲食店情報提供サーバ１００は、店舗詳細情報として、９階の複数の区画Ｃ１〜Ｃ６のうち当該「レストランＡＢＣ」が存在する区画Ｃ４を示す区画位置情報を例えば平面図として生成してユーザ端末２００に表示させる。

［まとめ］
以上説明したように、本実施形態によれば、飲食店情報提供サーバ１００は、複数の階層からなる建物の撮像画像に店舗識別情報をＡＲとして重畳表示させる際に、重畳表示される店舗識別情報が建物のどの階層に対応するかをユーザに容易に把握させることができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態では、撮像画像中の建物及び飲食店の特定処理は飲食店情報提供サーバ１００によって実行されたが、当該処理はユーザ端末２００によって実行されてもよい。この場合、ユーザ端末２００は、上記飲食店情報や階層情報等の、上記特定処理に必要な情報を飲食店情報提供サーバ１００またはその他の外部機器から予め受信していてもよい。またこの場合、ユーザ端末２００は、例えばＨＭＤ等のウェアラブル端末であってもよい。ユーザ端末２００によって建物等が特定される場合、その処理に、ステレオカメラ（典型的には双眼のウェアラブル端末が具備する）や赤外線レーザ等を用いた深度センサにより立体物の三次元形状が把握されてもよい。

上述の実施形態において、飲食店情報提供サーバ１００は、撮像画像７０上で認識された建物に存在することが特定された飲食店の営業時間情報を飲食店情報データベース４１から取得し、当該特定された時刻が当該飲食店の営業時間外であるかを判断し、当該時刻が営業時間外であると判断した場合には、当該飲食店の識別情報のためのＡＲ情報を生成しないように制御してもよい。これにより、営業時間外の飲食店に関するＡＲ情報がユーザに閲覧されてユーザが誤ってその飲食店を訪れてしまうことが防止される。

上述の実施形態において、飲食店情報提供サーバ１００は、上記特定された飲食店の端末から、当該飲食店の混雑状況を示す混雑情報を受信し、当該混雑状況に応じた表示態様で上記ＡＲ情報を生成してもよい。ここで表示態様とは例えば色や明度、何らかのマーク等の数等であるが、これらに限られない。これによりユーザは、建物内の飲食店の混雑状況を一目で把握することができる。

上述の実施形態においては、建物の各階に飲食店が１つしか存在しない場合について説明した。しかしながら、同じ階層に複数の飲食店が存在する場合もあり得る。この場合飲食店情報提供サーバ１００は、上記図７で示したようなＡＲ情報に代えて、各階に存在する飲食店の一覧が階層毎に表示されるようにＡＲ情報を生成してもよい。

上述の実施形態では、飲食店の識別情報としてのＡＲ情報がユーザの撮像画像上への操作無く表示される例が示された。しかし、１つの撮像画像上の建物に多数の飲食店が存在する場合には、多数のＡＲ情報が一度に表示されるとユーザにとって煩わしい場合もある。そこで飲食店情報提供サーバ１００は、ＡＲ情報として、最初はテキスト情報等が重畳表示されず、例えば各建物の飲食店が存在する階層の面が所定の色で塗りつぶされたり、その位置に所定のアイコン等のマークが表示されたりするのみとし、ユーザが当該位置をタップする等の操作を行った場合に、その位置に対応する飲食店の識別情報（テキスト情報等）が重畳表示されるようにＡＲ情報を生成してもよい。

上述の実施形態では、ＡＲ情報として飲食店情報が表示される例が示されたが、飲食店以外の店舗（販売店・サービス提供施設）の識別情報が上述の実施形態と同様にＡＲ情報として生成されて表示されてもよい。

１１、２１…ＣＰＵ
１８、２８…記憶部
１９、２９…通信部
３０…カメラ
３１…方位情報取得部
３２…位置情報取得部
４１…飲食店情報データベース
４２…地図情報データベース
４３…建物情報データベース
７０…撮像画像
７１…ＡＲ情報
１００…飲食店情報提供サーバ
２００…ユーザ端末
Ｂ…ビル
Ｃ…区画

Claims (10)

1. 店舗の識別情報、当該店舗の位置を示す店舗位置情報、及び当該店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶する記憶手段と、
   ユーザ端末から、当該ユーザ端末で撮像された撮像画像と、当該撮像の方位を示す方位情報と、当該ユーザ端末の位置を示す端末位置情報とを受信する通信手段と、
   前記受信された端末位置情報及び方位情報と前記記憶された店舗位置情報を基に、前記受信された撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定し、
   前記撮像画像における当該特定された店舗が存在する階層の位置を前記階層情報を基に特定し、
   前記特定された店舗の前記識別情報を、前記撮像画像の前記特定された階層の位置に重畳させて表示させるための表示情報を生成し、
   前記生成された表示情報を前記ユーザ端末へ送信するように前記通信手段を制御する
   制御手段と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記階層情報は、地上階層情報及び地下階層情報を含み、
   前記制御手段は、前記地下階層情報によって地下階層に存在すると特定された店舗の前記識別情報を表示させるための表示情報を、前記地上階層情報によって地上階層に存在すると特定された店舗の前記識別情報を表示させるための表示情報とは異なる表示形態で生成する
   情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記制御手段は、前記表示情報に、前記店舗の位置または階層を示す情報を含ませる
   情報処理装置。
4. 請求項１乃至３のいずれかに記載の情報処理装置であって、
   前記記憶手段は、前記建物の各階層における区画に関する建物区画情報を記憶し、
   前記制御手段は、前記記憶された建物区画情報に基づいて、前記特定された店舗が存在する前記階層における当該店舗が存在する区画の位置を他の区画の位置と区別して示した区画位置情報を前記表示情報として生成する
   情報処理装置。
5. 請求項１乃至４のいずれかに記載の情報処理装置であって、
   前記店舗情報は、前記店舗のジャンルを示すジャンル情報を含み、
   前記制御手段は、前記特定された店舗のジャンルに応じた色で前記表示情報を生成する
   情報処理装置。
6. 請求項１乃至５のいずれかに記載の情報処理装置であって、
   前記店舗情報は、前記店舗の営業時間を示す営業時間情報を記憶し、
   前記制御手段は、前記営業時間情報を基に、前記店舗を特定した時刻が当該特定された店舗の営業時間外であるか否かを判断し、前記時刻が営業時間外であると判断した場合には当該店舗の識別情報のための前記表示情報を生成しない
   情報処理装置。
7. 請求項１乃至６に記載の情報処理装置であって、
   前記通信手段は、前記店舗から当該店舗の混雑状況を示す混雑情報を受信し、
   前記制御手段は、前記特定された店舗の前記受信された混雑状況に応じた表示態様で前記表示情報を生成する
   情報処理装置。
8. ユーザに装着可能な端末装置であって、
   撮像部と、
   前記撮像部の撮像方向を示す方位情報を取得する方位センサと、
   当該端末装置の位置を示す端末位置情報を取得する位置取得手段と、
   サーバ装置と通信可能な通信手段と、
   表示手段と、
   前記撮像部によって撮像された撮像画像と、前記方位センサによって取得された方位情報と、前記位置取得手段によって取得された端末位置情報とを前記サーバ装置へ送信するように前記通信手段を制御し、
   前記撮像画像、前記方位情報、及び前記端末位置情報に基づいて、前記撮像画像に含まれる建物の特定の階層に存在することが特定された店舗の識別情報を前記撮像画像の前記特定の階層の位置に重畳して表示させるための表示情報を前記サーバ装置から受信するように前記通信手段を制御し、
   前記受信された表示情報を前記撮像画像に重畳させて表示するように前記表示手段を制御する
   制御部と
   を具備する端末装置。
9. 店舗の識別情報、当該店舗の位置を示す店舗位置情報、及び当該店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶し、
   ユーザ端末から、当該ユーザ端末で撮像された撮像画像と、当該撮像の方位を示す方位情報と、当該ユーザ端末の位置を示す端末位置情報とを受信し、
   前記受信された端末位置情報及び方位情報と前記記憶された店舗位置情報を基に、前記受信された撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定し、
   前記撮像画像における当該特定された店舗が存在する階層の位置を前記階層情報を基に特定し、
   前記特定された店舗の前記識別情報を、前記撮像画像の前記特定された階層の位置に重畳させて表示させるための表示情報を生成し、
   前記生成された表示情報を前記ユーザ端末へ送信する
   情報処理方法。
10. 情報処理装置に、
    店舗の識別情報、当該店舗の位置を示す店舗位置情報、及び当該店舗が存在する複数階層からなる建物において当該店舗が位置する階層を示す階層情報を含む店舗情報を記憶するステップと、
    ユーザ端末から、当該ユーザ端末で撮像された撮像画像と、当該撮像の方位を示す方位情報と、当該ユーザ端末の位置を示す端末位置情報とを受信するステップと、
    前記受信された端末位置情報及び方位情報と前記記憶された店舗位置情報を基に、前記受信された撮像画像に含まれる建物に存在する少なくとも１つの店舗を特定するステップと、
    前記撮像画像における当該特定された店舗が存在する階層の位置を前記階層情報を基に特定するステップと、
    前記特定された店舗の前記識別情報を、前記撮像画像の前記特定された階層の位置に重畳させて表示させるための表示情報を生成するステップと、
    前記生成された表示情報を前記ユーザ端末へ送信するステップと
    を実行させるプログラム。