JP2012108053A - 携帯情報端末装置及び制御プログラム - Google Patents

Abstract

【課題】ショッピングモールなどの建物内において、自己が位置しているフロアとは異なるフロアにある店舗などの施設に関する情報を容易に把握する。
【解決手段】携帯情報端末装置１３は、画像を撮影するカメラユニットと、各種情報を表示するディスプレイユニットと、複数フロアを有するあらかじめ設定された建物内で前記カメラユニットにより撮影中のいずれかのフロアの撮影画像に、撮影画角内に位置する他のフロアを透視した態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をリアルタイムに重畳してディスプレイユニットに表示するコントローラ４１と、を備える。
【選択図】図１

Description

本発明の実施形態は、携帯情報端末装置及び制御プログラムに関する。

従来、ショッピングモールなどの商業施設や、地下街などにおいて、ユーザの操作に応じて、当該ユーザが訪れることを希望する施設を案内するための巡回ルートを生成するシステムが知られている（例えば、特許文献１参照）。

また、地図上に実際の建物に対応する立体画像を配置し、実世界に存在する建物を表現した仮想空間を容易に構築するとともに、仮想的な建物の内部に仮想的な店舗を配置することで、仮想的なショッピングモールを形成する技術が提案されている（例えば、特許文献２参照）。

ところで、実際のショッピングモールなどの建物内に入った場合に、各ユーザが自己の現在位置と、上下階のフロアに位置する店舗などの施設と、の位置関係を容易に把握できず、他のフロアに移動するに際して、効率的に移動ができないことが往々にしてあった。

すなわち、ユーザが現在位置しているフロアにおける自己の現在位置を把握できたとしても、当該現在位置から、効率的あるいは容易に他のフロアの所望の施設に移動する経路を容易に把握できるものではなかった。

また、他のフロアの施設の混み具合なども容易に把握できるものではなかった。

そこで、本発明の目的は、ショッピングモールなどの建物内において、自己が位置しているフロアとは異なるフロアにある店舗などの施設に関する情報を容易に把握することが可能な携帯情報端末装置及び制御プログラムを提供することにある。

上記課題を解決するため、実施形態の携帯情報端末装置は、画像を撮影するカメラユニットと、各種情報を表示するディスプレイユニットと、を備えている。

そして、携帯情報端末装置の制御手段は、複数フロアを有するあらかじめ設定された建物内で前記カメラユニットにより撮影中のいずれかのフロアの撮影画像に、撮影画角内に位置する他のフロアを透視したような態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をリアルタイムに重畳して前記ディスプレイユニットに表示する。

また、実施形態の制御プログラムは、画像を撮影するカメラユニットと、各種情報を表示するディスプレイユニットとを有する携帯情報端末装置をコンピュータにより制御する。

そして、制御プログラムは、コンピュータを、複数フロアを有するあらかじめ設定された建物内で前記カメラユニットにより撮影された画像を取得させる手段と、撮影中のいずれかのフロアの撮影画像に、撮影画角内に位置する他のフロアを透視したような態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をリアルタイムに重畳してディスプレイユニットに表示させる手段と、して機能させる。

図１は、実施形態の情報処理システムの概要構成ブロック図である。 図２は、ディジタルサイネージ端末装置の外観正面図である。 図３は、ディジタルサイネージ端末装置の概要構成ブロック図である。 図４は、携帯情報端末の概要構成ブロック図である。 図５は、携帯情報端末の表示画面説明図である。 図６は、ショッピングモールの２階フロアの一部について店舗及び通路の配置並びに案内経路を説明するための図である。 図７は、カメラユニットにより撮影した２階フロアの撮影画像を説明するための図である。 図８は、実施形態の情報表示処理の処理フローチャートである。 図９は、撮影画像にユーザが位置しているフロアに関する情報を表示した場合の表示画面の説明図である。 図１０は、ショッピングモールの３階フロアの一部について店舗及び通路の配置並びに案内経路を説明するための図である。 図１１は、ショッピングモールの１階フロアの一部について店舗及び通路の配置並びに案内経路を説明するための図である。 図１２は、撮影画像にユーザが位置しているフロアに関する情報及び撮影画像の画角内に含まれる他の階の情報をオーバーレイ表示を表示した場合の表示画面の説明図である。 図１３は、撮影画像が変更された場合の表示例の説明図である。

次に本発明の好適な実施形態について図面を参照して説明する。
図１は、実施形態の情報処理システムの概要構成ブロック図である。
以下においては、本実施形態の情報処理システムがショッピングモールに設けられる場合について説明する。

情報処理システム１０は、商品の広告情報やイベントの情報を配信する情報配信サーバ１１と、情報配信サーバ１１から構内ＬＡＮなどの通信ネットワーク１２を介して配信された広告情報やイベント情報を表示するとともに、シッピングモールの顧客が携帯する携帯情報端末装置１３に対して、広告情報やイベント情報等の情報に関連する情報を配信する複数のディジタルサイネージ（Digital signage）端末装置１４と、携帯情報端末装置１３に対して、当該携帯情報端末装置１３の位置を特定するための位置特定情報を無線通信により通知する複数の位置情報端末装置１５と、を備えている。
上記構成において、通信ネットワーク１２としては、有線通信ネットワークおよび無線通信ネットワークのいずれであっても適用が可能である。

図２は、ディジタルサイネージ端末装置の外観正面図である。
ディジタルサイネージ端末装置１４は、液晶ディスプレイあるいはプラズマディスプレイとして構成されたディスプレイユニット２１と、各種チケット、クーポンなどを印刷し、発行するプリンタユニット２２と、通信距離数センチ〜十センチ程度の近距離無線通信により携帯情報端末装置１３との間の通信を行う近距離無線通信部２３と、ディスプレイユニット２１、プリンタユニット２２及び近距離無線通信部２３を支持する筐体部２４と、を備えている。

筐体部２４の上部には、ユーザを撮影して、画像認識を行い、ユーザの年齢層を特定し、配信する情報の種類を制御するなどの用途に用いられるカメラユニット２５と、ＢＧＭや広告音声などの各種音響出力を行うスピーカユニット２６が内蔵されている。なお、画像認識などの処理は、ディジタルサイネージ端末装置１４で行うことなく、情報配信サーバ１１等の上流側サーバで行うようにすることも可能である。

プリンタユニット２２としては、例えば、ロール紙を記録媒体とする感熱記録方式のプリンタ装置が用いられ、必要に応じてロール紙を自動的にカットするカット機構を備えている。

図３は、ディジタルサイネージ端末装置の概要構成ブロック図である。
ディジタルサイネージ端末装置１４は、上述したディスプレイユニット２１、プリンタユニット２２、カメラユニット２５及びスピーカユニット２６の他、当該ディジタルサイネージ端末装置１４全体を制御するコントローラ３１と、オペレータあるいはユーザが各種操作を行うための操作部３２と、通信ネットワーク１２を介して情報配信サーバ１１との間で通信を行うためのネットワーク通信インタフェース（ＩＦ）３３と、近距離無線通信部２３を構成し、携帯情報端末装置１３に対して広告情報やイベント情報等の情報に関連する情報を配信するための情報配信用通信インタフェース（ＩＦ）３４と、各種データを記憶する外部記憶装置３５と、を備えている。

ここで、コントローラ３１は、当該コントローラ３１全体を制御するＭＰＵ３６と、ＭＰＵ３６が動作するための制御プログラムなどを格納したＲＯＭ３７と、各種データを一時的に記憶するＲＡＭ３８と、を備えている。
また、操作部３２は、各種スイッチ、ボタンなどで構成したり、タッチパネルとして液晶ディスプレイなどのディスプレイユニット２１と一体に構成したりすることも可能である。

また、情報配信用通信ＩＦ３４は、例えば、１３．５６ＭＨｚの周波数を用い、通信距離数ｃｍ〜１０ｃｍ程度の近距離無線通信方式の通信インタフェース動作を行う。
また、外部記憶装置３５としては、ハードディスク装置、フラッシュＲＯＭを内蔵したＳＳＤ（Solid State Drive）装置の他、ＥＥＰＲＯＭなどの不揮発性メモリを用いるようにしてもよい。

また、携帯情報端末装置１３に対して広告情報やイベント情報等の情報に関連する情報を配信するに際しては、情報配信用通信インタフェース（ＩＦ）３４を介した通信の他、ディスプレイユニット２１の表示画面上に例えば２次元バーコードを表示し、携帯情報端末装置１３のカメラにより撮影させてデコードさせることにより配信するように構成することも可能である。

図４は、携帯情報端末装置の概要構成ブロック図である。
携帯情報端末装置１３は、携帯情報端末装置１３全体を制御するコントローラ４１と、各種データを記憶するデータ記憶部４２と、各種情報の表示を行うディスプレイユニット４３と、タッチパネルとしてディスプレイユニット４３と一体に構成された操作部４４と、地磁気センサなどで構成され、携帯情報端末装置１３の進行方向を検出する方位センサ４５と、を備えている。

さらに携帯情報端末装置１３は、ジャイロセンサなどで構成され、携帯情報端末装置１３の姿勢変化に伴う傾斜（例えば、３軸）を検出する傾斜センサ４６と、ディジタルサイネージ端末装置１４の情報配信用通信インタフェース（ＩＦ）３４を介して通信を行う第１情報取得用無線通信ユニット４７と、位置情報端末装置１５からの位置情報電波を受信して位置検出データをコントローラ４１に出力する位置検出用無線通信ユニット４８と、情報配信サーバ１１と通信ネットワーク１２を介して通信を行う第２情報取得用無線通信ユニット４９と、ユーザが経路案内情報などを実撮影画像に重畳して表示させるための実撮影画像（動画像）を取得したり、ディジタルサイネージ端末装置１４のディスプレイユニット２１の表示画面上に表示された２次元バーコードなどの情報を読み取ったりするためのカメラユニット５０と、を備えている。

ここで、コントローラ４１は、当該コントローラ４１全体を制御する図示しないＭＰＵと、当該ＭＰＵが動作するための制御プログラムなどを格納した図示しないＲＯＭと、各種データを一時的に記憶するＲＡＭと、を備えたマイクロコンピュータとして構成されている。

さらにコントローラ４１は、位置検出用無線通信ユニット４８から受信した位置情報データに基づいて、当該携帯情報端末装置１３の現在位置を検出する。そして、立ち寄りを希望する店舗などのユーザの指示及び情報配信サーバ１１から第２情報取得用無線通信ユニット４９を介して取得した配信データ（おすすめ経路に関するデータなど）に基づき、設定された立ち寄り店舗、立ち寄りスペース（イベント会場など）等の経由地点に関する情報（経由地点情報）を参照して、当該ユーザに対する案内経路を生成する。さらにコントローラ４１は、方位センサ４５及び傾斜センサ４６の検出信号に基づいて、生成した案内経路をユーザに提示しつつ経路案内を行う。

さらにまた、コントローラ４１は、経路案内を行うに際し、カメラユニット５０により撮影した撮影画像と、情報配信サーバ１１から第２情報取得用無線通信ユニット４９を介して受信した画像データと、に基づいて、撮影画角内に位置する他のフロアを透視したような態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をカメラユニット５０により撮影した撮影画像を表示した画面にリアルタイムに重畳して表示する（カメラナビサブモード）。なお、この重畳した画像の表示を行うカメラナビサブモードについては、後に詳述する。

データ記憶部４２としては、ＥＥＰＲＯＭなどの不揮発性メモリが考えられる。このデータ記憶部４２には、各フロアの地図データ、各店舗の位置情報、イベント関連情報（イベント開催場所、イベント開催期間など）等の各種情報が記憶される。なお、これらの情報は、情報配信サーバ１１の制御下で、適宜更新される。
ディスプレイユニット４３としては、消費電力の少ない液晶ディスプレイや、表示更新時以外は電力消費のないカラー電子ペーパーなどが望ましい。

第１情報取得用無線通信ユニット４７は、通信距離数ｃｍ〜十ｃｍ程度の近距離無線通信装置として構成されている。

第２情報取得用無線通信ユニット４９は、無線ＬＡＮなどを構築して、通信距離数ｍ〜数十ｍの無線通信装置として構成されている。
カメラユニット５０は、ＣＣＤあるいはＣＭＯＳイメージセンサを備え、カラー画像を静止画像あるいは動画像として撮影する。

図５は、携帯情報端末装置の表示画面説明図である。
携帯情報端末装置１３は、動作モードやユーザの好み（指示）に応じて縦向きおよび横向きのいずれでも使用可能であるが、図５は、横向きで使用している場合の表示画面の一例である。

携帯情報端末装置１３のディスプレイユニット４３の表示画面４３Ａは、大別すると、メニュー表示操作領域５１と、画像表示領域５２と、を備えている。

メニュー表示操作領域５１には、ショッピングモールの各フロアのフロアガイド（店舗配置などの案内）や、ショッピングモール内での経路案内（ナビゲーション）を携帯情報端末装置１３に行わせるためのフロアナビモードに移行するためのフロアナビ選択ボタン５３と、ショッピングモール内の口コミ情報を参照したり、口コミ情報を投稿したりするためのクチコミモードに移行するためのクチコミ選択ボタン５４と、ショッピングモール内の商品の購入検討を行う購入検討モードに移行するための購入検討選択ボタン５５と、ショッピングモール内で開催されたイベント、開催中のイベント、あるいは、開催予定のイベントに関する情報を表示させるイベント情報モードに移行するためのイベント情報選択ボタン５６と、が備えられている。

さらにメニュー表示操作領域５１には、駐車スペースの配置などショッピングモールの駐車場に関する情報を表示させる駐車場情報モードに移行するための駐車場情報選択ボタン５７と、ショッピングモール内の携帯情報端末装置１３を携行している同行者を呼び出すための呼出モードに移行するための呼出し選択ボタン５８と、あらかじめユーザが登録した情報などを表示させるためのマイデータボタン５９と、が備えられている。

上記各ボタン５３〜５９をタッチすることにより選択操作を行うと、選択したモードにサブモードが存在する場合には、当該タッチされたボタンに隣接されたサブモード表示領域６０に当該サブモードに対応する一または複数のサブモード選択ボタンが表示される。

図５は、フロアナビ選択ボタン５３をタッチした場合に表示されるサブモード選択ボタンを示したものであり、フロアナビモードにおいては、各フロアに配置された店舗や、地図画像を含む案内画面が表示されるフロアガイドサブモード選択ボタン６１と、ユーザが登録した立ち寄り先や、情報配信サーバ１１により配信された、おすすめ立ち寄り情報などに基づいてショッピングモール内の経路案内を行うルートナビサブモード選択ボタン６２と、情報配信サーバ１１から受信した画像データに基づいて、撮影画角内に位置する他のフロアを透視したような態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をカメラユニット５０により撮影した撮影画面にリアルタイムに重畳して表示するカメラナビサブモード選択ボタン６３と、を備えている。

上述したように、携帯情報端末装置１３の動作モードは階層構造を採っており、サブモードにさらに下位のサブモードが存在する場合には、サブモード選択ボタンをタッチすると当該サブモードに属するさらに下位のサブモード選択ボタンが表示されることとなる。

ここで、カメラナビサブモードについて、より詳細に説明する。
カメラナビサブモードは、ショッピングモール内をユーザがカメラユニット５０により撮影することにより、撮影場所及び撮影方向に応じて、拡張現実（ＡＲ；Augmented Reality）を実現するものである。

本実施形態においては、カメラナビサブモードは、あるフロアについてカメラユニット５０において撮影を行った場合に、当該フロア、上下方向の他のフロアに存在する店舗に関連する情報、各店舗の混雑状況、立ち寄り予定の店舗を含む案内経路を当該撮影画像に重畳して表示するものである。

次にカメラナビサブモードにおける具体的な動作を説明する。
以下の説明においては、携帯情報端末装置１３を携行しているユーザが４階建てのショッピングモールの２階に位置している場合を例として説明する。
図６は、ショッピングモールの２階フロアの一部について店舗及び通路の配置並びに案内経路を説明するための図である。
ショッピングモールの建物の２階フロアには、図６に示すように、施設としての店舗ＳＰ１〜ＳＰ１０が配置されており、さらに通路ＰＳ１〜ＰＳ４が配置されている。

さらに当該ユーザはあらかじめ案内経路ＧＲを設定している。具体的には、ユーザが指定した立ち寄り先の店舗あるいは各種イベントの開催場所を経由地点として登録し、ユーザの現在位置を開始地点として、全ての登録地点を経由する案内経路をカーナビゲーションと同様の経路探索技術により設定し、案内経路ＧＲとしている。より詳細には、ユーザの経路案内直前の現在位置を出発地とし、現在位置から最も遠い経由地点を目的地として、出発地から目的地まで最短時間（各施設への標準的な立ち寄り時間を含む）あるいは最短距離でユーザが歩くことが可能な経路を案内経路ＧＲとして見つけ出すこととなる。

なお、この場合において、イベントの開催時間帯が定まっているような場合には、単純に経路を回るのに必要な最短時間や、最短距離ばかりでなく、当該イベントの開催時間帯であって、当該イベントへの参加に必要な時間（ユーザの指示あるいは情報配信サーバ１１からの配信データに基づく）が確保できるように、経路探索を行うこととなる。この場合において、ユーザは、必要に応じて、食事時間などを含む休憩時間や、閉店時間などを考慮して案内経路および立ち寄り時間を設定することとなる。

図６において、具体的な案内経路ＧＲとしては、通路ＰＳ１を図面右側から歩いてきた（移動してきた）ユーザが、立ち寄るべき複数の店舗のうち第３番目（図中、丸数字で表す）に立ち寄るべき店舗が、店舗ＳＰ９であることを示している。そして、案内経路ＧＲによれば、店舗ＳＰ９に立ち寄った後のユーザは通路ＰＳ２を、図６中下方に直進し、休憩所やイベント広場等として利用される共用スペースＣＳに至る。さらにユーザは、当該共用スペースＣＳで右折して通路ＰＳ３を通って第４番目（図中、丸数字で表す）に立ち寄るべき店舗ＳＰ２に至ることとされている。

その後、店舗ＳＰ２を出たユーザは、店舗ＳＰ２から左方向に通路ＰＳ３を通り、通路ＰＳ４に至ると、右折することとなっている。
図６において、ユーザは現在位置ＣＰにおり、店舗ＳＰ２に向かっている最中であることを示している。
さて、ユーザが現在位置ＣＰにいる状態において、ユーザが通路ＰＳ３に沿って、通路ＰＳ４側を向いて、現在位置ＣＰからカメラユニット５０により２階フロアを撮影したとする。

図７は、カメラユニット５０により撮影した２階フロアの撮影画像を説明するための図である。
また、図８は、実施形態の情報表示処理の処理フローチャートである。
図７において、撮影画像ＧＡ１には、ユーザの現在位置ＣＰから通路ＰＳ４側に見える店舗ＳＰ１〜ＳＰ５、通行人ＰＮ１、ＰＮ２及び通路ＰＳ３、ＰＳ４が写っている。

カメラユニット５０による撮影により撮影画像ＧＡ１を取得すると（ステップＳ１１）、コントローラ４１は、最も近くに設置されている位置情報端末装置１５Ｎ（１５）からの位置情報を位置検出用無線通信ユニット４８を介して取得する（ステップＳ１２）。

これに伴い、コントローラ４１は、情報配信サーバ１１から受信した画像データに基づいて、撮影画像ＧＡ１の画像認識処理及び情報配信サーバ１１から受信した画像データとの画像マッチング処理を行い（ステップＳ１３）、当該撮影画像ＧＡ１の撮影画角内に位置する他のフロアを透視したような態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をカメラユニット５０により撮影した撮影画面にリアルタイムに重畳して表示する（ステップＳ１４）。

この場合において、情報配信サーバ１１から受信した画像データには、各フロアの施設（店舗など）の配置位置（フロア上の位置）、配置形状（店舗等の配置空間）、各店舗の入口情報（入口の配置等）、各フロアの通路や公共スペースの配置等を含む３次元情報が含まれているものとする。

図９は、撮影画像にユーザが位置しているフロアに関する情報を表示した場合の表示画面の説明図である。
コントローラ４１は、画像認識処理を行い、撮影画像ＧＡ１に対し、ユーザが位置しているフロアに関し、オーバーレイ表示すべき画像を生成する。この場合において、オーバーレイ表示すべき画像としては、当該撮影画像ＧＡ１中に表示すべき案内経路ＧＲの一部を表す矢印画像ＧＲＩ１、ＧＲＩ２と、立ち寄り先の店舗の位置および立ち寄りの順番を示すインデックスＩＸ１である。

この場合において、案内経路ＧＲに対応してオーバーレイ表示すべき画像の生成用のデータは、基本的に携帯情報端末装置１３のデータ記憶部４２に格納される。しかしながら、案内経路ＧＲに対応する全データをデータ記憶部４２に記憶するにはデータ量が多い場合には、携帯情報端末装置１３の現在位置に応じてオーバーレイ表示に必要な画像生成用のデータを情報配信サーバ１１から通信ネットワーク１２を介して順次受信し、更新しつつデータ記憶部４２に格納するようにすることが可能である。

さらにコントローラ４１は、傾斜センサ４６の出力に基づいて、カメラユニット５０の撮影方向がいずれの方向であるかを検出する。そして、コントローラ４１は、当該撮影方向を向いて撮影を行い、自己が位置するフロア（本実施形態では、２階のフロア）の天井あるいは床を透過させて撮影が可能とした場合に、当該撮影画像内に描画すべき、すなわち、撮影画像の画角内に含まれる上の階あるいは下の階のフロアの施設（店舗など）をオーバーレイ表示するための表示画像データを生成する。

ここで、撮影画像の画角内に含まれる上の階あるいは下の階のフロアの施設（店舗など）をオーバーレイ表示するための表示画像データの生成に先立ち、上の階（本実施形態では、３階）あるいは下の階（本実施形態では、１階）のフロアの施設（店舗など）の配置状態について説明する。以下においては、案内経路ＧＲは、２階のフロアを案内した後、３階のフロアを案内し、さらに１階のフロアを案内する場合について説明する。

図１０は、ショッピングモールの３階フロアの一部について店舗及び通路の配置並びに案内経路を説明するための図である。

ショッピングモールの建物の３階フロアには、図１０に示すように、施設としての店舗ＳＰ３１〜ＳＰ３８が配置されており、さらに通路ＰＳ３１、ＰＳ３２が配置されている。
さらに当該ユーザによる案内経路ＧＲとして、案内経路ＧＲ３が設定されている。

図１０において、具体的な案内経路ＧＲ３（ＧＲ）としては、通路ＰＳ３１を、図１０中、右上方向から左下方向に歩いてきた（移動してきた）ユーザが、立ち寄るべき複数の店舗のうち第７番目（図中、丸数字で表す）に立ち寄るべき店舗が、店舗ＳＰ３２であることを示している。そして、案内経路ＧＲ３によれば、店舗ＳＰ３２に立ち寄った後のユーザは通路ＰＳ３２を、図１０中、右下方向に直進し、休憩所やイベント広場等として利用される共用スペースＣＳ３に至り、図示しない経路を経由して、１階のフロアに至ることとなっている。

図１１は、ショッピングモールの１階フロアの一部について店舗及び通路の配置並びに案内経路を説明するための図である。
ショッピングモールの建物の１階フロアには、図１１に示すように、施設としての店舗ＳＰ１１〜ＳＰ１８が配置されており、さらに通路ＰＳ１１〜ＰＳ１５が配置されている。
さらに当該ユーザによる案内経路ＧＲとして、案内経路ＧＲ１が設定されている。

図１１において、具体的な案内経路ＧＲ１（ＧＲ）としては、通路ＰＳ１１を、図１１中、右方向から左方向に歩いてきた（移動してきた）ユーザが、通路ＰＳ１２を左下方向に進み、左折して、さらに通路ＰＳ１３を図１１中、右下方向に進んで、立ち寄るべき複数の店舗のうち第１１番目（図中、丸数字で表す）に立ち寄るべき店舗が、店舗ＳＰ１３であることを示している。そして、案内経路ＧＲ１によれば、店舗ＳＰ１３に立ち寄った後のユーザは通路ＰＳ１３を、図１１中、右下方向に直進し、休憩所やイベント広場等として利用される共用スペースＣＳ１に至り、左折して、通路ＰＳ１４を直進し、通路ＰＳ１５で右折することとなっている。

図１２は、撮影画像にユーザが位置しているフロアに関する情報及び撮影画像の画角内に含まれる他の階の情報をオーバーレイ表示を表示した場合の表示画面の説明図である。
コントローラ４１は、画像認識処理を行い、撮影画像ＧＡ１に対し、ユーザが位置しているフロアである２階の情報に加えて、撮影画像ＧＡ１の画角内に含まれる他の階である１階及び３階のフロアの情報に関し、オーバーレイ表示すべき画像を生成する。

この場合において、オーバーレイ表示すべき画像としては、まず、３階のフロアについては、図１０に示した案内経路ＧＲ３の一部を表す矢印画像ＧＲＩ３１、ＧＲＩ３２と、立ち寄り先の店舗の位置および立ち寄りの順番を示すインデックスＩＸ３１と、３階のフロアの店舗ＳＰ３１〜ＳＰ３４の配置位置を仮想的に表す画像ＶＳＰ３１〜ＶＳＰ３４である。この場合において、案内経路ＧＲ３の一部を表す矢印画像ＧＲＩ３１、ＧＲＩ３２は、３階のフロアの床の配置に相当する位置に描画される。

ここで、店舗ＳＰ３１〜ＳＰ３４の配置位置を仮想的に表す画像ＶＳＰ３１〜ＶＳＰ３４としては、２階のフロアの店舗ＳＰ１〜ＳＰ５の実際の３次元的な配置に対応させて、各店舗ＳＰ３１〜ＳＰ３４の入口部分を四角形状（矩形形状）の画像として表示している。さらにオーバーレイ表示すべき画像としては、３階のフロアの店舗ＳＰ３１〜ＳＰ３４の混雑状態を視覚的に表示する画像および各店舗ＳＰ３１〜ＳＰ３４に関する情報を表示した画像である。

本実施形態においては、３階のフロアの店舗ＳＰ３１〜ＳＰ３４の混雑状態を視覚的に表示する画像として、各店舗ＳＰ３１〜ＳＰ３４を訪れている顧客（カスタマ）を示す足跡マーク（フットマーク）ＦＭを顧客数に応じて表示している。実際には、各ユーザが携帯している携帯情報端末装置１３の現在位置を情報配信サーバ１１が収集して、当該携帯情報端末装置１３が位置している店舗ＳＰ３１〜ＳＰ３４を特定して、各店舗ＳＰ３１〜ＳＰ３４あるいはその近傍に位置している携帯情報端末装置１３の数に応じたフットマークＦＭを表示している。
この場合において、フットマークＦＭは、３階のフロアの床の配置に相当する位置に描画される。

また、本実施形態においては、各店舗ＳＰ３１〜ＳＰ３４に関する情報を表示した画像として、各店舗ＳＰ３１〜ＳＰ３４の入口に対応する位置に、当該店舗ＳＰ３１〜３４にそれぞれ対応する情報が表示されたタグＴＧ３１〜ＴＧ３４を表示している。各タグＴＧ３１〜ＴＧ３４には、各店舗ＳＰ３１〜ＳＰ３４のおすすめ商品や、セール情報など、各店舗ＳＰ３１〜ＳＰ３４の運営者が設定し、情報配信サーバ１１に登録した情報が表示されることとなる。なお、各タグＴＧ３１〜ＴＧ３４は、透過状態であることをイメージ的に表すために反透過画像として生成されている。

また、１階のフロアについて、オーバーレイ表示すべき画像としては、図１１に示した案内経路ＧＲ１の一部を表す矢印画像ＧＲＩ１１と、立ち寄り先の店舗の位置および立ち寄りの順番を示すインデックスＩＸ１１と、１階のフロアの店舗ＳＰ１１〜ＳＰ１４の配置位置を仮想的に表す画像ＶＳＰ１１〜ＶＳＰ１４である。この場合において、案内経路ＧＲ１の一部を表す矢印画像ＧＲＩ１１は、１階のフロアの床の配置に相当する位置に描画される。

さらにオーバーレイ表示すべき画像としては、１階のフロアの店舗ＳＰ１１〜ＳＰ１４の混雑状態を視覚的に表示する画像として上述したフットマークＦＭおよび各店舗ＳＰ１１〜ＳＰ１４に関する情報を表示した画像が含まれる。なお、図１２においては、図示の簡略化のため、１階のフロアのフットマークＦＭについては図示を省略しているが、フットマークＦＭは、１階のフロアの床の配置に相当する位置に描画されることとなっている。

また、本実施形態においては、各店舗ＳＰ１１〜ＳＰ１４に関する情報を表示した画像として、各店舗ＳＰ１１〜ＳＰ１４に対応する位置、すなわち、画像ＶＳＰ１１〜ＶＳＰ１４に対応づけて、当該店舗ＳＰ１１〜１４にそれぞれ対応する情報が表示されたタグＴＧ１１〜ＴＧ１４を表示している。各タグＴＧ１１〜ＴＧ１４においても、タグＴＧ３１〜ＴＧ３４と同様に、各店舗ＳＰ１１〜ＳＰ１４のおすすめ商品や、セール情報など、各店舗ＳＰ１１〜ＳＰ１４の運営者が設定し、情報配信サーバ１１に登録した情報が表示されることとなる。なお、各タグＴＧ１１〜ＴＧ１４は、透過状態であることをイメージ的に表すために半透過画像として生成されている。

この場合においても、案内経路ＧＲ１に対応してオーバーレイ表示すべき画像の生成用のデータは、基本的に携帯情報端末装置１３のデータ記憶部４２に格納される。しかしながら、上述したように、案内経路ＧＲ１に対応する全データをデータ記憶部４２に記憶するにはデータ量が多い場合には、携帯情報端末装置１３の現在位置に応じてオーバーレイ表示に必要な画像生成用のデータを情報配信サーバ１１から通信ネットワーク１２を介して順次受信し、更新しつつデータ記憶部４２に格納するようにすることが可能である。

さらにコントローラ４１は、撮影画像ＧＡ１の画角内に含まれる１階のフロアの施設である店舗ＳＰ１１〜ＳＰ１４をオーバーレイ表示するための表示画像データ、すなわち、画像ＶＳＰ１１〜ＶＳＰ１４に対応する表示画像データを生成する。

図１３は、撮影画像が変更された場合の表示例の説明図である。
図１３は、撮影方向が、図１２に示した場合よりも、より上向き（３階フロア向き）、かつ、図１２において右方向とした場合のものである。

図１３に示すように、カメラユニット５０による撮影方向のリアルタイムの変更に追従して、オーバーレイ表示される画像も変更される。
したがって、ユーザにとっては、ディスプレイユニット４３で見たとおりの配置関係が実際の配置関係であり、より容易に上下フロアの施設の配置を把握でき、無駄に歩いたりすることなく、目的の場所（店舗、イベント会場など）に移動することが可能となる。

以上の説明のように、本実施形態によれば、ショッピングモールなどの建物内において、自己が位置しているフロアとは異なるフロアにある店舗などの施設に関する情報を容易に把握することができる。

以上の説明においては、ユーザ自身が現在いずれのフロアにいるのかを明確には表示していなかったが、ディスプレイユニット４３の表示画面４３Ａ中に、文字または建物のフロアの概略図を示して現在ユーザが位置しているフロアを示すようにすればよい。

また、以上の説明においては、他のフロアの情報としてユーザが位置しているフロアの上下の階のフロア（本実施形態では、３階および１階のフロア）における施設の配置を示すようにしていたが、ユーザが指定した任意の階のフロアの情報を表示するように構成することも可能である。あるいは、ディジタルサイネージ端末装置１４から取得した情報（ひいては情報配信サーバ１１により配信された情報）に対応する階のフロアの情報を表示するように構成することも可能である。

例えば、ユーザが現在２階のフロアにおり、配信された情報に対応するイベントが４階で行われている場合には、カメラユニット５０による撮影方向が上を向いた場合に表示するフロアを３階ではなく、４階とするように構成することも可能である。もちろん、この場合には、ユーザの指示により通常通り、３階を表示するように復帰することができるものとする。

本実施形態の携帯情報端末装置１３で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の携帯情報端末装置１３で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

また、本実施形態の携帯情報端末装置１３で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

１０ 情報処理システム
１１ 情報配信サーバ
１２ 通信ネットワーク
１３ 携帯情報端末装置
１４ ディジタルサイネージ端末装置
１５、１５Ｎ 位置情報端末装置
４１ コントローラ（制御手段）
４２ データ記憶部
４３ ディスプレイユニット
４３Ａ 表示画面
４４ 操作部
４５ 方位センサ
４６ 傾斜センサ
４７ 第１情報取得用無線通信ユニット
４８ 位置検出用無線通信ユニット
４９ 第２情報取得用無線通信ユニット
５０ カメラユニット
５１ メニュー表示操作領域
５２ 画像表示領域
ＧＡ１、ＧＡ２ 撮影画像
ＧＲＩ１１ 矢印画像（案内経路に関する情報）
ＧＲＩ３１ 矢印画像（案内経路に関する情報）
ＩＸ１１、ＩＸ３１ インデックス（案内経路に関する情報）
ＴＧ１１〜ＴＧ１４ タグ（他のフロアに関する情報）
ＴＧ３１〜ＴＧ３４ タグ（他のフロアに関する情報）
ＶＳＰ１１〜ＶＳＰ１４ 画像（他のフロアの施設の配置位置を示す画像）
ＶＳＰ３１〜ＶＳＰ３４ 画像（他のフロアの施設の配置位置を示す画像）
ＦＭ フットマーク（他のフロアに関する情報）
ＧＲ、ＧＲ１、ＧＲ３ 案内経路

特開２０１０−７９８１９号公報 特開２０１０−１７６７０３号公報

Claims (6)

1. 画像を撮影するカメラユニットと、
   各種情報を表示するディスプレイユニットと、
   複数フロアを有するあらかじめ設定された建物内で前記カメラユニットにより撮影中のいずれかのフロアの撮影画像に、撮影画角内に位置する他のフロアを透視した態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をリアルタイムに重畳して前記ディスプレイユニットに表示する制御手段と、
   を具備することを特徴とする携帯情報端末装置。
2. 前記他のフロアに関する情報は、当該他のフロアにおけるあらかじめ設定された案内経路に関する情報あるいは当該他のフロアの施設の他のユーザの利用状況に関する情報のうち、少なくともいずれかを含む、
   ことを特徴とする請求項１記載の携帯情報端末装置。
3. 前記案内経路に関する情報は、当該案内経路に沿って移動している最中に立ち寄ることが予定されている施設であることを示す情報を含むことを特徴とする請求項２記載の携帯情報端末装置。
4. 前記カメラユニットの撮影方向を検出し、前記撮影方向に位置する他のフロアの情報が表示される、
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の携帯情報端末装置。
5. 前記撮影方向に複数の他のフロアが位置している場合に、ユーザにより指示されたいずれかのフロアに関する情報を表示する、
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の携帯情報端末装置。
6. 画像を撮影するカメラユニットと、各種情報を表示するディスプレイユニットとを有する携帯情報端末装置をコンピュータにより制御するための制御プログラムであって、
   前記コンピュータを、
   複数フロアを有するあらかじめ設定された建物内で前記カメラユニットにより撮影された画像を取得させる手段と、
   前記撮影中のいずれかのフロアの撮影画像に、撮影画角内に位置する他のフロアを透視した態様で、当該他のフロアの施設の配置位置を示す画像及び当該他のフロアに関する情報をリアルタイムに重畳して前記ディスプレイユニットに表示させる手段と、して機能させる、
   ことを特徴とする制御プログラム。

Images