JP2018200699A - 表示制御装置、制御方法、プログラム及び記憶媒体 - Google Patents
表示制御装置、制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2018200699A JP2018200699A JP2018129992A JP2018129992A JP2018200699A JP 2018200699 A JP2018200699 A JP 2018200699A JP 2018129992 A JP2018129992 A JP 2018129992A JP 2018129992 A JP2018129992 A JP 2018129992A JP 2018200699 A JP2018200699 A JP 2018200699A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- space
- hmd
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Instructional Devices (AREA)
Abstract
【課題】ヘッドマウントディスプレイを装着してその場所に関する情報を得ようとした場合に、表示位置重要度が高い案内情報を好適に表示することが可能な表示制御装置を提供する。【解決手段】サーバ装置2は、現在位置や向きなどを指定する要求信号S1をHMD1から受信した場合に、AR情報を表示させる位置に関する空間IDを取得すると共に、当該空間IDからAR情報テーブルを参照して表示すべきAR情報を取得する。そして、サーバ装置2は、表示すべきAR情報やその表示位置などを指定した応答信号S2をHMD1へ送信することで、HMD1にAR情報を表示させる。【選択図】図1
Description
本発明は、情報を表示する技術に関する。
従来から、ヘッドマウントディスプレイなどにおいて、実際の風景に重ねて案内情報を表示させる際に、視認性悪化を抑制する技術が存在する。例えば、特許文献1には、カメラから撮影した画像に案内情報を表示する際に、画像中から重畳禁止オブジェクトを抽出し、重畳禁止オブジェクトに重なる案内情報を非表示又は透過表示にしたり、表示位置を変えたりする携帯端末が開示されている。また、特許文献1では、表示位置重要度が高い案内情報が重畳禁止オブジェクトに重なる場合には、案内情報の表示位置を変えることなく、非表示又は透過表示にする点についても開示されている。
ヘッドマウントディスプレイなどにおいて、特許文献1に記載の技術を適用した場合、ユーザは、ヘッドマウントディスプレイを装着してその場所に関する情報を得ようとしても、表示位置重要度が高い案内情報が表示されなかったり、透過表示により見えづらくなったりするため、不便に感じる場合がある。
本発明は、上記のような課題を解決するためになされたものであり、案内情報を好適に表示させることが可能な表示制御装置を提供することを主な目的とする。
請求項に記載の発明は、表示制御装置であって、空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得部と、前記案内情報取得部によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御部と、を備えることを特徴とする。
また、請求項に記載の発明は、表示制御装置であって、第一店舗の案内情報である第一店舗案内情報と、前記第一店舗に隣接する第二店舗の案内情報である第二店舗案内情報と、をそれぞれ取得する案内取得部と、前記案内取得部が取得した前記第一店舗案内情報を、前記第一店舗の前面にある通路の床面と天井とに、前記案内取得部が取得した前記第二店舗案内情報を、前記第二店舗の前面にある通路の床面と天井とに、見かけ上重畳しているように表示部に表示させる表示制御部と、を備えることを特徴とする。
また、請求項に記載の発明は、表示制御装置が実行する制御方法であって、空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得工程と、前記案内情報取得工程によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御工程と、を有することを特徴とする。
また、請求項に記載の発明は、コンピュータが実行するプログラムであって、空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得部と、前記案内情報取得部によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御部として前記コンピュータを機能させることを特徴とする。
本発明の好適な実施形態によれば、表示制御装置は、空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得部と、前記案内情報取得部によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御部と、を備える。
上記の表示制御装置は、案内情報取得部と、表示制御部とを備える。案内情報取得部は、空間の案内に関する案内情報と、案内情報を表示させる空間内の位置に関する3次元座標情報と、を取得する。表示制御部は、案内情報取得部によって取得された案内情報と3次元座標情報とに基づいて、案内情報を空間に見かけ上で重畳しているように表示部に表示させる。この態様により、表示制御装置は、任意の空間中の位置を3次元座標情報により特定し、当該位置に案内情報を好適に表示させることができる。
上記表示制御装置の一態様では、表示制御装置は、前記表示部の前記空間の中での位置と、前記表示部が向いている方向と、に関する情報を取得する位置情報取得部をさらに備え、前記表示制御部は、前記位置情報取得部が取得した前記位置と前記方向とに基づき、前記案内情報取得部が取得した前記案内情報の表示の態様を決定して前記表示部に表示させる。この態様により、表示制御装置は、表示すべき案内情報の表示態様を表示部の位置及び向きに基づき好適に決定し、表示部に案内情報を表示させることができる。
上記表示制御装置の他の一態様では、前記空間は天井と通路を含む空間であり、前記3次元座標情報は、前記天井または前記通路に関する座標情報であり、前記表示制御部は、前記案内情報を、前記3次元座標情報に基づき、前記天井または前記通路に見かけ上重畳するように前記表示部に表示させる。この態様により、表示制御装置は、表示部の観察者が比較的見やすい天井または通路部分に案内情報を好適に表示させることができる。
上記表示制御装置の他の一態様では、前記表示制御部は、前記表示部の移動速度に基づき、前記案内情報を表示させる位置の切り替えを行う、又は、前記案内情報の情報量を変化させる。この態様により、表示制御装置は、表示部が観察者と共に比較的高速に移動している場合等に、観察者が視認しにくい案内情報を不要に表示するのを好適に抑制することができる。
上記表示制御装置の他の一態様では、前記表示制御部は、前記表示部に前記案内情報を表示させるタイミング、又は前記表示部に前記案内情報を表示させる頻度に基づき、前記案内情報として表示させる内容を変更する。この態様により、観察者が表示部を視認するタイミングやその頻度に応じて、好適に案内情報として観察者に視認させる情報を変えることができる。
上記表示制御装置の他の一態様では、前記表示制御部は、前記表示部の位置情報に基づき、前記表示部の観察者が通う頻度が高い店舗のカテゴリを認識し、当該カテゴリに該当する店舗に誘導するための情報を前記案内情報として前記表示部に表示させる。この態様により、表示制御装置は、観察者の趣向に合った案内情報を好適に表示部に表示させることができる。
上記表示制御装置の他の一態様では、前記案内情報は、音声データを含み、前記表示制御部は、前記音声データを音声出力部により出力させる。この態様により、表示制御装置は、音声により表示部の観察者を好適に案内することができる。
上記表示制御装置の他の一態様では、表示制御装置は、前記空間を分割した分割空間ごとに、表示させるべき案内情報を関連付けて記憶する記憶部を有し、前記案内情報取得部は、前記表示部の表示範囲に含まれる前記分割空間に関連付けられた案内情報と、当該分割空間の3次元位置情報とを取得する。この態様により、表示制御装置は、表示部の表示範囲となる分割空間を認識することで、表示部に表示させる案内情報を好適に決定することができる。
上記表示制御装置の他の一態様では、表示制御装置は、前記表示部の前記空間の中での位置と、前記表示部が向いている方向と、に関する情報を前記表示部から取得する位置情報取得部を備え、前記案内情報取得部は、前記位置及び前記方向に基づき、前記表示部の表示範囲に含まれる前記分割空間を認識し、当該分割空間に関連付けられた案内情報と、当該分割空間の3次元位置情報とを取得する。この態様により、表示制御装置は、表示部の位置及び方向に基づき表示部の表示範囲となる分割空間を好適に認識し、表示部に表示させる案内情報を好適に決定することができる。
本発明の好適な他の実施形態によれば、表示制御装置は、第一店舗の案内情報である第一店舗案内情報と、前記第一店舗に隣接する第二店舗の案内情報である第二店舗案内情報と、をそれぞれ取得する案内取得部と、前記案内取得部が取得した前記第一店舗案内情報を、前記第一店舗の前面にある通路の床面と天井とに、前記案内取得部が取得した前記第二店舗案内情報を、前記第二店舗の前面にある通路の床面と天井とに、見かけ上重畳しているように表示部に表示させる表示制御部と、を備える。この態様によれば、表示制御装置は、互いに隣接する第一店舗及び第二店舗の案内情報を、これらの床面と天井とに好適に重畳させて表示することができる。
本発明のさらに別の実施形態によれば、表示制御装置が実行する制御方法であって、空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得工程と、前記案内情報取得工程によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御工程と、を有する。表示制御装置は、この制御方法を実行することで、任意の空間中の位置を3次元座標情報により特定し、当該位置に案内情報を好適に表示させることができる。
本発明のさらに別の実施形態によれば、コンピュータが実行するプログラムであって、空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得部と、前記案内情報取得部によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御部として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、任意の空間中の位置を3次元座標情報により特定し、当該位置に案内情報を好適に表示させることができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。
[表示システムの構成]
図1は、本実施例に係る表示システムの概略構成図である。以下では、ヘッドマウントディスプレイを適宜「HMD」と表記する。図1に示すように、表示システムは、主に、ショッピングモールなどの建物4内の所定フロア内を歩行するユーザが装着するHMD1と、HMD1に表示すべき情報を送信するサーバ装置2と、建物4の各階のフロアに設けられた位置情報送信機3とを備える。そして、表示システムは、建物4内の天井や床面に、各店舗の広告画像等をHMD1により重畳表示させる。本実施例において、HMD1のユーザが歩行する建物4内のフロアの空間を「フロア空間Sf」とも呼ぶ。
図1は、本実施例に係る表示システムの概略構成図である。以下では、ヘッドマウントディスプレイを適宜「HMD」と表記する。図1に示すように、表示システムは、主に、ショッピングモールなどの建物4内の所定フロア内を歩行するユーザが装着するHMD1と、HMD1に表示すべき情報を送信するサーバ装置2と、建物4の各階のフロアに設けられた位置情報送信機3とを備える。そして、表示システムは、建物4内の天井や床面に、各店舗の広告画像等をHMD1により重畳表示させる。本実施例において、HMD1のユーザが歩行する建物4内のフロアの空間を「フロア空間Sf」とも呼ぶ。
HMD1は、例えば眼鏡型に構成されたシースルー型HMDであり、ユーザの頭部に装着可能に構成されている。また、HMD1は、例えばユーザの片眼にのみ画像を表示したり、両眼に対して画像を表示したりするように構成されている。本実施例では、HMD1は、HMD1が風景に重ねて表示する情報(「AR情報」とも呼ぶ。)の要求信号(「要求信号S1」とも呼ぶ。)をサーバ装置2に送信する。そして、HMD1は、要求信号S1の応答信号(「応答信号S2」とも呼ぶ。)をサーバ装置2から受信し、建物4内の天井や床面などの風景に重ねてAR情報を表示する。
サーバ装置2は、HMD1とネットワークを介して通信を行い、HMD1から受信した要求信号S1に基づき、HMD1が表示対象とするフロア空間Sf内の空間を認識する。そして、サーバ装置2は、認識した空間に表示すべきAR情報と、AR情報の表示位置や表示サイズとを指定した応答信号S2をHMD1へ送信する。
位置情報送信機3は、フロア空間Sf内に複数設けられ、所定の通信範囲内のHMD1に対して現在位置を特定する情報(現在位置情報)を送信する。本実施例では、位置情報送信機3は、屋内IMES(Indoor MEssaging System)であるものとして説明する。なお、位置情報送信機3は、屋内測位を実現する音波装置、無線LANのアクセスポイント、可視光装置等、位置を特定できるものなら何でもよい。
[HMDの構成]
図2は、HMD1の概略構成を示す。図2に示すように、HMD1は、光源ユニット10と、ハーフミラー11と、通信部12と、入力部13と、記憶部14と、カメラ15と、計測部16と、制御部17と、スピーカ18とを有する。HMD1は、本発明における「表示部」の一例である。
図2は、HMD1の概略構成を示す。図2に示すように、HMD1は、光源ユニット10と、ハーフミラー11と、通信部12と、入力部13と、記憶部14と、カメラ15と、計測部16と、制御部17と、スピーカ18とを有する。HMD1は、本発明における「表示部」の一例である。
光源ユニット10は、レーザ光源やLCD光源などを有しており、このような光源から光を出射する。ハーフミラー11は、光源ユニット10からの光を、ユーザの眼球に向けて反射する。これにより、HMD1によって形成された画像に対応する虚像が、ユーザに視認されることとなる。なお、ハーフミラー11は透過率と反射率とが概ね等しいが、このようなハーフミラー11を用いる代わりに、透過率と反射率とが等しくないようなミラー(所謂ビームスプリッタ)を用いても良い。
通信部12は、制御部17の制御に基づき、サーバ装置2へ要求信号S1を送信する処理や、サーバ装置2から応答信号S2を受信する処理を行う。入力部13は、ユーザの操作に基づく入力信号を生成して制御部17に送信する。入力部13は、例えばユーザが操作するためのボタンや十字キー及びボタンなどを有するリモートコントローラである。記憶部14は、制御部17が実行するプログラムなどを記憶する。カメラ15は、制御部17の制御に基づき、HMD1の前方を撮影した画像を生成し、生成した画像を制御部17に供給する。
計測部16は、HMD1の状態を検出するセンサ等であり、現在位置を示す位置情報を生成するGPS受信機61、方位を検知する地磁気センサ62などを有する。ここで、GPS受信機61は、GPS衛星からの電波が到達する屋外では、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波を受信することで、HMD1の現在位置情報を生成する。また、GPS受信機61は、建物4内では、各フロアに設けられた位置情報送信機3からフロア空間Sf内の3次元位置を示す現在位置情報を受信する。例えば位置情報送信機3から受信する現在位置情報は、緯度経度とフロアの階数を指定する情報を含む。スピーカ18は、制御部17の制御に基づき、音声を出力する。
制御部17は、図示しないCPUなどのプロセッサやRAMやROMなどのメモリを有しており、HMD1の全体的な制御を行う。例えば、制御部17は、GPS受信機61が位置情報送信機3から受信した現在位置情報と、地磁気センサ62が計測した方位とを指定した要求信号S1をサーバ装置2に送信する。また、制御部17は、サーバ装置2からその応答として応答信号S2を受信した場合に、応答信号S2が指定するAR情報を、応答信号S2が指定する表示位置及び表示サイズの情報に基づき表示する。また、制御部17は、カメラ15が生成した画像から天井や床面の位置などを公知の画像認識技術により認識し、AR情報が目的の天井や床面の位置に重なるようにAR情報の表示位置を調整する。
なお、制御部17は、HMD1を装着するユーザの視線の方向を公知の視線認識技術により検出し、検出した視線の方向に基づき、ハーフミラー11上でのAR情報の表示位置を変更してもよい。また、HMD1は、計測部16として加速度センサとジャイロセンサ等をさらに備え、HMD1の水平方向に対する傾きを検出することで、AR情報の表示位置を調整してもよい。また、HMD1は、カメラ15に代えて、赤外線センサやレーダー等を備えることで、表示対象となる天井や床面等の位置を認識してもよい。
[サーバ装置の構成]
図3は、サーバ装置2の概略構成である。サーバ装置2は、通信部22と、記憶部24と、制御部27とを有する。通信部22は、制御部27の制御に基づき、要求信号S1の受信処理、及び、応答信号S2の送信処理を行う。
図3は、サーバ装置2の概略構成である。サーバ装置2は、通信部22と、記憶部24と、制御部27とを有する。通信部22は、制御部27の制御に基づき、要求信号S1の受信処理、及び、応答信号S2の送信処理を行う。
記憶部24は、制御部27が実行するプログラムを記憶する。また、記憶部24は、フロア空間Sf内の空間をメッシュ状に分割した空間(「分割空間」とも呼ぶ。)ごとに、当該分割空間の識別情報(「空間ID」とも呼ぶ。)とその3次元位置とを関連付けた店内マップ情報240を記憶する。また、記憶部24は、空間IDごとに表示すべきAR情報を指定したAR情報テーブル241を記憶する。さらに、記憶部24は、建物4内に存在する各店舗の情報を示す店舗情報テーブル242を記憶する。店内マップ情報240、AR情報テーブル241及び店舗情報テーブル242のデータ構造については後述する。
制御部27は、図示しないCPUなどのプロセッサやRAMやROMなどのメモリを有しており、サーバ装置2の全体的な制御を行う。例えば、制御部27は、要求信号S1を受信した場合に、店内マップ情報240を参照してHMD1の表示対象となる空間IDを認識する。そして、制御部27は、AR情報テーブル241を参照し、認識した空間IDに対応するAR情報を、表示対象のAR情報として認識する。そして、制御部27は、認識したAR情報に関する応答信号S2をHMD1へ送信する。
なお、サーバ装置2は、本発明における「表示制御装置」の一例である。また、制御部27は、本発明における「案内情報取得部」、「表示制御部」、「位置情報取得部」及びプログラムに基づき動作するコンピュータの一例である。
次に、記憶部24が記憶する各種情報について詳しく説明する。
図4は、店内マップ情報240のイメージ図である。図4に示すように、フロア空間Sfは、XY平面を水平面とし、Z軸を高さ方向とする3次元座標空間により表される。なお、図4は、フロア空間Sfを表す3次元座標空間のうち、Z座標が「0」の場合のXY平面を示している。
図4に示すように、フロア空間Sfをメッシュ状に分割した各分割空間には、それぞれXYZ座標で表される空間IDが付される。そして、記憶部24は、店内マップ情報240として、分割空間ごとにXYZ座標で表される空間IDと、その緯度経度などにより特定される3次元位置情報とを関連付けて記憶する。なお、図4に示す3次元座標空間では、「Z=0」の地点がフロア空間Sfの床面を示し、Zが最大値となる地点がフロア空間Sfの天井を示す。空間IDは、本発明における「3次元座標情報」の一例である。
図5は、AR情報テーブル241のデータ構造を示す。図5に示すAR情報テーブル241は、空間IDを示す「Space ID」、AR情報の種別を示す「Type」、AR情報のフォーマットを示す「Format」、複数の分割空間にわたってAR情報を表示する場合の他方の分割空間の空間IDを示す「Sequence ID」、AR情報の存在場所を示すURL等を示す「Content」の各項目を有する。図5に示すように、AR情報の種別は、店舗情報(Store Info)や広告(Ads)の他に、クーポン(Coupon)や音楽(Music)、ゲーム(Game)などが存在する。また、これらの種別に応じ、AR情報のフォーマットは、JPG形式の他に、動画データのフォーマットであるMP4形式や音声データのフォーマットであるAAC方式などが存在する。なお、図4の「Content」の項目において、記憶部24は、AR情報を自ら保持している場合、URLの情報に代えて、AR情報の格納場所を示すパスの情報を記憶してもよい。また、「Content」の項目には、1つの空間IDに対して複数のAR情報が指定されていてもよい。例えば、後述するように、サーバ装置2は、HMD1のユーザが視線を向けている場合に再生する音声データと、HMD1のユーザが視線を向けていない場合に表示する画像との格納場所をそれぞれ記憶してもよい。
このように、AR情報テーブル241では、空間IDごとに、表示すべきAR情報等を指定した情報が関連付けられている。なお、サーバ装置2の管理者は、フロア空間Sf内の各店舗が表示させたいAR情報及び表示位置の要望に基づき、図4に示す店内マップ情報240を登録する。
図6は、店舗情報テーブル242のデータ構造の一例である。図6に示す店舗情報テーブル242は、各店舗の識別番号を示す「POI ID」、各店舗の名称を示す「Name」、各店舗のカテゴリを示す「Category」、口コミ等での評価値を示す「Rating」、電話番号を示す「Phone Num」、左隣の店舗の識別番号を示す「Left side」、右隣の店舗の識別番号を示す「Right side」、各店舗の存在位置に対応する空間IDを示す「Space ID」の各項目を有する。
[AR情報の表示位置]
ここで、図5に示すAR情報テーブル241に登録されるAR情報の表示位置について、図7を参照して詳しく説明する。
ここで、図5に示すAR情報テーブル241に登録されるAR情報の表示位置について、図7を参照して詳しく説明する。
図7は、店舗A〜Dが存在するフロア空間Sf内のフロア通路での各店舗のAR情報の表示位置を概念的に示す図である。図7の例では、フロア空間Sfは、フロア通路の天井部分の空間である天井空間50と、各店舗が存在するフロア通路の側面部分に相当する店舗空間51、52と、フロア通路の床面部分の空間である床面空間53と、これら以外の空間である前方空間54とに分割されている。
ここで、店舗空間51、52は、各店舗の外装、内装、商品等と重なる空間であるため、サーバ装置2は、AR情報テーブル241において、店舗空間51、52に対応する空間IDにはAR情報を関連付けて記憶しない。同様に、前方空間54は、前方の歩行者等と重なる空間であるため、サーバ装置2は、AR情報テーブル241において、原則的に前方空間54に対応する空間IDにはAR情報を関連付けて記憶しない。
床面空間53は、ユーザの視界に近く、かつ、ユーザは、前方の歩行者と一定の距離を置いて移動するものと考えられるため、比較的安全かつ効果的にAR情報を表示できる空間であると考えられる。従って、図7の例では、サーバ装置2は、店舗Aの近傍の床面空間53Aを店舗Aの広告や店舗情報等を示すAR情報の表示位置とし、店舗Bの近傍の床面空間53Cを店舗Bに関するAR情報の表示位置とし、店舗Cの近傍の床面空間53Dを店舗Cに関するAR情報の表示位置とし、店舗Dの近傍の床面空間53Fを店舗Dに関するAR情報の表示位置としている。即ち、この場合、サーバ装置2は、床面空間53A、53C、53D、53Fにそれぞれ対応する空間IDと、各店舗A〜Dに関するAR情報とを関連付けてAR情報テーブル241に記憶する。
天井空間50は、ユーザの視界から離れていて見え難い一方で、前方を往来する人と重なり難いため、AR情報を表示するのに適した空間であると考えられる。従って、図7の例では、サーバ装置2は、店舗Aの近傍の天井空間50Aを店舗Aに関するAR情報の表示位置とし、店舗Bの近傍の天井空間50Cを店舗Bに関するAR情報の表示位置とし、店舗Cの近傍の天井空間50Dを店舗Cに関するAR情報の表示位置とし、店舗Dの近傍の天井空間50Fを店舗Dに関するAR情報の表示位置としている。即ち、この場合、サーバ装置2は、天井空間50A、50C、50D、50Fにそれぞれ対応する空間IDと、各店舗A〜Dに関するAR情報とを関連付けてAR情報テーブル241に記憶する。なお、天井空間50B、50Eは、例えば、周辺店舗A〜Dに関連しない他の情報を示すAR情報の表示位置に設定される。
なお、HMD1は、対象とする空間の人の混雑の度合いに応じて、AR情報の表示の有無を切り替えてもよい。例えば、HMD1は、カメラ15が取得した画像に基づきフロアの混雑度を認識し、人が混雑していないと判断した場合には、床面空間53及び前方空間54にAR情報を表示させる。一方、HMD1は、カメラ15が取得した画像に基づきフロアの混雑度を認識し、人が混雑していると判断した場合には、床面空間53及び前方空間54の代わりに、天井空間50にAR情報を表示させる。なお、HMD1は、カメラ15が取得した画像に基づきフロアの混雑度を認識し、人が混雑していないと判断した場合には、床面空間53及び前方空間54と天井空間50との両方にAR情報を表示させてもよい。
[処理フロー]
図8は、本実施例に係るAR情報の表示処理を示すフローチャートの一例である。HMD1及びサーバ装置2は、図8に示すフローチャートの処理を繰り返し実行する。
図8は、本実施例に係るAR情報の表示処理を示すフローチャートの一例である。HMD1及びサーバ装置2は、図8に示すフローチャートの処理を繰り返し実行する。
まず、HMD1は、近傍に存在する位置情報送信機3から、現在位置情報を取得する(ステップS101)。具体的には、HMD1は、GPS受信機61により位置情報送信機3から緯度経度情報及びフロア階数の情報を含む現在位置情報を受信する。次に、HMD1は、地磁気センサ62によりHMD1が向いている方位を計測する(ステップS102)。
そして、HMD1は、ステップS101で計測した現在位置又はステップS102で計測した方位が前回計測時から閾値以上変化したか又は初計測であるか否か判定する(ステップS103)。上述の閾値は、HMD1が表示すべきAR情報やAR情報の表示位置等を変更する必要があるか否かを判定するための閾値であり、例えば実験等に基づき設定される。そして、HMD1は、現在位置又は方位が前回計測時から閾値以上変化したか又は初計測である場合(ステップS103;Yes)、計測した現在位置及び方位の情報を含む要求信号S1をサーバ装置2へ送信する(ステップS104)。一方、HMD1は、現在位置及び方位のいずれも前回計測時から閾値以上変化していない場合(ステップS103;No)、フローチャートの処理を終了する。
HMD1が要求信号S1を送信した後、サーバ装置2は、要求信号S1を受信する(ステップS105)。そして、サーバ装置2は、要求信号S1が示す現在位置と方位に基づき、HMD1の表示範囲(即ち、HMD1を装着したユーザの視界)に属する空間(「表示対象空間Stag」とも呼ぶ。)を、店内マップ情報240を参照して特定する(ステップS106)。これにより、サーバ装置2は、表示対象空間Stagに存在する分割空間の各空間IDを認識する。表示対象空間Stagの決定方法については、図9を参照して後述する。
そして、サーバ装置2は、表示対象空間Stag内に表示すべきAR情報が存在するか否か判定する(ステップS107)。即ち、サーバ装置2は、AR情報テーブル241を参照し、表示対象空間Stagに存在する分割空間の各空間IDに関連付けられているAR情報が存在するか否か判定する。そして、サーバ装置2は、表示対象空間Stag内に表示すべきAR情報が存在する場合(ステップS107;Yes)、要求信号S1が示す現在位置情報と店内マップ情報240とに基づき、AR情報を表示すべき各分割空間とHMD1との距離を計測する(ステップS108)。例えば、サーバ装置2は、現在位置情報が示す位置に対応する空間IDを認識し、当該空間IDとAR情報を表示すべき各分割空間の空間IDとのXYZ座標上での距離を算出し、当該距離を現実の距離に変換する。
そして、サーバ装置2は、ステップS108で計測したHMD1からの距離、HMD1が向いた方位及びAR情報を表示すべき空間の高さに基づき、表示すべき各AR情報の形状と表示サイズとを決定する(ステップS109)。そして、サーバ装置2は、表示すべき全てのAR情報、AR情報の表示位置、表示形状、及び表示サイズの情報を含む応答信号S2をHMD1へ送信する(ステップS110)。なお、この場合、サーバ装置2は、AR情報の表示位置の情報として、例えば、各AR情報を表示すべき各空間の緯度経度及び高さを示した3次元位置情報を送信する。このとき、サーバ装置2は、床面に表示すべきか又は天井に表示すべきかを示す情報を、AR情報の表示位置の情報としてHMD1に送信してもよい。また、サーバ装置2は、HMD1に表示または再生させるAR情報として、AR情報テーブル241に登録されたURL等をそのまま送信してもよく、AR情報テーブル241に登録されたURL等からサーバ装置2が取得した画像や動画データ等を送信してもよい。
一方、サーバ装置2は、表示対象空間Stag内に表示すべきAR情報が存在しない場合(ステップS107:No)、フローチャートの処理を終了する。なお、この場合、サーバ装置2は、HMD1に対し、表示すべきAR情報が存在しない旨の応答信号をHMD1に送信してもよい。
サーバ装置2が応答信号S2を送信した後、HMD1は、応答信号S2を受信し、応答信号S2に基づきAR情報を虚像として表示させる(ステップS111)。このとき、HMD1は、例えば、HMD1の向き及び現在位置と、応答信号S2が指定した3次元の表示位置との相対位置関係に基づき、各AR情報の表示位置を決定し、応答信号S2が指定する形状及びサイズによりAR情報を表示する。
その後、HMD1は、図示しない加速度センサ等により検出したHMD1の水平面に対する傾きに応じてAR情報の表示位置等を調整したり、カメラ15が撮影した画像に基づきAR情報の表示位置等を調整したりする(ステップS112)。後者の場合、例えば、HMD1は、カメラ15が撮影した画像に基づき、天井又は床面の位置を検出し、検出した天井又は床面の位置に沿うようにAR情報の表示位置や表示形状等を調整する。
なお、HMD1は、表示させるAR情報が動画(アニメーションを含む)や音声データの場合には、公知の視線認識技術により、動画や音声データに対応するAR情報の表示部分にHMD1のユーザの視線が向けられたか否かを判定する。そして、HMD1は、当該表示部分の視線が向けられた場合に、対応する動画や音声データを再生する。この場合、好適には、HMD1は、HMD1のユーザの視線がこれらのAR情報の表示位置に向けられていないときには、AR情報が動画や音声データであることを示すアイコン画像等を表示させるとよい。これについては、図10の表示例等を参照して後述する。
次に、ステップS106で実行する表示対象空間Stagの決定方法について、図9を参照して説明する。
図9(A)は、XY平面上でのHMD1と表示対象空間Stagとの位置関係を示す図である。図9(B)は、YZ平面上でのHMD1と表示対象空間Stagとの位置関係を示す図である。また、図9(C)は、HMD1の移動前後でのXY平面上の表示対象空間Stagの推移を示す。
図9(A)、(B)に示すように、サーバ装置2は、HMD1から角度「θh」により左右均等に広がる所定長さの扇形の範囲であって、HMD1から角度「θv」により高さ方向に広がる所定長さの扇形の範囲を、表示対象空間Stagとして認識する。角度θhは、例えば人間の水平方向での視野角と同一になるように設定される。また、角度θvは、例えば人間の高さ方向での視野角と同一になるように設定される。この場合、表示対象空間Stagは、HMD1の向き(即ち歩行者の進行方向)を軸として上下左右対称になるように設定される。また、図9(C)に示すように、サーバ装置2は、現在位置等の変化に応じて、表示対象空間Stagを遷移させる。
このように、サーバ装置2は、表示対象空間Stagを、HMD1から所定距離の範囲内に限定している。これにより、表示対象空間Stagが不要に拡大することにより表示すべきAR情報が過多になることに起因してHMD1の表示が煩雑化するのを防ぐ。
[表示例]
次に、本実施例に基づく表示例について、図10及び図11を参照して説明する。
次に、本実施例に基づく表示例について、図10及び図11を参照して説明する。
図10(A)は、建物4がショッピングセンターである場合に、フロア空間Sf内のフロア通路でHMD1のユーザが視認するハーフミラー11の表示例である。図10(A)の例では、HMD1は、AR情報として、画像30〜34、40〜44を前方風景に重畳して表示させている。
図10(A)では、HMD1は、図7の天井空間50及び床面空間53の両端部分のみにAR情報を表示させている。例えば、HMD1は、店舗Aに隣接する天井空間(図7の天井空間50Aに相当)に表示させるAR情報として、音楽データと共にアイコン画像80を含む画像30をサーバ装置2から受信し、画像30を当該天井空間に表示させている。また、HMD1は、店舗Aに隣接する床面空間(図7の床面空間53Aに相当)に表示させるAR情報として、広告を示す文字を含んだ画像40をサーバ装置2から受信し、画像40を当該床面空間に表示させている。同様に、HMD1は、店舗Cに隣接する天井空間(図7の天井空間50Dに相当)にアイコン画像81を含む画像31を表示させ、店舗Cに隣接する床面空間(図7の床面空間53Dに相当)にクーポンを表す画像41を表示させている。同様に、HMD1は、店舗Bに隣接する天井空間(図7の天井空間50Cに相当)に、「QUIZ」と示した画像33を表示させ、店舗Bに隣接する床面空間(図7の床面空間53Cに相当)に、店舗Bのおすすめ商品を表す画像43を表示させている。同様に、HMD1は、店舗Dに隣接する天井空間(図7の天井空間50Fに相当)に「EVENT」と示した画像34を表示させ、店舗Dに隣接する床面空間(図7の床面空間53Fに相当)に画像44を表示させている。
そして、HMD1は、HMD1のユーザの視線を検知し、当該視線が向けられた画像30〜34、40〜44を認識し、音楽再生などを適宜実行する。例えば、HMD1は、ユーザが画像30に視線を向けていると判断した場合、画像30に対応する音楽データを再生出力する。また、HMD1は、ユーザが画像41に視線を向けていると判断した場合、割引情報(クーポン)に関する詳細情報を表示する。また、HMD1は、ユーザが画像33に視線を向けていると判断した場合、画像33に対応するクイズの詳細を表示する。同様に、HMD1は、ユーザが画像34に視線を向けていると判断した場合、画像34に対応するイベントの詳細を表示する。なお、この場合、HMD1は、視線が向けられたときに表示又は再生すべき音声データ等又はそのURLを、例えば、視線が向けられていない場合に表示する画像と共に応答信号S2によりサーバ装置2から予め受信しておく。
図10(B)は、図10(A)の例において、天井空間及び床面空間の略全面にAR情報を表示させる例を示す。図10(B)では、説明の便宜上、前方風景を非表示にしている。
この場合、HMD1は、画像30A〜34Aを、フロア通路の天井位置に重畳させて隙間なく並べて表示すると共に、画像40A〜44Aを、フロア通路の床面位置に重畳させて隙間なく並べて表示する。また、図10(B)の例では、HMD1は、公知の画像認識技術等により消失点Vpを認識し、消失点Vpから天井の両端に沿って延びた線L1、L2に挟まれた領域内に画像30A〜35Aを表示し、消失点Vpから床面の両端に沿って延びた線L3、L4に挟まれた領域内に画像40A〜45Aを表示している。
図11は、店舗Aを正面から観察した場合のハーフミラー11の表示例を示す。この例では、HMD1は、図10(A)に示す画像30と同様の画像30Bを、店舗Aに隣接する天井空間に表示させている。一方、HMD1は、店舗Aに隣接する床面空間に表示させる画像40Bが示す情報を、図10(A)に示す画像40よりも増やしている。具体的には、HMD1は、店舗Aを正面視した場合には、画像40Bに、クーポンの情報及びおすすめの商品情報をさらに追加して表示させている。
このように、HMD1は、店舗を正面視した場合など個々のAR情報の表示範囲が所定面積以上広くなる場合には、即ち、表示対象空間Stag内に属する分割空間が所定個数以下になる場合には、表示するAR情報を増やす。この場合、例えば、HMD1は、AR情報の表示範囲が所定面積以上広くなる場合に限り表示するAR情報を、通常時に表示するAR情報と共に応答信号S2により予め受信しておく。
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
(変形例1)
図1に示す構成例に代えて、HMD1は、サーバ装置2と通信を行うことなくAR情報の表示等を実行してもよい。この場合、HMD1は、例えば、店内マップ情報240及びAR情報テーブル241を有し、図8のステップS105〜ステップS109の処理をサーバ装置2の代わりに実行し、表示すべきAR情報及びその表示サイズ等を決定する。
図1に示す構成例に代えて、HMD1は、サーバ装置2と通信を行うことなくAR情報の表示等を実行してもよい。この場合、HMD1は、例えば、店内マップ情報240及びAR情報テーブル241を有し、図8のステップS105〜ステップS109の処理をサーバ装置2の代わりに実行し、表示すべきAR情報及びその表示サイズ等を決定する。
この態様によっても、HMD1は、実施例と同様、好適にAR情報を表示させることができる。なお、本変形例では、HMD1は、本発明における「表示制御装置」の一例であり、ハーフミラー11は、本発明における「表示部」の一例である。また、制御部17は、本発明における「案内情報取得部」、「表示制御部」、「位置情報取得部」及びプログラムに基づき動作するコンピュータの一例である。
(変形例2)
図8のフローチャートのステップS102において、HMD1は、HMD1の向きを示す方位に加え、HMD1の水平面に対する傾きを検知し、ステップS104で送信する要求信号S1に当該傾きの情報を加えてサーバ装置2に送信してもよい。この場合、サーバ装置2は、HMD1の傾きをさらに考慮し、表示対象空間Stag等を決定する。
図8のフローチャートのステップS102において、HMD1は、HMD1の向きを示す方位に加え、HMD1の水平面に対する傾きを検知し、ステップS104で送信する要求信号S1に当該傾きの情報を加えてサーバ装置2に送信してもよい。この場合、サーバ装置2は、HMD1の傾きをさらに考慮し、表示対象空間Stag等を決定する。
(変形例3)
位置情報送信機3は、現在位置情報として、空間IDをHMD1に送信してもよい。この場合、HMD1は、受信した空間IDを要求信号S1に含めてサーバ装置2へ送信し、サーバ装置2は、受信した空間IDに基づき、HMD1の位置を認識する。
位置情報送信機3は、現在位置情報として、空間IDをHMD1に送信してもよい。この場合、HMD1は、受信した空間IDを要求信号S1に含めてサーバ装置2へ送信し、サーバ装置2は、受信した空間IDに基づき、HMD1の位置を認識する。
(変形例4)
表示システムは、HMD1に代えて、カメラを有するスマートフォンなどの携帯端末を有してもよい。この場合、携帯端末は、カメラが撮影した画像をディスプレイに表示すると共に、実施例のHMD1と同様の処理を行うことで要求信号S1の送信及び応答信号S2の受信を行い、受信した応答信号S2に基づき、表示した画像中にAR情報を重畳表示させる。そして、本変形例では、携帯端末又は携帯端末のディスプレイは、本発明における「表示部」の一例である。また、変形例1と組み合わせて、携帯端末がサーバ装置2の機能を有する場合には、携帯端末は、本発明における「表示制御装置」の一例である。
表示システムは、HMD1に代えて、カメラを有するスマートフォンなどの携帯端末を有してもよい。この場合、携帯端末は、カメラが撮影した画像をディスプレイに表示すると共に、実施例のHMD1と同様の処理を行うことで要求信号S1の送信及び応答信号S2の受信を行い、受信した応答信号S2に基づき、表示した画像中にAR情報を重畳表示させる。そして、本変形例では、携帯端末又は携帯端末のディスプレイは、本発明における「表示部」の一例である。また、変形例1と組み合わせて、携帯端末がサーバ装置2の機能を有する場合には、携帯端末は、本発明における「表示制御装置」の一例である。
(変形例5)
サーバ装置2が記憶する店内マップ情報240をHMD1も記憶している場合、サーバ装置2は、応答信号S2に含めるAR情報の表示位置として、空間IDを指定してもよい。この場合、HMD1は、店内マップ情報240を参照し、応答信号S2で指定された空間IDが示す緯度経度や高さを認識し、認識した位置にAR情報を表示させる。
サーバ装置2が記憶する店内マップ情報240をHMD1も記憶している場合、サーバ装置2は、応答信号S2に含めるAR情報の表示位置として、空間IDを指定してもよい。この場合、HMD1は、店内マップ情報240を参照し、応答信号S2で指定された空間IDが示す緯度経度や高さを認識し、認識した位置にAR情報を表示させる。
(変形例6)
図7の説明において、HMD1がフロア空間Sf内の人の混雑度合いに応じて、AR情報を表示させる空間(天井空間50と床面空間53等)の切り替え制御を行う代わりに、サーバ装置2がAR情報を表示させる空間の切り替え制御を行ってもよい。
図7の説明において、HMD1がフロア空間Sf内の人の混雑度合いに応じて、AR情報を表示させる空間(天井空間50と床面空間53等)の切り替え制御を行う代わりに、サーバ装置2がAR情報を表示させる空間の切り替え制御を行ってもよい。
例えば、サーバ装置2は、フロア空間Sfの混雑度に関する情報を、フロア空間Sf内に設置された監視カメラの映像を解析することで、又は混雑度に関する管理者の入力を受け付けることで認識する。そして、サーバ装置2は、フロア空間Sfが混雑していないと判断した場合には、床面空間53及び前方空間54に対応するAR情報をAR情報テーブル241から取得し、当該AR情報をHMD1に表示させる。一方、サーバ装置2は、フロア空間Sfが混雑していると判断した場合には、天井空間50に対応するAR情報をAR情報テーブル241から取得し、当該AR情報をHMD1に表示させる。
(変形例7)
HMD1は、表示させるAR情報が示す文字等の向きを、店舗の看板や壁面に付されたポスターやペイント等と同様に、HMD1の向き等によらずに、フロア空間Sfに対して固定してもよい。この場合、HMD1のユーザが180度振り返って、歩いてきた方向を見たときに、AR情報が上下左右反転して表示される。そして、この態様によれば、HMD1は、ハーフミラー11を介して視認するAR情報を、店舗の看板やポスター等と同様に、フロア空間Sf内に固定されたものとしてユーザに視認させることができる。
HMD1は、表示させるAR情報が示す文字等の向きを、店舗の看板や壁面に付されたポスターやペイント等と同様に、HMD1の向き等によらずに、フロア空間Sfに対して固定してもよい。この場合、HMD1のユーザが180度振り返って、歩いてきた方向を見たときに、AR情報が上下左右反転して表示される。そして、この態様によれば、HMD1は、ハーフミラー11を介して視認するAR情報を、店舗の看板やポスター等と同様に、フロア空間Sf内に固定されたものとしてユーザに視認させることができる。
一方、HMD1は、表示させるAR情報が示す文字等の向きを、ユーザが常に正面視できるように調整してもよい。この場合、HMD1は、AR情報の文字等を、ハーフミラー11に対して常に一定の向きにより表示する。この場合、HMD1のユーザが180度振り返って、歩いてきた方向を見たときに、AR情報は上下左右反転しない。
(変形例8)
HMD1は、計測部16に含まれる加速度センサ等によりユーザの歩行速度を検出し、検出した歩行速度に応じてAR情報の表示又は非表示を切り替えてもよい。この場合、HMD1は、検出した歩行速度が閾値以上の場合には、AR情報を非表示にする。上述の閾値は、例えば、視認性の悪化の程度を勘案し、実験等により設定される。これにより、ユーザの高速移動時に、HMD1が表示するAR情報が頻繁に切り替わることに起因してAR情報の表示が煩雑化するのを好適に抑制することができる。
HMD1は、計測部16に含まれる加速度センサ等によりユーザの歩行速度を検出し、検出した歩行速度に応じてAR情報の表示又は非表示を切り替えてもよい。この場合、HMD1は、検出した歩行速度が閾値以上の場合には、AR情報を非表示にする。上述の閾値は、例えば、視認性の悪化の程度を勘案し、実験等により設定される。これにより、ユーザの高速移動時に、HMD1が表示するAR情報が頻繁に切り替わることに起因してAR情報の表示が煩雑化するのを好適に抑制することができる。
同様に、HMD1は、検出した歩行速度に応じてAR情報の情報量を調整してもよい。例えば、HMD1は、検出した歩行速度が遅いほど、図11の画像40Bと同様にクーポンや商品情報等を追加して表示することにより、表示すべきAR情報の情報量を多くし、検出した歩行速度が速いほど、表示すべきAR情報の情報量を少なくする。これにより、HMD1は、ユーザの歩行速度に応じて、ユーザが視認可能な最適な情報量のAR情報を表示することができる。
(変形例9)
サーバ装置2は、HMD1の表示タイミングやサーバ装置2へのアクセス頻度等に応じて、HMD1に表示させるAR情報を切り替えてもよい。
サーバ装置2は、HMD1の表示タイミングやサーバ装置2へのアクセス頻度等に応じて、HMD1に表示させるAR情報を切り替えてもよい。
ここで、前者の例として、表示する時間帯に応じてAR情報を切り替える例について説明する。この場合、サーバ装置2は、時間帯ごとに、表示すべきAR情報を指定したAR情報テーブル241を記憶し、要求信号S1を受信した場合に現在時刻が属する時間帯に対応するAR情報テーブル241を使用して応答信号S2で指定するAR情報を決定する。
また、サーバ装置2へのアクセス頻度に応じてAR情報を切り替える場合、サーバ装置2は、要求信号S1の送信元のHMD1の端末IDと、送信場所ごと(例えばフロア空間Sfごと)の要求信号S1の送信回数(単に「アクセス回数」とも呼ぶ。)とを関連付けて記憶しておく。また、サーバ装置2は、アクセス回数ごとに、表示すべきAR情報を指定したAR情報テーブル241を記憶する。そして、サーバ装置2は、要求信号S1を受信した場合、要求信号S1の送信元のHMD1のアクセス回数を認識し、認識したアクセス回数に応じて、表示すべきAR情報をAR情報テーブル241から抽出し、当該AR情報に関する情報を応答信号S2に含めて送信する。この例によれば、HMD1は、AR情報を表示する頻度に応じて、当該AR情報の表示内容を好適に変えることができる。即ち、HMD1は、ユーザが一度通った場所を再び通る場合に、当該場所の天井や床面に表示させるAR情報の内容を、ユーザが通過した回数に応じて適切に切り替えることができる。
(変形例10)
サーバ装置2は、要求信号S1に含まれる現在位置情報に基づき、HMD1のユーザの移動位置を認識し、当該ユーザがよく行く傾向にある店舗のジャンルの趣向を認識してもよい。
サーバ装置2は、要求信号S1に含まれる現在位置情報に基づき、HMD1のユーザの移動位置を認識し、当該ユーザがよく行く傾向にある店舗のジャンルの趣向を認識してもよい。
この場合、サーバ装置2は、図6に示す店舗情報テーブル242の「Space ID」と「Category」の項目を参照し、要求信号S1を受信する度に、HMD1が存在した空間IDに対応する店舗のジャンルを認識し、店舗のジャンルごとに頻度集計を行い、HMD1の端末IDと関連付けて記憶する。そして、サーバ装置2は、集計した頻度に基づき、HMD1のユーザが好む店舗のジャンルを認識する。
この場合、好適には、サーバ装置2は、認識したHMD1のユーザが好むジャンルの店舗が存在する場所へ誘導するためのAR情報を、HMD1に表示させてもよい。例えば、サーバ装置2は、図10の例において、天井空間の中央部分の空いたスペースに、認識したHMD1のユーザが好む店舗のジャンルの店舗情報や当該店舗の位置等を示すAR情報をHMD1に表示させてもよい。他の例では、サーバ装置2は、認識したHMD1のユーザが好むジャンルの店舗に対応するAR情報をHMD1に表示させる場合に、当該AR情報の表示サイズが大きくなるように応答信号S2によりAR情報の表示態様を指定してもよい。また、この場合、サーバ装置2は、表示サイズの他、表示色、表示輝度、表示形状が他のAR情報と異なるように、応答信号S2によりAR情報の表示態様を指定してもよい。これにより、サーバ装置2は、HMD1のユーザが好むジャンルの店舗に対応するAR情報を、好適に強調してHMD1に表示させることができる。
(変形例11)
表示システムは、建物4などの屋内をHMD1が移動中の場合に限らず、屋外を移動時の場合にも実施例と同様にAR情報をHMD1に表示させてもよい。
表示システムは、建物4などの屋内をHMD1が移動中の場合に限らず、屋外を移動時の場合にも実施例と同様にAR情報をHMD1に表示させてもよい。
この場合、例えば、HMD1は、GPS衛星から送信される電波に基づき現在位置を認識する。そして、サーバ装置2は、各道路の道路面や上空位置等に対応する空間IDにAR情報を関連付けたAR情報テーブル241を記憶し、要求信号S1を受信した場合に、実施例等と同様に当該AR情報テーブル241を参照し、道路面や上空位置に表示させるAR情報を決定し、応答信号S2をHMD1へ送信する。また、表示システムは、HMD1のユーザが車両により移動中の場合に、側道や歩道に施設情報を示すAR情報を表示させるものであってもよい。
(変形例12)
ステップS109において、サーバ装置2は、AR情報の形状と大きさに加えて、AR情報の表示色や表示輝度を決定し、決定した情報を応答信号S2により送信してもよい。この場合、サーバ装置2は、例えばHMD1からAR情報を表示する分割空間までの距離や表示する高さに基づき、所定のマップ等を参照し、表示色や表示輝度を決定する。
ステップS109において、サーバ装置2は、AR情報の形状と大きさに加えて、AR情報の表示色や表示輝度を決定し、決定した情報を応答信号S2により送信してもよい。この場合、サーバ装置2は、例えばHMD1からAR情報を表示する分割空間までの距離や表示する高さに基づき、所定のマップ等を参照し、表示色や表示輝度を決定する。
(変形例13)
サーバ装置2は、図7に示す天井空間50や床面空間53に代えて、又はこれに加えて、前方空間54を対象に、AR情報を空間中に浮遊しているようにHMD1に表示させてもよい。
サーバ装置2は、図7に示す天井空間50や床面空間53に代えて、又はこれに加えて、前方空間54を対象に、AR情報を空間中に浮遊しているようにHMD1に表示させてもよい。
図12は、本変形例において、フロア空間Sf内のフロア通路でHMD1のユーザが視認するハーフミラー11の表示例である。図12の例では、HMD1は、天井や床面以外の前方の空間(図7の前方空間54に相当)に表示させるAR情報として、画像37〜39をサーバ装置2から受信し、これらの画像37〜39を当該前方空間に表示させている。
そして、HMD1は、カメラ15が撮影する画像に基づきユーザの手の位置を認識し、ユーザの手が画像37〜39のいずれかにタッチした(例えば、画像37〜39の表示位置と重なった)と判断した場合、タッチされた画像が選択されたものとみなす。例えば、図12の例では、HMD1は、カメラ15によりユーザの手150を認識し、かつ、認識した手150が画像39の表示位置と重なっていると判断する。この場合、HMD1は、画像39に対応する音楽データを再生出力する。同様に、HMD1は、画像37が手150によりタッチされたと判断した場合、画像37が示すイベントの詳細情報を表示する。また、HMD1は、画像38が手150によりタッチされたと判断した場合、画像38が示すクーポンの詳細情報を表示させる。
この場合、好適には、HMD1は、ユーザ情報として予め記憶したHMD1のユーザの身長の情報等を用いて、ユーザの視認を妨げず、かつ、ユーザの手の届く距離に、画像37〜39を虚像として表示するとよい。
1 HMD
2 サーバ装置
3 位置情報送信機
4 建物
2 サーバ装置
3 位置情報送信機
4 建物
Claims (1)
- 空間の案内に関する案内情報と、前記案内情報を表示させる前記空間内の位置に関する3次元座標情報と、を取得する案内情報取得部と、
前記案内情報取得部によって取得された前記案内情報と前記3次元座標情報とに基づいて、前記案内情報を前記空間に見かけ上で重畳しているように表示部に表示させる表示制御部と、を備え、
前記表示制御部は、現在時刻に応じて前記表示部に表示させる前記案内情報の内容を変更することを特徴とする表示制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129992A JP2018200699A (ja) | 2018-07-09 | 2018-07-09 | 表示制御装置、制御方法、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129992A JP2018200699A (ja) | 2018-07-09 | 2018-07-09 | 表示制御装置、制御方法、プログラム及び記憶媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016509644A Division JPWO2015145544A1 (ja) | 2014-03-24 | 2014-03-24 | 表示制御装置、制御方法、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018200699A true JP2018200699A (ja) | 2018-12-20 |
Family
ID=64667307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018129992A Pending JP2018200699A (ja) | 2018-07-09 | 2018-07-09 | 表示制御装置、制御方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018200699A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021111225A (ja) * | 2020-01-14 | 2021-08-02 | 東芝テック株式会社 | プログラム及び注文システム |
JP2022520517A (ja) * | 2019-01-15 | 2022-03-31 | メタ プラットフォームズ, インク. | 人工現実システムにおいて平面を識別すること |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006059136A (ja) * | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | ビューア装置及びそのプログラム |
WO2006043319A1 (ja) * | 2004-10-20 | 2006-04-27 | Fujitsu Limited | 端末及びサーバ |
JP2011175447A (ja) * | 2010-02-24 | 2011-09-08 | Zenrin Datacom Co Ltd | 三次元位置情報生成装置、方法及びプログラム |
-
2018
- 2018-07-09 JP JP2018129992A patent/JP2018200699A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006059136A (ja) * | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | ビューア装置及びそのプログラム |
WO2006043319A1 (ja) * | 2004-10-20 | 2006-04-27 | Fujitsu Limited | 端末及びサーバ |
JP2011175447A (ja) * | 2010-02-24 | 2011-09-08 | Zenrin Datacom Co Ltd | 三次元位置情報生成装置、方法及びプログラム |
Non-Patent Citations (3)
Title |
---|
内山寛之, 外5名: ""市街地構造物への拡張現実型画像情報提示手法"", 電子情報通信学会技術研究報告, vol. 第111巻, 第499号, JPN6019032986, 22 March 2012 (2012-03-22), JP, pages 141 - 146, ISSN: 0004105604 * |
多田有希, 外2名: ""SpaceTagの3次元化を目的としたサーバサイド画像生成システム"", 情報処理学会研究報告, vol. 第2003巻, 第33号, JPN6019032989, 20 March 2003 (2003-03-20), JP, pages 31 - 36, ISSN: 0004105605 * |
長尾確, 外1名: ""HyperCampus:状況依存性と個人適応性を備えた大学情報案内システム"", 情報処理学会研究報告, vol. 第97巻, 第117号, JPN6019032984, 4 December 1997 (1997-12-04), JP, pages 27 - 32, ISSN: 0004225842 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022520517A (ja) * | 2019-01-15 | 2022-03-31 | メタ プラットフォームズ, インク. | 人工現実システムにおいて平面を識別すること |
JP7282175B2 (ja) | 2019-01-15 | 2023-05-26 | メタ プラットフォームズ, インク. | 人工現実システムにおいて平面を識別すること |
JP2021111225A (ja) * | 2020-01-14 | 2021-08-02 | 東芝テック株式会社 | プログラム及び注文システム |
JP7444614B2 (ja) | 2020-01-14 | 2024-03-06 | 東芝テック株式会社 | プログラム及び注文システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015145544A1 (ja) | 表示制御装置、制御方法、プログラム及び記憶媒体 | |
US11885971B2 (en) | Information processing device that displays a virtual object relative to real space | |
US10796669B2 (en) | Method and apparatus to control an augmented reality head-mounted display | |
US11042743B2 (en) | Information processing device, information processing method, and program for preventing deterioration of visual recognition in a scene | |
US9418481B2 (en) | Visual overlay for augmenting reality | |
US9171214B2 (en) | Projecting location based elements over a heads up display | |
KR101894021B1 (ko) | Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체 | |
US10868977B2 (en) | Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information | |
JP6263098B2 (ja) | 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法 | |
US20090319178A1 (en) | Overlay of information associated with points of interest of direction based data services | |
JP6705124B2 (ja) | 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
US20200234502A1 (en) | Social Media Platform using Augmented Reality and Microlocation | |
JP7296406B2 (ja) | プログラム、情報処理方法、及び情報処理端末 | |
US11417051B2 (en) | Information processing apparatus and information processing method to ensure visibility of shielded virtual objects | |
CN110622110B (zh) | 提供沉浸式现实内容的方法和装置 | |
JP2018200699A (ja) | 表示制御装置、制御方法、プログラム及び記憶媒体 | |
US20180293796A1 (en) | Method and device for guiding a user to a virtual object | |
US20220163338A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2005309537A (ja) | 情報提示装置 | |
US11568616B1 (en) | Display apparatuses and methods for facilitating location-based virtual content | |
KR101153127B1 (ko) | 스마트 폰의 지리정보 표시장치 | |
TW202143666A (zh) | 基於光通信裝置的資訊顯示方法、電子設備、以及電腦可讀取記錄媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200310 |