JP2012059079A - 付加情報表示システム、付加情報表示制御方法、および付加情報表示制御プログラム - Google Patents

Abstract

【課題】利用者の視界にある表示画面に付加情報を拡張現実用に正確に表示する。
【解決手段】ディスプレイ１１の地球上における位置を示す位置情報を取得する測位センサ部１３と、地磁気の方位に基づきディスプレイ１１の空間姿勢を示す姿勢情報を導出する磁気センサ部１４と、電波信号を発しその反射電波信号に基づき距離の測定を行う電波式距離センサ群１２をディスプレイ１１に隣設して設け、ディスプレイ１１の位置情報、姿勢情報、および地表からの高さに基づきディスプレイ１１に対して表示する付加情報を決定する付加情報描画属性決定部を備えた。
【選択図】図１

Description

本発明は、表示画面の位置および姿勢に基づき当該表示画面に対して予め設定された付加情報を表示する付加情報表示装置に関する。

利用者が見ている方向をビデオカメラにより撮影し得られたカメラ映像が表示された画面や利用者の視界に入るよう、利用者の頭部に装着されたハーフミラーに対して、コンピュータで生成されたＣＧ（コンピュータ・グラフィクス）などの仮想情報（付加情報）を投影し、これにより、利用者の活動を支援するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）表示システムなどの技術が実用化されてきている。

尚、上記カメラ映像が表示されるビデオ透過型のディスプレイは、例えば、ゴーグルのような利用者の視界を覆う形態のヘッドマウント型のディスプレイ（ＨＭＤ）であって、利用者が見ている方向のカメラ映像（現実情報）をディスプレイに表示することにより、利用者が外部を見ることを可能にし、更には、ディスプレイに表示されているカメラ映像に対して仮想情報（付加情報）を重ねて表示する。

また、利用者の頭部（目の前）に装着されたハーフミラーなどに映像を投影する光学透過型のディスプレイでは、利用者がこのハーフミラーを透して見ている視界（現実世界）に対して仮想情報（付加情報）を重ね合わせて表示することができる。

ここで、これに対する関連技術として、ＨＭＤ型の拡張現実表示装置のディスプレイにＧＰＳ（全地球測位システム）を利用して取得した、この拡張現実表示装置の地球上の位置や、センサを利用して取得した拡張現実表示装置の地軸に基づく絶対的な向き（傾き情報）に応じて、ディスプレイ上に表示する仮想情報を決定すると共に、その仮想情報のディスプレイ上における表示の位置、大きさなどを制御するシステムを考える。

ここでは、現実空間における特定の３次元位置に仮想的に存在するよう設定された仮想物体２０１が、表示画面（２１０、４１０）に出力表示される、利用者の頭部に装着されたＨＭＤ型拡張現実表示装置（以下「表示装置」という）について、図４に基づき説明する。

仮想物体２０１は、表示装置の位置、表示装置の向きなどの地図情報に対応して設定された、例えば、３次元モデリングされたＣＧなどの仮想情報であり、この仮想物体２０１としての仮想情報は、表示装置に対して無線接続された記憶装置に予め記憶されているものとする。
また、この仮想物体２０１に対応する仮想情報は、利用者が表示画面（２１０，４１０）を透して予め設定された位置、方向、高さを見た場合に表示装置に送り込まれ、利用者の視野に含まれる表示画面（２１０、４１０）に出力表示されるものとする。

更に、この仮想物体２０１には、地面２０６からの一定の高さが設定されており、これにより、仮想物体２０１は、地球上における特定の位置を示す地図位置情報、およびその高さ（高度）からなる三次元位置情報が設定されているものとする。

尚、図４における、地面２０６に対して平行な水平線７０は、利用者の目３０から表示装置の表示画面２１０を透して向けられた、地面２０６に平行な視線方向およびその逆方向を示す。また、水平線７０は、表示画面２１０における上領域と下領域を分割する中間線も示すものとする。
更に、この水平線７０の地面２０６に対する高さは、利用者の目３０における視界にある表示画面２１０の上下方向の中間線の地面２０６からの高さと一致する。

また、地面２０６に対して平行な水平線８０は、利用者の目５０から表示装置の表示画面４１０を透して向けられた、地面２０６に平行な視線方向、およびその逆方向を示す。また、水平線８０は、表示画面４１０における上領域と下領域を分割する中間線も示すものとする。
更に、この水平線８０の地面２０６に対する高さは、利用者の目５０の視界にある表示画面４１０の上下方向の中間線の地面２０６からの高さと一致する。

尚、水平線８０の地面２０６に対する高さは、仮想物体２０１の中央部の高さ、および水平線７０よりも低いものとする。

このとき、利用者の目３０から表示画面２１０を透して仮想物体２０１に向けられた視線は、利用者の目３０が仮想物体２０１より高い位置にあるため、正面に向けられた状態より下方に向くこととなる。
このため、表示画面２１０上では、仮想物体２０１は水平線７０よりも下部側に、仮想物体表示情報２１１として表示される。

また、利用者の目５０から表示画面４１０を透して仮想物体２０１に向けられた視線は、利用者の目５０が仮想物体２０１より低い位置にあるため、正面に向けられた状態より上方に向けられることとなる。
このため、表示画面４１０上では、仮想物体２０１は水平線８０よりも上部側に仮想物体表示情報４１１として表示される。

しかしながら、上記関連技術では、利用者の視線の起点に基づき、仮想物体２０１の高さに応じた表示制御がなされないため、仮想物体に設定された位置、大きさ、高さといった属性を、利用者に対して正確に提示することができないという不都合がある。

これに対する関連技術として、表示装置の空間上の位置、および方向について、拡張現実情報（仮想情報）を出力する表示装置に電波受信機を装備し、外部の電波送信機からの電波を受信し、電波送信機との相対位置および方向を得る頭部駆動ポインティング装置が開示されている（特許文献１）。

また、この関連技術として、外部の電波源をＧＰＳや地磁気とすることによって表示装置の空間上の位置、方向を得るセンサ装置が開示されている（特許文献２）。

更に、この関連技術として、地表面に対する設置角度が異なる複数の距離センサを備えた距離検出装置であって、この装置の水平方向の角度に基づき上記異なるセンサのうちの一つを選択し、このセンサにより検知された地表面からの距離を取得する距離検出装置が開示されている（特許文献３）。

また、この関連技術として、コンピュータグラフィクスを利用して実環境の光景を動的に拡張する三次元モデルを作成し、実環境の画像ストリーム（映像情報）に対してリアルタイムに、この三次元モデルを投影するシステムが開示されている（特許文献４）。

特開平０６−１８７０９２ 特開２００４−３６４１９７ 特開２００７−０２５４４７ 特表２００７−１７４５３６

しかしながら、上記特許文献１では、表示装置それぞれに対応して位置の基準となる電波送信を行う電波送信機が必要であることからコストが膨大になるといった不都合があり、更には、屋外の広範囲領域において不特定多数の利用者が使用することが困難であるといった不都合がある。

また、上記特許文献２では、利用者を上空から見下ろした場合に得られるような地図上の２次元位置情報は得られるが、表示装置または利用者の視線の高度に係る位置情報を取得することができないため、利用者の身長や姿勢を反映させた形で仮想情報を正確に表示させることができないという不都合がある。

更に、上記特許文献３および４の内容では、船壁と掘削部の最短距離を水平方向に対する傾きに基づき高精度検出し、表示装置の地面から距離を取得することが可能であるが、これを利用して、利用者の視界にある表示画面に対して、この表示画面の空間的位置、方向に応じて付加情報を正確に抽出すること、および、表示画面上の現実の対象に対して付加情報を拡張現実用に表示することはできないといった不都合がある。

［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、利用者の視界にある表示画面に対してその視界に対応した付加情報を拡張現実用に正確に表示する付加情報表示システム、付加情報表示制御方法、および付加情報表示制御プログラムを提供することを、その目的とする。

上記目的を達成するために、本発明に係る付加情報表示システムは、付加情報の出力表示を行う表示画面と、外部から取得した信号に基づき地球上における前記表示画面の位置を示す位置情報を取得する測位センサ部と、地磁気を検知しこの地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出する磁気センサ部と、距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う異なる複数の距離センサから成る距離センサ部を前記表示画面に隣接して設け、前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求める高度測定部と、前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定する付加情報決定部とを備えたことを特徴としている。

また、本発明にかかる付加情報表示制御方法は、予め設定された付加情報を表示する表示画面を有する付加情報表示システムにあって、前記表示画面の地球上における位置および方位角度に基づき前記表示画面に出力する付加情報を決定する付加情報表示制御方法であって、外部から取得した測位信号に基づき地球上における前記表示画面の所在位置を示す位置情報を取得すると共に、地磁気を検知しこの地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出し、前記表示画面に隣接して設けられた異なる複数の距離センサにより距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行い、前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求め、前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定すると共に、前記表示画面に対して出力表示する構成とし、これらの各動作手順を前記付加情報表示システムが実行するようにしたことを特徴としている。

又、本発明にかかる付加情報表示制御プログラムは、予め設定された付加情報を表示する表示画面を有する付加情報表示システムにあって、前記表示画面の地球上における位置および方位角度に基づき前記表示画面に出力する付加情報を決定するための付加情報表示制御プログラムであって、取得した測位信号に基づき地球上における前記表示画面の所在位置を示す位置情報を取得すると共に、検知した地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出するセンサ値導出機能と、前記表示画面に隣接して設けられた異なる複数の距離センサにより距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う距離測定機能と、前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求める高度測定機能と、前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定すると共に、前記表示画面に対して出力する処理を行う付加情報決定機能とを、前記付加情報表示システムの有するコンピュータに実現させることを特徴としている。

本発明は、以上のように構成され機能するので、これによると、表示画面の位置情報、姿勢情報、および地表からの高さに基づき、表示画面に対して表示する付加情報を決定する構成を備えたことにより、付加情報を利用者の視界にある表示画面に対して拡張現実用に正確に表示することを可能とする付加情報表示システム、付加情報表示制御方法、および付加情報表示制御プログラムを提供することができる。

本発明による付加情報表示システムにおける一実施形態を示す概略ブロック図である。 図１に開示した付加情報表示システムにおける内部構成の一例を示すブロック図である。 図１に開示した付加情報表示システムにおける全体的な動作処理ステップを示すフローチャートである。 利用者の頭部に装着されたＨＭＤ型の拡張現実表示装置の一例を示す説明図である。

［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。

本発明である付加情報表示システムに対応する拡張現実表示システム１００は、図１に示すように、予め設定されたデジタルデータなどの仮想情報（付加情報に対応）を表示するためのディスプレイ（表示画面）１１と、当該ディスプレイ１１の位置、方向などを示す情報を検知するセンサ装置（電波式距離センサ群１２、測位センサ部１３、および三軸地磁気センサ部１４）を備えた情報表示装置１と、センサ装置それぞれにより検知された情報に基づきディスプレイ１１に表示する仮想情報を特定すると共にこの仮想情報のディスプレイ１１上における表示状態を制御する表示情報計算機２とを備えた構成を有する。

上記情報表示装置１が備えるセンサ装置は、情報表示装置１外部からＧＰＳ（全地球相違システム）に利用される測位信号を取得する測位センサ部１３と、地磁気を検知すると共に、この地磁気の方位に基づき情報表示装置１（ディスプレイ１１）の向きを示す情報（角度情報、傾き情報）を導出する三軸地磁気センサ部（磁気センサ部）１４と、距離測定用の電波信号を発し、この電波信号の反射電波信号に基づき対象物との距離測定を行う電波式距離センサ群（距離センサ部）１２から成る。

尚、測位センサ部１３は、情報表示装置１に固定設置されたディスプレイ１１の地球上における位置を示す測位信号を、ＧＰＳを用いて取得する設定であってもよい。
また、三軸地磁気センサ部１４も、検知した地磁気（地磁気信号）に基づき情報表示装置１に固定設置されたディスプレイ１１の空間姿勢（方位、向き）を示す情報（角度情報、傾き情報）を導出する設定であってもよい。

表示情報計算機２は、三軸地磁気センサ部１４により導出された角度情報、および電波式距離センサ群１２による距離測定結果に基づき、情報表示装置１の地表から高さ（高度情報）を計算する高度計算部２１と、情報表示装置１の位置情報、および高度計算部２１により算出された高度情報に基づき、情報表示装置１を装着した利用者の目（４：図２）の地球上おける３次元位置を計算する位置計算部２２と、位置計算部２２により算出された、利用者の目４の地球上における３次元位置および情報表示装置１の相対位置関係に基づき、ディスプレイ１１上に表示されるべき情報（地図情報、仮想情報）、つまり、利用者の視界に含まれる現実世界に対応して設定された地図情報、仮想情報などの付加情報を決定する地図情報参照部（付加情報表示属性決定部）２３を備えている。

尚、本実施形態における情報表示装置１は、利用者の頭部に装着されるゴーグルやヘルメットのような形状を有し、ディスプレイ１１は、この情報表示装置１１上に設けられたヘッド・マウント・ディスプレイ（ＨＭＤ）であるものとする。

また、ディスプレイ１１は、情報表示装置１を装着した利用者からは完全の風景（現実世界）が透過して見える光学透過型レンズであり、且つ、この光学透過型レンズには、予め設定されたディジタル情報（仮想情報など）が投影される構成であるものとする。

また、ディスプレイ部１１は、ビデオカメラにより撮影されたビデオ映像が現実世界（映像）として投影される、ビデオ透過型のディスプレイ（投影式ディスプレイ）であってもよい。
この場合、情報表示装置１には、予め利用者の視線方向に向けてビデオカメラがディスプレイ１１に隣接して備えられているものとする。
これにより、ディスプレイ１１には、表示情報計算機２から送り込まれた情報（地図情報、仮想情報など）が表示されない場合には、利用者が情報表示装置１を装着しない場合に得られる視界と同等の、ビデオカメラにより撮影された映像（現実世界映像）が出力表示される。また、表示情報計算機２から地図情報、仮想情報などの付加情報がディスプレイ１１に入力された場合には、利用者の視界におけるディスプレイ１１には付加情報が現実世界にオーバーレイされた映像が表示される。
尚、ディスプレイ１１については、既存の透過式ディスプレイや投影式ディスプレイの技術を用いて実現されるものであってもよい。

また、情報表示装置１は、電波式距離センサ群１２、測位センサ部１３、三軸地磁気センサ部１４それぞれで取得した情報を、表示情報計算機２に対して無線通信転送（入力）する通信部を備えているものとする。尚、通信部は、上記取得された情報を、表示情報計算機２に対して有線通信転送（入力）を行う構成であってもよい。

表示情報計算機２の地図情報参照部２３は、情報表示装置１のセンサから取得した、位置情報、姿勢情報、および情報表示装置１の地表からの高さ（高度情報）に基づき、ディスプレイ１１に描画される仮想情報の色調を制御する付加情報表示色調制御機能を備えた設定であってもよい。

これにより、ディスプレイ１１に描画される仮想情報の大きさ、表示位置に加え色調を制御することができ、このため、ディスプレイ１１に表示される付加情報（仮想情報）の遠近感やリアリティを有効に表現することができる。
また、これにより、利用者の視界にあるディスプレイ１１（または、ディスプレイ１１に表示される現実世界の映像）上の地形情報や地図情報に対して仮想情報が適切にオーバーレイされ、これにより、ディスプレイ１１上に映し出された現実の空間情景に、利用者の活動を有効に支援するさまざまな仮想情報（デジタル情報）を重ね合わせた形で表示することができる。

以下、上記内容について、図１および２に基づき詳説する。

情報表示装置１の電波式距離センサ群１２は、ディスプレイ１１と共に情報表示装置1に固定して設けられ、異なる複数の距離センサ手段（１２１〜１２４）から成る構成を有する。

電波式距離センサ群１２は、上述のように、それぞれ異なる角度に対して向けられた状態で情報表示装置１内に固定装備された、異なる複数の距離センサ手段（１２１〜１２４）から成り、ディスプレイ１１に隣接して異なる角度に向けて設けられているものとする。
また、各距離センサ手段（１２１〜１２４）は、向けられた方向に対して距離測定用の電波信号を発すると共に、各電波信号に対応する反射信号に基づき、電波信号を反射した物体までの距離を示す距離情報を生成する（距離情報生成機能）。

ここで、上記距離情報は、距離測定用の電波信号が発せられてから反射信号が取得されるまでの時間に基づき、各距離センサ手段で算出されるものとする。
また、距離情報は、距離測定用信号とその反射信号とに基づく減衰率に基づき算出される設定であってもよい。

また、各距離センサ手段（１２１〜１２４）は、それぞれ測定した対象物からの距離を示す距離情報を表示情報計算機２に入力する（距離情報入力機能）。
さらに、各距離センサ手段（１２１〜１２４）は、生成した距離情報を表示情報計算機２（高度計算部２１）に対して入力する距離情報入力機能を有する。

尚、情報表示装置１を装着した利用者が平坦且つ水平な地面５に立っている状態で、利用者が見ている方向を前方（その反対を後方）、情報表示装置１から地面側を下方、その反対側を上方とした場合に、距離センサ手段１２１は、図２に示すように、下方且つ後方４５度の方向（「下後方４５度」という）に対して距離測定用信号を出力すると共に、この信号に対する反射信号に基づき距離測定を行う。

また、距離センサ手段１２２は、情報表示装置１から下方且つ、地面５に対して垂直方向（地面５は水平であるものとする）に距離計測用の信号を出力すると共に、この信号に対する反射信号に基づき距離測定を行う。

距離センサ手段１２３は、情報表示装置１を装着した利用者が平坦且つ水平な地面に立っている状態で、利用者が見ている方向を前方（その反対を後方）、情報表示装置１から地面側を下方、その反対側を上方とした場合に、図２に示すように、下方且つ前方４５度の方向（「下前方４５度」という）に対して距離測定用信号を出力し、これに対する反射信号に基づき距離測定を行う。

距離センサ手段１２４は、情報表示装置１を装着した利用者が平坦且つ水平な地面に立っている状態で、利用者が見ている方向を前方（その反対を後方）、情報表示装置１から地面側を下方、その反対側を上方とした場合に、図２に示すように、前方方向（つまり、利用者の見ている方向と同一方向）に対して距離測定用信号を出力し、これに対する反射信号に基づき距離測定を行う。

これにより、高度計算機２１は、計算した地面に対する傾きから、電波式距離センサ群１２に備わる距離センサ手段（１２１〜１２４）のうちで、最も地面方向を向いている距離センサ手段を特定する（センサ特定機能）。

例えば、図２では、地面５の垂直方向に対し傾きがないため、高度計算機２１では、距離センサ手段１２２を最も地面方向を向いている距離センサ手段として特定する。
このため、高度計算機２１は、距離センサ手段１２２が測定した距離を、情報表示装置1の地面５からの高さとして取得する。

また、例えば、利用者の目４が、30度下方向に向いていた場合、電波式距離センサ群１２のうちで最も地面方向を向いている距離センサ手段として距離センサ手段１２３が特定される。

ただし、このとき、距離センサ手段１２３は完全に地面垂直方向を向いているわけではないため、距離センサ手段１２３が算出した測定値を以下に示す［式１］に基づき補正計算を行うものとする。
［式１］
（情報表示装置１の地面５からの高さ）＝（距離センサ手段で取得した距離測定値）×ｃｏｓ（４５°−３０°）

また、高度計算機２１は、利用者の目４の位置と情報表示装置1は相対的に固定されているので、以下に示す［式２］に基づく計算を行うことにより、利用者の目４の位置の地面５からの高さを算出する。
［式２］
（利用者の目４の地面５からの高さ）＝（利用者の目４と情報表示装置１の距離）×ｓｉｎ３０°＋（情報表示装置１の地面５からの高さ）

測位センサ部１３は、上述のように、ＧＰＳで利用される測位信号を取得すると共に、この測位信号に基づき地球上の位置情報を検出する設定であってもよい。この場合、測位センサ部１３は、検出した位置情報を位置計算部２２に対して入力する。

三軸地磁気センサ部１４は、地磁気信号を取得し、これに基づき地球上における情報表示装置１（ディスプレイ１１）の方向（向き）、つまり、情報表示装置１（ディスプレイ１１）３次元的な姿勢を検知する
尚、三軸地磁気センサ部１４は、この地磁気信号に基づき情報表示装置１の地磁気に対する角度情報（ロール角、ピッチ角、ヨー角）を算出する（角度情報算出機能）と共に、算出した角度情報を表示情報計算機２に対して通信入力する（角度情報入力機能）。

更に、三軸地磁気センサ部１４は、ディスプレイ１１の振動加速度を計測する３軸加速度センサ機能を備えた構成であってもよい。
これにより、情報表示装置１（ディスプレイ１１）の地表に対する姿勢・方位をより正確に検知することができる。

また、三軸地磁気センサ部１４は、上記計測した振動加速度および検知した地磁気信号に基づき情報表示装置１（ディスプレイ１１）の地軸に対するロール角、ピッチ角、ヨー角から成る傾き情報を導出し、この傾き情報を表示情報計算機２に対して入力する設定であってもよい（傾き情報入力手段）。

表示情報計算機２の高度計算部２１は、三軸地磁気センサ部１４から送り込まれた角度情報（地磁気に対するロール角、ピッチ角、およびヨー角）に基づき、情報表示装置１と地球中心とを結ぶ軸に対する傾き、すなわち、地面（地表）に対する傾きを示す装置傾き情報を計算する（傾き計算機能）。
また、高度計算部２１は、算出した装置傾き情報、および距離センサ手段を特定すると共に、この距離センサ手段により測定された距離（つまり、地表からの距離）と、
装置傾き情報とに基づき、情報表示装置１の地表からの距離（つまり、装置高度情報）を計算する装置高度計算機能を備えている。

更に、高度計算部２１は、上記算出した装置傾き情報、装置高度情報、および、利用者の目（４）およびディスプレイ１１間の既定の距離に基づき、利用者の目（４）の地面からの距離を計算する。

また、高度計算部２１は、地球上の位置を取得すると共に、その位置について地図情報参照装置２３から得られる高度を取得し、前記で計算した地面からの距離を加算することにより利用者の目の高度を計算する。

位置計算部２２は、測位センサ部１３から得られた情報表示装置１の地球上の位置と、高度計算部２１により算出された利用者の目（４）の地表からの距離とに基づき、利用者の目（４）の地球上における三次元的な位置を特定する計算を行う（視界始点決定機能）。

地図情報参照部２３は、位置計算部２２により算出された位置情報に対応した各地点の地表の高度を示す地図高度情報を予め記憶した地図情報記憶装置を備えた構成を有する。
また、地図情報参照部２３は、位置情報（または、測位センサ部１３から入力された位置情報）に基づき、当該位置情報が示す位置（情報表示装置１の所在位置を示す）を中心とした一定範囲の、高度情報を含む地形情報を、予め設定された地図情報記憶装置から抽出する（地形情報抽出機能）。

また、地図情報参照部２３は、上記一定範囲における地名、建造物名、店舗名などの地形以外の地図情報や、当該一定範囲内における特定の３次元位置に対応して設定された仮想情報を、上記地図情報記憶装置から抽出する（仮想情報抽出機能）と共に、この地図情報および仮想情報のディスプレイ１１上における描画位置、および描画サイズを決定する付加情報描画制御手段（付加情報描画属性決定部に対応）を備えている。

更に、地図情報参照部２３は、上記決定したディスプレイ１１上における描画位置、描画サイズ、色彩情報などを含む描画属性情報に基づき、抽出した地図情報および仮想情報をディスプレイ１１に対して描画する仮想情報描画制御機能を備えている。
尚、地図情報参照部２３は、情報表示装置１に対して抽出した地図情報および仮想情報と描画属性情報とを送信し、情報表示装置１に予め設定された制御部が、描画属性情報に基づき抽出された地図情報および仮想情報のディスプレイ１１に対する描画動作を制御する設定であってもよい。

以上のように、本実施形態では、情報表示装置１を装着した利用者の視線の起点（目の位置）を情報表示装置１（ディスプレイ１１）の位置、向き、および高さに基づき相対的に特定し、これに基づきディスプレイ１１に表示する仮想情報を抽出し、更には、抽出された仮想情報のディスプレイ１１における表示位置、大きさ、色彩、影などの表示属性を、情報表示装置１（ディスプレイ１１）の位置、向き、および高さに応じて制御することができる。

また、情報表示装置１のディスプレイ１１における利用者から見た対象物の位置が正確に特定されるため、ディスプレイ上で利用者の視界（または視界にある映像）に、対象物に対応して設定された地図情報、仮想情報などの付加情報が正確にオーバーレイされる。

更に、本実施形態では、三次元空間内に精細な三次元位置（三次元座標）に対応付けられた付加情報を設定することができ、この付加情報を、利用者の身長や姿勢、また、利用者の視線方向などを反映させた形で、拡張現実用の情報としてディスプレイ内に正確に表示させることが可能となる。

［実施形態の動作説明］
次に、上記拡張現実表示システム１００の動作について、概説する。
まず、情報表示装置１の測位センサ部１３が、ＧＰＳを用いて取得した測位信号に基づくディスプレイ１１の地球上における三次元位置を示す位置情報を取得し、三軸地磁気センサ部１４が、検知した地磁気信号の方位に基づきディスプレイ１１の空間姿勢を示す姿勢情報（角度情報、傾き情報）を導出する（センサ値導出工程）。

ディスプレイ１１に隣接して設けられた電波式距離センサ群１２が、距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う（距離測定工程）。
次いで、高度計算機２１が、電波式距離センサ群１２の測定結果、および上記姿勢情報に基づきディスプレイ１１の地表からの高さを求める（高度測定工程）。

次に、地図情報参照部２３が、ディスプレイ１１の地表からの高さ、姿勢情報、および位置情報に基づきディスプレイ１１に対して出力表示する付加情報を決定し、この付加情報をディスプレイ１１に対して出力する（付加情報決定工程）。

ここで、上記センサ値導出工程、距離測定工程、高度測定工程、および付加情報決定工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成としてもよい。

次に、上記拡張現実表示システム１００（図１）の動作について、図３のフローチャートに基づき詳説する。

まず、表示情報計算機２の電波式距離センサ群１２における特定の角度に向けて配置された各距離センサ手段１２１〜１２４が、距離測定用の信号を発すると共に、その反射信号を取得し、表示計算機２の位置計算部２２に通知する。

また、表示情報計算機２の測位センサ部１３がＧＰＳを利用して測位信号を取得すると共に、取得した測位信号を表示計算機２の位置計算部２２に通知する。ここで、位置計算部２２は、通知された位置情報信号に基づき情報表示装置１の地球上の位置を示す位置情報（例えば、緯度・経度）を計算する。

更に、表示情報計算機２の三軸地磁気センサ部１４が、地磁気信号を取得する共に、地磁気に対する情報表示装置１の傾きを示す角度情報（ロール角、ピッチ角、およびヨー角）それぞれを算出し（ステップＡ１）。これを表示情報計算機２の高度計算部２１に通知する。
尚、上記角度情報は、地磁気に対するディスプレイ１１の傾きを示すものであってもよい。

次いで、表示情報計算機２の高度計算部２１は、三軸地磁気センサ部１４から取得した角度情報（ロール角、ピッチ角、ヨー角）と、測位センサ部１３から取得した位置情報とに基づき、情報表示装置１と地球の中心を結ぶ軸に対する傾き、すなわち地面に対する傾きを示す傾き情報を導出する（ステップＡ２：センサ値導出工程）。

また、高度計算部２１は、上記導出した傾き情報、および各距離センサにより測定された距離情報に基づき、電波式距離センサ群１２に備わる距離センサ（１２１〜１２４）の中で最も地面方向を向いている距離センサ手段（ここでは、距離センサ手段１２２とする）を特定する（ステップＡ３：センサ特定工程）。

ここで、高度計算部２１は、特定した距離センサ手段１２２から取得した距離情報を情報表示装置１（ディスプレイ１１）の地面（地表）からの距離として採用し（距離測定工程）、この情報表示装置１の地面からの距離、および上記計算した地面に対する傾き情報に基づいて表示情報計算機１の地面からの距離（装置高度情報）を計算する（装置高度情報算出工程）。
また、高度計算部２１は、利用者の目とディスプレイ１１間の既定の距離（相対位置関係）に基づき利用者の目の地面からの距離（高さ）を計算する（ステップＡ４：高度測定工程）。

次に、高度計算部２１は、測位センサ部１３から取得した位置情報に基づき、当該位置情報の示す地点の地表高度を示す地表高度値を地図情報参照部２３から取得すると共に、この地表高度値に、上記算出した利用者の目の位置の地面からの距離（高さ）を加算することにより、利用者の目の位置の地球上における高度を示す目線位置高度値を計算する（ステップＡ５）。

次いで、位置計算部２２が、情報表示装置１の位置情報と、上記高度計算部２１で得られた目線位置高度値とに基づき、利用者の目の位置の地球上における３次元的な位置を示す三次元目線位置情報を導出する（ステップＡ６）。

次に、地図情報参照部２３は、上記導出された（ステップＡ２）傾き情報に基づき利用者の視線の方向を特定すると共に、上記三次元目線位置情報を視線の起点とした場合の利用者の視界、つまり、利用者の目からディスプレイ１１を透して見える視界を特定する（ステップＡ７）。
ここで、ディスプレイ１１に視界を示すビデオ映像が投影されるである場合、位置計算部２２により算出された、利用者の目４の地球上における３次元位置および情報表示装置１の相対位置関係に基づき、ディスプレイ１１上に表示されるべき情報を決定する（付加情報決定工程）。

次いで、地図情報参照部２３は、特定した利用者のディスプレイ１１を透して見える視界（ディスプレイ１１上の映像）に対応して、ディスプレイ１１に表示すべき地図情報および仮想情報を付加情報ＤＢから抽出し、ディスプレイ１１に対して送信する。
ここで、上記抽出される地図情報および仮想情報は、上記位置情報、傾き情報、および目線位置高度値に基づき決定される。

また、地図情報参照部２３は、上記抽出した地図情報・仮想情報のディスプレイ１１上における描画位置、描画サイズ、および色彩情報を、位置情報、傾き情報、および目線位置高度値に基づき制御する。これにより、付加情報である地図情報・仮想情報は、ディスプレイ１１上の利用者の視界に含まれる対象物等にオーバレイされた状態で表示される（ステップＡ８：付加情報描画制御工程）。

以上のように、本実施形態では、ＧＰＳを利用可能な測位センサ、三軸地磁気センサ、電波の反射波で距離を計測する電波式距離センサを用いて、情報表示装置の利用者の視線の起点、およびその方向の視界を特定することができ、これに基づき、異なる利用者それぞれが装着した各情報表示装置に対して、情報表示装置の位置に応じた付加情報を、拡張現実用に出力表示することが可能となる。

また、情報表示装置では、電波の反射波で距離を計測する電波式距離センサを用いて視線の起点としての利用者の目の高度を特定することにより、ディスプレイ上における、利用者の身長や姿勢による高度差、角度等を反映した付加情報の出力表示（描画）を実現することができる。

上述した実施形態については、その新規な技術的内容の要点をまとめると、以下のようになる。
尚、上記の実施形態の一部又は全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。

（付記１）
付加情報の出力表示を行う表示画面と、
外部から取得した信号に基づき地球上における前記表示画面の位置を示す位置情報を取得する測位センサ部と、
地磁気を検知しこの地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出する磁気センサ部と、
距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う異なる複数の距離センサから成る距離センサ部を前記表示画面に隣接して設け、
前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求める高度測定部と、
前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定する付加情報決定部とを備えたことを特徴とする付加情報表示システム。

（付記２）
付記１に記載の付加情報表示システムにおいて、
前記表示画面上における前記付加情報の出力描画位置および描画サイズを、前記表示画面の地表からの高さ、前記傾き情報、および前記位置情報に基づき制御する付加情報描画制御部を備えたことを特徴とする付加情報表示システム。

（付記３）
付記１に記載の付加情報表示システムにおいて、
前記高度測定部は、前記距離センサ部の測定結果および前記姿勢情報に基づき前記地表からの距離が最短となる距離センサを特定すると共に、当該距離センサにより取得された距離情報を前記測定結果として利用することを特徴とする付加情報表示システム。

（付記４）
付記１に記載の付加情報表示システムにおいて、
前記各距離センサは、前記距離測定用の電波信号の発信から前記反射電波信号が得られるまでの時間に基づき前記対象物までの距離の測定を行うことを特徴とした付加情報表示システム。

（付記５）
付記１に記載の付加情報表示システムにおいて、
前記各距離センサは、前記距離測定用の電波信号に対する前記反射電波信号の強度の割合に基づき前記対象物までの距離の測定を行うことを特徴とした付加情報表示システム。

（付記６）
付記１又は２に記載の付加情報表示システムにおいて、
前記表示画面は、前記付加情報が投影される光学透過型であることを特徴とした付加情報表示システム。

（付記７）
付記１又は２に記載の付加情報表示システムにおいて、
前記表示画面にビデオカメラを隣接して設けると共に、
前記ビデオカメラにより撮影されたカメラ映像を前記表示画面に出力するカメラ映像出力制御部を備えたことを特徴とする付加情報表示システム。

（付記８）
付記１、２、３、６、または７に記載の付加情報表示システムにおいて、
前記付加情報表示属性決定部は、前記位置情報、姿勢情報、および表示画面の地表からの高さに基づき前記表示画面上に描画される前記付加情報の色調を制御する付加情報表示色調制御機能を備えたことを特徴とする付加情報表示システム。

（付記９）
予め設定された付加情報を表示する表示画面を有する付加情報表示システムにあって、前記表示画面の地球上における位置および方位角度に基づき前記表示画面に出力する付加情報を決定する付加情報表示制御方法であって、
外部から取得した測位信号に基づき地球上における前記表示画面の所在位置を示す位置情報を取得すると共に、地磁気を検知しこの地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出し、
前記表示画面に隣接して設けられた異なる複数の距離センサにより距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行い、
前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求め、前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定すると共に、前記表示画面に対して出力表示する構成とし、これらの各動作手順を前記付加情報表示システムが実行するようにしたことを特徴とする付加情報表示制御方法。

（付記１０）
予め設定された付加情報を表示する表示画面を備えた付加情報表示システムにあって、前記表示画面の地球上における位置および方位角度に基づき前記表示画面に出力する付加情報を決定するための付加情報表示制御プログラムであって、
外部から取得した測位信号に基づき地球上における前記表示画面の所在位置を示す位置情報を取得すると共に、検知した地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出するセンサ値導出機能と、
前記表示画面に隣接して設けられた異なる複数の距離センサにより距離測定用の電波信号を発すると共に、当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う距離測定機能と、
前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求める高度測定機能と、
前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定すると共に、前記表示画面に対して出力する処理を行う付加情報決定機能とを、前記付加情報表示システムの有するコンピュータに実現させることを特徴とした付加情報表示制御プログラム。

本発明は、利用者の視界にあるディスプレイに拡張現実用の情報を出力表示するヘッドマウントディスプレイや、携帯電話を利用した拡張現実表示システム、およびナビゲーションシステムに対して適用することができる。

１ 情報表示装置
２ 表示情報計算機
４ 利用者の目（利用者視線の始点）
５ 地面
１１ ディスプレイ
１２ 電波式距離センサ群
１３ 測位センサ部
１４ 三軸地磁気センサ部
２１ 高度計算部
２２ 位置計算部
２３ 地図情報参照部
１００ 拡張現実表示システム
１２１、１２２、１２３、１２４ 距離センサ手段

Claims (10)

1. 付加情報の出力表示を行う表示画面と、
   外部から取得した信号に基づき地球上における前記表示画面の位置を示す位置情報を取得する測位センサ部と、
   地磁気を検知しこの地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出する磁気センサ部と、
   距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う異なる複数の距離センサから成る距離センサ部を前記表示画面に隣接して設け、
   前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求める高度測定部と、
   前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定する付加情報決定部とを備えたことを特徴とする付加情報表示システム。
2. 請求項１に記載の付加情報表示システムにおいて、
   前記表示画面上における前記付加情報の出力描画位置および描画サイズを、前記表示画面の地表からの高さ、前記傾き情報、および前記位置情報に基づき制御する付加情報描画制御部を備えたことを特徴とする付加情報表示システム。
3. 請求項１に記載の付加情報表示システムにおいて、
   前記高度測定部は、前記距離センサ部の測定結果および前記姿勢情報に基づき前記地表からの距離が最短となる距離センサを特定すると共に、当該距離センサにより取得された距離情報を前記測定結果として利用することを特徴とする付加情報表示システム。
4. 請求項１に記載の付加情報表示システムにおいて、
   前記各距離センサは、前記距離測定用の電波信号の発信から前記反射電波信号が得られるまでの時間に基づき前記対象物までの距離の測定を行うことを特徴とした付加情報表示システム。
5. 請求項１に記載の付加情報表示システムにおいて、
   前記各距離センサは、前記距離測定用の電波信号に対する前記反射電波信号の強度の割合に基づき前記対象物までの距離の測定を行うことを特徴とした付加情報表示システム。
6. 請求項１又は２に記載の付加情報表示システムにおいて、
   前記表示画面は、前記付加情報が投影される光学透過型であることを特徴とした付加情報表示システム。
7. 請求項１又は２に記載の付加情報表示システムにおいて、
   前記表示画面にビデオカメラを隣接して設けると共に、
   前記ビデオカメラにより撮影されたカメラ映像を前記表示画面に出力するカメラ映像出力制御部を備えたことを特徴とする付加情報表示システム。
8. 請求項１、２、３、６、または７に記載の付加情報表示システムにおいて、
   前記付加情報表示属性決定部は、前記位置情報、姿勢情報、および表示画面の地表からの高さに基づき前記表示画面上に描画される前記付加情報の色調を制御する付加情報表示色調制御機能を備えたことを特徴とする付加情報表示システム。
9. 予め設定された付加情報を表示する表示画面を有する付加情報表示システムにあって、前記表示画面の地球上における位置および方位角度に基づき前記表示画面に出力する付加情報を決定する付加情報表示制御方法であって、
   外部から取得した測位信号に基づき地球上における前記表示画面の所在位置を示す位置情報を取得すると共に、地磁気を検知しこの地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出し、
   前記表示画面に隣接して設けられた異なる複数の距離センサにより距離測定用の電波信号を発すると共に当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行い、
   前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求め、前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定すると共に、前記表示画面に対して出力表示する構成とし、これらの各動作手順を前記付加情報表示システムが実行するようにしたことを特徴とする付加情報表示制御方法。
10. 予め設定された付加情報を表示する表示画面を備えた付加情報表示システムにあって、前記表示画面の地球上における位置および方位角度に基づき前記表示画面に出力する付加情報を決定するための付加情報表示制御プログラムであって、
    外部から取得した測位信号に基づき地球上における前記表示画面の所在位置を示す位置情報を取得すると共に、検知した地磁気の方位に基づき前記表示画面の空間姿勢を示す姿勢情報を導出するセンサ値導出機能と、
    前記表示画面に隣接して設けられた異なる複数の距離センサにより距離測定用の電波信号を発すると共に、当該電波信号が対象物に反射することで得られる反射電波信号に基づき前記対象物までの距離の測定を行う距離測定機能と、
    前記距離センサ部の測定結果および前記姿勢情報に基づき前記表示画面の地表からの高さを求める高度測定機能と、
    前記表示画面の地表からの高さ、前記姿勢情報、および前記位置情報に基づき前記表示画面に対して出力表示する付加情報を決定すると共に、前記表示画面に対して出力する処理を行う付加情報決定機能とを、前記付加情報表示システムの有するコンピュータに実現させることを特徴とした付加情報表示制御プログラム。

Images