JP2006227934A - 実視界・空間座標同期システム - Google Patents

Abstract

【課題】 現実空間とＨＭＤに映る仮想３次元地図画像との空間座標の同期を取って、使用者の視界に見える対象物の名前等を容易に認知できるようにする。
【解決手段】 ＧＰＳセンサ１の検出した経緯度情報及び標高情報により地理上の現在地点を決定し、当該地理上の現在地点の情報と、現在地点の方位センサ２の検出した視線方位及び傾斜センサ３の検出した視線の仰角または俯角との情報に基づいて現在の視界１５を決定し、この決定した視界情報に基づき、地図情報記憶手段５に保存されている地図情報から当該地理上の現在地点からの視界に相当するエリア内の地図情報を取り出し、視界に相当するエリア内の地図情報を３次元画像１７に生成し、ＨＭＤ４に等倍でかつ地名文字情報も含めて表示させる。
【選択図】 図５

Description

本発明は、実視界・空間座標同期システムに関する。

使用者の現在地点と進行方向を検出し、該当地域の地図情報を地図情報データベースから読み出してディスプレイに３次元地図画像にして表示させ、かつ、使用者の移動に伴い、３次元地図画像もリアルタイムに現在地点に応じて変化させる３次元地図画像表示装置は、例えば自動車のナビゲーションシステムとして広く知られている。

他方、ウェアラブルコンピュータで利用するヘッドマウントディスプレイ（ＨＭＤ）も広く知られており、当然にこのＨＭＤに３次元画像を表示させることも知られている。

しかしながら、従来、現実空間とＨＭＤに映る仮想画像との座標の同期を取る装置は知られていない。このような、現実空間とＨＭＤに映る仮想画像との座標の同期が取れる装置が出現すると様々な分野での利用が可能である。例えば、この装置を装着して遠くの山々を見ると、それぞれの山に名称や標高等の見出しを付けて見せることができる。その場合、吹雪や濃霧で視界が利かないときでも、使用者に自身が居る地点で、自身の向いている方向の視界内に実際と同じ山並を見させることができる。また夜空を見上げると、名前等の見出し付き星座を見させることができる。道路や橋やビル等の工事現場においても実際の施工場所に存在するように設計通りの道路や橋やビルを仮想的に見させることができる。また道路情報のデータベースと連動させて、地下に埋設されたパイプ等の様子も実感として把握でき工事安全に役立つ。
特開２０００−２０７５７号公報

本発明は、上述のような技術的課題に鑑みてなされたものであり、現実空間とＨＭＤに映る仮想地図画像との空間座標の同期を取り、現在地点で使用者の視界に映り得る地理上の対象物、建造物をＨＭＤに等倍で表示させ、かつ地名文字情報をも使用者に知らせることができる実視界・空間座標同期システムを提供することを目的とする。

請求項１の発明の実視界・空間座標同期システムは、ヘッドマウントディスプレイと、現在の存在地点の経緯度情報と標高情報とを検出するＧＰＳセンサと、現在の視線方位を検出する方位センサと、地形情報と地名文字情報とを含む地図情報を保存する地図情報記憶手段と、前記ＧＰＳセンサの検出した経緯度情報及び標高情報により地理上の現在地点を決定し、当該地理上の現在地点の情報と現在地点の前記方位センサの検出した視線方位との情報に基づいて現在の視界を決定する視界決定手段と、前記視界決定手段の決定した視界情報に基づき、前記地図情報記憶手段に保存されている地図情報から当該地理上の現在地点からの視界に相当するエリア内の地図情報を取り出す地図情報取出し手段と、前記地図情報読出し手段の読み出した前記視界に相当するエリア内の地図情報を３次元画像に生成し、前記ヘッドマウントディスプレイに等倍で表示させる３次元地図画像生成手段とを備えたものである。

請求項２の発明の実視界・空間座標同期システムは、ヘッドマウントディスプレイと、現在の存在地点の経緯度情報と標高情報とを検出するＧＰＳセンサと、現在の視線方位を検出する方位センサと、現在の視線の仰角または俯角を検出する傾斜センサと、地形情報と地名文字情報とを含む地図情報を保存する地図情報記憶手段と、前記ＧＰＳセンサの検出した経緯度情報及び標高情報により地理上の現在地点を決定し、当該地理上の現在地点の情報と、現在地点の前記方位センサの検出した視線方位及び前記傾斜センサの検出した視線の仰角または俯角との情報に基づいて現在の視界を決定する視界決定手段と、前記視界決定手段の決定した視界情報に基づき、前記地図情報記憶手段に保存されている地図情報から当該地理上の現在地点からの視界に相当するエリア内の地図情報を取り出す地図情報取出し手段と、前記地図情報読出し手段の読み出した前記視界に相当するエリア内の地図情報を３次元画像に生成し、前記ヘッドマウントディスプレイに等倍で表示させる３次元地図画像生成手段とを備えたものである。

請求項３の発明は、請求項１又は２の実視界・空間座標同期システムにおいて、前記３次元地図画像生成手段は、前記地名文字情報を地図情報よりも明るく表示できる態様で前記３次元画像を生成することを特徴とするものである。

請求項４の発明は、請求項１〜３の実視界・空間座標同期システムにおいて、前記３次元地図画像生成手段は、前記３次元画像の拡大、縮小を行う視野倍率調整手段を備えたことを特徴とするものである。

本発明によれば、ＧＰＳセンサの検出した経緯度情報及び標高情報により地理上の現在地点を決定し、当該地理上の現在地点の情報と、現在地点の方位センサの検出した視線方位、また必要な場合にはさらに傾斜センサの検出した視線の仰角または俯角との情報に基づいて現在の視界を決定し、この決定した視界情報に基づき、地図情報記憶手段に保存されている地図情報から当該地理上の現在地点からの視界に相当するエリア内の地図情報を取り出し、視界に相当するエリア内の地図情報を３次元画像に生成し、ヘッドマウントディスプレイ（ＨＭＤ）に等倍でかつ地名文字情報も含めて表示させることができ、移動性に優れた、ＨＭＤの３次元地図画像と空間座標同期の範囲が数１００ｍ単位の橋梁や道路等の屋外建造物から、数１０ｋｍ単位の湖水や山々、そして数光年かなたの夜空の星座の同定まで応用できる実視界・空間座標同期システムが実現できる。

なお、地名文字情報を地図情報よりも明るく表示できる態様で３次元画像を生成することにより、周囲の環境が明るいところでも使用者に地名文字を読みやすくできる。また、３次元画像の拡大、縮小を行う視野倍率調整手段を備えることで、実視界の像とＨＭＤの投影画像との微妙な差違をなくすことができ、使い勝手が向上する。

以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の一つの実施の形態の実視界・空間座標同期システムの構成を示すブロック図である。図１において、１はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓａｔｅｌｌｉｔｅ）センサ、２は方位センサ、３は加速度センサによる傾斜センサ、４はＨＭＤ、５は３次元地図情報をその地名文字情報を含めて保持する地図情報データベース、６は使用者の視界を演算する視界演算部、７は地図情報データベース５から視界演算部６が決定した視界内の地図情報を取り出す地図情報取出し部、８は３次元地図を生成する３次元地図生成部、９は視野倍率を手動調整するための視野倍率調整部である。なお、ＧＰＳセンサ１としては、例えば、ガーミン社のジュピターを採用することができる。方位センサ２は使用者自身の顔向きの方位を検出する必要があるため、ＨＭＤ４に取り付けたり、使用者にかぶらせる帽子を用意し、それに取り付けたりする。この方位センサ２には、例えばジオセンサリー社のＲＤＣＭ−８０２を採用できる。同様に傾斜センサ３も使用者自身の視線の俯角、仰角を検出する必要があるため、ＨＭＤ４に取り付けたり、使用者にかぶらせる帽子を用意し、それに取り付けたりする。この傾斜センサ３には、例えばアナログデバイセス社のＡＤＸＬ−２０２を採用できる。さらにＨＤＭ４としては、単眼で見るものの方が適しており、開いているもう一方の目１１では現実の景色等を見て使用者の頭の中で実視界と仮想画像とを重ねて見えるように使う。符号１０は携帯可能な小型コンピュータで成るシステム本体であり、上記ＧＰＳセンサ１、方位センサ２、傾斜センサ３は例えばＵＳＢポート、ＩＥＥＥ１３９４ポート等の入出力ポートを利用して接続し、ＨＭＤ４はデジタル画像出力ポートあるいはアナログ画像出力ポートを利用して接続している。視野倍率調整部９は調整ダイヤル１２を備えていて、使用者が手動調整できるように調整ダイヤル１２を回転操作すればその回転角度を拡大／縮小率に換算し、表示画像をそれに応じて拡大縮小処理を行う。

次に、上記構成の実視界・空間座標同期システムの動作を説明する。図２は本実施の形態の実視界・空間座標同期システムの動作のフローチャートである。ＧＰＳセンサ１は当該システムを利用する人の現在地の北緯、南緯、東経、西経の緯度θ、経度ζ及び標高ｚを含む地理地点情報Ｐ（θ，ζ，ｚ）を取得し、視界演算部６へ取得した地理地点情報を出力する（ステップＳＱ１）。方位センサ２は当該システムを利用する使用者の顔が向いている方向Ｄの方角βを取得し、視界演算部６へ取得した情報を出力する（ステップＳＱ２）。傾斜センサ３は当該システムの使用者の視線Ｅの仰角・俯角αを検出して視界演算部６へ出力する（ステップＳＱ３）。

システム本体１０の視界演算部６では、これらＧＰＳセンサ１、方位センサ２、傾斜センサ３の入力Ｐ（θ，ζ，ｚ）、α、βを受け付け、これらの情報を解析して、当該システムの使用者の視界を求めて地図情報取出し部７に出力する。図３に示したように、ここで求める視界１５は、標準的な人の目１１に対するものであり、その中心線（視線Ｅ）が検出した方角βと仰角又は俯角αとであり、その視線の回りに標準的な人の目１１で見える視野１５を設定したものである。また視野１５内の符号１６は、人の目で見た実景を示している（ステップＳＱ４）。

地図情報取出し部８では、視界演算部６から入力された地点・視野情報Ｐ（θ，ζ，ｚ）、α、βに基づいて、地図情報データベース５から対応する地域の地図情報を、地図文字情報を含めて取り出す（ステップＳＱ５）。なお、地図文字情報には、地図の種類に応じて異なり、本実施の形態のような地理地図では地名、史跡、建造物名、山名、川名等のキャプションであり、それが正座地図であれば星名、星座名、黄道等のキャプションとなる。

次に、３次元地図生成部にて視野に相当する地域の地図情報から３次元地図表示処理によって図４に示した３次元地図１７を生成する（ステップＳＱ６）。この３次元地図表示処理には、市販されている種々のソフトウェアのいずれかを利用している。例えば、ＭａＰｉｖｉ（商品名）、ＵｒｂａｎＶｉｅｗｅｒ（商品名）、３ＤＳｔｕｄｉｏＭａｘ（商品名）、Ｍａｙａ（商品名）、ＭａｔｒｉｘＥｎｇｉｎｅ（商品名）等である。尚、ソフトウェアは特に限定されず、自作ソフトウェアであってもよい。本願出願人らは、ジオコンポ（商品名）を使用した。文字情報を該当箇所に書込む処理も行う（ステップＳＱ７）。ただし、ソフトウェアによっては３次元地図と同時に文字情報を書込むこともある。

こうして３次元地図１７が作成できれば、この３次元地図１７をＨＭＤ４に出力して表示させる。表示に際しては、実景１６と大きさが一致するように拡大率（縮小率）を予め調整してあり、図５に示すように実景１６と３次元地図１７とがほぼ大きさが一致し、人の両眼の本来の生理的な作用によって両像が重なって見え、山、平野、建造物、公園との視野１５内の主立った自然物、構造物等をキャプション１９によって明示されることになる（ステップＳＱ８）。

なお、上記実施の形態では、傾斜センサをも採用し、方位センサの検出した方位と傾斜センサの検出した仰角又は俯角とを用いて、使用者の視線の方向を決定し、視角をも決定し、その視角に応じた仮想３次元地図をＨＭＤに表示させるようにしたが、よりシステムを簡単にするために、傾斜センサを省略することができる。その場合、方位センサで求めた視線の向く方角とＧＰＳセンサの求めた地理上の地点及び高度において、使用者が現在地点で水平な視線で見えるような３次元地図をＨＭＤに表示し、肉眼と対比させるようにしてもよい。この場合、仮想地図と現実の景色との上下方向の差違は使用者が顔を上下方向に移動させて両像が重なるようにして使用することになる。

図６の写真は実験的に作成した本発明の実施例の実視界・空間座標同期システムの使用者の頭部への装用部材を示し、図７は使用者に装用させた状態を示している。なお、今回、システム本体であるコンピュータは使用者に背負わせている。各部品を所定の場所に主着すべくヘルメット２１を利用した。またセンサ電源の必要に応えるために太陽電池２２も用意した。

この実施例品を携帯して実際に山岳登山し、見晴らしの良いところで使用した時の実映像が図５に示すものであった。実際に遠方の景色がＨＭＤ４内の３次元地図画像と重なって見え、文字情報を読みことによって山名、川名、平野名等を容易に確認することができる。

本発明の一つの実施の形態の実視野・空間座標同期システムのブロック図。 上記実施の形態による実視野・空間座標同期処理のフローチャート。 上記実施の形態において、実視野の決定処理の説明図。 上記実施の形態によって作成された３次元地図画像図。 上記実施の形態による実視野・空間座標同期処理の説明図。 本発明の実施例システムのセンサ群及びＨＭＤの写真。 上記実施例システムの装用状態の写真。

符号の説明

１ ＧＰＳセンサ
２ 方位センサ
３ 傾斜センサ
４ ヘッドマウントディスプレイ（ＨＭＤ）
５ 地図情報データベース
６ 視界演算部
７ 地図情報取出し部
８ ３次元地図生成部
９ 視野倍率調整部
１０ システム本体
１１ 目
１２ 視野倍率調整ダイヤル
１５ 視野
１６ 実景
１７ ３次元地図画像
１８ 実視画像
２１ ヘルメット
２２ 太陽電池

Claims (4)

1. ヘッドマウントディスプレイと、
   現在の存在地点の経緯度情報と標高情報とを検出するＧＰＳセンサと、
   現在の視線方位を検出する方位センサと、
   地形情報と地名文字情報とを含む地図情報を保存する地図情報記憶手段と、
   前記ＧＰＳセンサの検出した経緯度情報及び標高情報により地理上の現在地点を決定し、当該地理上の現在地点の情報と現在地点の前記方位センサの検出した視線方位との情報に基づいて現在の視界を決定する視界決定手段と、
   前記視界決定手段の決定した視界情報に基づき、前記地図情報記憶手段に保存されている地図情報から当該地理上の現在地点からの視界に相当するエリア内の地図情報を取り出す地図情報取出し手段と、
   前記地図情報読出し手段の読み出した前記視界に相当するエリア内の地図情報を３次元画像に生成し、前記ヘッドマウントディスプレイに等倍で表示させる３次元地図画像生成手段とを備えた実視界・空間座標同期システム。
2. ヘッドマウントディスプレイと、
   現在の存在地点の経緯度情報と標高情報とを検出するＧＰＳセンサと、
   現在の視線方位を検出する方位センサと、
   現在の視線の仰角または俯角を検出する傾斜センサと、
   地形情報と地名文字情報とを含む地図情報を保存する地図情報記憶手段と、
   前記ＧＰＳセンサの検出した経緯度情報及び標高情報により地理上の現在地点を決定し、当該地理上の現在地点の情報と、現在地点の前記方位センサの検出した視線方位及び前記傾斜センサの検出した視線の仰角または俯角との情報に基づいて現在の視界を決定する視界決定手段と、
   前記視界決定手段の決定した視界情報に基づき、前記地図情報記憶手段に保存されている地図情報から当該地理上の現在地点からの視界に相当するエリア内の地図情報を取り出す地図情報取出し手段と、
   前記地図情報読出し手段の読み出した前記視界に相当するエリア内の地図情報を３次元画像に生成し、前記ヘッドマウントディスプレイに等倍で表示させる３次元地図画像生成手段とを備えた実視界・空間座標同期システム。
3. 前記３次元地図画像生成手段は、前記地名文字情報を地図情報よりも明るく表示できる態様で前記３次元画像を生成することを特徴とする請求項１又は２に記載の実視界・空間座標同期システム。
4. 前記３次元地図画像生成手段は、前記３次元画像の拡大、縮小を行う視野倍率調整手段を備えたことを特徴とする請求項１〜３のいずれかに記載の実視界・空間座標同期システム。