JP2004213662A - 複数のイメージからマルチ分解能イメージを生成する方法 - Google Patents

複数のイメージからマルチ分解能イメージを生成する方法 Download PDF

Info

Publication number
JP2004213662A
JP2004213662A JP2003435308A JP2003435308A JP2004213662A JP 2004213662 A JP2004213662 A JP 2004213662A JP 2003435308 A JP2003435308 A JP 2003435308A JP 2003435308 A JP2003435308 A JP 2003435308A JP 2004213662 A JP2004213662 A JP 2004213662A
Authority
JP
Japan
Prior art keywords
images
image
resolution
tile
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003435308A
Other languages
English (en)
Other versions
JP4511825B2 (ja
Inventor
Hauke Schmidt
シュミット ハウケ
Toulin Chen
チェン トウリン
Aaron Lee
リー アーロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2004213662A publication Critical patent/JP2004213662A/ja
Application granted granted Critical
Publication of JP4511825B2 publication Critical patent/JP4511825B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】移動体のための3次元ビジュアルナビゲーションにおいて、どのような視点からも高度なディテールで移動体観察者の周囲環境をリアルにレンダリングし、さらにルートガイダンスや表示されるオブジェクトに適したリファレンス情報などのようなナビゲーション支援も提供する。
【解決手段】複数のイメージからマルチ分解能イメージを生成する。これら複数のイメージには第1の分解能をもつ第1のイメージと第2の分解能をもつ第2のイメージが含まれている。これら複数のイメージの第1のおよび第2の分解能に対し第1および第2の混合係数を割り当てる。第1のイメージと第2のイメージとそれらの固有の第1および第2の混合係数との乗算結果の重みづけられた和を計算する。そして第1および第2のイメージの重みづけられた和に基づきマルチ分解能イメージを生成する。
【選択図】図3

Description

本発明はナビゲーションシステムに関する。さらに詳しくは本発明は、移動体ナビゲーションのために地理的に参照されるデータを視覚的に表示するためのシステムおよび方法に関する。これにはグラフィックランドマークオブジェクトを要求に応じてロードする階層的方法と、局所的な地理的周囲環境をいっそう効率的かついっそう精密に描画するためのマルチ分解能イメージ合成方法に関する。
定位置の観察者の視野で(観察者により選択されたある特定の視点から)局所的な地理的環境の外観を精密に視覚的にレンダリングするためにコンピュータグラフィックソフトウェアを使用すること自体そもそも難しい課題であり、その理由は観察者の視点に応じてシーンを再構成する問題に加えて、あるシーンの様々な構造やグラフィックスのディテールを精確にシミュレートするのが難しいからである。それにもかかわらず、現在開発中の最新のビジュアルナビゲーションシステムはグラフィックソフトウェアに対しさらにいっそう高い要求を課している。その目的は、ナビゲート支援として用いるために移動中の観察者の視覚的な周囲環境を精確にシミュレートすることである。たとえば車両内のドライバなどのような移動中の観察者の局所的な地理的周囲環境をリアルタイムで描画するレンダリングソフトウェアを使用することが、定位置の観察者の周囲環境のレンダリングよりもはるかに難しいのは明らかである。その理由は、観察者のロケーションが変わるとその視野範囲内の地理上のオブジェクトおよびそれらのオブジェクトの外観が変化し、それによって連続的に更新を行うメカニズムが必要になるからであり、このメカニズムによって新たなグラフィックオブジェクト(局所的な「関心地点 point of interest」)、構造、特徴、視界ならびにその他のリファレンスデータをただちにダウンロードして精確にレンダリングし、ナビゲートされる局所的な周囲環境に関する情報を提供できるようにする必要がある。
現在一般にいくつかのビジュアルナビゲーションシステムによればユーザの入力をベースとしたリアルな周囲環境を3次元で視覚化しているけれども、それらのシステムは移動体のナビゲーションをサポートしておらず、したがってナビゲーション支援用のルートガイドアプリケーションを提供していないし、あるいはレンダリング可能な視点または表示可能なグラフィカルな特徴項目の点に関して制限されている。
したがって本発明の課題は、自動車ナビゲーションシステムまたはパーソナルディジタルアシスタント(PDA)などのようなモバイルユニットのためのビジュアライゼーションシステムにおいて、どのような視点からも高度なディテールで移動体観察者の周囲環境をリアルにレンダリングし、さらにルートガイダンスや表示されるオブジェクトに適したリファレンス情報などのようなナビゲーション支援も提供することにある。
上記の課題を解決するため本発明によれば、移動ユニットのために3次元ビジュアルナビゲーションを行うシステムが提供される。このシステムには、移動ユニットの瞬時のポジションを計算するロケーション計算ユニットと、移動ユニットの瞬時のポジションに基づきビュー円錐台を決定するビューポイントコントロールユニットと、少なくとも1つの地理データベースと共働するシーングラフマネージャと、シーングラフを3次元描画としてリアルタイムにグラフィックでレンダリングするシーングラフレンダラとが含まれている。この場合、シーングラフマネージャはビュー円錐台に対応づけられたグラフィックオブジェクトデータを少なくとも1つの地理データベースから取得し、取得した地理オブジェクトデータを編成するシーングラフを生成する。
描画のリアリズムを高めるため、本発明によればビュー円錐台に適した種々の分解能のイメージを混合する方法が提供され、これによって結果として得られる描写において滑らかでなく急峻な変化が生じるのが抑えられ、さもなければこのような変化は移動ユニットが描画された地理エリアに向かって近づいたり、あるいはそこから遠のいたりしたときに引き起こされてしまう。
これに加えてナビゲーションのビジュアライゼーションの効率を高めるため本発明によればさらに、地理的なランドマークオブジェクトまたはPOI(Points of Interest 関心地点)に関する情報の格納およびランタイムアクセスのためのデータ構造も記述される。このデータ構造により、ビュー円錐台および/またはユーザリクエストに基づいてオブジェクトを要求に応じてロードすることができる。さらにこのデータ構造によってロード時間、所要メモリ、処理要求ならびにディスプレイレンダリングリソースを最小限に抑えることができ、このことは移動ユニットのユーザに見えるおよび/または関心のあるオブジェクトだけをシステムが要求に応じてダイナミックにロードできるようにしたことによって達成される。
本発明によるシステムにより、移動体のナビゲーション、オリエンテーションならびにリファレンスのため地理エリアを任意の視点から3次元グラフィックスでビジュアライゼーションするシーケンスが生成される。グラフィックビジュアライゼーションまたはレンダリングには、局所的な地理情報を得ることのできるあらゆる形式の表現を含めることができる。そのようなデータには(以下のものに制約されるわけではないが)衛星や空中からのビューイメージまたは地上におけるビューイメージ、ディジタルロードマップ、建物の幾何学的モデル、風景の構造的記述を含めることができるし、さらにはガソリンスタンドやホテルなどのような描写周囲環境における特徴項目や建物を記述するあらゆる種類の識別情報、あるいは交通情報や天候条件ならびに日照時間などのようなダイナミックなデータを含めることもできる。
図1aおよび図1bには、局所的な周囲環境の変化をレンダリングするために情報パラメータをどのように使用するのかが観察者の視点(配向ないしはオリエンテーション)とともに示されている。図1aの場合、「北」に向いた観察者5はビジョンAの2次元フィールドをもっており、これはオブジェクト7,8,9を含むほぼ円錐形のエリアである。ビジョンAのフィールドにより3次元の「ビュー円錐台」が決定され、これには観察者が知覚可能な3次元スペースがすべて含まれている。ビュー円錐台15内の各オブジェクトは、遠近法ないしは透視画法とヒューマンビジョンとグラフィック描画の周知の規則に従い(平面A′−A″で表された)2次元ビュー上に投影される。観察者5が小さい角度で「西」に向きを変えたとき観察者のビュー水平線によって、ビジョンAフィールドの一部分とオーバラップした新たなビジョンBフィールドが取り囲まれ、変更されたビュー円錐台16が定義される。新たなビュー円錐台16には新たなオブジェクト10が含まれている一方、オブジェクト7は新たなビュー円錐台の外側にあり、もはや見えない。
したがって観察者の向きが変わったときにその周囲環境を適切にレンダリングするために、レンダリングシステムは以前にはレンダリングされていなかった(オブジェクト10に関する)新たなデータを取得してレンダリングする必要があり、さらに以前には取得されておりレンダリングされていた(オブジェクト7に関する)データを除く必要がある。このようにしてシステムは連続的な流れの中で、新たな情報をダウンロードし「古い」データを取り除くことになる。地理的グラフィックデータ量は一般に、たいていのビジュアルナビゲーションシステム用のオンボードメモリリソースの容量をはるかに上まわるので、オフボードデータベースリソースへ高速かつ効率的にアクセスできるようにすることがシステムにとって不可欠であり、そのようにすることで非常に広範囲にわたって観察者の見たものとできるかぎり整合する連続的なシーケンスをリアルタイムにレンダリングするために、新たなデータを即座にダウンロードすることができるようになる。高度なリアリズムを達成するためにビジュアライゼーションシステムは毎秒60回に及ぶ更新レートでビジュアライゼーションをアップデートし、これは人間の目にシームレスかつ即座に現れる変更を生成するのにほぼ十分である。
図2a、図2b、図2cには、観察者が描写されたルートに沿って移動したときの大都市の周囲環境に対する3つのシーケンシャルな3次元のレンダリングが示されており、これには本発明によるビジュアルナビゲーションシステムが観察者の動きをどのように考慮するのか、それに従いビジュアライゼーションをどのように更新するのかが示されている。図2aには、緑色の三角形で表されたモバイルユニット200のロケーションをベースとしたある大都市エリアの1シーンの俯瞰図レンダリング "helicopter" view rendering が描かれている。図示されているように自動車に組み込み可能なモバイルユニットは、道路201に沿って前景の(左側に示された)建物203,204と(右側に示された)建物205との間を移動して橋に近づいていく。この描写には、この橋を"James Monroe"橋と同定するリファレンステキストも含まれている。複数の橋を含む背景セクション207は橋215の遠端に位置している。地理上の北の方角を指す黄色い三角形のコンパスが、モバイルユニット200の真上の最上部に示されている。さらに事前に選択された目的地までの提案ルートが青い曲線210として表されている。
モバイルユニット200は提案ルート210に沿って橋215に向かって前進し、図2bに表されているように局所的な周囲環境のグラフィックレンダリングが僅かに変化している。この図からわかるようにモバイルユニット200の描出は前進しており、背景セクション207が僅かに大きくなっていて、建物203〜205も遠近法ないしは透視画法の規則に応じて比例して拡大している。図2Cに示されているようにモバイルユニットはさらに橋215に向かって前進し、前景203〜205と背景207の建物はさらに拡大している。これに加えて建物205の一部分は以前は視野から隠されていたけれどもいまや姿を現し、建物203は姿を消し、このようにして観察者がルート210に沿って前進したときに見えるであろうものがシミュレートされる。
図3には、本発明の実施形態による先進的な3次元ビジュアライゼーションのためのナビゲーションシステムのブロック図が示されている。ナビゲーションシステム25には、モバイルユニットと同じ場所に配置されたオンボードコンポーネント30と、地理データベース("geo-database")61,62などのように遠隔配置されたオフボードコンポーネントの双方が含まれている。なお、地理データベース61,62は2つの別個のユニットとして描かれているけれども、それらが同じ場所または別の場所に配置されナビゲーションシステムのオンボードコンポーネント30からアクセス可能な任意の個数のデータベースを表すものであるのは自明である。地理データベース61,62には様々な地理エリアに関する大量のデーが含まれており、これにはマップ情報、地理的および構造的なグラフィック情報ならびに識別情報が含まれている。ただしこれに対する代案として地理データベース各々に、他のデータベースに物理的に格納されているグラフィック情報に関する参照またはメタデータだけを含めるようにしてもよい。このようにすればある特定のデータベースをその他のデータベースをアクセスするためのディレクトリサーバとして機能させることができ、ある特定の地理エリア内に位置する所定のタイプのオブジェクトたとえばレストランなどのような情報を提供するために、効率的な問い合わせを行うことができるようになる。次に、データに対する能率的なアクセスのために地理データベースのメタデータを使用することについて詳しく説明する。
ビジュアルナビゲーションシステム25にはロケーション計算ユニット35が含まれており、これはローカルメモリに格納され(観察者のポジションにあるものとする)モバイルユニットのマイクロプロセッサ上で実行されるプログラムとしてインプリメントすることができる。ロケーション計算ユニット35はポジションセンサ40から入力を受け取り、それらの入力情報に基づきデカルト座標(x,y,z)空間内でモバイルユニットの瞬時のポジション(座標)を計算する。1つの実施形態によればポジションセンサ40には、「絶対的」ポジション情報を供給するGPS受信機と、直線加速度と角速度を供給する慣性センサの双方が含まれており、直線加速度と加速度からは積分により「相対的」ポジション情報を計算することができる。これに対する代案としてまたはこれに加えて、ポジションセンサ40に車輪速度センサなどのような走行距離センサを設けてもよい。回転運動に応答する適切な慣性センサを装備すれば、ロケーション計算ユニットは瞬時の配向を計算することもできる。
ロケーション計算ユニット35はモバイルユニットの計算されたポジション(および場合によっては配向)をビューポイントコントロールユニット45へ供給し、このユニットはポジション情報と配向情報を使用してレンダリングすべきビュー円錐台の境界を決定する。ビューポイントコントロールユニット45はユーザ入力モジュール50およびルート計算モジュール52の作用を受け、そこから入力を受け取り、これによって機能強化が得られる。たとえばキーパッドやボタンコントロールなどのユーザ入力モジュール50を介して、ビジュアライゼーションシステムのユーザはビューモードを変更してズームイン/ズームアウトすることができるし、あるいは観察ピッチ角度を変更することができる。これに加えてユーザは、ビジュアライゼーションのための様々なロケーションと配向パラメータを指定する目的で、ユーザ入力50をロケーション計算ユニット35に対し優先させることができる。
また、ユーザはユーザ入力50を介して観察ビューポイントモードを選択することもできる。1つのモードの場合、レンダリングされるビューポイントによりヘリコプタービュー helicopter view すなわち俯瞰を表すことができ、このビューはヘリコプターが自動車を追跡するようなやり方で、まえもって決められた所定の距離と角度でモバイルユニットのロケーションを追従する。別のモードの場合にはビューポイントにより、バーチャルシーンが観察者の眺めるシーンと整合するようモバイルユニットのポジションおよび機首方位をそのまま反映することができる。この場合、選択されたモードによってビューポイントコントロールユニット45により計算されたビュー円錐台に作用が及ぼされる。
(図示されているように)ルート計算モジュール52がシステムにインストールされていれば、選択されたルートに沿って判断ポイント(交差点など)のようなルート情報を与えることができる。ユーザ入力50を介してプレビューモードが選択されると、ルート計算モジュール52からビューポイントコントロールユニット45への判定ポイント情報の伝送によって、接近する判定ポイントへ向かうビューポイントをトリガすることができ、そのようにすれば接近するルートセクションのビジュアライゼーションが、移動ユニットがそのセクションに到着する前にプレビューとしてユーザに表示されるようになる。
ビューポイントコントロールユニット45が現在選択中のビューモードに従いビュー円錐台を決定した後、ビュー円錐台座標がシーングラフマネージャモジュール55に供給され、これによってデータストレージオブジェクトが作られてアクセスが行われる。シーングラフマネージャモジュール55は、「シーングラフ」と呼ばれる現在のシーンに描かれるべきオブジェクトのすべての構造化された記述を保持する。シーングラフマネージャ55は、ビューコントロールユニット45から受け取ったビュー円錐台に基づき関心地理エリアを決定し、その後、この地理エリア内に位置するオブジェクトについて地理データベース61,62に問い合わせる。新たなオブジェクトがシーングラフに組み込まれる一方、関心地理エリア内にもはや位置していないオブジェクトはシーングラフから取り除かれる。ユーザ入力モジュール50を介して入力されるユーザ入力を、シーングラフマネージャ55がシーングラフ中に含んでいるオブジェクトのタイプをフィルタリングしたり選択したりするために使用することができる。たとえばユーザは、レストランだけしか描写されないように指定することができる。このときシーングラフマネージャは問い合わせを行い、その判定基準にマッチするオブジェクトをシーングラフに加える。これに加えてシーングラフには、移動ユニット自身を表すオブジェクトが連続的に含まれる。
ロード時間、所要メモリ、処理要求ならびにリソースをレンダリングする表示を最小限に抑える目的でシーングラフマネージャ55は要求に応じて、ユーザが見ることのできるおよび/またはユーザに関心のあるデータストレージオブジェクトのみを、および固有のディテールレベルに関連するデータストレージオブジェクトのみを、地理データベース61,62からダイナミックにロードすることができる。この情報を得るために地理データベース6,62に問い合わせを行う目的で、シーングラフマネージャ55はオブジェクトデータのオンデマンドロードのための階層的方法を採用しており、これは効率的なアクセスができるようオブジェクトデータを編成するために特別に定義されたデータ構造を使用する。
本発明の1つの実施形態によれば、ランドマークオブジェクトをオンデマンドでロードするためのガイドとして2つのデータ構造を使用することができる。1つめのデータ構造はリソースインデックスファイル Resource Index Fileあるいは略してRIFファイルと呼ばれ、これにはランドマークオブジェクトのメタデータ "meta-data" を格納することができる。2つめのデータ構造はディテールレベルファイル Level of Detail File あるいは略してLODファイルと呼ばれ、これにはランドマークオブジェクトに関する「実際のデータ」を多数のディテールレベルで格納することができる。RIFファイルおよび/またはLODファイルを、たとえば記憶媒体および/またはコンピュータメモリに記憶させることができる。
RIFファイルに格納されているメタデータは、特定のビューポイントにおいてどのリソースを見えるようにするかの決定ならびにそのディテールレベルの決定にあたりシーングラフマネージャを支援することができる。メタデータのサイズを実際のデータに比べて小さくすることができる。したがってメタデータを実際のデータから分離することにより、所要メモリ、プロセス要求ならびにアプリケーションの最初のスタートアップ時間を著しく減らすことができる。なぜならば実際のデータをそれが要求されるまでロードする必要がないからである。たとえばナビゲーションシステムの初期化フェーズ中にRIFファイルを読み込んで、どのリソースをシステムメモリにロードする必要があるのかを、実際のデータをロードすることなく決定できる。ランタイム中、シーングラフマネージャはRIFファイルに格納されている情報に基づきLODファイルを介して実際のデータにアクセスすることができる(つまりRIFファイルに格納されているメタデータは、実際のデータのどの部分をシステムメモリにロードすべきであるかのディレクトリとして用いることができる)。
LODファイルに格納されている実際のデータによれば、多様な分解能でシステムのリソースに関する情報を表すことができる。一般に実際のデータをリーフノードとして階層ツリー構造の中間レベルではないレベルにおいてしか格納できない慣用のシステムとは異なり、LODファイルによれば中間ノードにもデータを格納することができる。このようにして階層ツリー構造によれば、所定のビューポイントコンフィギュレーションにおいて特定の分解能に関して要求されたデータをいっそう選択的にロードできることから、マルチ分解能情報をアクセスするためにいっそう適した構成が得られる。たとえば10000ftのビューポイントにおける100mの分解能構造を1mの分解能よりもいっそう迅速に選択することができる。その理由は、データの構成ゆえに不必要な移動を回避できるからである。このように階層ツリー構造のすべてのレベルの中に分散するようデータを配置させることにより、要求された分解能に対しいっそう好適かつ効率的なデータアクセスを達成することができる。
図4aにはランドマークオブジェクト101〜105の抽象表現が示されており、これは破線110により区切られた2次元のエリア内に地理的に分散されている。この境界内のエリアには座標X,Y,X′,Y′が引かれている。詳しく説明すると、座標XとYは互いに交差して境界内エリア110は4つの象限に分けられており、つまり第1象限I、第2象限II、第3象限III、第4象限IVに分けられている。座標X′,Y′は座標X,Yと交差しており、これにより4つの象限のうちの2つが分割されて部分象限が形成されている。たとえば座標Y′は座標Xと交差して、象限IIIが部分象限IIIと部分象限IIIに分割されている。座標X′は座標Yと交差して、象限IVが部分象限IVと部分象限IVに分割されている。
境界内エリア110を象限I〜IVと部分象限III,III,IV,IVに分割することで、ランドマークオブジェクト101〜105のロケーションをいっそう精密に記述できるようになる。図4aに示されているように、ランドマーク(地理)オブジェクト101は第1象限I内に配置されており、ランドマークオブジェクト102は部分象限IIIに、ランドマークオブジェクト103は部分象限IIIに、ランドマークオブジェクト104は部分象限IVに配置され、さらにランドマークオブジェクト105は部分象限IVに配置されている。
ランドマークオブジェクト101〜105のロケーションの記述は、1つの「ルートノード」と複数の「ブランチノード」ならびに「リーフ」をもつ「ツリー」構造として表すことができる。ブランチノードは境界内エリア110の空間的分割を表すことができ、リーフはランドマークオブジェクト101〜105を表すことができる。殊にブランチノードとリーフを階層的に配置することができ、つまりブランチノードをルートノードまたは他のブランチノードの「子」として配置することができ、リーフをブランチノードの「子」として配置することができる。
図4bにはツリー構造150の1つの実施形態が示されており、これによれば境界エリア110の空間的分割も境界内エリア110におけるランドマークオブジェクト101〜105のロケーションも表される。ツリー構造150には、ルートノード140と4つのブランチノード141〜144と5つのランドマークオブジェクト101〜105が含まれている。これらルートノード140とブランチノード141〜144と5つのランドマークオブジェクトは階層状に配置されている。詳しくはルートノード140はツリー構造150の「ベース」または「ルート」の部分に配置され、ブランチノード141〜144はルートノード140の「子」として、さらに5つのランドマークオブジェクト101〜105は「リーフ」として配置されている。これに加えて5つのランドマークオブジェクト101〜105はブランチノード141〜144の「子」として配置されている。たとえばランドマークオブジェクト101はブランチノード142の子として配置されており、ランドマークオブジェクト103と102はブランチノード144の子として配置され、さらにランドマークオブジェクト104と105はブランチノード141の子として配置されている。
このようのツリー構造150の階層構成によって、たとえばナビゲーションシステムにおいて役立たせることのできるデータ構造を作るための適切な枠組みを提供することができる。殊にツリー構造150の階層構成は簡単に生成し解釈し進路決定できる。さらにツリー構造150の階層構成によって「クイックリジェクション」テストを実行できるようになり、その際、ツリーにおいてあるブランチノードのところにあるランドマークがナビゲーションのビュー円錐台の外側になったならば、そのブランチノードを「摘み取る」ことができる。たとえばナビゲーションシステムのユーザが第1象限Iに位置すると思われるならば、ランドマークオブジェクト101がユーザビュー円錐台の中にあると推定できる一方、ランドマークオブジェクト102〜105はユーザのビュー円錐台の外側にあると推定できる。このようにして、第1象限Iに関連づけられたブランチノードすなわちブランチノード142をロードすることができるのに対し、他のブランチノードすなわちブランチノード141,143,144は「摘み取る」ことができ、そのあとで訪れる必要がなくなる。したがってツリー構造150の階層構成により、要求があったときに実際のデータ(ランドマークオブジェクトまたは関心地点 Points of Interest POI)を目下のビューまたはユーザのリクエストに応じてロードできるようになる。
本発明の1つの実施形態によれば、ツリー構造150の各ノードはシステムの地理エリアに関する情報を提供することができる。たとえばツリー構造150の各ノードを「境界ボックス」"bounding box"(すなわち境界内エリア、象限、部分象限等)に関連づけることができ、これらを1つまたは複数の「タイル」により分割することができる。ここで1つのタイルは、1つの境界ボックス内の特定のロケーションに対するフィーチャおよび関連データのセットを含む論理単位である。フィーチャにはたとえば道路標識、ビルディングあるいは空中写真などを含めることができる。また、関連データにはタイル内の各フィーチャの記述を含めることができる(たとえばビルディングの多角形の個数、各多角形の面の個数ならびにそれらのx、y、z座標など)。
図5aには、境界ボックスとタイルとの間の「ネストされた」関係が示されている。図5aには、ナビゲーションシステムの地理的に区切られた2次元エリアの抽象表現250の一例が描かれており、これによれば境界ボックスとタイルとの間のネストされた関係が描かれている。境界ボックス1によりシステム全体における北、南、東、西の境界が定義されている。この場合、境界ボックス1がその中に境界ボックス2〜6が含まれるよう分割され、さらに各境界ボックスには1つまたは複数のタイル境界ボックスが含まれている。たとえば境界ボックス2にはタイルボックス2が含まれており、境界ボックス3にはタイルボックス3が含まれており、境界ボックス4にはタイルボックス4が含まれており、境界ボックス5にはタイルボックス5とタイルボックス6が含まれており、さらに境界ボックス6にはタイルボックス7が含まれている。
図5bには、図5aにおけるネストされた境界ボックスの関係を表す階層ツリー構造260が示されている。ツリー構造260にはノードN1〜N6が含まれており、各ノードには固有の境界ボックス1〜6が対応づけられている。たとえばノードN1には境界ボックス1が対応づけられており、ノードN2には境界ボックス2が、ノードN3には境界ボックス3が、ノードN4には境界ボックス4が、ノードN5には境界ボックス5が、さらにノードN6には境界ボックス6がそれぞれ対応づけられている。ノードN1〜N6は階層構造で配置されており、これによって境界ボックス1〜6のネストされた関係が表されている。たとえばノードN1はツリー構造260のベースまたはルートのところに配置されており、これは対応づけられた境界ボックス1がナビゲーションシステムの地理エリア全体を取り囲んでいることを表している。さらにノードN2,N4,N5,N6はルートノードN1の「子」として配置されており、このことで対応づけられている境界ボックス2,4,5,6が境界ボックス1内に位置することが表されている。さらにノードN3はノードN2の子として配置されており、このことで対応づけられている境界ボックス3が境界ボックス2の中に位置することが表されている。
ノードN1〜N6各々は1つまたは複数の配属されたタイルTILE1〜TILE7を有しており、これは配属された境界ボックスTILE Bbox1〜TILE Bbox7のネストされた関係を表している。たとえばTILE1はノードN1に配属されており、これは配属されたTILE Bbox1が境界ボックス1内に位置していることを表しており、TILE2はノードN2に配属されており、これは配属されたTILE Bbox2が境界ボックス2内に位置していることを表しており、TILE3はノードN3に配属されており、これは配属されたTILE Bbox3が境界ボックス3内に位置していることを表しており、さらにTILE4はノードN4に配属されており、これは配属されたTILE Bbox4が境界ボックス境界ボックス4内に位置していることを表し、TILE5とTILE6はノードN5に配属されており、これは配属されたTILE Bbox5とTILE Bbox6が境界ボックス5内に位置している子を表し、TILE7はN6に配属されており、これはTILE Bbox7が境界ボックス6内に位置していることを表している。
タイルに関するフィーチャセットならびに関連づけられたデータすなわちタイルデータは、タイルのディメンションおよび/またはツリー構造の親子関係を表すデータとは別個に保有しておくことができる。このようにフィーチャ関連のデータ(実際のデータ)を階層的なデータ(メタデータ)と分離することで、パフォーマンス全体にわたり改善がなされる。殊にこの分離によって、ユーザが見ることのできる空間内における拒否/受諾を迅速に行えるようになる。たとえばタイルに関連づけられたメタデータが東西南北の境界を規定する4つの番号によって指定される境界ボックスを含んでいるならば、交差またはオーバラップをただちに判定することができる。このようにして、含まれている可能性のあるフィーチャ各々を調べることなくタイルを受諾または拒絶することができる。したがってタイルのフィーチャがナビゲーションのビジョンにおいてフィールド内にあるのかフィールド外にあるのかを判定する目的で、それらのフィーチャを調べる必要がない。さらに実際のデータの変更がメタデータのインデックス化に影響を及ぼす可能性もない。それというのも実際のフィーチャデータはメタデータとは無関係だからである。
本発明の1つの実施形態によれば、メタデータと実際のデータの分離を2つのデータ構造すなわちリソースインデックスファイル Resource Index File (RIF) とディテールレベルファイル Level of Detail (LOD) File によってインプリメントすることができる。
次のテーブル1はRIFファイルのフォーマット例を表している:
テーブル1に示されているように、RIFには[URL」フィールドと「ディメンション」フィールドと「Bbox」フィールドと「タイル」フィールドと「N子」フィールドを含めることができる。URLフィールドはRIFファイルのロケーションを定義する文字列であり、このファイルはローカルファイルまたはリモートオブジェクトとすることができる。ディメンションフィールドは、2次元ロードマップを表す「2」であるかまたは3次元ロードマップを表す「3」とすることができる。Bboxフィールドには浮動小数点数のリストが含まれており、これによって配属されたノードについて境界ボックスの各ディメンションにおける上方境界と下方境界が定義される。タイルフィールドは1つの数字およびそれに続く一連の組から成り、この数字は配属されたノードに関するタイルの量を表し、一連の組には各タイルについての「タイルID」と「Bbox」が含まれている(したがって境界ボックスは個々のタイルベースで定義される)。N子フィールドは1つの数字およびそれに続く一連の組から成り、この数字は配属されたノードに関連づけられた子の量を表し、一連の組にはBboxフィールド、タイルフィールド、N子フィールドが含まれていて、これにより子それぞれの境界ボックス、配属されたタイルおよび子の数が再帰的に定義される。
図6aには、記憶媒体または記憶装置内のRIFファイルの物理的レイアウトが例示されている。RIFファイル300は一連の隣り合うバイトとして格納することができ、これはテーブル1に定義されているような構造に従い解釈することができる。たとえばURLフィールド301は記憶装置の最初の部分を占有し、ディメンションフィールド302は記憶装置の次の部分を占有し、これに続いて境界ボックスフィールド303、複数のタイルフィールド304、タイルのID/境界ボックスのペアのシーケンス305、さらには複数の子と境界ボックスとタイルフィールド306から成る再帰的なシーケンスがおかれる。
図6bには、図5bの階層ツリー構造260に従ったRIFファイルの内容350が例示されている。さらに詳しく説明するとこの内容350によって以下のことが指定される。すなわちRIFファイルは /bosch/resources/tiles のところにおかれていること、ナビゲーションシステムの境界ボックスは地理的なエリアを2次元で記述すること、ルートノードには境界ボックス1が対応づけられており、この境界ボックスはタイルID 1をもちタイルBbox1の配属された1つのタイルを含んでいること(#タイル=1)、ルートノードに4つの子が含まれていること(#子=4)、ルートノードの第1の子には境界ボックス2が対応づけられており、これはタイルID 2をもちタイルBbox2の配属された1つのタイルを含んでいること(#タイル=1)、ルートノードの第1の子は1つの子を含んでおり(#子=1)、これには境界ボックス3が対応づけられており、これはタイルID 3をもちタイルBbox3の配属されている1つのタイルを含んでいること(#タイル=1)、ルートノードの第1の子における子はさらに子をもっていないこと(#子=0)、ルートノードの第2の子には境界ボックス4が対応づけられており、これはタイルID=4をもちタイルBbox4の配属された1つのタイルを含んでいること(#タイル=1)、ルートノードの第2の子はさらに子をもっていないこと(#子=0)、ルートノードの第3の子には境界ボックス5が対応づけられており、この境界ボックスはそれぞれタイルID 5とタイルID 6をもちタイルボックスBbox5とタイルボックスBbox6の配属された2つのタイル(#タイル=2)を含んでいる。ルートノードの第3の子はさらに子を有していないこと(#子=0)、ルートノードの第4の子には境界ボックス6が対応づけられており、これはタイルID=7をもちタイルBbox7の配属された1つのタイルを含むこと(#タイル=1)、さらにルートノードの第8の子はさらに子をもっていないこと(#子=0)が指定される。
ディテールレベル(Level Of Detail, LOD)ファイルには、レベルの総数およびタイルの総数ならびに実際のデータをRIFファイル内の参照として定義可能なその他のデータに関する情報が格納されている。以下のテーブル2には、ディテールレベル(LOD)ファイルのフォーマットの一例が記述されている。
テーブル2に示されているように、LODファイルは「Nレベル」フィールド、「Nタイル」フィールド、「タイルデータ」フィールド、「フィーチャデータ」フィールドを含むことができる。Nレベルフィールドは、階層におけるレベルの総数を表す整数である。Nタイルフィールドは階層におけるタイルの総数を表す整数である。タイルデータフィールドは個別タイルデータのロケーションを格納する一連の組であって、各組にはフィーチャデータフィールド内の格納ロケーションを表すファイルポインタフィールドと、対応づけられたタイルのディテールレベルを表すディテールレベルフィールドと、対応づけられたタイルのタイル識別子とが含まれている。フィーチャデータフィールドはフィーチャの数およびそれに続いて個別フィーチャデータを定義する配列であって、個別フィーチャデータにはフィーチャID、複数の浮動小数点で表されるフィーチャサイズならびに実際のデータが含まれている。
図7aには、記憶媒体または記憶装置内のLODファイルの物理的なレイアウトが例示されている。LODファイル400は互いに隣り合うバイトのシーケンスとして格納することができ、これはテーブル2で定義されているような構造に従い解釈することができる。たとえばNレベルフィールド401は記憶装置の最初の部分を占有しており、Nタイルフィールド402は記憶装置の次の部分を占有しており、これに続いてタイルデータTDおよびフィーチャデータFDがおかれている。タイルデータTDにはフィーチャデータFDを指し示すファイルポインタフィールド(たとえばファイルポインタフィールド403およびファイルポインタフィールド430)が含まれており、これによって特定のタイルに対応づけられた特定のフィーチャに対しいっそう高速にアクセスできるようになる。
図7bには、図5bの階層ツリー構造260のタイル1〜タイル7に応じたLODファイルの内容450が例示されている。さらに詳しくいえば内容450によって以下のことが指定される。すなわちツリーデータ構造は3つのレベルをもつこと(Nレベル=3)、ツリー構造には全部で7つのタイルが含まれること(Nタイル=7)、タイルID=1をもつ1番目のタイルはレベル=0で現れ、ファイルポインタ1を介して第1のフィーチャリストF1を指すこと、タイルID=2をもつ第2のタイルはレベル=1で現れ、ファイルポインタ2を介してフィーチャリストF2を指すこと、タイルID=3をもつ3番目のタイルはレベル=2で現れ、ファイルポインタ3を介してフィーチャリストF3を指すこと、タイルID=4をもつ4番目のタイルはレベル=1で現れ、ファイルポインタ4を介してフィーチャリストF4を指すこと、タイルID=5をもつ5番目のタイルはレベル=1で現れ、ファイルポインタ5を介してフィーチャリストF5を指すこと、タイルID=6をもつ6番目のタイルはレベル=1で現れ、ファイルポインタ7を介してフィーチャリストF7を指すことが指定される。
RIFファイルとLODファイルのフレームワークによってパフォーマンスを改善することができる。地理データベースまたは記憶媒体から移動ユニットのローカルメモリリソースたとえばグラフィックメモリなどへのデータのスワップイン/スワップアウトを実行するために、効率的なページングメカニズムをサポートすることができる。これによりナビゲーションシステムにより要求される計算の複雑さを最小限に抑えることができる。たとえばRIFファイルの階層データ構造を移動するために0(logN)の計算ステップしか必要としなくてもよく、ここでNはノード数であり、また、実際のデータを取得するためには0(1)しか必要としなくてよく、その理由はデータ構造に対応づけられたタイルデータに実際のランドマークオブジェクトの情報をただちに位置特定するためのファイルポインタが格納されているからである。たとえば典型的な都市描写を6つのディテールレベルをもつものとして格納することができ、各レベルには4つのタイルと4つの子が含まれ、各タイルには平均50個のフィーチャ(たとえば建物構造など)が含まれている。したがってこのような描写のために、1365個のタイル(4+4+4+4+4+4=1365)と68250個のフィーチャ(50×1365=68250)が必要とされる。しかし実際のデータ(すなわちフィーチャデータ)の取得には、6つのレベルの移動およびその後に少数のポインタのリダイレクトしか必要としなくてよい。
RIFファイルとLODファイルのフレームワークによって高速な初期化時間も得られるようになる。その理由は、アプリケーション始動時にすべてのデータをメモリにダウンロードする必要がないからであり、これによりユーザに対するレスポンス時間が低減される。RIFファイルとLODファイルのフレームワークによりメモリ使用量も低減することができ、その理由はユーザに見える領域だけしかロードする必要がないからである。したがって実際のメモリ使用量を、システムリソースを食い潰すことなくユーザの見える領域により要求されるフィーチャのみの格納に適合するよう低減することができる。さらにRIFファイルとLODファイルの使用によって前処理要求も低減することができる。その理由はタイル内のリソースだけを処理すればよく、これによりレンダリングのために他のデバイスにデータを送信する前にデータを前処理する必要性が低減されるからである。データ使用量の低減によって処理時間も同様に高速化することができる。これに加えてRIFファイルとLODファイルの使用によって、ナビゲーションシステムのディスプレイパフォーマンスも改善することができる。それというのも、ナビゲーションシステムの埋め込み型グラフィックスプロセッサの計算/レンダリング能力は制約されている可能性があるからである。RIFおよびLODファイルのフレームワークを同様に他のデータ形式や他のシステムにも適用することができる。たとえばRIFファイルおよびLODファイルのフレームワークを、実際に必要とされるときにナビゲーションシステムのランドマークオブジェクトのようなリソースをダウンロード/伝送することのできる他のストリーミングプロトコルに適用することができる。
1つの例示的な方法によれば、システム初期化時間にRIFファイルがシーングラフマネージャにより読み出され、これによりツリー階層フォーマットでランタイムデータ構造が生成されて、ナビゲーションシステムのランタイムオペレーション中にメタデータをアクセスすることができる。RIFファイルは全体が読み込まれず、システムの次元(2または3)を記述するフィールドと、RIFのツリーデータ構造のレベル数により記述されたシステムのディレールレベルだけが読み込まれる。この場合、ランタイムツリーデータ構造のノードを作成し、対応づけられた境界ボックスまたは配属されたタイルがない状態で初期化される。
ユーザがシステムを操作するとき、適切な情報をRIFファイルから取り出すことにより必要とされるならば、ランタイムツリーデータ構造内のノードをダイナミックに加えることができる。1つのノードが加えられると、配属されている何らかのタイルに応じた実際のデータをLODファイルからフェッチすることができる。たとえばタイルIDによってタイルデータに対するインデックスが提供され、さらに対応するファイルポインタによってフィーチャデータに対するアクセスが提供される。これに加えてユーザが異なる可視領域に移動してビュー円錐台が変化した後、不必要なファイルとフィーチャデータを破棄することができ、それによってシステムリソースが解放される。
フィーチャデータがアクセスされると、(図3に示した)ナビゲーションシステムの別のコンポーネントすなわちシーングラフレンダリングモジュール60がただちにすべてのオブジェクトを、それらの地理的および外観の情報に基づきシーングラフにおいて表示する。1つの特有のインプリメンテーションによれば、オブジェクトの幾何学的形状を三角形または多角形などのような一連の「基本」要素に分解することができる。これらの基本要素を、当業者に周知の3次元グラフィックスアルゴリズムのライブラリを装備したグラフィックスエンジンを使用してレンダリングすることができる。Microsoft Windows(登録商標)2000, NT, MacOS 9, Linux などのようなオペレーティングシステムに含まれるOpenGL (Open Graphics Library) などのようなソフトウェアライブラリを使用して、グラフィックスエンジンをインプリメントすることができる。択一的に、グラフィックスレンダリングモジュール60のグラフィックスエンジンを、様々なメーカからグラフィックカードの形態で入手可能な3Dアクセラレーションハードウェアを使用してインプリメントすることができる。
シーングラフレンダリングモジュールにより、マルチ分解能イメージ合成を使用するという本発明の別のアスペクトを実現することもでき、これはローカルメモリにおけるイメージの常駐量ならびにイメージのレンダリングに使用される計算リソースの量を減らすのに役立つ。付加的にマルチ分解能合成により、観察者がビジョンのあるフィールド部分に近づいて移動したりあるいはそこにズームインしたとき、粗い分解能構造イメージから微細な分解能構造イメージへの移行において知覚される分解能のジャンプが最小化されることでビジュアライゼーションが改善される。
図8A,図8B,図8C,図8Dには、沿岸エリアのグレースケールイメージの空中からの構造ビューを使用して、混合されたマルチ分解能イメージが種々の空間分解能で示されている。図8Aには、2桁のマーク(‘01)で識別された粗い分解能のイメージと、4桁のマーク(‘0131)で識別された微細な高分解能のイメージの構造の混合について示されている。図示されているように、高分解能イメージに対する識別子(‘0131)の方が粗いイメージに対する相応の識別子(‘01)よりもずっと小さく現れており、このことは微細な分解能イメージは粗いイメージよりも小さいエリアに関係し粗いイメージエリアの断片部分しか占有していないことを表している。
(図8Bに示されているように)観察者がズームインし、沿岸線のいっそう小さいエリアを観察するとき、粗いイメージは徐々にフェードアウトしていき、高レベルイメージがマーク‘0131をもつビジョンのフィールドを完全にカバーし、いっそう大きくかつシャープにフォーカシングされる。図8Cに示されているようにさらにズームインしていくと、‘0131マークは徐々にフェードアウトしていく一方、次に高い分解能レベル(‘013131)のマークが道路601a,601bなどのようなエリアの詳細フィーチャとともに徐々に現れるように示されるようになる。図8Dには最高分解能(最も細かいディテール)の構造が示されており、ビジョンのフィールドにおいてマーク‘013131が優位を占めている。このようにして、いっそう高い分解能イメージが徐々にフォーカスされていく一方、粗いイメージは消えていき、これによりスムーズな移行が得られ、このような移行はリアルに見える。
図9には、本発明のナビゲーションシステムにより実行されるマルチ分解能イメージ合成方法に関する1つの実施形態のフローチャートが示されている。まずはじめにシステムは観察者ビューパラメータ(701)を決定し、これには観察者のロケーション、注視方向ならびに場合によっては他の計算上の制約条件が含まれており、このような制約条件によって上述のようなビューポイントコントロールとロケーション計算モジュールを使用した表示結果に作用が及ぼされる。ついで観察者のビジョンフィールドに対応するビュー円錐台が配向および観察者のロケーションから決定され(702)、この配向と観察者のロケーションによって観察者が見ることのできる空間がいっしょに定義される。上述のようにビュー円錐台に基づきシーングラフマネージャはどのイメージタイルを見ることができるかを識別し(703)、シーングラフを生成し、ビュー円錐台の外側のタイルを破棄する。
各タイルが格納されているデータセットの階層的特性ゆえに、ビュー円錐台または地理エリア(2次元の境界ボックス)内の可視タイルには、粗いレベルから微細なレベルまで異なる分解能でイメージの多様なバージョンを含めることができる。イメージデータベースから境界ボックスに対応づけられたタイルのグループをプレロードしておくことで、シーングラフマネージャは混合のため種々異なる様々な分解能でイメージを手元に保持している。このような制限されたイメージのグループを高速アクセスのためにローカルメモリ内に保持しておくことはローカルメモリリソースの能力を超えるものではなく、それというのも境界ボックスに対応づけられていないもっと大きい格納イメージセットはダウンロードされず、メモリリソースまたは計算リソースを消費しないからである。
次に、分解能レベルと各イメージタイルまでの距離に基づき伝達関数を適用することで混合係数が決定され(704)、これによって境界ボックス内の各イメージタイルが結果として生じる混合されたイメージにどのように寄与するのかが設定される。次に、各分解能レベルについて混合係数を決定する様子について例示する。地理的関心地点に対する階層オブジェクトデータ構造には、ある特定のオブジェクト(またはある特定の地理エリア)について3つの構造分解能レベルが含まれており、ここでレベル0は最も粗いレベルを表し、レベル1は中間レベルを、さらにレベル2は最高分解能レベルを表す。
図10には、3つの分解能レベルの各々に使用される混合係数が距離の関数のグラフとして示されている。注目対象オブジェクトからの距離が大きいとき(z0)、分解能レベル0の混合係数は最大であるのに対しレベル1とレベル2の混合係数は0であり、このことはレベル0の構造だけが注目対象イメージのレンダリングに使用されることを表す。観察者が距離z0から距離z1へオブジェクト/エリアに近づくよう移動すると、分解能レベル0の混合係数は減少し分解能レベル1の混合係数は増加して、混合された注目対象イメージが生じる。観察者がいっそう近づいて距離z2に向かって移動していくと、分解能レベル2の混合係数が最大レベルに向かって徐々に増加していき、分解能レベル1の混合係数は距離z1と距離z2の間においてある距離のところで最大レベルに達した後で徐々に減少していき、分解能レベル0の混合係数は0まで減少する。図示されているように、異なる3つの分解能レベルに対する個々の混合係数が徐々に変化することによって、すべての分解能レベルにわたりすべての距離において分解能の連続性が得られるようになる。
各レベルの混合係数を使用して構造およびイメージをレンダリングするために、各分解能レベルについてそれぞれの混合係数により1回、各グラフィックエリアが多数のパスでレンダリングされる。結果として生じる混合が各ロケーション(i)において計算され(705)、これは分解能レベル(x)でのロケーション(i)のピクセルp(i,x)とその分解能レベルの混合係数b(x)との乗算結果の和p(i)として計算される。n個の分解能レベルについて計算は以下の通りとなる:
p(i) = b(0)*p(i,o) + b(1)*p(i,1) + ... + b(n)*p(i,n)
混合されたマルチ分解能イメージの生成によって、写真から得られたリアルな構造をもつ3次元シミュレーションについて道路マップおよび衛星イメージが提供され、これは慣用のビジュアルナビゲーションシステムにおいて提示されるような人工的なポリゴンによる近似に頼るものではない。これに加えてマルチパスレンダリングによって、粗いレベルから微細なレベルに移行したときにいっそう高いディテールレベルが突然現れたことに起因して視覚効果に及ぼされる妨害が最小限に抑えられる。さらに本発明による方法を、上述の構造イメージを格納するための階層フォーマットと関連させて効率的に実行することができる。さらにたとえばイメージディテールのダイナミックな合成を行うことができ、その際、オリジナルの衛星イメージ/ロードマップイメージをタイルに分割し、構造タイルをビュー円錐台内でユーザに見せるか否かに従い要求に応じてそれらをロードすることによって、計算リソースの能力を超えることがない。
これまでの記載において、本発明の方法ならびにシステムをいくつかの実施例を参照しながら説明してきたが、本発明はそれらに限定されるものではない。むしろ当業者であれば本発明による方法ならびに装置の基本原理において変形が可能であることは自明であり、そのような変形や変更および/または補足は以下の特許請求において規定される本発明の枠内に含まれるものである。
第1の配向による観察者のビュー円錐台を示す図である。 図1aに示した状態から僅かに配向を変化させたビュー円錐台を示す図である。 本発明により提供される移動ユニットの現在のロケーションに従い都市環境を俯瞰図として3次元レンダリングした様子を示す図である。 移動ユニットが図示されているルートに沿って所定の距離だけ移動した後の図2aの周囲環境を俯瞰図として3次元レンダリングした様子を示す図である。 移動ユニットが図示のルートに沿ってさらに移動した後の図2aおよび図2bの周囲環境を俯瞰図として3次元レンダリングした様子を示す図である。 本発明の1つの実施例によるビジュアルナビゲーションシステムを示す図である。 2次元エリア内に地理的に散りばめられたランドマークオブジェクトの抽象表現を示す図である。 図4aの区切られたエリアの空間的分割と区切られたエリア内のランドマークオブジェクトを表すツリー構造を示す図である。 境界ボックスとタイルとの間のネストされた関係を示すナビゲーションシステムの地理的に区切られた2次元エリアの抽象表現例を示す図である。 図5aのネストされた境界ボックスの関係を表す階層ツリー構造を示す図である。 本発明の1つの実施形態に従って記憶媒体またはメモリ内のリソースインデックスファイル(RIF)の物理的なレイアウトを例示した図である。 図5bの階層ツリー構造に対応するRIFファイルの内容を例示する図である。 本発明の実施形態に従い記憶媒体またはメモリ内のディテールレベル(Level of Details, LOD)ファイルの物理的なレイアウトを例示した図である。 図5bの階層ツリー構造におけるタイルTILE1〜TILE7に対応するディテールレベル(LOD)ファイルの内容を例示した図である。 最も遠い距離から見ているように表現した本発明による第1の混合マルチ分解能イメージを示す図である。 図8aよりは短い距離から見ているように表現した本発明による第2の混合マルチ分解能イメージを示す図である。 図8bよりさらに短い距離から見ているように表現した本発明による第3の混合マルチ分解能イメージを示す図である。 最も近い距離から見ているように表現した本発明による第4の混合マルチ分解能イメージを示す図である。 本発明のナビゲーションシステムにより実行されるマルチ分解能イメージ合成のための方法に関する1つの実施形態を示すフローチャートである。 3つの分解能レベルの各々について用いられる混合係数を距離の関数として示すグラフである。
符号の説明
5 観察者
7,8,9 オブジェクト
30 オンボードコンポーネント
35 ロケーション計算ユニット
40 ポジションセンサ
45 ビューポイントコントロールユニット
50 ユーザ入力モジュール
52 ルート計算モジュール
55 シーングラフマネージャ
60 シーングラフレンダラ
61,62 地理データベース

Claims (21)

  1. 複数のイメージからマルチ分解能イメージを生成する方法において、
    該複数のイメージには第1の分解能をもつ第1のイメージと第2の分解能をもつ第2のイメージが含まれており、
    該複数のイメージの第1のおよび第2の分解能に対し第1および第2の混合係数を割り当てるステップと、
    前記の第1のイメージと第2のイメージとそれらの固有の第1および第2の混合係数との乗算結果の重みづけられた和を計算するステップと、
    該第1および第2のイメージの重みづけられた和に基づきマルチ分解能イメージを生成するステップとを有することを特徴とする方法。
  2. 前記複数のイメージは固有の地理エリアのイメージである、請求項1記載の方法。
  3. 観察者と地理エリアとの距離を決定するステップと、
    観察者と地理エリアとの距離に基づき第1および第2の分解能に対し混合係数を計算するステップを有する、
    請求項2記載の方法。
  4. 複数のイメージは地理エリアの衛星イメージである、請求項3記載の方法。
  5. 観察者と地理エリアとの距離計算をリアルタイムで行い、ここで観察者は移動ユニットである、請求項3記載の方法。
  6. 移動ユニットと地理エリアとの距離を繰り返し計算する、請求項5記載の方法。
  7. 第1および第2の分解能に対する混合係数をユーザが選択したズーム値に基づき変更する、請求項5記載の方法。
  8. 前記複数のイメージに関するメタデータをインデックス可能なフォーマットで格納するステップと、
    インデックスデータ構造を用いて該複数のイメージを効率的にアクセスするステップを有する、
    請求項1記載の方法。
  9. 前記複数のイメージに関するメタデータを複数のイメージの実際のデータとは別個に格納する、請求項8記載の方法。
  10. 複数のイメージからマルチ分解能イメージを生成する方法において、
    該複数のイメージには少なくとも2つの分解能のイメージが含まれ、
    ビューパラメータを収集するステップと、
    該ビューパラメータからビュー円筒台を決定するステップと、
    該ビュー円筒台に基づき、少なくとも2つの分解能のイメージを含む可視のイメージタイルを決定するステップと、
    該可視のイメージタイルにおける少なくとも2つの分解能の各々について混合係数を決定するステップと、
    該イメージタイルとそれらの個々の分解能混合係数との乗算結果の重みづけられた和からマルチ分解能イメージを生成するステップとを有することを特徴とする方法。
  11. 少なくとも1つの地理データベースから可視のイメージを取得する、請求項10記載の方法。
  12. 少なくとも1つの地理データベースには、衛星イメージと建物構造とディジタルエレベーションモデルとロードマップデータベースのうち少なくとも1つが含まれる、請求項10記載の方法。
  13. 前記ビューパラメータには地理環境を移動する移動ユニットのポジションと配向が含まれる、請求項10記載の方法。
  14. 前記移動ユニットのロケーションからビュー距離を計算するステップと、
    計算された距離に基づき可視のイメージタイルの少なくとも2つの分解能の各々について混合係数を決定するステップを有する、
    請求項13記載の方法。
  15. ユーザが選択したズーム値に基づき混合係数を変更する、請求項13記載の方法。
  16. 可視のイメージタイルに関するメタデータをインデックス可能なフォーマットで格納するステップと、
    インデックスデータ構造を使用して複数の可視のイメージタイルに効率的にアクセスするステップを有する、
    請求項10記載の方法。
  17. システムメモリと結合されたコンピュータシステムにより複数のイメージからマルチ分解能イメージを生成させるために、コンピュータで実行可能な命令を格納するコンピュータで読み出し可能な媒体を有する製品において、
    複数のイメージには第1の分解能を有する第1のイメージと第2の分解能を有する第2のイメージが含まれており、
    コンピュータで実行可能な命令を格納し、該命令によりシステムメモリと結合されたコンピュータシステムは、複数のイメージの第1および第2の分解能に対し第1および第2の混合係数を割り当て、第1のイメージと第2のイメージとそれらに固有の第1および第2の混合係数との乗算結果の重みづけられた和を計算し、第1および第2のイメージの重みづけられた和に基づきマルチ分解能イメージを生成させることを特徴とする、
    コンピュータで読み出し可能な媒体を有する製品。
  18. 前記複数のイメージは固有の地理エリアのイメージである、請求項17記載の製品。
  19. コンピュータで実行可能な命令を格納し、該命令によりシステムメモリと結合されたコンピュータシステムは、観察者と地理エリアとの距離を決定し、観察者と地理エリアとの距離に基づき第1および第2の分解能に対し混合係数を計算する、請求項18記載の製品。
  20. コンピュータで実行可能な命令を格納するコンピュータで読み出し可能な媒体を有する製品において、
    前記命令によりシステムメモリと結合されたコンピュータシステムは複数のイメージからマルチ分解能イメージを生成し、該複数のイメージには少なくとも2つの分解能のイメージが含まれており、
    コンピュータで実行可能な命令を格納し、該命令によりシステムメモリと結合されたコンピュータシステムはビューパラメータを収集し、該ビューパラメータからビュー円錐台を決定し、該ビュー円錐台に基づき少なくとも2つの分解能のイメージを含む可視のイメージタイルを決定し、該可視のイメージタイルの少なくとも2つの分解能の各々について混合係数を決定し、イメージタイルとそれらの個々の分解能混合係数との乗算結果の重みづけられた和からマルチ分解能イメージを生成することを特徴とする、
    コンピュータで実行可能な命令を格納するコンピュータで読み出し可能な媒体を有する製品。
  21. コンピュータで実行可能な命令を格納し、該命令によりシステムと結合されたコンピュータシステムは、可視のイメージに関するメタデータをインデックス可能なフォーマットで格納し、インデックスデータ構造を使用して複数の可視のイメージタイルをアクセスする、請求項20記載の製品。
JP2003435308A 2002-12-31 2003-12-26 複数のイメージからマルチ分解能イメージを生成する方法 Expired - Fee Related JP4511825B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/334,517 US20040125114A1 (en) 2002-12-31 2002-12-31 Multiresolution image synthesis for navigation

Publications (2)

Publication Number Publication Date
JP2004213662A true JP2004213662A (ja) 2004-07-29
JP4511825B2 JP4511825B2 (ja) 2010-07-28

Family

ID=32507381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003435308A Expired - Fee Related JP4511825B2 (ja) 2002-12-31 2003-12-26 複数のイメージからマルチ分解能イメージを生成する方法

Country Status (3)

Country Link
US (1) US20040125114A1 (ja)
EP (1) EP1435508A3 (ja)
JP (1) JP4511825B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115764B2 (en) 2003-08-01 2012-02-14 Sony Corporation Map display system, map data processing apparatus, map display apparatus, and map display method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004038739A1 (de) 2004-08-10 2006-02-23 Robert Bosch Gmbh Verfahren zur Darstellung von Karteninformationen
DE102004038740A1 (de) 2004-08-10 2006-02-23 Robert Bosch Gmbh Verfahren zur Darstellung von Karteninformationen
KR100657962B1 (ko) * 2005-06-21 2006-12-14 삼성전자주식회사 3차원 그래픽 디스플레이 장치 및 방법
US8352177B2 (en) 2006-03-28 2013-01-08 Panasonic Corporation Navigation apparatus
US20070233734A1 (en) 2006-04-03 2007-10-04 Sony Ericsson Mobile Communications Ab Enhanced use of map and map metadata
DE102006028010A1 (de) * 2006-06-19 2007-12-20 Robert Bosch Gmbh Verfahren zur Visualisierung von geografischen Daten
WO2008082423A1 (en) * 2007-01-05 2008-07-10 Alan Shulman Navigation and inspection system
US8612485B2 (en) * 2008-08-11 2013-12-17 Sony Corporation Deferred 3-D scenegraph processing
US8847992B2 (en) 2008-08-22 2014-09-30 Google Inc. Navigation in a three dimensional environment using an orientation of a mobile device
KR102454893B1 (ko) * 2015-09-30 2022-10-14 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽 프로세싱 장치의 동작 방법
US10404277B2 (en) * 2017-07-07 2019-09-03 iDensify LLC Compression and decompression engines and compressed domain processors
CN111191628B (zh) * 2020-01-06 2021-01-26 河海大学 基于决策树与特征优化的遥感影像震害建筑物识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303648A (ja) * 1992-04-24 1993-11-16 Mitsubishi Precision Co Ltd 模擬視界発生装置
JPH10312153A (ja) * 1996-10-25 1998-11-24 Navigation Technol Corp 物理的媒体で地理上のデータを使用し、記憶するためのシステムと方法
JP2001229402A (ja) * 2000-02-16 2001-08-24 Mitsubishi Electric Corp 3次元画像表示装置、3次元画像表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL72685A (en) * 1983-08-30 1988-08-31 Gen Electric Advanced video object generator
US5030117A (en) * 1987-09-25 1991-07-09 Delorme David M Digital global map generating system
CA2047525A1 (en) * 1990-08-31 1992-03-01 Gerald W. Plunk Oblique photographic database generation
US5878356A (en) * 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
US6747651B1 (en) * 1998-07-18 2004-06-08 National University Of Singapore System and method for creating bounding volume hierarchies utilizing model simplification
US6469710B1 (en) * 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6373482B1 (en) * 1998-12-23 2002-04-16 Microsoft Corporation Method, system, and computer program product for modified blending between clip-map tiles
US6446060B1 (en) * 1999-01-26 2002-09-03 International Business Machines Corporation System and method for sequential processing for content-based retrieval of composite objects
US6222482B1 (en) * 1999-01-29 2001-04-24 International Business Machines Corporation Hand-held device providing a closest feature location in a three-dimensional geometry database
US6184894B1 (en) * 1999-01-29 2001-02-06 Neomagic Corp. Adaptive tri-linear interpolation for use when switching to a new level-of-detail map
JP3907170B2 (ja) * 1999-09-16 2007-04-18 サーフ テクノロジー インコーポレイテッド 物体の位置を追跡するためのナビゲーションシステムおよび方法
US6865302B2 (en) * 2000-03-16 2005-03-08 The Regents Of The University Of California Perception-based image retrieval
US7624337B2 (en) * 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP4193342B2 (ja) * 2000-08-11 2008-12-10 コニカミノルタホールディングス株式会社 3次元データ生成装置
JP2002098538A (ja) * 2000-09-27 2002-04-05 Alpine Electronics Inc ナビゲーション装置および擬似三次元地図情報表示方法
JP2002107161A (ja) * 2000-10-03 2002-04-10 Matsushita Electric Ind Co Ltd 移動体用進路誘導装置
CA2328795A1 (en) * 2000-12-19 2002-06-19 Advanced Numerical Methods Ltd. Applications and performance enhancements for detail-in-context viewing technology
US6850235B2 (en) * 2000-12-27 2005-02-01 Fly Over Technologies Inc. Efficient image parcel texture rendering with T-junction crack elimination
SE519884C2 (sv) * 2001-02-02 2003-04-22 Scalado Ab Metod för zoomning och för att framställa en zoomningsbar bild
US20030206181A1 (en) * 2001-04-13 2003-11-06 Abb Ab System and method for organizing two and three dimensional image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303648A (ja) * 1992-04-24 1993-11-16 Mitsubishi Precision Co Ltd 模擬視界発生装置
JPH10312153A (ja) * 1996-10-25 1998-11-24 Navigation Technol Corp 物理的媒体で地理上のデータを使用し、記憶するためのシステムと方法
JP2001229402A (ja) * 2000-02-16 2001-08-24 Mitsubishi Electric Corp 3次元画像表示装置、3次元画像表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115764B2 (en) 2003-08-01 2012-02-14 Sony Corporation Map display system, map data processing apparatus, map display apparatus, and map display method

Also Published As

Publication number Publication date
JP4511825B2 (ja) 2010-07-28
EP1435508A3 (en) 2010-10-06
US20040125114A1 (en) 2004-07-01
EP1435508A2 (en) 2004-07-07

Similar Documents

Publication Publication Date Title
JP4511826B2 (ja) ナビゲーションシステム、ビュー円錐台に対応づけられたタイルのイメージデータをアクセスする方法、および、コンピュータ読み取り可能な記録媒体
JP4338645B2 (ja) モバイル・ナビゲーション・ユニットのための高度3d視覚化システム及び方法
KR102360660B1 (ko) 맵 데이터 처리 방법, 컴퓨터 디바이스 및 저장 매체
US8237713B2 (en) Sending three-dimensional images over a network
US6496189B1 (en) Remote landscape display and pilot training
CA2820249C (en) A digital mapping system
CA2953656C (en) A digital mapping system
EP3170151B1 (en) Blending between street view and earth view
EP2689213B1 (en) Management of icons for digital maps
US20080294332A1 (en) Method for Image Based Navigation Route Corridor For 3D View on Mobile Platforms for Mobile Users
US20130035853A1 (en) Prominence-Based Generation and Rendering of Map Features
JP4511825B2 (ja) 複数のイメージからマルチ分解能イメージを生成する方法
KR101288007B1 (ko) 이동성 광고물을 갖는 공간정보이미지 출력시스템
Wang et al. Study on the interconnection and interoperability between urban 3D visualization and geographic information system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090310

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090407

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090410

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090511

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091102

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4511825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees