JP2009511965A - 強化地図を生成する方法 - Google Patents

Abstract

本発明は、デジタル地図内に３Ｄオブジェクトを生成する方法に関する。この方法は、各画像が対応する位置座標を有する、少なくとも１つの連続画像を取り出すアクションと、位置座標を含んだオブジェクトのデータ・セットを、電子地図から取り出すアクションと、連続画像の位置座標とデータ・セット内の位置座標を使用して、少なくとも１つの連続画像から、オブジェクトの表示を含んだ少なくとも１つの画像を選択するアクションと、選択された画像から、オブジェクトの少なくとも１つの特徴を判定するアクションと、オブジェクトの少なくとも１つの特徴を、データ・セットに追加するアクションと、上記データ・セットおよび少なくとも１つの特徴を、上記強化地図に記憶するアクションとを含む。
【選択図】 図１

Description

発明の分野
本発明は、強化地図（enhanced map）を生成する方法に関する。本発明はさらに、強化地図を記憶するプロセッサ読み取り可能な記憶媒体と、強化地図を記憶するプロセッサ読み取り可能な記憶媒体を含んだ装置と、強化地図に記憶されたデータ・セットを再生するための装置とに関する。本発明はさらに、強化地図を記憶するプロセッサ読み取り可能な記憶媒体に関する。

従来技術
成長しつつあるカー・ナビゲーション市場に次いで、位置情報サービス（ＬＢＳ、Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ）用途の市場が急速に伸びている。近い将来この用途分野は、大きな市場に発展すると期待されている。現在利用可能なデジタル地図は、拡大している両市場の成長の源である。

位置情報サービス（ＬＢＳ）はこの市場において軌道に乗り、成功を収めている。デジタル地図は、このサービスにとって重要な構成要素である。現在利用可能なデジタル地図は、その表示が比較的注視されることが少ないカー・ナビゲーションの要件に基づいている。森林や水域のような一部の基本的な領域は別として、道路網の線画のみが表示される。

しかし、歩行者は、自動車のドライバーに次ぐ重要なＬＢＳのユーザとなる。これが、デジタル地図、特に地図の表示に大きく関わってくる。車載用のナビゲーション・システムを使用して、自動車のドライバーは、見ている位置、向かっている方向を明らかにするために、慣性計測情報で改善されたＧＰＳの位置を取得する。ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（全地球測位システム）の略語である。ＬＢＳを使用する歩行者用のナビゲーション・システムはこれと異なる。歩行者用のシステムは、ＧＰＳのみから位置を取得する。その結果、歩行者は一般的に、自分がどの方向を向いているのか分からない。

この欠点は、道路領域、歩道領域、建物の３Ｄ表示などの特徴を有する標準的なデジタル道路地図を強化して、方向決めできる可能性を高めることによって解決することができる。

方向決めする際に歩行者を助ける他にも、かかる強化地図表示機能は、車内のドライバーが、移動中の重要な判断地点で、その建物を一目で認識するよう助けることができる。一般的に、合理的で写実的な周辺の風景の３Ｄ表示は、数多くの地図用途について方向決めの際に役立ち、利用者に概ね受けが良いことが理解されよう。

ハイエンドな３次元（３Ｄ）モデルでデジタル地図を強化するには、地図測量士が、現場で必要な情報を全て収集する必要がある。文献では、３Ｄモデルは建物モデル（Ｂｕｉｌｄｉｎｇ Ｍｏｄｅｌ）または都市モデル（Ｃｉｔｙ Ｍｏｄｅｌ）と呼ばれることもある。地図測量士は、地上写真を撮り、典型的な測量器具で特別な幾何的測量を行う必要がある。この地上写真と幾何的測量は、３Ｄ Ｓｔｕｄｉｏ Ｍａｘなどの典型的な３Ｄツールで処理される。その結果が、ＶＲＭＬ、３ＤＳフォーマットの３Ｄ都市モデルである。ＶＲＭＬは、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｌｉｎｇ Ｌａｎｇｕａｇｅ（仮想現実モデリング言語）の略語であり、ワールド・ワイド・ウェブ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上に３次元オブジェクトを表示するための仕様である。３ＤＳは、３Ｄ Ｓｔｕｄｉｏ Ｍｅｓｈオブジェクト・ファイル・フォーマットの、オブジェクトを含んだファイルのファイル拡張子である。１段階の詳細度でのみ視覚化できるような３Ｄオブジェクトの情報が記憶される。詳細度は、記憶するために行ったオブジェクト情報の変換の細かさに対応する。

現場で上記のような写真や幾何的測量を収集することは時間がかかるものであり、生成過程中にいくつかのデータが欠落していると分かった場合には、その地点に戻って臨時の情報を収集する必要があるというリスクを含んでいる。

地上レーザ・スキャンおよび航空レーザ・スキャンの技術とは、ハイエンド３Ｄ都市モデルの生成を可能にする新技術のことである。しかし、こういったハイエンド３Ｄ都市モデルを生成する総コストは極めて高くなる。

したがって、現在のところハイエンド３Ｄ都市モデルは一般に非常に高価である。コストは、達成する詳細度によって変動する。例えば車載ナビゲーション・システムまたは歩行者用などの、ディスプレイ上の建物の３Ｄ表示の詳細度は、移動中の重要な判断地点で、使用者が、その建物を一目で認識するようなものである必要がある。

建物の３Ｄ表現は、様々な詳細度で行うことができる。そういった様々な詳細度の例については、Vande Velde Linde著「Navigate by Maps for Multi - Modal Transport」、ＩＴＳ（Intelligent Transportation Systems）、マドリッド、２００３年に記載されている。第１の詳細度は、いわゆる一般的なブロック・モデルであり、多くのユーザーにうけるものというよりはむしろ、見事な技術的成果といったものである。都市の擬似写実的表示を実現するために、特定の屋根や正面のテクスチャが各ブロックに割り当てられる。

必要な詳細度ごとに、建物情報を半自動で生成するのに使用できる情報源には、様々なものがある。例えば、衛星および航空機からの写真を使用することができる。さらに、３Ｄ表現を可能にするために市街地図に追加される追加情報の量は、詳細度によって異なる。

２００４年１１月に、「Navigation in 3D, Enhanced map display for car navigation and LBS」（ＩＴＳ会報、日本・名古屋）というタイトルの論文が発表された。上記論文は一般論として、強化地図の素材を入手する方法と、抽出した情報をデータベースに記憶させる方法について述べている。

さらに、「Tele Atlas 3D navigable maps」（Next Generation 3D City Models会報、ドイツ国ボン、２００５年６月、２１−２２）というタイトルの論文が発表された。この論文は、上記の最初の論文と同じ一般的な主題について検討している。ただし、２番目の論文は、典型的な窓を備えたファサード（facades）のモデリングについてもう少し詳しく開示している。さらに、木や自動車を取り除くためのファサードのクリーンアップ・プロセスが追加として開示されている。

３Ｄ地図表示は、ナビゲーション・システムの機能を強化するだけでなく、様々な３Ｄ地理情報システム（ＧＩＳ、Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）およびナビゲーションの応用を開発するための全く新しい世界への扉を開く。この３Ｄ地図表示という鍵によって、写実的な３Ｄ情報が、必要最小限度の形で、費用対効果の大きい方法で生み出されている。

発明の概要
本発明は、デジタル地図内で３Ｄオブジェクトを生成する改良型の方法を提供しようと模索する。

本発明によれば、本方法は、
各画像が対応する位置座標を有する、少なくとも１つの連続画像（image sequence：画像シークエンス）を取り出すことと、
位置座標を含んだ、オブジェクトのデータ・セットを、電子地図から取り出すことと、
上記連続画像の上記位置座標と上記データ・セット内の上記位置座標を用いて、上記少なくとも１つの連続画像から、上記オブジェクトの表示を含んだ少なくとも１つの画像を選択することと、
上記選択された画像から、上記オブジェクトの少なくとも１つの特徴を決定することと、
上記オブジェクトの上記少なくとも１つの特徴を上記データ・セットに追加することと、
上記データ・セットおよび上記少なくとも１つの特徴を上記強化地図に記憶することとを含む。

本発明は、３Ｄ強化地図の生成に必要な数多くの素材が既に入手可能であるとの認識に基づいている。移動地図作成車両が、２Ｄ市街地図を強化するためのデータ収集に使用される。例えば、交通標識、道路標識、信号機、街路名を示す街路名標識などの位置など。

移動地図作成車両はいくつかのカメラ（その一部は立体写真カメラ）を有する。精密なＧＰＳとその他の車載位置決定装置とを有する結果として、それらのカメラは全て正確に地理的に位置決め（geo-positioned）される。道路網を走行中、連続画像が取り込まれる。このカメラは、３Ｄ建物オブジェクトの生成に必要な情報も入り、３Ｄ市街地図の元情報として使用することができるように配置される。

移動地図作成車両が建物などの１つのオブジェクトの複数の連続画像（image sequence：画像シークエンス）を記録すると、連続画像の各画像ごとに地理的位置（geo-position）が正確に決定される。地理的位置情報を含んだ連続画像は、ジオコーディング済みの（geo-coded：ジオコード化された）連続画像（image sequence：画像シークエンス）と呼ばれる。ジオコーディング済みの連続画像は、建物の特徴を決定するために使用することができる。建物の高さや建物のファサードの高さが該特徴の例である。例えば高さを決定する必要のある建物の位置は、既存の２Ｄ市街地図から取得される。これは、その建物のフットプリント（footprint）を２Ｄ市街地図から取得することによって行うことができる。フットプリントは、例えば、航空画像の分析によって得ることができる。上記建物について、その建物を表示する１つまたは複数の画像が選択される。上記写真ごとに、その写真を撮っている間のカメラの位置および方向が分かっている。フットプリントとカメラの位置および方向を用いて、上記建物のファサードの位置を上記写真で決定することができる。画像内のファサードの位置を知ることによって、ファサードの１階（ground floor）下側位置と、ファサードと屋根との移行部の上側位置を決定することができる。画像内の上側位置および下側位置と、建物の高さは、計算することができる。

本発明の他の実施形態では、上記選択アクションが、上記連続画像の上記位置座標と上記データ・セット内の上記位置座標を用いて、上記少なくとも１つの連続画像から、上記オブジェクトの表示をそれぞれ含んだ少なくとも２つの画像を選択することを含み、上記オブジェクトの特徴が、上記オブジェクトの高さである。

上記特徴により、上記選択された画像を用いて、建物の高さを正確に決定するために、三角測量を使用することが可能になる。

本発明の他の実施形態では、上記少なくとも１つの連続画像が、ステレオスコープ（stereo scopic）連続画像を含み、上記選択アクションが、上記少なくとも２つの画像を得るために、ステレオスコープ画像の対を選択することを含む。ステレオスコープの画像対を使用する利点は、その画像の記録素子の互いに対する位置が正確であることである。これによって、ステレオスコープ画像での正確な距離の決定が可能になる。

本発明の他の実施形態では、上記データ・セットがファサードの位置情報を含み、上記方法の上記決定アクションが、
上記画像内で、上記オブジェクトに対応する、上記ファサードの１階の位置を決定することと、
上記画像内で、上記オブジェクトに対応する、上記ファサードと上記屋根との移行部の位置を決定することと、
上記１階（ground floor）の位置および上記移行部の位置を用いて、上記オブジェクトの高さを計算することとを含む。

上記アクションを使用すると、画像処理によってファサードの高さを正確に決定することが可能になる。上記画像のファサードの１階の位置は、２Ｄ市街地図内のジオコーディング済みの（ジオコード化）情報と、画像のジオコーディング済みの（ジオコード化）情報と、カメラの向きとによって決定することができる。ジオコーディング済みの（ジオコード化）情報は、地図内でオブジェクトの絶対的または相対的な位置座標を特定する情報であり、地理的位置情報から得られる。画像処理は、上記オブジェクトのファサードと屋根との移行部を決定するために使用することができる。

本発明の他の実施形態では、上記方法がさらに、上記連続画像の上記位置座標と上記データ・セットにある上記位置座標を用いて、上記少なくとも１つの連続画像から、上記オブジェクトの表示を含んだ１つの画像を選択することと、
上記選択された画像を、上記位置情報を用いて、上記オブジェクトのファサードの正面像の画像に変形することと、
上記位置座標および上記高さを用いて、上記オブジェクトのファサードの正面像の画像に対応する切り抜きを生成することと、
上記切り抜きを、上記切り抜きの表示に変換することと、
上記切り抜きの表示を、上記強化地図に記憶することとを含む。

上記のアクションを用いると、ファサードの正面像の画像を効率的に生成することが可能になる。まず、ファサードを含んだ画像の傾斜した像を引き延ばすことによって、正面像が生成される。その後、２Ｄ地図の座標と高さがファサードの切り抜きの生成に使用される。ファサードの正面像のみを記憶することによって、建物の３次元の像を効率的に再生することが可能になる。

本発明の他の実施形態では、上記記憶することが、
上記データ・セット内の位置座標に対応する位置座標を含んだ、上記切り抜きの表示のためのメタ・データ（Meta data）を生成することと、
上記切り抜きの表示と上記メタ・データを結合することと、
上記組合せを上記強化地図のライブラリに記憶することとを含む。

この実施形態を使用すると、それほど強化されない地図に簡単に変換できる強化地図を１つ生成することが可能になる。ファサードの細部を専用ライブラリに記憶させることによって、高さ情報のみを含んだそれほど強化されない地図を生成するために、強化地図からそのライブラリを簡単に取り除くことができる。このそれほど強化されない地図は、一般的なブロック・モデルで建物の３Ｄ表現に使用することができる。

本発明の他の実施形態では、上記変換アクションが、
上記切り抜きのフロア数を決定することと、
上記強化地図に上記フロア数を記憶することとを含む。

この実施形態を使用すると、ファサードをより効率的に生成することが可能になる。例えば、フロアごとに同じファサードでフロアを表すことができる。これによって、上記ライブラリの記憶スペースの大きさが低減される。

本発明の他の実施形態では、上記変換アクションが、
上記切り抜きをコンポーネントに分割することと、
上記コンポーネントを、コンポーネント・ライブラリに記憶されているファサード・コンポーネントと比較することと、
上記コンポーネント・ライブラリ内の同様のファサード・コンポーネントを含んだコンポーネントを、上記同様のファサード・コンポーネントへの対応する参照と置き換えることとを含む。

この実施形態を使用すると、ファサードをより効率的に生成することが可能になる。ファサードの画像の部品を、コンポーネント・ライブラリにすでに記憶されている対応する画像部品への参照により置き換えることによって、強化地図の、強化を可能にする記憶スペースの大きさを低減することができる。

本発明の他の実施形態では、上記強化地図が、事前定義された用途専用であり、上記データ・セットが、建物のフットプリントを含み、フットプリントが、ファサードをそれぞれ表す要素を含み、各要素が、位置座標を含み、上記要素の記憶アクションの実行が、上記事前定義された用途に応じて行われる。

この実施形態を使用すると、目的の用途（targeted application）で使用できる強化地図の細部のみを記憶することが可能になる。この結果、不必要な細部が取り除かれ、最小限の記憶スペースを備える強化地図が生成される。

３Ｄ地図を生成する改良型の方法を提供する方法の他の実施形態は、
各画像が対応する位置座標を有する、少なくとも１つの連続画像を取り出すことと、
オブジェクトのファサードの位置座標およびオブジェクト高さを含んだ上記オブジェクトのデータ・セットを、電子地図から取り出すことと、
上記連続画像の位置座標と上記データ・セット内の上記位置座標とを使用することによって、上記少なくとも１つの連続画像から、上記オブジェクトの表示を含んだ画像を選択することと、
上記位置情報を用いて、上記選択された画像を、上記オブジェクトのファサードの正面像の画像に変形することと、
上記位置座標および上記高さを用いて、上記オブジェクトの上記ファサードの正面像に対応する切り抜きを生成することと、
上記切り抜きを、上記切り抜きの表示に変換することと、
上記切り抜きの表示を上記強化地図に記憶することとを含む。

同様に、この方法を使用すると、すでに利用可能な移動連続画像から割り出すことができる情報で、電子地図を強化することができる。まず、利用可能なファサードの傾斜した像の画像が、正面像の画像に変形される。上記正面像の画像から、上記ファサードの正面像が切り抜かれる。

強化地図を生成する他の改良型の方法は、
オブジェクトのファサードの位置座標とオブジェクト高さとを含んだ上記オブジェクトのデータ・セットを、電子地図から取り出すことと、
上記ファサードの正面像の画像に対応する表示を取り出すことと、
上記データ・セット内の上記位置座標に対応する位置座標を含んだ、上記表示のためのメタ・データを生成することと、
上記表示と上記メタ・データを結合することと、
上記組合せを上記強化地図のライブラリに記憶することとを含む。

本発明のこの実施形態を用いると、フットプリントの境界線に対応するファサードを簡単に一意的に見つけることが可能になる。さらに、境界線にも、それに対応するファサードにも、等価な位置座標を使用することによって、３Ｄ再生デバイスが、３Ｄ像を生成するときに、２Ｄ市街地図から、上記ファサードを上記フットプリントの上記境界線の上に正確に配置する。

本発明の他の態様は、オブジェクトの特徴が追加された強化地図を記憶する、プロセッサ読み取り可能な記憶媒体に関する。上記プロセッサ読み取り可能な記憶媒体の例示的実施形態では、上記強化地図は、ファサードの表示を含む。このファサードの表示は、ファサード斜視像の画像を、ファサードの正面像の画像に変形することによって得られる。

本発明は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せを使用して実装することができる。本発明の全てまたは一部分がソフトウェアに実装される場合は、そのソフトウェアは、プロセッサ読み取り可能な記憶媒体上に存在することができる。適切なプロセッサ読み取り可能な記憶媒体の例には、フロッピー（登録商標）・ディスク、ハードディスク、ＣＤ ＲＯＭ、メモリＩＣなどが含まれる。上記システムがハードウェアを含む場合は、上記ハードウェアには、出力デバイス（例えばモニタ、スピーカ、プリンタなど）と、入力デバイス（例えばキーボード、ポインティング・デバイスおよび／またはマイクロホン）と、上記出力デバイスと通信するプロセッサおよび上記プロセッサと通信するプロセッサ読み取り可能な記憶媒体とを含むことができる。上記プロセッサ読み取り可能な記憶媒体は、本発明を実装するための上記アクションを実行できるように上記プロセッサをプログラミングできるコードを記憶する。本発明のプロセスはまた、電話回線を経由してアクセスできるサーバー上に実装してもよい。

後述の動作アクションのいくつかは、従来技術の強化地図ジェネレータに見られる。ただし、従来技術の強化地図ジェネレータでは、後述のように地図を強化するための情報を得るために、ジオコーディング済みの連続画像を使用しない。

本発明を以下に、いくつかの例示的実施形態を使用して、添付の図面を参照してより詳細に説明する。

実施形態の詳細な説明
図１は、強化地図ジェネレータの単純化したブロック図である。図１は、入力を受け取り、出力を提供する強化地図ジェネレータを示す。上記入力は、オリジナルの地図データ１０４およびジオコーディング済みの連続画像１０６を含む。上記出力は、少なくとも建物の高さ情報で強化された強化地図データ１０８である。オリジナルの地図データ１０４は、地図データベースを構成する１つまたは複数のファイルの集まりである。オリジナル・地図データ１０４は、建物のフットプリント情報とそれに対応する地理的位置情報を含んだ、ジオコーディング済みのデジタル２Ｄの市街地図を含む。ジオコーディング済みのデジタル２Ｄの市街地図における地理的位置情報は、ＸＹ座標などのオブジェクトの位置座標に対応する。ジオコーディング済みの連続画像１０６は、移動地図作成車両などで得られる連続画像である。例えば配達用のバンや多目的車両などである移動地図作成車両は、外部に取り付けられた一群の画像センサを有する。この画像センサは、ＣＣＤカメラなどのカメラの形をしていてもよい。画像センサのうち少なくとも１対は、ステレオスコープ対である。車両の精密な位置および向きは、ＧＰＳおよび慣性計測システムから得られる。画像センサは、車両近くの着目している特徴を全て含んだ、複数の重なり合う画像を形成する。こういった画像は、後で処理するために記憶される。さらに、画像センサの互いに対する位置、ならびに車両に対する画像センサの向きが正確に判定される。この情報は、カメラ較正情報としてファイルにデジタル式に記憶される。全地球測位システムは、この車両の地理的位置を正確に判定する。カメラ較正情報と組み合わせて、画像センサの地理的位置が判定される。パーソナル・コンピュータなどのプロセッサが、各画像の正確な地理的位置の判定を可能にするために、上記連続画像と地理的位置を結合する。道路網を走行中、連続画像が取り込まれ、対応するジオコーディングされた情報が追加される。移動地図作成車両とその機能については、より詳細に開示した Wilhelm Benning、Thomas Aussems著「Mobile Mapping by a Car-Driven Survey System（CDSS）」、Geodatisches Institut der RWTH Aachen１９９８、２０００年１０月２９日を参照する。

受け取ったオリジナル・地図データと、ジオコーディング済みの連続画像は、プロセッサ読み取り可能な記憶媒体に記憶される。強化地図ジェネレータは、オリジナル・地図データ１０４と、ジオコーディング済みの連続画像を受け取り、連続画像から建物高さ情報を取り出す。この高さ情報は、強化地図データを得るためにオリジナルのデータと結合される。この強化地図データにより、ナビゲーション・システムなどの再生装置で、地図データの３Ｄ表現の生成が可能になる。

図２は、強化地図を生成する方法の例を記述したフローチャートである。アクション２０２では、ジオコーディング済みの連続画像の少なくとも１つが取り出され、コンピュータ読み取り可能なメモリに記憶される。アクション２０４では、建物などのオブジェクトのデータ・セットが、２Ｄ市街地図から取り出される。このデータ・セットは、建物のフットプリントとそのフットプリントのジオコーディングされた情報を含む。フットプリントとは、地表面での建物の輪郭である。通常、建物のファサードの外壁は、建物のフットプリントを構成する。

アクション２０６では、上記データ・セットに対応する建物の像を含んだ２つの画像が、上記ジオコーディング済みの連続画像から選択される。この選択を行うことができるのは、画像が記録されたときのカメラの位置が分かっており、その視角であるカメラの方向が分かっているからである。この情報を用いて、画像が選択した建物の像を含んでいるかどうか決定することができる。この方法の例示的実施形態では、ステレオスコープ・カメラから２つの画像が取得される。

アクション２０８では、建物の高さが三角測量で決定される。三角測量は、既知の距離だけ離れた２つの固定点からの固定点の位置を、その点に対する角度から決定する、よく知られた方法である。これを行うことができるのは、カメラの２つの位置の間の距離が分かっており、較正の一部分として記憶されているからである。三角測量を用いて、上記データ・セットに対応する建物を画像内で特定することができる。周知の画像処理技術によって、建物の外壁の下側および上側を特定し、対応する地理的位置（geo- positions）を特定することができる。外壁の下側の地理的位置と上記建物の境界線の地理的位置を判定するために、同じオブジェクトを表すいくつかの突き合わせ基準に基づいて比較してもよい。下側の地理的位置が境界線の地理的位置と合致したら、その建物の高さを、画像内の外壁上側と下側の位置と、画像の地理的位置と、必要な場合は車両に対するカメラの向きの特性を含んだカメラ較正情報とを使用して決定することができる。

その高さは、建物のファサードの１階と、そのファサードと屋根の間の変わり目との間の距離になるように定義されることに留意されたい。さらに、１つのフットプリントに、高さは１つだけが追加される。したがって、最も代表的なファサードが、建物の高さを定義するために決定される。地図をさらに強化するために、フットプリントごとに、建物の屋根タイプを示すパラメータが追加される。

ファサードの高さは、ジオコーディング済みの画像１枚だけで決定できることに留意されたい。車両の地理的位置と、その車両に対するカメラの既知の位置と、各カメラの向き・その基準線・間隔・レンズ較正と、地図にあるファサードの地理的位置情報とにより、建物などのオブジェクトを１つの画像から取り出すことができる。ただし地図内のそのオブジェクトの全ての地理的位置のうち、こうして得られた地理的位置だけが正確なものになり得る。この地理的位置は、カメラの較正情報を含めて、非常に正確である。画像が１つでは、その画像内のオブジェクトの地理的位置を決定することができない。したがって、似かよった地理的位置についてのチェックを行うことができない。

アクション２１０で、上記建物の計算された高さがデータ・セットに追加される。最後に、アクション２１２で、このデータ・セットが強化地図に記憶される。この強化地図により、ナビゲーション・システムで建物のブロックレベルの表示を生成することが可能になる。外壁は全て、同じ高さを有する。屋根タイプがデータ・セットに追加される場合は、屋根が、フットプリントおよび高さを使用して生成されたブロックに配置される。

図３は、強化地図をさらに強化するためにファサードの表示を生成するための方法の例を記述したフローチャートである。上述の方法により、建物の表示を生成することが可能になる。この３Ｄ表現はさらに、ファサードの細部を用いて強化できるはずである。フットプリントの境界線ごとに、細部を有するファサードを生成することができる。ただし、記憶スペースを制限するために、細部を有するファサードの生成は、道路から見えるフットプリントの境界線に対応するファサードだけに適している。

アクション３０１では、連続画像の１つから、フットプリントの境界線に対するファサードを含んだ画像が選択される。連続画像は移動地図作成車両により得られるので、画像は、ファサードの正面像ではなく、傾斜した像を含む。この画像は、連続画像のジオコーディング済みの情報およびカメラ較正情報を、細部を有するファサードを生成する必要がある境界線の地理的位置と組み合わせて用いることによって選択される。上記位置情報を用いると、画像内のファサードの像の角度を決定することができる。さらに、ファサードの上記位置情報および高さを用いると、画像内のファサードの領域を簡単に決定することができる。画像を撮った時点でのカメラの位置が分かっており、フットプリントの境界線の位置が分かっているので、ファサードの領域のピクセルとカメラとの間の距離が分かる。画像内のピクセルの位置と、そのピクセルとカメラの間の想定された距離との線形関係が、ファサードの傾斜した像の画像を正面像の画像に変形するために使用される。この変形は、この領域がカメラに対してほぼ等しい距離を有するようにピクセルの領域を引き延ばすことに対応する。この変形は、アクション３０２で実行される。その後の、アクション３０３で、フットプリントの境界線およびオブジェクトの高さに対応する輪郭で形成される矩形が、画像から切り抜かれる。

アクション３０４では、この切り抜きが、切り抜きの表示に変換される。この切り抜き全体をＪＰＥＧ、ＧＩＦ、ＴＩＦＦなどの規格に準拠した写真に変形することができる。アクション３０５で、この切り抜きの表示が強化地図に記憶される。

この表示は、フットプリントと共に、同じデータベースに記憶することができる。強化地図の例示的な一実施形態では、建物のフットプリントおよび高さを含んだ２Ｄ市街地図が、ファサード・ライブラリと切り離して記憶される。フットプリントの境界線に対応するファサードを見つけ出すのを可能にするために、メタ・データがファサードに追加される。メタ・データは、特定のデータ・セットが、何時、どのように、誰によって収集されたか、そのデータがどのようにフォーマットされているかについて記述することができる。メタ・データは、記憶された情報を理解するのに不可欠である。例示的な一実施形態では、メタ・データは、対応する境界線の地理的位置に対応する地理的位置を含む。これは、ファサードの写真のサイズが境界線のサイズと合致するという利点を有する。これにより、遠近法の３Ｄ表示でファサードが境界線上に精密に配置される。さらに、この実施形態により、２Ｄ市街地図内のオブジェクトとファサード・ライブラリとの一意の単純な関係が可能になる。

別個に２Ｄ市街地図およびファサード・ライブラリを含んだ強化地図を用いると、非常に細かい細部を有する３次元像の建物表示を備えた、ハイエンド用途に使用でき、かつ例えばブロックレベル表示だけを備えた、ローエンド用途で使用するように簡単に適合できる強化地図を、１サイクルで生成することが可能になる。ファサード・ライブラリを強化地図から取り除くだけで、ローエンド用途向けの強化地図が得られる。

アクション３０４はさらに、切り抜き内のファサードのフロア数を決定するアクションを含むことができる。これは、標準の画像処理技術で処理することができる。このフロア数は、切り抜きをコンポーネントに分割するのに使用される。階ごとに１つのコンポーネントが生成される。コンポーネントは、写真または写真への参照を含んでもよい。写真への参照を使用することによって、ファサード・ライブラリ用の記憶容量を低減することが可能になる。例えば、共同住宅のファサードは、１階のフロアと、似かよった外観の複数のフロアを含む。この似かよった外観の複数のフロアは、１つの写真で表すことができる。ファサード・ライブラリで、フロア全てに対して写真を１つだけ使用することによって、複数の写真を１つの写真に対する複数の参照に置き換えられる。これによって、ファサード全体を記憶するための記憶サイズが低減される。この写真の比較は、標準的な画像処理ツールとオブジェクト認識ツールで実行することができる。

アクション３０４における変換はさらに、ファサードの切り抜きを、窓やドアなどのコンポーネントと、壁の色やテクスチャ（レンガ、木材、白亜など）などの特定のパラメータとに分割することによって改良することができる。ファサードを、ファサード・コンポーネント・ライブラリにある標準的な窓のタイプ、ドアのタイプに対するパラメータおよび参照で特徴付けることによって、ファサードを記憶するための記憶容量をさらに低減することができる。窓やドアの場合、ファサード・コンポーネント・ライブラリに記憶されている標準ドアタイプおよび標準窓タイプの検出に、オブジェクト認識ツールが使用される。その位置は、ファサード・コンポーネント・ライブラリ内の写真への参照と共に、ファサードのコンポーネントとして記憶することができる。他の例示的な実施形態では、フロアの認識された窓およびドアが、ファサードの切り抜きのその部分に存在するのと同じ順序でファサード・ライブラリに記憶される。上記ファサードを再生するときに、認識された窓およびドアがフロア全体にわたって等間隔に広げられる。上記フロアの再生中、窓およびドアのフロア全体にわたる明らかな非等間隔の分布を可能にするために、ダミー・コンポーネントを上記窓およびドアの列の中に配置してもよい。ダミー・コンポーネントは、２つの検出されたオブジェクト同士の間の追加の空間としての機能を果たす。

経験上、典型的な窓および銘刻文字を含んだ複雑な商店街は、窓およびドア・タイプのライブラリを使用して変換することはなかなかできないことが分かっている。したがって、例えば店などを備える建物の１階の完全な表示を含んだ画像が記憶され、その建物の残りのフロアは、窓およびドア・タイプのライブラリを使用して変換される。３Ｄ ＧＤＦ拡張子（Ｇｅｏｇｒａｐｈｉｃ Ｄａｔａ Ｆｉｌｅｓ、ジオグラフィック・データ・ファイル）が、上記のファサードおよび屋根タイプを記憶するのに適しているということが判明している。ＧＤＦ規格は、デジタル道路網データ交換フォーマットとして、産業界（デジタル地図供給業者、車載機器および電子式機器製造者など）と協力して、欧州標準化委員会（European Committee for Standardisation、ＣＥＮ）によって作成された。こういった標準化活動（ＣＥＮ ＧＤＦ３．０）の成果は、国際規格ＩＳＯ ＧＤＦ４．０に大きく貢献した。

上記のように、建物は、その建物の外壁に対応する境界を含んだフットプリントを有する。この方法によると、１つだけの高さ値がフットプリントに追加される。その結果、建物の全ての壁、したがってファサードが等しい高さを有する。さらに、フットプリントの境界線は、互いに１列に並ぶことができない。その結果、直線状の外壁ごとに、１つのファサードが生成される。様々な高さを有する建物の再生を可能にするために、フットプリント自体とは異なる高さと関連付けられるサブ・フットプリントを、市街地図中の建物に追加することができる。サブ・フットプリントは、フットプリント内の領域を画定し、フットプリントより外側には境界線をもたない。上記の方法を使用することによって、サブ・フットプリントに対応する建物の高さを決定し、その後にそのサブ・フットプリントの境界線に対応するファサードを決定することができる。上記サブ・フットプリント用のファサードを記憶するのに必要な記憶容量を低減するために、フットプリントの高さより上にあるファサードの細部のみを記憶する必要がある。

図４は、強化地図ジェネレータおよび／または強化地図の３Ｄ像を再生するためのデバイスを実装するのに使用することができるコンピュータ・システムの上位ブロック図を示す。

図４のコンピュータ・システムは、プロセッサ・ユニット７１２およびメイン・メモリ７１４を含む。プロセッサ・ユニット７１２は、シングル・マイクロプロセッサを含んでいても、あるいはマルチプロセッサ・システムとしてコンピュータ・システムを構成するために複数のマイクロプロセッサを含んでいてもよい。メイン・メモリ７１４は、プロセッサ・ユニット７１２で実行するための命令およびデータを部分的に記憶する。この本発明の方法が完全に、あるいは部分的にソフトウェアで実装される場合、メイン・メモリ７１４は、稼動時に実行可能コードを記憶する。メイン・メモリ７１４は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）のバンクおよび高速キャッシュ・メモリを含んでもよい。

図４のシステムはさらに、大容量記憶デバイス７１６と、１つまたは複数の周辺装置デバイス７１８と、１つまたは複数の入力デバイス７２０と、１つまたは複数のポータブル記憶媒体ドライブ７２２と、グラフィックス・サブシステム７２４と、出力ディスプレイ７２６とを含む。簡単にするために、図４に示されている構成部品は、単一のバス７２８を介して接続されると示されている。ただし、この構成部品は、１つまたは複数のデータ伝送手段を介して接続してもよい。例えば、プロセッサ・ユニット７１２およびメイン・メモリ７１４は、ローカル・マイクロプロセッサ・バスを介して接続し、大容量記憶デバイス７１６と、１つまたは複数の周辺装置デバイス７１８と、１つまたは複数のポータブル記憶媒体ドライブ７２２と、グラフィックス・サブシステム７２４とは、１つまたは複数の入力／出力（Ｉ／Ｏ）バスを介して接続することができる。大容量記憶デバイス７１６（磁気ディスク・ドライブまたは光ディスク・ドライブを使用して実装することができる）は、オリジナルの２Ｄ市街地図や、ジオコーディング済みの連続画像、強化地図、プロセッサ・ユニット７１２で使用するための命令などのデータを記憶するための不揮発性の記憶デバイスである。一実施形態では、大容量記憶デバイス７１６は、メイン・メモリ７１４にロードするために、本発明を実装するためのシステム・ソフトウェアを記憶する。

ポータブル記憶媒体ドライブ７２２が、図４のコンピュータ・システムにデータおよびコードを入出力するための、フロッピー（登録商標）・ディスク、マイクロ・ドライブ、フラッシュ・メモリなどの、ポータブル不揮発性記憶媒体と併せて機能する。一実施形態では、本発明を実装するためのシステム・ソフトウェアは、かかるポータブル媒体に記憶され、ポータブル記憶媒体ドライブ７２２を介してコンピュータ・システムに入力される。１つまた複数の周辺デバイス７１８が、追加機能をコンピュータ・システムに追加するために、入力／出力（Ｉ／Ｏ）インターフェースなどの任意のタイプのコンピュータ支援デバイスを含んでもよい。例えば、１つまた複数の周辺デバイス７１８は、モデムなどのネットワークにコンピュータ・システムをインターフェースで接続するためのネットワーク・インターフェース・カードを含むことができる。

１つまた複数の入力デバイス７２０が、ユーザー・インターフェースの一部分を形成する。１つまた複数の入力デバイス７２０は、英数字およびその他のキー情報を入力するための英数字式キーパッド、またはマウス、トラックボール、スタイラス、カーソル方向キーなどのポインティング・デバイスを含むことができる。テキストおよびグラフィックの情報を表示するために、図１４のコンピュータ・システムは、グラフィックス・サブシステム７２４および出力ディスプレイ７２６を含む。

出力ディスプレイ７２６は、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）またはその他の適切なディスプレイ・デバイスを含むことができる。グラフィックス・サブシステム７２４は、テキストおよびグラフィックの情報を受け取り、ディスプレイ７２６に出力するためにその情報を処理する。ユーザー・インターフェースの一部分である出力ディスプレイ７２６は、経路探索の判定結果を報告し、強化地図を表示し、方向を表示し、確認情報および／またはその他の情報を表示するために使用することができる。図４のシステムはまた、マイクロホンを含んだ、オーディオ・システム７２８も含むことができる。一実施形態では、オーディオ・システム７２８は、オーディオ信号をマイクロホンから受け取るサウンド・カードを含む。さらに、図４のシステムは、出力デバイス７３２を含む。適切な出力デバイスの例には、スピーカ、プリンタなどが含まれる。

図４のコンピュータ・システムに含まれる構成部品は、汎用のコンピュータ・システムで一般に見られるものであり、当技術分野でよく知られているようなコンピュータ構成部品からなる幅広いカテゴリを示すためのものである。

したがって、図４のコンピュータ・システムは、パーソナル・コンピュータ、ワークステーション、ミニコンピュータ、メインフレーム・コンピュータなどであってもよい。このコンピュータはまた、ネットワーク化されたプラットフォーム、マルチ・プロセッサ・プラットフォームなどの様々なバス構造を含むことができる。ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓ（登録商標）、Ｍａｃｉｎｔｏｓｈ ＯＳ、およびその他の適切なオペレーティング・システムなど、様々なオペレーティング・システムを使用することができる。

ナビゲーション・システムは一般的に、コンピュータ・テクノロジに基づいた専用デバイスである。これらのデバイスは、上述の数多くの特徴を備える。少なくとも１つのナビゲーション・システムが、入力デバイスと、プロセッサ読み取り可能な記憶媒体と、上記入力デバイスおよび上記プロセッサ読み取り可能な記憶媒体と通信するプロセッサと、ディスプレイ・ユニットとの接続を可能にするための出力デバイスとを備える。

上記の方法は、自動的に実行することができる。場合によっては、画像が、画像処理ツールおよびオブジェクト認識ツールがいくつかの補正を必要とするようなものであることもある。例えば、ファサードと屋根との移行部の検出が難しい場合もあり得る。そういった場合、上記方法は、中間結果を確認または適合させることが可能になるように、照合アクションおよび手動適合アクションを含む。これらのアクションはまた、変換アクション３０４の中間結果または最終結果を受け入れるのに適したものであってもよい。

上述の本発明の詳細な説明は、例示と説明のために提示したのであって、網羅的なものでも、開示した厳密な形態に本発明を限定するためのものでもない。自明のように、上記の教示に照らして多くの変更形態および変形形態が可能である。説明した実施形態は、本発明の原理と、本発明の実用的な適用例とを最もよく説明するために選択された。それによって、当業者は、様々な実施形態で、企図された特定の用途に適する様々な変更を行って、本発明を最適に利用することが可能になる。本発明の範囲は、本明細書に添付された特許請求の範囲によって定義されるように意図されている。

強化地図ジェネレータの簡易ブロック図である。 強化地図を生成する例示的方法を記述したフローチャートである。 強化地図をさらに強化するためにファサードの表示を生成する例示的方法を記述したフローチャートである。 強化地図ジェネレータおよび／または再生装置を実装するための例示的ハードウェア・システムのブロック図である。

Claims (19)

1. 強化地図を生成する方法であって、
   各画像が対応する位置座標を有する、少なくとも１つの連続画像を取り出すことと、
   位置座標を含んだ、オブジェクトのデータ・セットを、電子地図から取り出すことと、
   前記連続画像の前記位置座標と前記データ・セット内の前記位置座標を用いて、前記少なくとも１つの連続画像から、前記オブジェクトの表示を含んだ少なくとも１つの画像を選択することと、
   前記選択された画像から、前記オブジェクトの少なくとも１つの特徴を決定することと、
   前記オブジェクトの前記少なくとも１つの特徴を前記データ・セットに追加することと、
   前記データ・セットおよび前記少なくとも１つの特徴を前記強化地図に記憶することと、
   を含む方法。
2. 前記選択することが、前記連続画像の前記位置座標と前記データ・セット内の前記位置座標を用いて、前記少なくとも１つの連続画像から、前記オブジェクトの表示をそれぞれ含んだ少なくとも２つの画像を選択することを含み、前記オブジェクトの特徴が、前記オブジェクトの高さである、
   請求項１に記載の方法。
3. 前記少なくとも１つの連続画像が、ステレオスコープ連続画像を含み、前記選択することが、前記少なくとも２つの画像を得るために、ステレオスコープ画像の対を選択すること、
   を含む請求項２に記載の方法。
4. 前記データ・セットがファサードの位置情報を含み、オブジェクトの特徴がファサードであり、前記決定することが、
   前記画像内で、前記オブジェクトに対応する、前記ファサードの１階の位置を決定することと、
   前記画像内で、前記オブジェクトに対応する、前記ファサードと前記屋根との移行部の位置を決定することと、
   前記１階の位置および前記移行部の位置を用いて、前記オブジェクトの高さを計算することと、
   を含む請求項１又は２又は３に記載の方法。
5. 前記連続画像の前記位置座標と前記データ・セットにある前記位置座標を用いて、前記少なくとも１つの連続画像から、前記オブジェクトの表示を含んだ１つの画像を選択することと、
   前記選択された画像を、前記位置情報を用いて、前記オブジェクトのファサードの正面像の画像に変形することと、
   前記位置座標および前記高さを用いて、前記オブジェクトのファサードの正面像の画像に対応する切り抜きを生成することと、
   前記切り抜きを、前記切り抜きの表示に変換することと、
   前記切り抜きの表示を、前記強化地図に記憶することと、
   を更に含む請求項１又は２又は３又は４に記載の方法。
6. 前記記憶することが、
   前記データ・セット内の位置座標に対応する位置座標を含んだ、前記切り抜きの表示のためのメタ・データを生成することと、
   前記切り抜きの表示と前記メタ・データを結合することと、
   前記組合せを前記強化地図のライブラリに記憶することと、
   を含む請求項５に記載の方法。
7. 前記変換アクションが、
   前記切り抜きのフロア数を決定することと、
   前記強化地図に前記フロア数を記憶することと、
   を含む請求項５に記載の方法。
8. 前記変換アクションが、
   前記切り抜きをコンポーネントに分割することと、
   前記コンポーネントを、コンポーネント・ライブラリに記憶されているファサード・コンポーネントと比較することと、
   前記コンポーネント・ライブラリ内の同様のファサード・コンポーネントを含んだコンポーネントを、前記同様のファサード・コンポーネントへの対応する参照と置き換えることと、
   を含む請求項５に記載の方法。
9. 前記強化地図が、事前定義された用途専用であり、前記データ・セットが、建物のフットプリントを含み、フットプリントが、ファサードをそれぞれ表す要素を含み、各要素が、位置座標を含み、１つの要素に関する前記記憶の実行が、前記事前定義された用途に応じて行われる、請求項５に記載の方法。
10. 請求項１に記載の方法に従ってオブジェクトの高さが追加された強化地図を記憶する、
    プロセッサ読み取り可能な記憶媒体。
11. 請求項１に記載の方法に従ってオブジェクトの特徴が追加された強化地図を記憶する、
    プロセッサ読み取り可能な記憶媒体を備える装置。
12. 請求項１乃至９のいずれか一項に記載の方法を実行するための装置であって、
    入力デバイスと、
    プロセッサ読み取り可能な記憶媒体と、
    前記入力デバイスおよび前記プロセッサ読み取り可能な記憶媒体と通信するプロセッサと、
    ディスプレイ・ユニットとの接続を可能にするための出力デバイスと、を備え、
    前記プロセッサ読み取り可能な記憶媒体が、
    各画像が対応する位置座標を有する、少なくとも１つの連続画像を取り出すアクションと、
    位置座標を含んだオブジェクトのデータ・セットを、電子地図から取り出すアクションと、
    前記連続画像の前記位置座標と前記データ・セット内の前記位置座標を用いて、前記少なくとも１つの連続画像から、前記オブジェクトの表示をそれぞれ含んだ少なくとも２つの画像を選択するアクションと、
    前記選択された画像からオブジェクト高さを判定するアクションと、
    前記オブジェクトの高さを前記データ・セットに追加するアクションと、
    前記データ・セットおよび前記高さを前記強化地図に記憶するアクションと、を含んだ方法を実行するように前記プロセッサをプログラムするためのコードを記憶する、
    装置。
13. 請求項１乃至９のいずれか一項に記載の方法によって生成された強化地図に記憶されたデータ・セットを再生するための装置であって、
    入力デバイスと、
    プロセッサ読み取り可能な記憶媒体と、
    前記入力デバイスおよび前記プロセッサ読み取り可能な記憶媒体と通信するプロセッサと、
    ディスプレイ・ユニットとの接続を可能にするための出力デバイスとを備え、
    前記プロセッサ読み取り可能な記憶媒体記憶が、
    オブジェクトのデータ・セットを前記プロセッサ読み取り可能な記憶媒体から読み取るアクションであって、前記データ・セットが前記オブジェクトの位置座標情報および高さ情報を含み、前記オブジェクトが、屋根を備えた建物を表す、アクションと、
    前記オブジェクトの斜視像を、前記位置座標情報および前記高さ情報を使用して生成するアクションであって、前記高さ情報が、１階と、側壁と屋根の間の移行部との間の距離を定義するアクションとを含んだ方法を実行するように前記プロセッサをプログラムするためのコードを記憶する、
    装置。
14. 強化地図を生成する方法であって、
    各画像が対応する位置座標を有する、少なくとも１つの連続画像を取り出すことと、
    オブジェクトのファサードの位置座標およびオブジェクト高さを含んだ前記オブジェクトのデータ・セットを、電子地図から取り出すことと、
    前記連続画像の位置座標と前記データ・セット内の前記位置座標とを使用することによって、前記少なくとも１つの連続画像から、前記オブジェクトの表示を含んだ画像を選択することと、
    前記位置情報を用いて、前記選択された画像を、前記オブジェクトのファサードの正面像の画像に変形することと、
    前記位置座標および前記高さを用いて、前記オブジェクトの前記ファサードの正面像に対応する切り抜きを生成することと、
    前記切り抜きを、前記切り抜きの表示に変換することと、
    前記切り抜きの表示を前記強化地図に記憶することと、
    を含む方法。
15. 強化地図を生成する方法であって、
    オブジェクトのファサードの位置座標とオブジェクト高さとを含んだ前記オブジェクトのデータ・セットを、電子地図から取り出すことと、
    前記ファサードの正面像の画像に対応する表示を取り出すことと、
    前記データ・セット内の前記位置座標に対応する位置座標を含んだ、前記表現のためのメタ・データを生成することと、
    前記表現と前記メタ・データを結合することと、
    前記組合せを前記強化地図のライブラリに記憶することと、
    を含む方法。
16. 強化地図を記憶し、該強化地図が請求項１に記載の方法に従って追加されたオブジェクトの特徴を有する、
    プロセッサ読み取り可能な記憶媒体。
17. 前記強化地図が、ファサードの表示を含み、前記ファサードの表示が、前記ファサードの斜視像の画像を前記ファサードの正面像の画像に変形することによって得られている、
    請求項１６に記載のプロセッサ読み取り可能な記憶媒体。
18. 前記強化地図が電子地図およびファサード・ライブラリを含み、前記電子地図がオブジェクトのデータ・セットを含み、前記データ・セットが位置座標を含み、前記ファサード・ライブラリが、前記オブジェクトに対応するファサードの表示を含んだデータ構造を備え、前記構造内の前記位置座標が、前記データ・セット内の位置座標と類似している、
    請求項１６又は１７に記載のプロセッサ読み取り可能な記憶媒体。
19. 前記強化地図がファサードの表示を含み、前記ファサードが１以上のコンポーネントを含み、建物の１階を表す１つのコンポーネントが、前記第１階に対するファサードの完全表示である、
    請求項１６に記載のプロセッサ読み取り可能な記憶媒体。

Images