JP2010532031A - カメラ援用ナビゲーションシステム及びその動作方法 - Google Patents

Abstract

本発明は自動車向けのナビゲーションシステムに関する。本発明のナビゲーションシステムは、車両周囲環境を視覚的に表示する少なくとも１つの表示手段（５）と、車両周囲環境の３次元的再構成を可能にするデータを格納する少なくとも１つのデータメモリ（６）と、車両周囲環境のディジタル画像を撮影できる少なくとも１つのカメラ（７）と、前記データメモリ（６）に格納されているデータから前記表示手段（５）に表示可能な車両周囲環境の再構成を生成し、前記カメラ（７）によって撮影されたディジタル画像を少なくとも部分的に前記データメモリ（６）に格納されているデータに基づいた車両周囲環境の再構成に嵌め込むことのできる少なくとも１つのデータ処理ユニット（８）を有する。

Description

本発明は、有利には自動車内で使用できるカメラ援用ナビゲーションシステム及びその動作方法に関する。

先行技術
自動車内で使用されるナビゲーションシステムは通常、モニタ又はディスプレイの形態をとった表示手段を有しており、この表示手段に車両周囲の３次元表現が写される。これらの３次元表現は、位置情報に対応するデータに基づいて、地形データや他の環境データを蓄積したデータベースから選び出すことにより生成される。つぎに、選び出されたデータに基づいて、可視の車両周囲環境が再構成される。なお、車両周囲環境を３次元で視点を自由に選択できるようにして表示手段に写すと有利である。しかし、表示は非常に一般化された形式で行われる。すなわち、道路、建物のような３次元構造物、及び目立つ陸標は、少なくとも目立つ輪郭が維持されるように、又は実際の外観に応じたテクスチャで可視平面が塗りつぶされるように表示される。しかし、部分的にはこれに伴う３次元表現の人工的な印象のせいで、実際の周囲環境の中で表示されたシーンを素速く認識すること、ひいては車両運転者が方向を定めることが難しくなってしまう。車両周囲環境の写真現実的な再構成を全面的に可能にするデータベースはナビゲーションシステムではふつう容量上の理由から避けられる。公知の解決手段のまた別の欠点は、再構成のために必要なデータセットを恒常的にアップデートしなければならないことにある。これはまた高いコストにも結びつく。アップデート周期をあまりに長く設定してしまうと、例えば建物の光学的又は建築上の小さな変化でさえ、運転者の視角から見える外観を変化させてしまうため、頻繁に素速く行われるナビゲーションシステムの表示手段に写されたシーンとの比較では確実な認識又は確実な方向決定が明らかに難しくなってしまう。

同様の問題は、可視平面が実際の外観に従って生成されたのでないテクスチャで塗りつぶされる場合にも発生する。例えば、使用しているデータベースにそもそも例えば建物のテクスチャ情報が格納されていない場合がそうである。

発明の開示
課題
本発明の課題は、車両の実際の周囲環境とナビゲーションシステムの表示手段に表示されたこの周囲環境からのシーンの再構成との間の一致度を改善することである。

解決手段
この課題は請求項１に記載された特徴を備えたナビゲーションシステムと請求項５による動作方法とにより解決される。従属請求項２〜４及び６〜１０はそれぞれ本発明のナビゲーションシステム及びその動作方法の有利な実施形態に該当する。

本発明は自動車の周囲環境の再構成に適した既に記憶されたデータとリアルタイムで記録されたこの周囲環境の画像データとの組合せに基づいている。本発明は本発明による自動車向けナビゲーションシステムによって自動的に実行することができる。このナビゲーションシステムは、車両周囲環境を視覚的に表示する少なくとも１つの表示手段と、車両周囲環境の３次元的再構成を可能にするデータを格納した少なくとも１つのデータメモリと、車両周囲環境のディジタル画像を撮影できる少なくとも１つのカメラと、データメモリに格納されているデータから表示手段に表示可能な車両周囲環境の再構成を生成し、カメラによって撮影されたディジタル画像を少なくとも部分的にデータメモリに格納されているデータに基づいた車両周囲環境の再構成に嵌め込むことのできる少なくとも１つのデータ処理ユニットを有している。これに従い、本発明はナビゲーションシステムによって仮想的に生成された車両周囲環境のシーンの再構成とこの車両の運転者が実際のシーンを見たときの視覚的印象との間の一致を改善する方法によって実施される。この方法では、カメラによって車両周囲環境のディジタル画像が撮影され、少なくとも部分的に、ナビゲーションシステムのデータメモリ内のデータに基づいた車両周囲環境の視覚的再構成に嵌め込まれる。

その際、ナビゲーションシステムでは通例の標準テクスチャに基づいた３次元表現のデータが本発明による再構成の可能な出発点となる。少なくとも１つのディジタルカメラによってリアルタイムで撮影された実際の画像は本発明に従ってこの３次元表現に組み込まれる。

有利な効果
リアルタイムで撮影された画像のこの組込みは、標準テクスチャディジタル画像の利用及び相応する嵌め込みにより、標準テクスチャで張られた平面を写真現実的な表現で置き換えることを含んでいてよい。別の実施形態では、ディジタル画像を用いて、従来使用されてきたテクスチャの現実感がテストされる。現実感がないと判断された場合、すなわち、従来使用されてきたテクスチャが不適であると判断された場合には、このテクスチャは適切なテクスチャで置き換えられる。その際、ナビゲーションシステムの相応するデータメモリに格納されている又は別の仕方でこのデータメモリで使用可能な複数のテクスチャの現実感をディジタル画像に鑑みながら次々にテストし、場合によっては従来のテクスチャを置き換えるテクスチャを選び出してもよい。また、ディジタル画像を評価したが、適切な代替テクスチャが見つからなかった場合に、テクスチャを生成し、これを表示すべき表現に組み込むことも可能である。最適化されたテクスチャで処理をするだけで既に、ナビゲーションシステムにおける周囲環境表示の視覚的印象は格段に良くなる。テスクチャを用いた処理の利点は、テクスチャを改良することにより、又は標準テクスチャをディジタル画像との突合せにより最適化したテクスチャで置き換えることにより、本発明によって生成される混合画像を持続的に使用した場合に、記憶しなければならないデータ量がほとんど増加しないことにある。それにもかかわらず、最適化されたテクスチャの使用は実質的な改善であり、ナビゲーションシステムのデータセットを容易にアップデートすることが可能となる。たしかに、車両周囲環境の現在のカメラ画像ないしカメラ画像断片を仮想的な３次元表現の中に組み込めば、この領域においてはテクスチャを個別に生成または選択する必要がなくなるものの、画像の記憶にはメモリスペースに関する非常に高い要求が課される。

有利には、使用される標準テクスチャの基本パターンを保持し、評価されたカメラ画像を用いて自動的に複数の新しい細かなテクスチャ階層に再分してもよい。

本発明によれば、さらに様々な利点が得られる。まず、運転者によって知覚される車両周囲環境との一致度及びスクリーン表示の再認性が改善される。現実感のある表示が車両運転者の方向決定を楽にする。少数の標準テクスチャだけで処理するのではないため、表示が多様で視覚的に魅力があるので、使用快適性が向上する。さらに、車両に既に存在しているハードウェアをカメラの形態で利用できるならば、この方法は低コストで実施できる。例えば、車両がバック運転又は駐車支援システムを備えていたり、暗視装置及び相応するカメラ技術に基づいた夜間走行を楽にするためのシステムを有している場合などがそうである。

以下では、実施例に即して本発明をさらに詳しく説明する。

本発明に従った装備の為された車両を表示可能な周囲環境領域内に概略的に示す。 本発明に従ってアップデートされる周辺環境領域を概略的に示す。 本発明によるナビゲーションシステムを概略的に示す。

発明を実施するための形態
図１では、本発明によるナビゲーションシステムを備えた車両１が周辺環境領域２内にある。周辺環境領域２はナビゲーションシステムのデータメモリを基に再構成され、モニタの形態の表示手段に表示することができる。車両１は矢印の方向に動く。この領域の一部はナビゲーションシステムに属する走行方向を向いたカメラによって見られる。このことから、また別の領域３がカメラの解像度と画角とから得られる。この領域３はシステムにより評価可能な解像度でディジタル画像として捕捉することができ、ディジタル画像データセットとして記憶することができる。このようにして得られたディジタル画像データと情報は少なくとも部分的に適切な嵌め込みにより車両周囲環境の最初の再構成に取り込まれ、このように直接的にそれまでの表示に重ね合わせることにより、又は間接的にグラフィックパラメータの変更ないし最適化により、モニタに表示された車両周囲環境の外観の構成要素となる。このためには、データに基づいた車両周囲環境の再構成とカメラのディジタル撮影との間の幾何学的な突合せを行う必要がある。これは例えばパターン認識と等化のためのソフトウェアによってサポートしうる。また、互いに一致する平面を一意に割り当てることができ、誤った解釈を避けることもできなくてはならない。このようにして本発明によってナビゲーションシステムのモニタ上に生成される車両周囲環境の表現は、リアルタイムで撮影されたディジタル画像を含めた初めに用意した周囲環境データの処理に基づいている。また、初めに用意したデータの処理により、そのデータのアップデートも同時に行われる。それゆえ、処理されたデータがデータメモリに格納されるならば、アップデートされたデータをさらに使用するのが有利である。車両周囲環境の再構成のためのデータを中央データメモリから呼び出し、処理されたデータを中央データメモリに格納するようにすると、特に有利である。中央データメモリは有利にはナビゲーションシステムの複数の端末装置と接続されているものとしてよい。ここで、処理されたデータの格納は、中央データメモリに格納されたデータが次の呼び出しの後に車両周囲環境の再構成の基礎となるように行われる。このようにして、利用するたびに自動的にアップデートされるデータベースが形成される。これに関連して、ナビゲーションシステムの端末装置とは、本発明によるナビゲーションシステムの車両側コンポーネントであると理解されなければならない。

図２には、本発明による方法を恒常的に使用した場合に、車両がルート４を走行している間どの領域３’でディジタル画像の捕捉が可能であるかが示されている。本発明によるデータアップデートを行うと、ホース状の捕捉領域３’が得られる。アップデート頻度を上げれば、非常に新しい周囲環境データが得られる。アップデートされたデータが中央ストレージで、例えばサーバで手に入るならば、本発明に従った装備の為された複数の車両をデータアップデートにリンクさせることで、恒常的にアップデートされる画像データが次第に平面を満たすように重ね合わされる。アップデートされたデータはナビゲーションシステムの表示手段に表示される人工的な周囲環境再構成の基礎となる。なお、周囲環境の再構成は新たにルート４を走るときには再びアップデートされる。このように、アップデートのための個別走行が不要になるので、低コストのデータアップデートのシステムが得られる。その上、これらのデータは、本発明によるカメラ援用ナビゲーションシステムを用いていないが、本発明によって生成されたデータを受信することはでき、高い最新度を享受するために従来の仕方でこれらのデータをナビゲーションシステムに取り入れたいと願うユーザにも使用できるようにしてよい。

図３は、本発明によるナビゲーションシステムを概略的に示している。このナビゲーションシステムは従来のナビゲーションシステムでも使用されることのあるモニタ５の形態の電子表示手段を含んでいる。さらに、ナビゲーションシステムを備えた車両の周囲環境の３次元的再構成を可能にするデータを収容したデータメモリ６も含まれている。データメモリ６は有利には特定用途向けのデータセットを後から加えたり交換することのできるリムーバブルメディアを含む。本発明によれば、さらに、車両周囲環境のディジタル画像を撮影することのできる少なくとも１つのディジタルカメラ７がナビゲーションシステムに属している。本発明によるナビゲーションシステムの機能にとって、ディジタルカメラ７が専らナビゲーションシステムに組み込まれるのか、それとも、同時に又は代わりに車両の別のカメラ援用システムの構成要素であるのかは重要ではない。カメラとしてはディジタルモノカメラで十分である。また、ディジタルステレオカメラも適している。さらに、データ処理ユニット８も含まれている。このデータ処理ユニット８は少なくとも、データメモリ６に収納されているデータからモニタ５に表示可能な車両周囲環境の再構成を生成し、ディジタルカメラ７によって撮影されたディジタル画像を少なくとも部分的にデータメモリ６に収納されているデータに基づいた車両周囲環境の再構成に嵌め込むことのできる能力を有している。このデータ処理ユニット８はさらにサーバ上の中央データメモリ１０への接続手段９を有しており、データ処理ユニット８は車両周囲環境の再構成のためのデータをこのサーバから呼び出し、処理したデータを格納することができる。接続手段９は無線ネットワーク内のワイヤレスコネクションを含んでおり、要求があれば、無線ネットワークを介してサーバとコンタクトする。中央データメモリ１０を備えたサーバは、同時に複数の端末装置から、つまり本発明に従った装備の為されたナビゲーションシステムから問い合わされたり、データメモリとして呼び出されるための手段を有している。

今の例では、本発明によるナビゲーションシステムを用いて走行中にディジタルカメラ７によって車両の実際の周囲環境が恒常的に光学的に捕捉される。その際、狭い時間シーケンスでディジタル画像が生成される。続いて、既知の建物位置、寸法及び状態、ならびに他の目立つ構造物、例えば超高速道路に基づいて、画像の分解が行われる。パターン認識を用いれば、識別された平面をデータメモリに基づいた車両周囲環境の再構成における相応する平面に対応付けることができる。カメラ７から供給された画像は次のステップにおいてリアルタイムで周囲環境の３次元表現に算入され、モニタ５に表示することができる。妥当性検査を行えば、本発明による画像評価から一時的な障害物、例えば駐車している車両を排除するのに役立つ。個々の画像断片を目立つ物体、例えば建物の上に置くだけで、つまり、仮想的な３次元画像を領域ごとに写真現実的に表示された断片と組み合わせて混合画像を形成するだけで、認識可能性は明らかに向上する。

自然な視覚的印象を可能にする写真現実的な表示はつねに外部の照明の関係、その時の天候、時刻、及び同様の要因にも左右されなければならないので、中央システムに記憶することは、場合によっては、テクスチャに基づいた又は少なくとも広範囲にテクスチャに基づいた中央データストアに比べて意味がない。従来のナビゲーションシステムでは、通常記憶されているデータから車両周囲環境を再構成する際、建物や平面には単に標準テクスチャが割り当てられるだけなので、この場合にも、本発明によるシステムを利用することにより、見る人の快適性が格段に向上する。というのも、テクスチャで表示された平面と実際の見た目との一致度が著しく改善されるからである。

ディジタルカメラ７の画像を車両周囲環境の３次元表示に算入する代わりに又はそれを補完して、この目的のために、テクスチャで表示可能な再構成された平面がディジタル画像の相応する平面と比較される。記憶されているテクスチャとの差があまりに大きいと判断されると、このテクスチャはメモリに格納されている他のテクスチャ又は新たなテクスチャによって置き換えられる。予め用意しておいたテクスチャの保管には、車両内にあるデータメモリ６を使用してもよいし、サーバの中央データメモリ０を使用してもよい。新たに当てられた又は交換されたテクスチャはどの場合にも実際の周囲環境における相応する平面との類似度がより高い。

別の有利な実施形態では、テクスチャ管理の際に、新たなテクスチャとこれまでに記憶されたテスクチャとの類似性が検査される。場合によっては、類似するテクスチャをまとめてもよい。これは、データベースの明瞭性を保つために、特に妥当性検査の後にすると有効である。テクスチャはその色及び／又は構造により認識し、区別することができる。テクスチャの階層の数については、色及び構造に関係する制限がある。本発明によるシステムでは、テクスチャの数が少ない場合でも、有利には、本発明によるデータアップデートの際にめったに置き換えられないテクスチャを、つまり、既に自然に近い車両周囲環境の再構成に相当するテクスチャを挿入して、表示品質を改善することができる。

Claims (10)

1. 自動車向けのナビゲーションシステムであって、車両周囲環境を視覚的に表示する少なくとも１つの表示手段（５）と、車両周囲環境の３次元的再構成を可能にするデータを格納する少なくとも１つのデータメモリ（６）と、車両周囲環境のディジタル画像を撮影できる少なくとも１つのカメラ（７）と、前記データメモリ（６）に格納されているデータから前記表示手段（５）に表示可能な車両周囲環境の再構成を生成し、前記カメラ（７）によって撮影されたディジタル画像を少なくとも部分的に前記データメモリ（６）に格納されているデータに基づいた車両周囲環境の再構成に嵌め込むことのできる少なくとも１つのデータ処理ユニット（８）を有していることを特徴とする自動車向けのナビゲーションシステム。
2. 車両に属する別のカメラ援用システムの構成要素である少なくとも１つのカメラ（７）が含まれている、請求項１記載のナビゲーションシステム。
3. 前記カメラ（７）はバック運転及び／又は駐車支援システム及び／又は夜間走行支援システムの構成要素である、請求項１又は２記載のナビゲーションシステム。
4. 中央データメモリ（１０）への接続手段（９）が含まれており、前記データ処理ユニット（８）は車両周囲環境の再構成のためのデータを前記中央データメモリ（１０）から呼び出す及び／又は処理したデータを前記中央データメモリ（１０）に格納することができ、前記中央データメモリ（１０）は前記ナビゲーションシステムの複数の端末装置と接続することができる、請求項１から３のいずれか１項記載のナビゲーションシステム。
5. ナビゲーションシステムによって視覚的に生成され、表示手段（５）に表示される、車両（１）の周囲環境からのシーンの再構成と、前記車両の運転者が実際のシーンを見たときの視覚的印象との間の一致を改善するための方法であって、カメラ（７）によって車両周囲環境のディジタル画像を撮影し、該ディジタル画像を前記ナビゲーションシステムのデータメモリ（６）に収納されているデータに基づいた前記車両周囲環境の再構成に少なくとも部分的に嵌め込むことを特徴とする方法。
6. 前記表示手段（５）に表示された前記車両の周囲環境からのシーンの再構成の少なくとも若干数の平面領域に、相応するシーンのディジタル画像からの嵌め込み部分を重ね合わせる、請求項５記載の方法。
7. 前記表示手段（５）に表示された前記車両（１）の周囲環境からのシーンの再構成の少なくとも若干数の平面領域において、当該再構成に表示されるテクスチャと前記ディジタル画像の対応する画像断片との比較を行い、差が大きいと判断された場合には、前記テクスチャを別のテクスチャで置き換える、請求項５又は６記載の方法。
8. データ処理ユニット（８）により、テクスチャの置き換えに適したテクスチャがデータメモリ（６，１０）に格納されているか否かを検査し、テスクチャの置き換えを行う、又は置き換えられるべきテクスチャに相応するディジタル画像断片を持つ平面を評価して、前記置き換えられるべきテクスチャよりも該当する平面の実際の見た目に良く合うテクスチャを生成し、生成したテクスチャで前記置き換えられるべきテクスチャを置き換える、請求項７記載の方法。
9. 処理したデータを前記データメモリ（６，１０）に格納する、請求項５から８のいずれか１項記載の方法。
10. 車両周囲環境の再構成のためのデータを前記中央データメモリ（１０）から呼び出し、処理されたデータを前記中央データメモリ（１０）に格納する、ここで、前記中央データメモリ（１０）は有利には前記ナビゲーションシステムの複数の端末装置と接続されていてよく、処理されたデータの格納は、前記中央データメモリ（１０）に格納されたデータが次の呼び出しの後に車両周囲環境の再構成の基礎となるように行われる、請求項５から９のいずれか１項記載の方法。

Images