JP2018530465A - 車両の車両周辺環境を表示する方法及び装置 - Google Patents

Abstract

本発明は、車両（１）の車両周辺環境を表示する方法に関する。この方法は、少なくとも１つのカメラ画像における車両周辺環境の部分領域を検出するステップと、実際の車両周辺環境を表す仮想空間（３）内に仮想投影面（２）を設けるステップと、少なくとも１つのカメラ画像を、仮想投影面（２）の第１の領域（４）に伝送するステップであって、その際少なくとも１つのカメラ画像は、当該カメラ画像内に結像された車両周辺環境の位置に応じて仮想投影面（２）に配置されるステップと、計算によって生成された及び／又は予め記憶された付加的画像情報を、仮想投影面（２）の第２の領域（５）に伝送するステップと、仮想空間内に配置されている仮想カメラ（７）の視点からの車両周辺環境を表示するステップと、を含む。

Description

本発明は、車両の車両周辺環境を表示する方法及び装置に関する。

本発明は、ここでは特に、いわゆるサラウンドビューシステムに関する。そのようなサラウンドビューシステムにおいては、車両周辺環境の表示は、車両周辺環境の複数の眺望から合成される。そのようなシステムにおいては、通常は、複数のカメラが、当該複数のカメラによって、車両を取り巻く３６０°の眺望が可能になるように配置される。車両の周辺環境は、複数のカメラによって検出され、さらに、これらのカメラの画像は、典型的にはボウルの形態を有する仮想投影面に伝送される。複数のカメラ画像を仮想投影面に伝送するためには、内因性又は外因性のカメラ較正が、画像マッピングを可能にするために多く用いられている。

発明の開示
車両の車両周辺環境を表示する本発明に係る方法は、少なくとも１つのカメラ画像における車両周辺環境の部分領域を検出するステップと、実際の車両周辺環境を表す仮想空間内に仮想投影面を設けるステップと、少なくとも１つのカメラ画像を、仮想投影面の第１の領域に伝送するステップであって、少なくとも１つのカメラ画像は、当該カメラ画像内に結像された車両周辺環境の位置に応じて仮想投影面に配置される、ステップと、計算によって生成された及び／又は予め記憶された付加的画像情報を、仮想投影面の第２の領域に伝送するステップと、車両周辺環境を、仮想空間内に配置されている仮想カメラの視点から表示するステップと、を含む。このようにして、これらのカメラ画像内で検出された情報の他に、さらに別の情報を表示することが可能になる。これらの付加的な情報により、例えば、車両の運転者に、この運転者がその視線を表示から逸らさなくても済むように、複数の情報を提供することができる。また、車両周辺環境の表示も、視覚的に向上する。なぜなら、カメラ画像が表示のために得られないような領域が補填されるからである。

従属請求項は、本発明の好ましい発展形態を示す。

好ましくは、仮想投影面は、仮想空間内の車両の位置を完全に包囲する。この場合、この仮想投影面は、特に、球体の形態で実施されている。それにより、仮想空間内の仮想カメラは、任意に配向させることができ、各配向のもとで仮想カメラの完全な画像を計算することができる。

また、好ましくは、第２の領域は、車両の垂直軸線に沿って第１の領域の上方に延在する。このような領域はカメラによって検出されないことが多い。なぜなら、そのような領域においては、物体が車両に接近することがほとんどないからである。そのため、カメラによって検出されない車両上方の領域を表示することも可能である。この場合、特に好ましくは、付加的画像情報が天空を表示する。それにより、第２の領域には、実際にこの箇所で可視である、車両の車両周辺環境とより高い確率で一致する画像情報が表示される。

また、好ましくは、付加的画像情報は、現在の時刻及び／又は現在の日付に応じて選択される。このようにして、付加的画像情報は、車両の周辺環境における実際の事象と可及的に正確に一致するように選択することができる。そのため、例えば、画像情報の明るさや付加的画像情報によって表示される天空の外観を、相応に適応化することができる。

同様に好ましくは、付加的画像情報は、車両の位置に応じて選択される。このようにして、付加的画像情報は、車両の周辺環境における実際の事象と可及的に正確に一致するように選択することができる。そのため、運転者には、例えば天気予報や交通情報などのような地域特有の情報を提供することができ、あるいは、付加的画像情報によって表示される天空の外観を、車両の位置に応じて適応化することができる。

また、好ましくは、付加的画像情報は、現在の気象状況に応じて選択される。このようにして、付加的画像情報は、車両の周辺環境における実際の事象と可及的に正確に一致するように選択することができる。そのため、例えば、付加的画像情報によって表示される気象状況の天空において、対応する雲を表示することができる。

さらに好ましくは、付加的画像情報は、現在の光条件に応じて選択される。特に、現在の光条件は、車両の光センサを用いて検出される。それにより、特に、ユーザー、特に車両の運転者が、車両周辺環境の表示を見るときに眩惑されることが回避される。さらに、付加的画像情報によって表示される要素の外観を、光条件に適応化させることができる。そのため、例えば、天空は、より明るく又はより暗く表示されることがある。

さらに好ましくは、付加的画像情報は、現在又は将来の気象状況に関する情報を含む。それにより、運転者には、車両の運転にとって重要な情報が直感的に提供される。

また、好ましくは、付加的画像情報は、テキスト要素又は記号を含む。特に、このテキスト要素又は記号は、将来の気象状況を記述する。このようにして、運転者には、１つの情報が、特に目に見えて速く伝達される。

同様に好ましくは、車両の車両周辺環境を表示する装置は、本発明に係る方法を実施するように構成されている。そのような装置は、本発明に係る方法のすべての利点を備えている。

以下においては、本発明の実施例を、添付図面に関連して詳細に説明する。

本発明に係る例示的な第１の実施形態の装置を備えた車両の平面図。 本発明の第１の実施形態による仮想空間図。 本発明の第１の実施形態による車両の車両周辺環境の例示的な図。

発明の実施形態
図１は、本発明の第１の実施形態による車両１の車両周辺環境を表示する本発明に係る装置１１を備えた車両１を示す。この車両１には、第１のカメラ１２、第２のカメラ１３、第３のカメラ１４及び第４のカメラ１５が配置されている。

第１のカメラ１２は、車両１の右側サイドミラーに配置され、車両１右側に隣接して存在する領域を検出する。第２のカメラ１３は、車両１の前部に配置され、車両１の前方に存在する領域を検出する。第３のカメラ１４は、車両１の左側サイドミラーに配置され、車両１の左側に隣接して存在する領域を検出する。第４のカメラ１５は、車両１の後部に配置され、車両１の後方に存在する領域を検出する。第１乃至第４のカメラ１２乃至１５の各々は、それぞれ１つのデータ線路を介して、車両１の車両周辺環境を表示する装置１１と接続されている。この装置１１は、画像処理を実行するのに適した計算ユニットから形成され、第１乃至第４のカメラ１２乃至１５に対応するインタフェースを有する。

この装置１１によって、本発明に係る方法が、第１の実施形態で実行される。この方法は、装置１１が起動したとき、例えば車両１のイグニッションキーが回されたときに開始される。

この方法が開始された後においては、まず第１のステップＳ１が実行される。この第１のステップにおいては、少なくとも１つのカメラ画像内で車両周辺環境の部分領域の検出が行われる。この目的のために、第１乃至第４のカメラ１２乃至１５の各々によってそれぞれ１つの画像が検出され、装置１１に伝送される。図１に関連して説明した第１乃至第４のカメラ１２乃至１５の配置構成においては、車両１の全体の車両周辺環境は検出されない。そのため、例えば、車両１の真上に存在する領域は、カメラ１２乃至１５の１つによって検出されない。従って、車両周辺環境の部分領域のみが検出される。この方法の第１のステップの後においては、当該方法の第２のステップが実行される。

第２のステップにおいては、実際の車両周辺環境を表す仮想空間３内への仮想投影面２の設定が行われる。この仮想空間は、実際の空間（以下においては、単に、実空間とも称する）ではなく、装置１１によって算出される１つの空間の単なる数学的表示にすぎない。

仮想空間のグラフィック表示は、図２に示されている。仮想空間３は、実際の車両周辺環境を表している。そのため、車両周辺環境内の各対象には、仮想空間３内での１つの位置を割り当てることができる。このことは、車両１に対しても当てはまる。実空間内の車両１の位置に対応する、仮想空間内の位置には、車両１のモデル１’が配置されている。このモデル１’、従って、車両１の位置は、仮想空間３内の投影面によって完全に取り囲まれている。この仮想投影面２は、平坦な基準面２ａを有し、この基準面２ａは、車両１が存在している路面に応じて延在する。さらに、この仮想投影面２は、球状区間２ｂを有し、この球状区間２ｂは、球体の形態を有し、但し、そのうちの所定の部分は、平坦な基準面２ａによって切断されている。この投影面２の球状部分２ｂは、車両１のモデル１’を、その側方領域と、車両１のモデル１’上に存在する領域とにおいて囲繞する。それにより、このモデル１’は、仮想投影面２によって完全に取り囲まれている。

第２のステップＳ２の後においては、第３のステップＳ３が実行される。この第３のステップＳ３においては、仮想投影面２の第１の領域への第１乃至第４のカメラ１２乃至１５のカメラ画像の伝送が行われる。この場合、これらのカメラ画像は、その中に結像される車両周辺環境の位置に応じて仮想投影面２上に配置される。それにより、これらのカメラ画像は、テクスチャとして仮想投影面２に伝送される。そのため、第２のカメラ１３によって検出された前方カメラ画像は、車両１のモデル１’の前方に存在する、仮想投影面２の領域に配置される。相応に、第１及び第３のカメラ１２及び１３のカメラ画像は、モデル１’に隣接する、仮想投影面２の領域に配置され、さらに、第４のカメラ１５のカメラ画像は、車両１のモデル１’の後方に存在する、仮想投影面２の領域に配置される。この場合は、仮想投影面２の形態から生じるカメラ画像の歪みが補償されるように、カメラ画像内に表示される対象が歪ませられるか又は歪み修正される座標マッピングが行われると、特に有利である。

カメラ画像が配置された仮想投影面２の領域は、総じて第１の領域４と称する。即ち、第１の領域４は、車両周辺環境の検出された部分領域を結像する。図２に関連して明らかなことは、車両１のモデル１’の上方には、カメラ画像が何も配置されていない仮想投影面２の部分が存在することである。なぜなら、実際の車両周辺環境のこの領域は、カメラ画像において検出されていなかったからである。このことは、第１の実施形態においては、第１乃至第４のカメラ１２乃至１５のいずれも上向きに配向されていないことに起因する。この第１乃至第４のカメラ１２乃至１５のカメラ画像のいずれにも配置されていない、仮想投影面２の領域は、仮想投影面２の第２の領域５と称する。ここに説明する第１の実施形態においては、この第２の領域５は、車両１の垂直軸線６に沿って第１の領域４の上方に延在する。仮想空間３に伝送されるこのことは、第２の領域５が、実際の車両周辺環境における垂直軸線６に対応する仮想垂直軸線６’に沿って、かつ、車両１のモデル１’の上方に延在することを意味する。

第３のステップＳ３の後においては、第４のステップＳ４が実行される。この第４のステップＳ４においては、計算によって生成された及び／又は予め格納された付加的画像情報の、仮想投影面２の第２の領域５への伝送が行われる。即ち、この付加的画像情報は、第２の領域５に対するテクスチャを定義する。以下においては、計算によって生成された付加的画像情報に対するいくつかの例、及び、予め格納された付加的画像情報に対するいくつかの例を説明する。以下において説明するすべての例は、任意の形態で組合せが可能であることは明らかである。これらの付加的画像情報は、例えば天空を表示する。その際の天空の表示は、予め記憶された実際の天空の結像から生成されるか、又は、コンピュータによってアニメーション化された天空が計算によって生成されてもよい。この人工の天空は、付加的画像情報として仮想投影面２の第２の領域５に結像される。それにより、車両１上方に存在する実際の天空の代わりに、人工の天空が、車両周辺環境の表示に結像される。これによって、車両１上方の領域が、カメラによって検出される必要性なしで、完全なパノラマビューの印象が可能になる。

天空の眺望は様々な要因に依存するので、好ましくは、これらの要因が人工の天空の生成の際に加えられる。

そのため、付加的画像情報は、現在の時刻及び／又は現在の日付に応じて選択することができる。時刻に応じて、日中の天空や夜空を表示することができる。現在の日付に依存して、日中の天空と夜空との間の移行をどの時刻で実行するかを選択することができる。

さらに、付加的画像情報は、車両の位置に応じて選択することができる。この車両の位置は、例えば、ナビゲーションシステムのＧＰＳセンサを介して提供される。このようにして、例えばまず、日没の時間が求められ、それに合わせて日没が付加画像情報を介して仮想投影面２上に表示され、これによって、仮想投影面２上の天空の結像が実際の天空に近づく。

任意選択的に、付加的画像情報は、現在の気象状況に応じて選択することができる。その際に、例えば、雨天の気象状況の場合には、晴天の気象状況の場合よりも多くの雲が、人工の天空に表示される。相応に、雨や嵐の雲は、対応する気象条件のもとで表示することができる。

さらに、付加的画像情報は、現在の光条件に応じて選択することができる。この場合、実際の車両周辺環境における現在の光条件に関する情報は、例えば、車両の光センサによって提供することができる。図示の人工の天空の明るさは、現在の光条件に適応化させることができる。

特に、人工の天空には天体も表示される。現在の時刻と現在の日付は、車両１に対する天体（例えば太陽、月、星、銀河など）の位置を求めて、それらを人工の天空に表示するために使用される。この場合、例えば、月のみちかけ、地球照、射影、及び／又は、日食乃至月食も、計算して人工の天空に挿入することができる。

人工の天空に対して代替的又は付加的に、天気予報を、第２の領域５に同様に表示することもできる。そのため、例えば記号、特に３次元的記号を仮想投影面２上に結像することができ、それによって、天気予報を車両の周辺環境表示に埋め込むことができる。これらの記号は、例えば、雲、雨、雪及び／又は風のアニメーションであってもよい。また、他の各天気をこのようにして記号化することができる。１つの記号は、この場合、それが仮想カメラ７の視点から３次元形態の眺望を有するように、仮想投影面２上を延在する場合、３次元的と称される。

付加的に、複数のテキスト要素を第２の領域５に表示することができる。そのため、例えば、雲、太陽又は温度情報を車両周辺環境に埋め込むことができる。これらのテキスト要素は、例えば、記号によって表示された天気予報を明確にすることができる。しかしながら、他の各情報をこれらのテキスト要素によって提供することもできる。特にこの場合は、交通情報や車両１に関する運転情報、例えば、車両１の速度や雨滴センサの情報などを挙げることができる。また、特に、連続したテキストを表示することもできる。

一般にこの場合は、モバイルインタネットインタフェースを介して提供される情報も加えることができる。そのため、例えば天気予報又は現在の気象条件を、このインタネットインタフェースを介して受け取ることができる。

特に天空が、第２の領域５において表示される場合、第１の領域４と第２の領域５との間で移行が発生し、即ち、複数のカメラ画像から生成された第１の領域４のテクスチャと、複数の付加的画像情報から形成された第２の領域５のテクスチャとの間で移行が発生する。この目的のために、第１の領域４と第２の領域５との間の移行の領域において、仮想投影面２上にグラフィカルな移行を結像する水平帯域が埋め込まれる。そのため、この水平帯域は、例えば、第１の領域４のテクスチャと、第２の領域５のテクスチャとの間の移行である。

前述したすべての付加的画像情報は、相互に依存することなく表示することができることは明らかである。それにより、上記の例の任意の組合せも可能である。特にこの場合、選択された付加的画像情報を車両１の位置に依存させることも可能である。そのため、例えば、車両１の位置が利用可能である場合には、人工の天空が表示され、車両１の位置が利用可能でない場合には、天気予報が表示されてもよい。このことは、典型的には、車両１が閉鎖された空間内に存在する場合に該当する。

第４のステップの後においては、第５のステップが実行される。この第５ステップにおいては、仮想空間３に配置された仮想カメラ７の視点からの車両周辺環境の表示が行われる。この目的のために、仮想投影面２の結像は、仮想カメラ７の視点から計算される。仮想カメラ７の位置と配向とに依存して、第２の領域５は、仮想カメラ７の画像内で、即ち、仮想カメラ７の視点から可視となる。この仮想カメラ７の画像は、車両１の室内のディスプレイ１６に表示される。

図３は、仮想カメラ７の視点からの車両周辺環境の例示的な結像を示す。この表示のいくつかの領域においては、第１の領域４が、仮想カメラ７の視野内に存在することが明らかである。この第１の領域４には、図示の例においては、複数の車両３０が存在している、車両１の車両周辺環境が表示されている。さらに当該車両１のモデル１’の上方には、第２の領域５が結像されていることが明らかである。この第２の領域５は、図３に示す例においては、付加的画像情報によって定義される曇った天空によって充填されている。

即ち、一般的には、仮想投影面２は、上向きに閉じた形態で、特に球体の形態で実行される。そうでなければ、この仮想投影面２は、典型的には上向きに開いたボウルの形態で実行されている。それにより、仮想投影面２の上方部分も３Ｄネットワークの形態で同様に利用可能である。車両周辺環境の関連する部分は、車両１に配置されたカメラ１２乃至１５のいずれによっても検出されない。そのため、仮想投影面２のこの領域に対しては、テクスチャ情報は用意されない。なぜなら、車両１上方の天空は、車両１のいずれのカメラによっても検出されないからである。テクスチャ情報なしの対応する領域は、仮想投影面２のポリゴンにテクスチャが割り当てられているかどうかを検査する可視性アルゴリズムを用いて簡単に識別することができる。

ここでは特に、第２の領域５に結像される天空が、必ずしも車両上方の実際の天空に対応するものではないことが明らかである。これにより、第２の領域５内には将来の気象状況を表示し、車両１の運転者に指示する手段がもたらされる。

上述の開示の他に、図１乃至図３の開示も明示的に参照される。

本発明は、ここでは特に、いわゆるサラウンドビューシステムに関する。そのようなサラウンドビューシステムにおいては、車両周辺環境の表示は、車両周辺環境の複数の眺望から合成される。そのようなシステムにおいては、通常は、複数のカメラが、当該複数のカメラによって、車両を取り巻く３６０°の眺望が可能になるように配置される。車両の周辺環境は、複数のカメラによって検出され、さらに、これらのカメラの画像は、典型的にはボウルの形態を有する仮想投影面に伝送される。複数のカメラ画像を仮想投影面に伝送するためには、内因性又は外因性のカメラ較正が、画像マッピングを可能にするために多く用いられている。
欧州特許出願公開第２１６３４３０号明細書（ＥＰ２１６３４３０Ａ１）には、請求項１の上位概念による車両周辺環境を表示する装置が開示されている。

Claims (10)

1. 車両（１）の車両周辺環境を表示する方法であって、
   少なくとも１つのカメラ画像における車両周辺環境の部分領域を検出するステップと、
   実際の車両周辺環境を表す仮想空間（３）内に仮想投影面（２）を設けるステップと、
   前記少なくとも１つのカメラ画像を、前記仮想投影面（２）の第１の領域（４）に伝送するステップであって、前記少なくとも１つのカメラ画像は、当該カメラ画像内に結像された前記車両周辺環境の位置に応じて前記仮想投影面（２）に配置される、ステップと、
   計算によって生成された及び／又は予め記憶された付加的画像情報を、前記仮想投影面（２）の第２の領域（５）に伝送するステップと、
   前記仮想空間内に配置されている仮想カメラ（７）の視点からの前記車両周辺環境を表示するステップと、
   を含む方法。
2. 前記仮想投影面（２）は、前記仮想空間（３）内の前記車両（１）の位置を完全に包囲する、請求項１に記載の方法。
3. 前記第２の領域は、前記車両（１）の垂直軸線（６）に沿って前記第１の領域の上方に延在する、請求項１又は２に記載の方法。
4. 前記付加的画像情報は、現在の時刻及び／又は現在の日付に応じて選択される、請求項１乃至３のいずれか一項に記載の方法。
5. 前記付加的画像情報は、前記車両の位置に応じて選択される、請求項１乃至４のいずれか一項に記載の方法。
6. 前記付加的画像情報は、現在の気象状況に応じて選択される、請求項１乃至５のいずれか一項に記載の方法。
7. 前記付加的画像情報は、現在の光条件に応じて選択される、請求項１乃至６のいずれか一項に記載の方法。
8. 前記付加的画像情報は、現在又は将来の気象状況に関する情報を含む、請求項１乃至７のいずれか一項に記載の方法。
9. 前記付加的画像情報は、テキスト要素又は記号を含む、請求項１乃至８のいずれか一項に記載の方法。
10. 請求項１乃至９のいずれか一項に記載の方法を実施するように構成された車両（１）の車両周辺環境を表示する装置（１１）。

Images