JP2018517973A - 車両の車両周辺の全体画像を作成する方法及び対応する装置 - Google Patents

Abstract

本発明は、複数の画像を用いて、車両の車両周辺の全体画像（２０）を作成する方法に関する。これら複数の画像はそれぞれ、車両に取り付けられている複数のカメラのうちの１つのカメラによって現在撮影されているものである。全体画像（２０）は、仮想の視点からの車両の車両周辺と、仮想モデル（２１）とを表している。さらにこの方法は、複数の画像のうちの１つの画像内に存在している、車体及び／又は車輪を少なくとも部分的に画像化している各所定の画像部分（２２，２３）の位置を特定するステップと、複数の画像のうちの、所定の画像部分（２２，２３）が存在している、画像の部分を、対応する画像に割り当てられている画像マスクによって覆うステップと、割り当てられている画像内に存在している各所定の画像部分（２２，２３）の特定された位置に基づいて、画像マスクが、割り当てられている画像内に存在している各所定の画像部分（２２，２３）を覆うように各画像マスクを決定するステップと、割り当てられている画像マスクによって画像を覆った後に、複数の画像を合成することによって全体画像（２０）を作成するステップとを含む。

Description

本発明は、複数の画像を用いて、車両の車両周辺の全体画像を作成する方法及び対応する装置に関する。これら複数の画像はそれぞれ、車両に取り付けられている複数のカメラのうちの１つのカメラによって現在撮影されているものである。

従来技術
従来技術から、幾つかの車両用アラウンドビューシステムが公知である。これらのアラウンドビューシステムはその都度、対応する車両の車両周辺の２次元又は３次元の全体画像を作成することを可能にする。

上述したアラウンドビューシステムは、車両に取り付けることが可能な４つのカメラを含んでいる。アラウンドビューシステムの４つのカメラが車両に取り付けられている場合には、車両の車両周辺の対応する全体画像は、それぞれ４つのカメラのうちの１つのカメラによって現在撮影されている複数の画像によって作成される。ここで、このような全体画像は、仮想の視点からの対応する車両の対応する車両周辺と、仮想モデルとを表している。

上述したアラウンドビューシステムは、画像ベースのレンダリング方法を用いることによって、対応する車両の仮想モデルを中心にした、上述した仮想の視点を作成するための、仮想のカメラの自由な誘導を可能にする。

独国特許出願公開第１０２０１３２２０６６９号明細書（ＤＥ１０２０１３２２０６６９Ａ１）から、検出された画像を表示装置上に表示する方法が公知である。場面が、少なくとも１つの、画像識別ベースの画像化装置によって検出される。プロセッサによって、カメラモデルを使用して、検出された場面の仮想の画像が作成される。プロセッサによって、検出された画像上で風景合成技術が使用され、これによって、描き損じが修正された仮想の画像が作成される。描き損じが修正されたこの画像は、バックミラー表示装置に表示される。

独国特許発明第１０２５６６１２号明細書（ＤＥ１０２５６６１２Ｂ３)から、自動車を用いた運転者トレーニングのための方法及び装置が公知である。ここで、運転者には、敷地を通る練習走行の間、投影面に、仮想の３次元の危険な場面進行が、記憶媒体から、投影システムによって、走行に伴って表示される。

独国特許出願公開第１０２０１３２２０６６９号明細書 独国特許発明第１０２５６６１２号明細書

本発明の開示
本発明においては、複数の画像を用いて、車両の車両周辺の全体画像を作成する方法が開示される。これら複数の画像はそれぞれ、車両に取り付けられている複数のカメラのうちの１つのカメラによって現在撮影されているものである。ここで、この全体画像は、仮想の視点からの車両の車両周辺と、仮想モデルとを表している。本発明に係る方法は、複数の画像のうちの１つの画像内に存在している、車体及び／又は車輪を少なくとも部分的に画像化している各所定の画像部分の位置を特定する第１のステップを含んでいる。さらに、本発明に係る方法は、複数の画像のうちの、所定の画像部分が存在している、各画像の部分を、対応するこの画像に割り当てられている画像マスクによって覆う第２のステップを含んでいる。本発明に係る方法は、割り当てられているこの画像内に存在している各所定の画像部分の特定された位置に基づいて、各画像マスクを決定する第３のステップも含んでいる。第３のステップにおいては、各画像マスクは次のように決定される。即ち、各画像マスクが、割り当てられているこの画像内に存在している各所定の画像部分を覆うように決定される。本発明に係る方法は、割り当てられているこの画像マスクによって複数の画像を覆った後に、これらの画像を合成することによって全体画像を作成する第４のステップも含んでいる。

従属請求項は、本発明の有利な発展形態を示している。

上述した方法においては、第４のステップは有利には、表示ユニットに全体画像を表示することを含んでいる。

上述した方法においては、有利には、第５のステップが実施される。第５のステップは、全体画像の画像領域内に車両の仮想モデルを位置付けることを含んでおり、全体画像におけるこの仮想モデルの位置は、車両周辺における車両の位置に対応する。

上述した方法においては、有利には、第６のステップが実施される。第６のステップは、複数の画像のうちの１つの画像内に存在している、車体を少なくとも部分的に画像化している少なくとも１つの所定の画像部分の位置を特定することを含んでいる。ここで、この特定は、複数のカメラのうちの、対応する画像をその時に撮影していたカメラのその時の内部較正パラメータ及び外部較正パラメータに基づいて行われる。

複数の画像のうちの１つの画像の所定の画像部分が車体を少なくとも部分的に画像化しているケースにおいて、対応するカメラが所定の位置にある場合、対応する所定の画像部分は常に同一の位置を対応する画像内で有している。従って、車体を少なくとも部分的に画像化している所定の画像部分を覆うために、対応するカメラの所定の位置に対して、次のような画像マスクが使用され得る。即ち、対応するカメラの所定の位置に対して一度しか決定されず、従って、静的画像マスクとも称される画像マスクが使用され得る。

車体を少なくとも部分的に画像化している各所定の画像部分を、画像マスクを用いて覆うことによって、対応する全体画像において、車体は画像化されない。ここで、有利には、このような全体画像において、車両の仮想モデルは明確に識別されるべきである。なぜなら、車両の仮想モデルは、車体の画像と重ならないからである。これによって、車両周辺の可視化が改善される。

複数の画像のうちの、車輪を少なくとも部分的に画像化している所定の画像部分が存在し得る画像が、画像マスクと重畳するようにすることができる。ここで、この画像マスクは、この画像マスクが、対応する車輪の運動中に、この車輪の画像が取り得る全ての位置を覆うように決定される。

車輪を少なくとも部分的に画像化している各所定の画像部分を、画像マスクを用いて覆うことによって、対応する全体画像において、車輪の不所望な投影が生じなくなる。このような不所望な投影は、車両が接地している地面が画像化されている、対応する全体画像の画像領域において生じることがある。ここで、有利には、このような全体画像において、車両周辺が明確に識別されるべきである。なぜなら、車両周辺の画像が、上述した投影と重ならないからである。これによって、車両周辺の可視化が改善される。

上述した方法においては、有利には第７のステップ及び第８のステップが実施される。第７のステップは、車両の現在の操舵角度に関連した、少なくとも１つの車輪の現在の位置の特定を含んでいる。第８のステップは、少なくとも１つの車輪の現在の位置に基づいた、複数の画像のうちの１つの画像内に存在している、少なくとも１つの車輪を少なくとも部分的に画像化している少なくとも１つの所定の画像部分の位置の特定を含んでいる。第８のステップにおいては、対応する少なくとも１つの所定の画像部分の位置のこの特定が、複数のカメラのうちの、対応する画像をその時に撮影していたカメラのその時の内部較正パラメータ及び外部較正パラメータに基づいても行われる。複数の画像のうちの１つの画像の所定の画像部分が車輪を少なくとも部分的に画像化しているケースにおいて、対応する車輪の位置が変化すると、対応する画像におけるこのような所定の画像部分の位置が変化する。４つのカメラのうちの、対応する画像を撮影したカメラが所定の位置に存在している場合においても、このことが生じ得る。従って、車輪を少なくとも部分的に画像化している所定の画像部分を覆うために、対応する画像内の対応する所定の画像部分の現在の位置に関連して調整され、従って、動的画像マスクとも称される画像マスクが使用され得る。

車輪を少なくとも部分的に画像化している各所定の画像部分を動的画像マスクによって覆うことによって、対応する画像において、最小面積しか覆われない。これによって、対応する画像の比較的大きい面積を覆うことによって生じてしまうであろう情報損失が回避される。このようにして、対応する全体画像によって、車両周辺に関する最大の可能な情報量が提供される。

上述した方法においては、有利には、第９のステップ及び第１０のステップが実施される。第９のステップは、ルックアップテーブルの作成又は使用を含んでいる。このルックアップテーブルは、少なくとも１つのカメラが所定の位置に存在している場合に、複数のカメラのうちの少なくとも１つのカメラの画像において、その都度、対応する位置に存在し得る、少なくとも１つの所定の画像部分の位置を含んでいる。第１０のステップは、少なくとも１つの所定の画像部分が少なくとも１つのカメラの現在の画像内に存在している場合に、この少なくとも１つの所定の画像部分の位置をルックアップテーブルから取り出すことを含んでいる。このようにして、対応する画像内のその位置がルックアップテーブルから取り出される、所定の画像部分を覆うべき画像マスクの決定をより迅速に行うことができる。その理由は、はじめにこのような所定の画像部分の位置が、対応するカメラの現在の内部較正パラメータ及び外部較正パラメータに基づいて特定される必要がない、ということである。上述した方法においては、有利には第１１のステップが実施される。第１１のステップは、複数の画像のうちの１つの画像の少なくとも１つの所定の画像部分に対応する、全体画像の少なくとも１つの画像部分を、全体画像における少なくとも１つの所定の画像構造によって置換することを含んでいる。

本発明の別の態様は、複数の画像を用いて、車両の車両周辺の全体画像を作成する装置に関する。ここで、複数の画像はそれぞれ、車両に取り付けられている複数のカメラのうちの１つのカメラによって現在撮影されているものである。この装置によって作成されるべき全体画像は、仮想の視点からの車両の車両周辺と、仮想モデルとを表している。有利にはこの装置は、表示ユニットを含んでいる。

上述した装置は、上述した方法を実施するように構成されている。

本発明の別の態様は、上述した装置と、車両に取り付け可能な４つのカメラとを有しているアラウンドビューシステムに関する。

以降において、本発明の実施例を、添付図面を参照して詳細に説明する。同じ要素には、その都度、同じ参照番号が使用される。各要素はその都度、一度だけ紹介され、繰り返し時にはその都度、既知のものとして取り扱われる。これは、いずれの図面又はいずれの実施例に、対応する要素が繰り返し現れる、その都度対応する説明部分が関係するのかには無関係である。

アラウンドビューシステムの、車両に取り付けられている４つのカメラのうちの第１のカメラの画像、及び、この第１の画像の部分を覆うために使用可能な静的画像マスク。 本発明の第１の実施形態に従って作成された、車両の車両周辺の第１の全体画像。 本発明の第１の実施形態に従って作成された、車両の車両周辺の第２の全体画像。

本発明の実施形態
図１は、車両用のアラウンドビューシステムの、車両に取り付けられている４つのカメラのうちの第１のカメラの画像１０を示している。ここでは、車両の各側にそれぞれ１つのカメラが取り付けられている。

図１はさらに、画像マスク１１を示している。この画像マスクは、第１のカメラの画像１０の部分を覆うために使用可能である。第１のカメラの画像１０に画像マスク１１を重ねた後、第１のカメラの画像１０が画像マスク１１によって部分的にしか、即ち、領域１１ａにおいてしか覆われていないことが、図１から容易に見て取れる。画像マスク１１は静的画像マスクであり、この静的画像マスクは、第１のカメラの所定の位置に対して一度だけ、第１のカメラの現在の内部較正パラメータ及び外部較正パラメータに関連して決定される。従って、画像マスク１１は、第１のカメラの所定の位置に対して固定のデザインを有している。

本発明の第１の実施形態においては、車両用の第１のアラウンドビューシステムは、車両の車両周辺の少なくとも１つの全体画像を作成する第１の装置と、車両に取り付けられている４つのカメラとを含んでいる。ここでは、車両の前面領域と尾部領域とにそれぞれ、４つのカメラのうちの１つのカメラが取り付けられている。さらに車両の各側にそれぞれ、４つのカメラのうちの１つのカメラが取り付けられている。

第１の装置の作用を、図２及び図３に関連して説明する。

第１の装置は、第１の各所定の画像部分の位置を特定するように構成されている。この第１の所定の画像部分は、車体を少なくとも部分的に画像化しており、かつ、４つのカメラによってその時に撮影されていた４つの画像のうちの１つの画像内に存在している。ここで、４つの画像のうちの１つの画像内に存在している第１の各所定の画像部分の位置の特定は、対応する画像をその時に撮影していたカメラのその時の内部較正パラメータと外部較正パラメータとに関連して行われる。

第１の装置はさらに、４つの画像のうちの、第１の所定の画像部分が存在している、画像の部分を、この対応する画像に割り当てられている第１の画像マスク、ここでは、ハッチング部分２３によって覆うように構成されている。さらに、第１の装置は、割り当てられている画像内に存在している第１の各所定の画像部分の特定された位置に関連して、第１の画像マスクが、割り当てられている画像内に存在している第１の各所定の画像部分を覆うように、各第１の画像マスクを決定する。４つのカメラのうちの１つのカメラの所定の位置に対しては、対応するカメラの、現在撮影されている画像に使用可能な第１の画像マスクは同一のデザインを有しており、一度だけ決定される。従って、このような第１の画像マスクは、静的画像マスクである。

第１の装置はさらに、画像を第１の画像マスクによって覆った後に、４つの画像を合成することによって車両の車両周辺の第１の全体画像２０及び第２の全体画像３０を作成するように構成されている。第１の装置はさらに、その都度、車両の仮想モデル２１を、第１の全体画像２０及び第２の全体画像３０の画像領域内に位置付けるように構成されている。第１の全体画像２０及び第２の全体画像３０におけるこの仮想モデルの位置及び外見は、車両周辺における車両の位置及び外見に対応する。

本発明の第１の実施形態においては、４つの画像のうちの１つの画像内に存在している、車輪を少なくとも部分的に画像化している第２の各所定の画像部分は、対応する第１の画像マスクによって覆われない。

第１の全体画像２０及び第２の全体画像３０から、車両の運転席側に位置するカメラによってその時に撮影されていた画像が、車両の前面領域において運転席側に位置している第１の車輪の画像を含んでいることが見て取れる。これは、第１の全体画像２０及び第２の全体画像３０の、地面を画像化している画像領域内にその都度現れている第１の車輪の投影２２に基づいて識別することが可能である。さらに、第２の全体画像３０から、車両の助手席側に位置しているカメラによってその時に撮影されていた画像が、車両の前面領域において助手席側に位置している第２の車輪の画像を含んでいることが見て取れる。これは、第２の全体画像３０の、その上に車両が存在している地面を画像化している画像領域内に同様に現れている、第２の車輪の投影２４に基づいて識別することが可能である。図２に示されている第１の全体画像２０は第１の仮想の視点からの車両周辺と、車両に使用されている仮想モデル２１とを示している。図３に示されている第２の全体画像３０は、第２の仮想の視点からの車両周辺と、車両に使用されている仮想モデル２１とを示している。

さらに、第１の全体画像２０及び第２の全体画像３０には、車両の固有の影を画像化している領域２５が示されている。

本発明の第２の実施形態においては、車両用の第２のアラウンドビューシステムは、車両の車両周辺の少なくとも１つの全体画像を作成する第２の装置と、車両に取り付けられている４つのカメラとを含んでいる。ここで、第２のアラウンドビューシステムのこれら４つのカメラは、第１のアラウンドビューシステムの４つのカメラと同様に、車両に取り付けられている。

第２の装置の機能は、第１の画像マスクの使用に関しては、第１の装置と同様のものである。

付加的に、第２の装置は、次のように構成されている。即ち、車輪を少なくとも部分的に画像化しており、かつ、４つのカメラによってその時に撮影されていた４つの画像のうちの１つの画像内に存在している第２の各所定の画像部分の位置を特定するように構成されている。ここで、４つの画像のうちの１つの画像内に存在している第２の各所定の画像部分の位置の特定は、対応する画像をその時に撮影していたカメラのその時の内部較正パラメータ及び外部較正パラメータに関連して行われる。さらに、ここでは、４つの画像のうちの１つの画像内に存在している第２の各所定の画像部分の位置の特定が、対応する第２の所定の画像部分において少なくとも部分的に画像化されている車輪の現在の位置にも関連して行われる。

第２の装置はさらに、４つの画像のうちの、第２の所定の画像部分が存在している、画像の部分を、この対応する画像に割り当てられている第２の画像マスクによって覆うように構成されている。さらに、第２の装置は、各第２の画像マスクを、割り当てられている画像内に存在している第２の各所定の画像部分の特定された位置に関連して、次のように決定する。即ち、この第２の画像マスクが、割り当てられている画像内に存在している第２の各所定の画像部分を覆うように決定する。ここで、４つの画像のうちの１つの画像に対して使用可能な第２の画像マスクは、対応する画像内に画像化することが可能な車輪の異なる位置に対して、異なるデザインも有する。これは、対応する画像をその時に撮影していたカメラが、所定の位置に存在している場合にも起こる。このような第２の画像マスクは動的画像マスクであり、これは、対応する車輪の異なる位置に対して異なって調整され得る。

第２の装置はさらに、車両の車両周辺の少なくとも１つの全体画像を、現在撮影されている４つの画像を、第１の画像マスク及び第２の画像マスクによって覆った後に、合成することによって作成するように構成されている。第２の装置は、さらに、車両の仮想モデルを、少なくとも１つの全体画像の画像領域内に位置付けるように構成されている。少なくとも１つの全体画像における、この仮想モデルの位置及び外見は、車両周辺における車両の位置及び外見に対応する。

従って、第２の装置によって作成された全体画像は、第１の全体画像２０及び第２の全体画像３０に対応し、但し、第１の車輪の投影２２及び第２の車輪の投影２４は存在しておらず、例えばハッチング部分又は隣接する画像領域のテクスチャによって置き換えられている。

上述した文書による開示の他に、これとともに、本発明のさらなる開示のために、付加的に、図１乃至図３を参照されたい。

Claims (6)

1. 複数の画像を用いて、車両の車両周辺の全体画像（２０；３０）を作成する方法であって、
   当該複数の画像はそれぞれ、前記車両に取り付けられている複数のカメラのうちの１つのカメラによって現在撮影されているものであり、
   前記全体画像（２０；３０）は、仮想の視点からの前記車両の前記車両周辺と、仮想モデル（２１）とを表している、方法において、
   前記複数の画像のうちの１つの画像内に存在している、車体及び／又は車輪を少なくとも部分的に画像化している各所定の画像部分（２２，２３，２４）の位置を特定し、
   前記複数の画像のうちの、所定の画像部分（２２，２３，２４）が存在している、各画像の部分を、対応する前記画像に割り当てられている画像マスクによって覆い、
   割り当てられている前記画像内に存在している各所定の画像部分（２２，２３，２４）の特定された前記位置に基づいて、画像マスクが、前記割り当てられている画像内に存在している各所定の画像部分（２２，２３，２４）を覆うように各画像マスクを決定し、
   割り当てられている前記画像マスクによって前記画像を覆った後に、前記複数の画像を合成することによって前記全体画像（２０；３０）を作成する、
   ことを特徴とする方法。
2. 前記複数の画像のうちの１つの画像内に存在している、前記車体を少なくとも部分的に画像化している少なくとも１つの所定の画像部分（２３）の前記位置を、前記複数のカメラのうちの、対応する前記画像をその時に撮影していたカメラのその時の内部較正パラメータ及び外部較正パラメータに基づいて特定する、請求項１に記載の方法。
3. 少なくとも１つの車輪の現在の位置を、前記車両の現在の操舵角度に関連して特定し、
   前記複数の画像のうちの１つの画像内に存在している、前記少なくとも１つの車輪を少なくとも部分的に画像化している少なくとも１つの所定の画像部分（２２，２４）の位置を、前記少なくとも１つの車輪の現在の位置及び前記複数のカメラのうちの、前記対応する画像をその時に撮影していたカメラのその時の内部較正パラメータ及び外部較正パラメータに基づいて特定する、請求項１又は２に記載の方法。
4. 前記複数のカメラのうちの少なくとも１つのカメラが所定の位置に存在している場合に、当該少なくとも１つのカメラの画像において、対応する前記位置にその都度存在し得る少なくとも１つの所定の画像部分の位置を含んでいるルックアップテーブルを作成又は使用し、
   前記少なくとも１つの所定の画像部分が前記少なくとも１つのカメラの現在の前記画像内に存在している場合に、前記少なくとも１つの所定の画像部分の位置を前記ルックアップテーブルから取り出す、請求項１乃至３のいずれか一項に記載の方法。
5. 前記全体画像（２０；３０）の画像領域内に前記車両の前記仮想モデル（２１）を位置付け、前記全体画像（２０；３０）における当該仮想モデル（２１）の位置は、前記車両周辺における前記車両の位置に対応する、請求項１乃至４のいずれか一項に記載の方法。
6. 複数の画像を用いて、車両の車両周辺の全体画像（２０；３０）を作成する装置であって、
   当該複数の画像はそれぞれ、前記車両に取り付けられている複数のカメラのうちの１つのカメラによって現在撮影されているものであり、
   前記全体画像（２０；３０）は、仮想の視点からの前記車両の前記車両周辺と、仮想モデル（２１）とを表している、装置において、
   請求項１乃至５のいずれか一項に記載の方法を実施するように構成されている、
   ことを特徴とする装置。

Images