JP2018520411A - 車両周辺部のバーチャル画像を作成するための方法 - Google Patents

Abstract

本発明は、車両周辺部のバーチャル画像を作成するための、但し、車両に配置された一台、乃至、複数台のカメラによって、車両周辺部のリアル画像を、捕捉し、バーチャル画像を作成する為に、該カメラによって捕捉されたリアル画像のピクセルを車両周辺部の三次元周辺モデルの投影点（Ｐ_ｉ）に投影する方法に関する。

Description

本発明は、三次元周辺モデルを採用し、特にカメラ・サラウンド・ビュー・システムを備えた車両において用いるための車両周辺部のバーチャル画像を作成するための方法に関する。

車両には、運転手を運転マヌーバの実施においてサポートするドライバー・アシスタント・システムが、ますます、装備されるようになってきている。これらドライバー・アシスタント・システムの中には、車両のドライバーに車両周辺部を示すことを可能にするカメラ・サラウンド・ビュー・システムを包含しているものがある。この様なカメラ・サラウンド・ビュー・システムは、該カメラ・サラウンド・ビュー・システムのデータ処理ユニットによって、車両周辺部の周辺画像に統合される車両周辺部の複数のリアル画像を供給する一台の、或いは、複数台の車載カメラを包含している。そしてこの車両周辺部の画像は、ドライバーのために表示ユニット上に表示される。

これには、カメラ・サラウンド・ビュー・システムのカメラによって得られた車両周辺部のリアル画像が、先ず、車両周辺部のバーチャル周辺モデルの投影点に投影されなければならない。続いて、バーチャルカメラのこの様に作成されたバーチャル画像に対する視点から、更に、表示ユニットに表示される画像が算出される。尚、表示される画像を計算するためのバーチャルカメラの位置は、可変であり、必要に応じて、或いは、走行状況に応じて、ドライバーに車両周辺部の異なる描写を表示することができるようになっている。リアル画像の投影、並びに、バーチャル画像の作成のための三次元周辺モデルの選択は、表示される画像のクオリティに大きく影響する。

ドイツ特許出願公開公報ＤＥ １０ ２０１２ ２０３ ５２３ Ａ１は、一台の車両に配置された複数のカメラによって捕捉されたそれぞれの画像の画像データの画像処理を実施するための本件分野に属し、車両があるレベルにあり、下記平坦な底面領域の地面表面を有する表面を有し、車両も包含される周辺空間の境界をなす平坦な底面領域を有する三次元の周辺モデルのジオメトリーを提供する方法を、開示している。異なるカメラの各々の画像の画像データは、三次元周辺モデルの表面に周辺モデル画像データとして投影される。続いて、バーチャルカメラから三次元周辺モデルの表面を見たシグナルを発する画像のシグナルを発する画像データが、割り出されるが、これは、予め与えられている条件が満たされた場合、鏡像的な描写として実施される。

他の本件分野に属する方法は、ドイツ特許出願公開公報ＤＥ １０ ２０１２ ２１９ ７３５ Ａ１とＤＥ １０ ２０１３ ２２０ ００５ Ａ１から既知である。

即ち、従来のカメラベースのドライバー・アシスタント・システムは、カメラシステムのテクスチャー情報を、周辺モデルとしての静的な投影面、好ましくは、三次元の深皿状の面に投影するため、曲率半径は、例えば、上記のＤＥ １０ ２０１３ ２２０ ００５ Ａ１にも開示されている如く、車両から遠ざかるにつれ大きくなる。周辺モデルとしての三次元の深皿状の面は、二次元の基準面、即ち、平坦な投影面と比較した場合、車両周辺部の高さを有するオブジェクト歪みが、縮小されることから、有意に有利である。

しかし、これまで用いられてきた三次元深皿状周辺モデル、乃至、投影面の主な短所は、特に、投影アルゴリズム用として、即ち、リアル画像データの投影の実施用として、通常、これらのモデルが、極座標方程式、乃至、極座標によって描写されることである。この様な極座標系に基づいた周辺モデルを、図１に例示しているが、図１の交点に示されているグリッドモデルは、周辺モデルの投影点に対応している。図１からも明らかないように、車両からのラジアル方向の間隔が増すにつれ、投影点間の間隔も大きくなる。このことの主な欠点は、車両周辺部のバーチャル画像が、即ち、後に表示される画像が、一定の解像度を有していないことである。それどころか、車両からの間隔が増すにつれ、走査点の間隔が大きくなる、即ち、画像の原理的な走査点解像度が低下し、後に作成される画像に悪影響を与え、それは、例えば、歪みアーティファクトの増加として現れる。「最善な」乃至最高の走査点解像度、即ち、走査点間の最も小さな間隔は、バーチャル画像内の、その領域に対応するリアル画像データが無い部分、即ち、車両の下の領域において、得られる。この領域では、既知の如く、画像データは示されず、車両の三次元モデルが作成され、表示されている画像内に描写される。

ＤＥ １０ ２０１２ ２０３ ５２３ Ａ１ ＤＥ １０ ２０１２ ２１９ ７３５ Ａ１ ＤＥ １０ ２０１３ ２２０ ００５ Ａ１

よって本発明が解決しようとする課題は、特に、改善された三次元周辺モデルを採用した、改善された車両周辺部のバーチャル画像を作成する方法を提供することにある。

本発明によれば、上記目的は、独立請求項に記載されている対象によって達成される。本発明のより好ましい実施形態は、従属請求項に記載されている。

本発明に係る方法は、車両周辺部のバーチャル画像を作成する役割を担っている。その際、本方法の範疇では、一つの、或いは、複数の車両に配置されているカメラを用いて、車両周辺部のリアル画像が、捕捉される。続いて、個々のピクセル、特に、個々のピクセルの色や輝度などの画像データが、カメラによって捕捉されたリアル画像に基づいて、車両周辺部の三次元周辺モデルの投影点に投影される。ここで言う「三次元周辺モデル」とは、特に、車両周辺部のバーチャルモデルであると解釈でき、特に好ましくは、その上に予め定められているアルゴリズム及び／或いは所謂ルックアップテーブルに従って、画像データが投影され、且つ、少なくとも三空間方向に分散され配置されている投影点から構成される深皿状の投影面である。

本発明では、三次元周辺モデルの各々の投影点は、少なくとも一つの第一空間方向、並びに、少なくとも一つの第二空間方向において、等間隔に配置されている。該各々の投影点は、この際、好ましくは、その中で該三次元周辺モデルが定義されている、乃至、その中で投影点が分配配置されている、該三次元空間の、三つのうち少なくとも二つの直交する空間方向に対して、即ち、好ましくは、即ち、三次元空間の座標レベルのうちの少なくとも一つに対して、等間隔に配置されている。「等間隔に配置」とは、少なくとも二つの空間方向に対して、特に好ましくは、少なくとも二つの座標軸方向に対して、互いの間隔が同じになる様に投影点が配置されていると解釈することができる。その際、投影点用に、該双方の空間方向において同じ間隔が設定されている、或いは、該双方の空間方向においてそれぞれ異なる、投影点用の等間隔が選択されていることができる。この様な投影点の配置、乃至、その結果得られる周辺モデルの主な長所は、特に双方の空間方向に対して同じ間隔である場合は、双方の空間方向によって定義されるレベルに対して一定の画像解像度が該バーチャル画像において得られると言うことである。よって、バーチャル画像の解像度は、特に既知の周辺モデルとは異なり、車両から投影点までの距離に依存しない。

本発明に係る方法のある好ましい実施形態によれば、三次元空間内での投影点のポジションは、デカルト座標系により、即ち、ｘ座標、ｙ座標、ｚ座標によって定義される。即ちこの方法では、例えば、ｘ−方向とｙ−方向の投影点間の間隔を固定的に定義することによって、少なくとも二つの座標方向における投影点の等間隔配置を、特に極座標と比較した場合、容易に定義できる。

本発明に係る方法のある好ましい更なる実施形態によれば、投影点は、周辺モデルにおいて、仮定された道路表面に相当する、乃至、これに対して平行に配置された座標レベルにおいて等間隔に配置されている。ここで言う「道路表面」とは、周辺モデルにおいて車両があるリアルなレベルとしてみなされる高さであると解釈できる。即ち、この形態バリエーションによれば、投影点は、周辺モデルにおいて、仮定されている、乃至、バーチャルな、道路表面に相当するレベルがそれら間に平面として張られている双方の空間方向において、等間隔に配置されている。

本発明に係る方法のある好ましい更なる実施形態によれば、第一、及び／或いは、第二空間方向における投影点の間隔の大きさは、少なくとも一つの可変なパラメーターに依存して定義されている。形態バリエーションによれば、投影点の間隔は、即ち、バーチャル画像の解像度は、例えば、望まれる解像度、或いは、例えば、プロセッサーの能力、或いは、車両速度に合うように、簡素な方法によって調整することが可能である。

本発明に係る方法のある好ましい更なる実施形態によれば、第三空間方向における投影点のポジションは、投影点の車両からの間隔に依存して、特に、周辺モデル内のバーチャル車両のエッジとみなされている位置からの間隔に依存して定義されている。ここで言う「第三の空間方向」とは、三つの直交する空間方向の三つ目の方向であり、好ましくは、道路表面とみなされている面に対して垂直な投影点の間隔のことである。言い換えれば、第三空間方向のポジションは、バーチャル周辺モデル内で道路表面とみなされている位置を基準とした投影点の高さである。

第三空間方向における投影点のポジションは、この際も、予め定められている最大間隔に依存して、即ち、車両、乃至、車両のエッジまでの間隔の限界値に依存して、及び／或いは、予め定められている勾配係数に依存して定義されることができる。

該第三空間方向における投影点のポジションに対する最大値も、特に、バーチャル周辺モデル内における投影点の最大の高さが設定されていても良い。

該第三空間方向における投影点のポジション、乃至、分布は、本発明に係る方法の範囲では、指数関数によって記述されることが好ましい。

ここで、上述の一つ、乃至、複数のパラメーターに依存し、特に好ましくは指数関数による第三空間方向における投影点のポジションの定義は、非常に容易にそれぞれの用途に対応させることができる、ダイナミックに可変なモデルを提供することを可能にする。例えば、この様に作成された本発明に係る深皿状の投影面は、容易に、即ち、数少ないパラメーターを調整するだけで、現実に合わせることが可能である。この際、例えば、車両周辺部のオブジェクトまでの距離を測定し、投影面の最大領域（車両までの距離の限界値）とその側壁の勾配係数を、特に、表示画像内のオブジェクトの歪みを低減するために、該オブジェクト距離に合わせることが可能である。

本発明に係る方法のある好ましい更なる実施形態によれば、周辺モデルでは、車両の周り、乃至、該周辺モデル内におけるバーチャル・ポジションの周りに、少なくとも一つの領域、特に好ましくは、第一領域が、定義されるが、該領域内では、特に、第三空間方向における投影点のポジションを計算するために、車両からの投影点までの間隔が、車両エッジからの投影点の鉛直方向の間隔に、即ち、その第一或いは第二空間方向における間隔に相当している。ここで言う「第一領域」とは、好ましくは、車両の前後、並びに、その側方、即ち、車両の左右の領域のことである。

本発明に係る方法のある好ましい更なる実施形態によれば、周辺モデルでは、車両の周り、乃至、その該周辺モデル内におけるバーチャル・ポジションの周りに、少なくとも一つの領域、特に好ましくは、第二領域が、定義されるが、該領域内では、特に、第三空間方向における投影点のポジションを計算するために、車両エッジから投影点までの間隔が、ある特定の点から、特に好ましくは、車両中央点、或いは、車両コーナー点から投影点までのラジアル方向の間隔に相当している。ここで言う「第二領域」とは、好ましくは、車両脇の前方左と前方右、並びに、後方左と後方右の領域のことである。

本発明は、更に、車両に配置され車両周辺部のリアル画像を捕捉する役割を担っている一台乃至複数台のカメラを有する車両周辺部のバーチャル画像を作成するための装置も包含している。該装置は、更に、カメラによって捕捉されたリアル画像のピクセルを車両周辺部の定義された三次元周辺モデルに投影してバーチャル画像を作成する手段も包含している。本発明によれば、該手段は、本発明に係る方法による、特に上述の実施形態のうち一つに係る三次元周辺モデルを用いた、バーチャル画像の作成を実施できるように構成されている。

本発明は、更に、本発明に係る装置を包含する、或いは、その内部において本発明に係る方法が採用されるドライバー・アシスタント・システムにも関する。

更に本発明は、この様なドライバー・アシスタント・システム、乃至、本発明に係る装置が、配置されている車両も包含している。

以下、本発明を、更なる長所と用途が示される実施例を用いて詳しく説明する。

従来の技術から既知な極座標系に基づく深皿状の周辺モデル。 本発明に係る方法の範囲において用いられる三次元周辺モデルの一例の上視図。 第三空間方向における投影点の本発明に係る配置。

従来の技術から既知な方法と同様、本発明に係る方法の範囲においても、一台、乃至、複数台のカメラによって、車両周辺部のリアル画像が、捕捉される。

更に、本発明に係る方法の範囲では、リアル画像の個々のピクセル、即ち、特に、ピクセルの色や輝度などの画像データが、車両周辺部の三次元周辺モデルの投影点（Ｐ_ｉ）に投影される。ここで言う「投影点」と言う用語は、従来の技術で使用されている「走査点」や「サンプリング・ポイント」の類義語と解釈することができる。

本件発明と、従来の技術から既知な方法との重要な相違点は、本発明に係る方法の範囲において用いられる三次元周辺モデルの実施形態、特に、三次元空間（ｘ，ｙ，ｚ−空間）における投影点（Ｐ_ｉ）の分布、乃至、配置である。

図２と図３は、この様な、本発明に係る方法の範囲において用いられる周辺モデルの好ましい実施形態を示している。

図２は、使用されている周辺モデルを垂直な上視図、即ち、鳥瞰図として示している。本件発明によれば、三次元周辺モデルの投影点（Ｐ_ｉ）のポジションは、デカルト座標ｘ、ｙ、ｚによって定義される。よって、図２には、周辺モデルが、垂直なｚ方向から、ｘ、ｙ座標レベル（Ｅ_ｘｙ）上で示されているが、このレベル（Ｅ_ｘｙ）は、周辺モデルにおいて、道路表面、乃至、車両があるレベルとみなされるレベルである。

本発明において其々の投影点（Ｐ_ｉ）は、少なくとも一つの第一空間方向（ｘ）と第二空間方向（ｙ）において、互いに等間隔に配置されている。本実施例では、該双方の空間方向とは、座標方向ｘとｙのことである、即ち、投影点（Ｐ_ｉ）は、ｘ方向とｙ方向において、互いに対して一定且つ同一の間隔（Δｘ，Δｙ）を有している。よって、該投影点（Ｐ_ｉ）は、この例においては、周辺モデルでは、道路表面であるとみなされる、該当する座標レベル（Ｅ_ｘｙ）を基準として、互いに等間隔に配置されている。

この際、ｘ方向とｙ方向における投影点の間隔（Δｘ，Δｙ）の値は、本発明では、予め定められている、或いは、特に好ましくは、一つの、或いは、複数のパラメーターに依存して、例えば、バーチャル画像、乃至、表示される画像に求められる解像度、画像処理手段のプロセッサー能力、及び／或いは、その時点の例えば走行速度に依存して、可変に定義されている。

本実施例において、ｚ方向、即ち、道路表面とみなされているレベルを基準とした投影点（Ｐ_ｉ）の高さに相当する第三空間方向（ｚ）における投影点（Ｐ_ｉ）のポジションは、この実施例では、車両からの間隔（ｄ_Ｐｉ）が増すにつれて高くなるため、該周辺モデルでは、図３に示す如く、深皿状の投影面を形成している。この際、Ｚ方向のポジションは、本発明では、投影点（Ｐ_ｉ）の車両までの間隔（ｄ_Ｐｉ）、並びに、その他のパラメーターに依存して定義される。

図３は、同様に、ｚ方向における投影点（ｚ_Ｐｉ）のポジションを決めるための一つの好ましい実施形態を示している。この際、Ｚ方向のポジション（ｚ_Ｐｉ）は、車両までの間隔（ｄ_Ｐｉ）のみならず、車両までの間隔の境界値、即ち、車両までの投影点（Ｐ_ｉ）の予め定められている最大間隔（ｄ_ｍａｘ）、並びに、予め定められている上昇パラメータ（ｎ）にも依存して定義されている。更に、示されている例では、周辺モデルの高さ用の最大値、乃至、境界値（ｚ_ｍａｘ）も定められている。

よって、投影点のｚ座標、乃至、高さ（ｚ_Ｐｉ）は、通常、以下の式によって得られる：
ｚ_Ｐｉ＝（ｄ_Ｐｉ／ｄ_ｍａｘ）^ｎ （１）

この際、ｄ_ｍａｘ、ｚ_ｍａｘ及びｎの値は、全ての投影点（Ｐ_ｉ）に対して同一に選択されることが好ましい一方、車両周辺の個々の領域に対する投影点（Ｐ_ｉ）の間隔（ｄ_Ｐｉ）は、各々異なって定義されていることが好ましい。

この例では図２の様に第一領域、即ち、車両の前方（Ｖ）と後方（Ｈ）、並びに、車両の左側（Ｌ）と右側（Ｒ）が定められるが、これらの領域では、ある一つの投影点（Ｐ_ｉ，Ｒ）の車両からの間隔（ｄ_Ｐｉ）は、ｘ方向、乃至、ｙ方向における最も近いバーチャルな車両のエッジ（Ｋ_Ｒ）からの投影点の横方向、乃至、垂直方向の間隔（ｄ_Ｐｉ，Ｒ）に相当している。よって、これらの領域においては、高さ、乃至、Ｚ座標（ｚ_Ｐｉ）を計算する際には、以下の式によって得られる投影点（Ｐ_ｉ）の間隔（ｄ_Ｐｉ）が有効である（ここでは、例として、車両右側の領域（Ｒ）内の任意の投影点（Ｐ_ｉ，Ｒ）を挙げた）：
ｄ_Ｐｉ，Ｒ＝ｙ_Ｐｉ，Ｒ−ｙ_ＫＲ （２）

また、この例では、第二領域、即ち、特に好ましくは、カメラ・サラウンド・ビュー・システムのカメラが重なり合っている領域、即ち、重複する捕捉領域に相当する、車両側方の前方左側（ＶＬ）と前方右側（ＶＲ）、並びに、車両側方の後方左側（ＨＬ）と工法右側（ＨＲ）も定められる。これらの領域では、車両からの投影点（Ｐ_ｉ，ＨＲ）の間隔（ｄ_Ｐｉ）は、最も近い車両コーナー点（Ｅ_ＨＲ）、即ち、最も近い車両エッジのノード・ポイントからの投影点（Ｐ_ｉ，ＨＲ）のラジアル方向間隔（ｄ_{Ｐｉ，ＨＲ}）に相当する。よって、これらの領域においては、高さ（ｚ_Ｐｉ）を計算する際には、以下の式によって得られる投影点（Ｐ_ｉ）の間隔（ｄ_Ｐｉ）が有効である（ここでは、例として、車両後方右側の領域（ＨＲ）内の任意の投影点（Ｐ_ｉ，ＨＲ）を挙げた）：
ｄ_{Ｐｉ，ＨＲ}＝√（（ｘ_{Ｐｉ，ＨＲ}−ｘ_ＥＨＲ）^２＋（ｙ_{Ｐｉ，ＨＲ}−ｙ_ＥＨＲ）^２） （３）

本発明の範囲において車両周辺のバーチャル画像を作成するために用いられる三次元周辺モデルは、図２と３においては、非常に簡略化されており、特に、実際の使用例と比較して少数の投影点（Ｐ_ｉ）のみが、示されている。該周辺モデルは、例えば、車両内のドライバー・アシスタント・システムにおいて用いる場合、予め静的に定められている、或いは、例えば、リアルタイムに各画像に対して新規に計算される。この場合、本発明に係る方法は、特に好ましくは、マイクロプロセッサーによって実行されることのできるコンピューター命令を包含するコンピュータープログラムによって、ドライバー・アシスタント・システム内に実装されていることができる。該プログラムは、ある可及的実施形態においては、データ記憶媒体、或いは、プログラム・メモリーに保存されている。

Claims (12)

1. 車両周辺部のバーチャル画像を作成するための、但し、
   −車両に配置された一台、乃至、複数台のカメラによって、車両周辺部のリアル画像を、捕捉し、
   −バーチャル画像を作成する為に、該カメラによって捕捉されたリアル画像のピクセルを車両周辺部の三次元周辺モデルの投影点（Ｐ_ｉ）に投影する方法であって、
   −投影点（Ｐ_ｉ）が、少なくとも一つの第一空間方向（ｘ）と第二空間方向（ｙ）において、互いに等間隔に配置されていることを特徴とする方法。
2. 三次元空間内の投影点（Ｐ_ｉ）のポジションが、デカルト座標系によって、定義されることを特徴とする請求項１に記載の方法。
3. 投影点（Ｐ_ｉ）が、周辺モデルにおいて道路表面に相当する座標レベル（Ｅ_ｘｙ）に対して互いに等間隔に配置されていることを特徴とする請求項１或いは２の何れか一項に記載の方法。
4. 投影点（Ｐ_ｉ）の一定な間隔（Δｘ；Δｙ）の大きさが、第一、及び／或いは、第二空間方向（ｘ，ｙ）において、少なくとも一つの可変なパラメーターに依存して定義されていることを特徴とする先行請求項のうち何れか一項に記載の方法。
5. 第三空間方向（ｚ）における投影点（Ｐ_ｉ）のポジション（ｚ_Ｐｉ）が、車両からの間隔（ｄ_Ｐｉ）に依存して、周辺モデルにおいて定義されていることを特徴とする先行請求項のうち何れか一項に記載の方法。
6. 第三空間方向（ｚ）における投影点（Ｐ_ｉ）のポジション（ｚ_Ｐｉ）が、更に、車両に対する間隔（ｄ_ｐｉ）用に予め定められている境界値（ｄ_ｍａｘ）に依存して、及び／或いは、予め定められている上昇パラメータ（ｎ）に依存して定義されていることを特徴とする請求項５に記載の方法。
7. 周辺モデルを計算するために、更に、投影点（Ｐ_ｉ）のポジション（ｚ_Ｐｉ）用の空間方向（ｚ）における最大値（ｚ_ｍａｘ）が、予め定められていることを特徴とする請求項５或いは６のうち何れか一項に記載の方法。
8. 周辺モデルにおいて、車両の周りに少なくとも一つの第一領域（Ｖ，Ｈ，Ｌ，Ｒ）が定義されているが、これらの領域内では、車両からの投影点（Ｐ_ｉ）の間隔（ｄ_Ｐｉ）は、これらの領域内の投影点（Ｐ_ｉ，Ｒ）の車両エッジ（Ｋ_Ｒ）からの横方向間隔（ｄ_Ｐｉ，Ｒ）に相当していることを特徴とする請求項５から７のうち何れか一項に記載の方法。
9. 周辺モデルにおいて、車両の周りに少なくとも一つの第二領域（ＶＬ，ＶＲ，ＨＬ，ＨＲ）が定義されているが、これらの領域内では、車両からの投影点（Ｐ_ｉ）の間隔（ｄ_Ｐｉ）は、これらの領域内の投影点（ｄ_{Ｐｉ，ＨＲ}）の車両コーナー点（Ｅ_ＨＲ）からのラジアル方向間隔（ｄ_{Ｐｉ，ＨＲ}）に相当していることを特徴とする請求項５から８のうち何れか一項に記載の方法。
10. −車両に配置され車両周辺部のリアル画像を捕捉する役割を担っている一台乃至複数台のカメラ、並びに、
    −カメラによって捕捉されたリアル画像のピクセルを車両周辺部の定義された三次元周辺モデルの投影点（Ｐ_ｉ）に投影してバーチャル画像を作成する手段を包含する車両周辺部のバーチャル画像を作成するための装置であって、
    バーチャル画像を作成する手段が、先行請求項のうち何れか一項に記載の方法を実施できるように構成されていることを特徴とする装置。
11. 請求項１０に係る、或いは、請求項１から９のうち何れか一項に記載の方法を実施するための装置を包含するドライバー・アシスタント・システム。
12. 請求項１０に記載の装置、或いは、請求項１１に記載のドライバー・アシスタント・システムを包含する車両。

Images