JP2022529657A - 車両周辺部の画像を生成するための方法ならびに車両周辺部の画像を生成するための装置 - Google Patents

Abstract

本発明は、以下のステップを有する車両周辺部の画像を生成するための方法に関する：－ 特に好ましくは、車両ボディに配置されている複数のカメラ（１２，１４，１６，１８）を準備するステップ（Ｓ１）、－ 画像データ乃至車載カメラ（１２，１４，１６，１８）の画像から、個々のＨＤＲ画像を算出する及び／或いは生成するステップ（Ｓ２）、－ 複数の個々のＨＤＲ画像を一枚の統合ＨＤＲ画像に合成するステップ（Ｓ３）、－ 統合ＨＤＲ画像から、ダイナミックレンジの小さい画像、特に好ましくは、ＬＤＲ画像を算出するステップ（Ｓ４）。更に、本発明は、車両周辺部の画像を生成するための装置（１０）にも関する。

Description

本発明は、車両周辺部の画像を生成するための方法及び装置に関する。

車両には、運転手を運転マヌーバの実施においてサポートするドライバー・アシスタント・システムが、ますます、装備されるようになってきている。これらドライバー・アシスタント・システムの中には、車両のドライバーに車両周辺部を示すことを可能にするカメラ・サラウンド・ビュー・システムを包含しているものがある。この様なカメラ・サラウンド・ビュー・システムは、該カメラ・サラウンド・ビュー・システムの、特に好ましくは、データ処理ユニットによって、車両周辺部の周辺画像に統合される車両周辺部の複数のリアル画像を供給する一台の、或いは、複数台の車載カメラを包含している。そしてこの車両周辺部の画像は、ドライバーのために表示ユニット上に好ましく表示される。

該サラウンド・ビュー・システムの互いに隣接するカメラは、通常、重なり合う視野領域を有している。この様な領域では、必要以上に多くの情報が提供されるため、これらの画像は、一般的には、アルファブレンディングによって混合される。しかしながらこの方法は、隣接する画像間における明度が大きく異なる場合には、該混合領域において移行部が明確に現れる原因となり得る。この様な問題を回避するため、画像間の明度を混合する前に合わせると言う既知なアプローチがある。これは、特に好ましくは、画像調和（Ｉｍａｇｅ Ｈａｒｍｏｎｉｚａｔｉｏｎ）によって実施される。しかしながら、画像調和には、欠点がある。例えば、計算が煩雑なこと；サンプリングが、略完璧でなければならないこと；カラーフォーマットによっては、明度を容易に設定できないこと；及び、場像内のパターンと一致しないために、スキャンパターンが、十分にランダムでなければならないこと、などが挙げられる。また、結果が、その時点の状況に大きく依存することも欠点である。

よって、これらを起点とした本発明の課題は、隣接するカメラ間の明度の差異に起因する問題を排除できる方法、乃至、装置を提供することである。

この課題は、独立請求項１記載の特徴を持つ方法によって達成される。好ましい実施形態は、従属請求項の対象である。装置は、並列独立請求項の対象である。

第一アスペクトによれば本発明は、以下のステップを有する車両周辺部の画像を生成するための方法に関する：
－ 特に好ましくは、車両ボディに配置されている複数のカメラを準備するステップ、
－ 画像データ乃至車載カメラの画像から、個々のＨＤＲ画像を算出する及び／或いは生成するステップ、
－ 複数の個々のＨＤＲ画像を一枚の統合ＨＤＲ画像に合成するステップ、
－ 統合ＨＤＲ画像から、ダイナミックレンジの小さい画像、特に好ましくは、ＬＤＲ画像を算出するステップ。

これらの方法ステップは、特に好ましくは、表記されている順番に実施される。

本発明に係る方法を用いれば、特に好ましくは、個々の画像間の明度差がなくなるため、非常に煩雑且つエラーが発生しやすい画像調和を実施する必要がなくなる。

複数の車載カメラは、特に好ましくは、それぞれ車両周辺の少なくとも一つの部分領域を捕捉する。これらの車載カメラ乃至該車載カメラの視野領域は、特に好ましくは、異なる向きを有しているが、隣接するカメラは、通常、少なくとも部分的に重なり合う視野領域を有している。

本発明におけるＨＤＲ画像とは、特に好ましくは、高いダイナミックレンジを有する画像であると解釈される。これは、当業者には、「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅ」として既知である。この様な画像は、カメラの視野領域内における大きな明度差を詳細に再現することを可能にする。

複数の個別のＨＤＲ画像からは、特に好ましくは、一枚の統合ＨＤＲ画像が合成される。個別の画像を一枚の統合画像に合成することは、特に好ましくは、当業者に既知な方法、好ましくは、ステッチングによって実施される。これは、特に好ましくは、重複領域にも採用される。

本発明におけるＬＤＲ画像とは、特に好ましくは、小さなダイナミックレンジを有する画像であると解釈される。これは、当業者には、「Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅｓ」として既知である。ＬＤＲは、特に好ましくは、ＨＤＲ画像のダイナミックレンジを圧縮することによって得られる。

有利な形態においては、個々のＨＤＲ画像は、制御装置に伝達される。個々の車載カメラの個々のＨＤＲ画像の制御装置への伝達には、既知の方法の場合よりもより大きな性能が必要とされるため、先ずは、プロセスにとって不利に作用する。しかしながら驚くべきことに、これは、他のステップ乃至後続のステップによって相殺できることが解明された。該制御装置は、好ましくは、複数の個別のＨＤＲ画像から一枚の統合ＨＤＲ画像を合成する。特に好ましくは、個々のＨＤＲ画像の一枚の統合ＨＤＲ画像への合成は、制御装置内において実施される。

ある好ましい実施形態においては、個々のＨＤＲ画像の算出及び／或いは生成は、個々の車載カメラ毎に実施される。しかしながら本質的には、個々のＨＤＲ画像の算出を、車載カメラ外において実施することも考え得る。尚、この場合は、画像の生データ乃至画像データを、例えば、車載されている、或いは、車外にある、計算が実施される手段に転送することも考え得る。

ＨＤＲ画像からのＬＤＲ画像の算出は、特に好ましくは、トーンマッピングによって実施される。但し、該算出は、ある特定のトーンマッピング法に本質的に制限されない。即ち、本質的に、グローバル演算子の使用も考え得る。ここでは、特に好ましくは、各々のＨＤＲ値にダイナミックに関して圧縮された値を割り当て、これらを各々のピクセルに採用する関数が用いられる。よって、グローバル演算子を用いる際は、ＨＤＲ画像乃至元画像のピクセルは、互いに独立に処理される。ＨＤＲ画像は、特に好ましくは、線形に圧縮される；即ち、全ての画像点に一つのファクファが用いられる。更には、ローカル演算子や周波数ベースの演算子を用いることもできる。ここでは、特に好ましくは、コントラストの高い画像区域とコントラストの低い画像区域は、少なめに圧縮される。トーンマッピングの際は、好ましくは、近隣の、特に好ましくは、隣接するピクセルも考慮される。

有利な形態においては、各々の車載カメラが、画像毎に複数回露光する。個々のＨＤＲ画像は、好ましくは、一つの露光系列から、より好ましくは、ダイナミックレンジが小さい、特に好ましくは、「ｌｏｗ ｄｙｎａｍｉｃ ｒａｎｇｅ」の複数画像の一つの露光系列から再構成される。

本発明で言う露光系列とは、特に好ましくは、段階的な露光からなる系列であると解釈される。その際、好ましくは、同じモチーフが、特に好ましくは、様々な露光設定によって撮影される。好ましくは、各々の画像区域が、少なくとも一枚の個別画像内において、正しく露光される。露光の変化は、露光時間の長さによって実施できる。しかしながら、露光の変化は、絞り値や感度設定によっても制御可能である。個々のＨＤＲ画像を算出するためには、露光系列を撮影することが有利である。

ある好ましい実施形態においては、統合ＬＤＲ画像は、表示ユニット上に表示される。該表示ユニットとしては、ディスプレイ、表示器、及び／或いは、ヘッドアップディスプレイを挙げることができる。該表示ユニットは、車両の一部であることができる。しかしながら、該表示ユニットは、携帯端末の一部であることもできる。

有利な形態においては、サラウンド・ビュー・システムのカメラは、車両周辺部の画像データを提供する。これは、理想的には車両の異なる側に配置されている、四台のカメラであることが特に好ましい。該カメラは、好ましくは、魚眼カメラである。

第二アスペクトによれば本発明は、以下を包含する車両周辺部の画像を生成するための装置に関する：
－ 特に好ましくは、車両の車両ボディに配置され、且つ、ＨＤＲ画像を生成する、乃至、ＨＤＲ画像を算出させることができる車両カメラ、並びに、
－ 複数の個々のＨＤＲ画像を一枚の統合ＨＤＲ画像に合成し、それを基に、ＬＤＲ画像を算出する様に構成されている制御装置。

本発明に係る装置は、本発明に係る方法を実施するのに適している。

本発明のある有利な形態においては、該装置は、制御ユニットによって算出されたＬＤＲ画像を出力する表示ユニットを包含している。

尚、車載カメラは、同一に構成されていることが好ましい。本発明では、同一の構成とは、該車載カメラが、同じセンサ及び／或いは同じレンズを有していると解釈される。尚、全ての車載カメラが、同一の露光時間、感度、絞り、ＡＤ変換、及び／或いは、ＩＳＰの値を用いていることが有利である。

車載カメラは、好ましくは、魚眼カメラとして構成されている。ある好ましい実施形態においては、該車載カメラは、車両の異なる側に配置されている。丁度四台のカメラが使用されることが有利であるが、この際、特に好ましくは、一台の車載カメラを、車両ボディの前方に、一台の車載カメラを後方に、一台の車載カメラを、右側に、そして、一台の車載カメラを左側に配置する。ここで言う車載カメラとは、特に好ましくは、サラウンド・ビュー・システムのカメラである。

本発明の更なる好ましい実施形態は、図面によって示される。図の説明：

車両周辺部の画像を生成するための本発明に係る方法のある実施形態におけるフローチャートの模式的な描写である。 車両周辺部の画像を生成するための本発明に係る装置の、ある実施形態における模式的な描写である。

図１は、車両周辺部の画像を生成するための本発明に係る方法のある実施形態におけるフローチャートの模式的な描写を示している。第一ステップＳ１では、複数の車載カメラ１２，１４，１６，１８が、準備される。カメラ１２，１４，１６，１８は、車両の車両ボディに配置されているが、車載カメラ１２，１４，１６，１８乃至車載カメラ１２，１４，１６，１８の視野領域は、異なる方向を有している。隣接する車載カメラ１２，１４，１６，１８は、特に好ましくは、一部、重複領域を有している。

第二ステップＳ２では、個々のＨＤＲ画像が、車載カメラ１２，１４，１６，１８の画像データ乃至画像から算出される、及び／或いは、生成される。個々のＨＤＲ画像の算出は、好ましくは、それぞれの車載カメラ１２，１４，１６，１８内において実施される。個々のＨＤＲ画像は、露光系列、好ましくは、低いダイナミックレンジの画像の露光系列から再構成することで、有利に得ることができる。そのために、各々の車載カメラ１２，１４，１６，１８は、特に好ましくは、画像毎に複数回露光する。

第三ステップＳ３では、複数の個別のＨＤＲ画像が、一枚の統合ＨＤＲ画像に合成される。個々のＨＤＲ画像の合成は、制御装置２０内で実施されることができる。

第四ステップＳ４では、統合ＨＤＲ画像から一枚の低いダイナミックレンジの画像、好ましくは、ＬＤＲ画像が、算出される。ＨＤＲ画像からのＬＤＲ画像の算出は、好ましくは、トーンマッピングによって実施される。続いて、統合ＬＤＲ画像は、表示ユニット２２上に表示されることができる。

図２は、車両周辺部の画像を生成するための本発明に係る装置１０の、ある実施形態における模式的な描写を示している。該装置は、ＨＤＲ画像を生成できる、乃至、それらからＨＤＲ画像を算出できる様に構成されている複数の車載カメラ１２，１４，１６，１８を包含している。車載カメラ１２，１４，１６，１８は、好ましくは、車両の車両ボディに設けられている。特に好ましくは、車載カメラ１２，１４，１６，１８は、車両の異なる側に配置されている。

車載カメラ１２，１４，１６，１８は、理想的には、同一に構成されている。これらは、特に好ましくは、同じセンサ、及び／或いは、同じレンズを有している。車載カメラ１２，１４，１６，１８は、魚眼カメラとして構成されていることができる。車載カメラ１２，１４，１６，１８が、サラウンド・ビュー・システムのカメラであることは、有利である。

更に本発明に係る装置１０は、制御装置２０を包含している。制御装置２０は、複数の個々のＨＤＲ画像を一枚の統合ＨＤＲ画像に合成し、それを基に、ＬＤＲ画像を算出する様に構成されている。加えて、本発明に係る装置１０は、制御装置２０によって算出されたＬＤＲ画像を出力する乃至表示する表示ユニット２２を包含していることもできる。

本発明は、上記実施例によって説明された。しかしながら、特許請求項に定義されている請求範囲を逸脱することなく、数多くの変更やヴァリエーションが可能であることは、言うまでも無いことである。尚、様々な実施例の組み合わせも可能である。

１０ 装置
１２ 第一車載カメラ
１４ 第二車載カメラ
１６ 第三車載カメラ
１８ 第四車載カメラ
２０ 制御装置
２２ 表示ユニット
Ｓ１－Ｓ４ 方法ステップ

Claims (10)

1. 以下のステップを有することを特徴とする車両周辺部の画像を生成するための方法：
   － 特に好ましくは、車両ボディに配置されている複数のカメラ（１２，１４，１６，１８）を準備するステップ（Ｓ１）、
   － 画像データ乃至車載カメラ（１２，１４，１６，１８）の画像から、個々のＨＤＲ画像を算出する及び／或いは生成するステップ（Ｓ２）、
   － 複数の個々のＨＤＲ画像を一枚の統合ＨＤＲ画像に合成するステップ（Ｓ３）、
   － 統合ＨＤＲ画像から、ダイナミックレンジの小さい画像、特に好ましくは、ＬＤＲ画像を算出するステップ（Ｓ４）。
2. 個々のＨＤＲ画像が、制御装置（２０）に転送され、
   制御装置（２０）が、複数の個別のＨＤＲ画像から統合ＨＤＲ画像を作成することを特徴とする請求項１に記載の方法。
3. 個々のＨＤＲ画像の算出が、それぞれ、個々の車載カメラ（１２，１４，１６，１８）内において実施されることを特徴とする請求項１或いは２の何れか一項に記載の方法。
4. 各々の車載カメラ（１２，１４，１６，１８）が、画像毎に複数回露光することを特徴とする先行請求項のうち一項に記載の方法。
5. 統合ＬＤＲ画像が、表示ユニット（２２）に表示されることを特徴とする先行請求項のうち一項に記載の方法。
6. サラウンド・ビュー・システムのカメラ（１２，１４，１６，１８）が、車両周辺部の画像データを供給することを特徴とする先行請求項のうち一項に記載の方法。
7. 以下を有することを特徴とする車両周辺部の画像を生成するための装置（１０）：
   － 特に好ましくは、車両の車両ボディに配置され、且つ、ＨＤＲ画像を生成する、乃至、ＨＤＲ画像を算出させることができる車両カメラ（１２，１４，１６，１８）、並びに、
   － 複数の個々のＨＤＲ画像を一枚の統合ＨＤＲ画像に合成し、それを基に、ＬＤＲ画像を算出する様に構成されている制御装置（２０）。
8. 制御装置（２０）によって算出されたＬＤＲ画像を出力する乃至表示する表示ユニット（２２）を特徴とする請求項７に記載の装置（１０）。
9. 車載カメラ（１２，１４，１６，１８）が、同一の構成であることを特徴とする請求項７或いは８のうち何れか一項に記載の装置（１０）。
10. 車載カメラ（１２，１４，１６，１８）が丁度四台であり、特に好ましくは、一台の車載カメラが、車両ボディの前方に、一台の車載カメラが後方に、一台の車載カメラが、右側に、そして、一台の車載カメラが左側に配置されていることを特徴とする請求項７から９の何れか一項に記載の装置（１０）。

Images