JP2020502850A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020502850A5 JP2020502850A5 JP2019518222A JP2019518222A JP2020502850A5 JP 2020502850 A5 JP2020502850 A5 JP 2020502850A5 JP 2019518222 A JP2019518222 A JP 2019518222A JP 2019518222 A JP2019518222 A JP 2019518222A JP 2020502850 A5 JP2020502850 A5 JP 2020502850A5
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- fua
- calculated
- view
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000002093 peripheral Effects 0.000 claims description 22
- 238000004642 transportation engineering Methods 0.000 claims description 6
- JOXIMZWYDAKGHI-UHFFFAOYSA-M toluene-4-sulfonate Chemical compound CC1=CC=C(S([O-])(=O)=O)C=C1 JOXIMZWYDAKGHI-UHFFFAOYSA-M 0.000 claims description 5
- 230000003796 beauty Effects 0.000 claims 1
- 230000000875 corresponding Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 125000005490 tosylate group Chemical group 0.000 description 1
Images
Description
本発明は、乗り物、特に、陸上用の乗り物において、乗り物周辺ビューを作成するための方法ならびに装置に関する。
乗り物には、増々、乗り物周辺ビューを表示するためのシステムやサラウンドビューシステムが、搭載される様になってきている。サラウンドビューシステムは、乗り物のドライバーアシスタントシステムの一部であることができるが、その際、サラウンドビューシステムは、乗り物の乗り物周辺部を可能な限り詳細に再現するものである。ドライバーアシスタントシステムは、乗り物のドライバーを、特に、乗り物マヌーバの実施時にサポートするものである。従来のサラウンドビューシステムでは、乗り物の乗り物ボディに設置されている複数の車載カメラによって提供される複数のカメラ画像が、評価される。その際、複数の車載カメラは、乗り物ボディの側方に配置されていて、乗り物周辺部の複数のカメラ画像を作成する。
しかしながら、様々な複数の車載カメラから提供される複数のカメラ画像は、乗り物ボディの下に横たわる地面の画像データを、供給しない。従来のサラウンドビューシステムは、乗り物ボディの下にある地面を、画一的な色で描写する。即ち、乗り物の乗り物ボディの下にあり、複数の車載カメラからは見えない地面は、十分には、描写されていない。よって、サラウンドビューシステムによって描写された乗り物周辺ビューは、例えば、乗り物のドライバーに、地面の領域において、乗り物周辺部の現実的な再現を提供していないため、運転マヌーバの実施の際に、ドライバーのサポートに悪影響を与えている。地面の再現が不十分であるため、運転マヌーバにおいて、例えば、駐車マヌーバや同様のマヌーバにおいて、乗り物ボディに傷がつく可能性がある。
よって、本発明の課題は、マヌーバを実施する際に、ドライバーをより効率的にサポートし、マヌーバ実施の際に乗り物ボディへの傷を回避できるようにするために、特に乗り物の地面領域の、より現実的な乗り物周辺ビューを作成するための方法を提供することにある。
この課題は、本発明の請求項1記載の特徴を有する、乗り物において、乗り物周辺ビューを作成するための方法によって達成される。
これによれば、本発明は以下のステップを有する乗り物において乗り物周辺ビューを作成するための方法を提供する:
複数のカメラ画像を、乗り物の乗り物ボディに設けられている複数の車載カメラによって用意するステップ、並びに、
用意された複数のカメラ画像を基に、乗り物の乗り物周辺ビューを算出するステップ、但し、乗り物周辺ビューに含まれる、乗り物ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
複数のカメラ画像を、乗り物の乗り物ボディに設けられている複数の車載カメラによって用意するステップ、並びに、
用意された複数のカメラ画像を基に、乗り物の乗り物周辺ビューを算出するステップ、但し、乗り物周辺ビューに含まれる、乗り物ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
本発明に係る方法のある可能な実施形態においては、複数の車載カメラによって用意された複数のカメラ画像を基に、乗り物のオリジナル乗り物周辺ビューが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。
本発明に係る方法のある可能な実施形態においては、算出されたオリジナル乗り物周辺ビューを基に、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。
本発明に係る方法のある更なる可能な実施形態においては、オリジナル乗り物周辺ビューと算出されたテクスチャ予測マトリクスとの間の見えない地面の境界に沿った境界誤差が、算出される。
本発明に係る方法のある更なる可能な実施形態においては、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスを生成するために算出される。
本発明に係る方法のある更なる可能な実施形態においては、カラー予測マトリクスとテクスチャ予測マトリクスが、乗り物周辺ビューの算出のために、割り出された重み付けマトリクスを用いて以下の様に重み付けされ組み合わされる:
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
本発明に係る方法のある更なる可能な実施形態においては、センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクスTPMを算出するために動き補正されたテクスチャ予測が、実施される。
本発明は、更に、第二のアスペクトにおいて、請求項6に記載の特徴を有する乗り物において乗り物周辺ビューFUAを作成するための装置も提供する。
それによれば、本発明は、以下を包含する乗り物において、乗り物周辺ビューFUAを作成するための装置が提供される:
乗り物の乗り物ボディに設置され、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、
乗り物の乗り物周辺ビューを、用意された複数のカメラ画像を基に算出する計算ユニット、
但し、乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
計算ユニットによって算出された乗り物周辺ビューを出力する出力ユニット。
乗り物の乗り物ボディに設置され、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、
乗り物の乗り物周辺ビューを、用意された複数のカメラ画像を基に算出する計算ユニット、
但し、乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
計算ユニットによって算出された乗り物周辺ビューを出力する出力ユニット。
本発明に係る装置のある可能な実施形態においては、複数の車載カメラによって用意された複数のカメラ画像を基に、先ず、計算ユニットによって、乗り物のオリジナル乗り物周辺ビューが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。
本発明に係る装置のある更なる可能な実施形態においては、算出されたオリジナル乗り物周辺ビューを基に、計算ユニットによって、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。
本発明に係る装置のある更なる可能な実施形態においては、計算ユニットによって、オリジナル乗り物周辺ビューとテクスチャ予測マトリクスとの間の見えない地面の境界に沿った境界誤差が、算出される。
本発明に係る装置のある更なる可能な実施形態においては、計算ユニットによって、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスを生成するために算出される。
本発明に係る装置のある更なる可能な実施形態においては、計算ユニットは、カラー予測マトリクスとテクスチャ予測マトリクスを、乗り物周辺ビューの算出のために、割り出された重み付けマトリクスを用いて以下の様に重み付けされ組み合わせる様に構成されている:
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
本発明に係る装置の更なる可能な実施形態においては、装置は、算出したカラー予測マトリクスと算出したテクスチャ予測マトリクスを一時保存するための少なくとも一つのデータ保存手段も包含している。
また本発明は、更なるアスペクトによれば、請求項12に記載の特徴を有するドライバーアシスタントシステムも、提供する。
それによれば、本発明は、
乗り物の乗り物ボディに取り付けられ、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、並びに、
乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出し、用意された複数のカメラ画像に基づいて乗り物の乗り物周辺ビューを算出することに適している計算ユニットを、
有する
乗り物周辺ビューを作成するための装置を
備えた
乗り物用のドライバーアシスタントシステムを提供する。
乗り物の乗り物ボディに取り付けられ、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、並びに、
乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出し、用意された複数のカメラ画像に基づいて乗り物の乗り物周辺ビューを算出することに適している計算ユニットを、
有する
乗り物周辺ビューを作成するための装置を
備えた
乗り物用のドライバーアシスタントシステムを提供する。
また本発明は、更なるアスペクトによれば、この様なドライバーアシスタントシステムを備えた陸上用の乗り物も、提供する。
以下、様々な本発明に係るアスペクトの可能な実施形態を、添付されている図を用いて詳細に説明する:
図1から見て取れるように、本発明の第一アスペクトに係る乗り物において乗り物周辺ビューFUAを作成するための方法は、示されている実施例では、二つのメインステップを包含している。
第一ステップS1では、複数のカメラ画像が、乗り物の乗り物ボディに設置されている複数の車載カメラによって用意される。
次の第二ステップS2では、計算ユニットによって、乗り物の乗り物周辺ビューが、ステップS1において用意された複数のカメラ画像を基に算出される。その際、乗り物周辺ビュー内の乗り物ボディの下にあり見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、又は、算出される。
複数の車載カメラによって用意された複数のカメラ画像は、ステップS2において、先ず、乗り物の乗り物ボディの下にあり、複数の車載カメラからは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビューoFUAが、算出される。続いて、計算ユニットが、オリジナル乗り物周辺ビューoFUAに基づいて、カラー予測マトリクスFPMの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測を実施する。この際、複数の予測アルゴリズムが、実施される。算出されたカラー予測マトリクスFPMと動き補正されたテクスチャ予測マトリクスTPMは、ある可能な実施形態においては、一つの、又は、複数の異なるデータ保存手段に更なるデータ処理のために一時保存されることができる。ステップS2では、好ましくは、見えない地面の境界に沿った、オリジナル乗り物周辺ビューoFUA、並びに、算出され一時保存されたテクスチャ予測マトリクスTPMの間の境界誤差が、算出される。続いて、ステップS2では、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスGMを生成するために算出される。重み付けマトリクスも、データ保存手段に、更なるデータ処理のために、一時保存されることができる。計算ユニットにより、ステップS2では、一時保存されたカラー予測マトリクスFPM、並びに、一時保存されたテクスチャ予測マトリクスTPMが、乗り物周辺ビューFUAの算出のために、一時保存された重み付けマトリクスGMによって、重み付けされ、以下の様に組み合わされる:
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
ステップS2において計算ユニットによって実施されるテクスチャ予測マトリクスTPMを算出するための動き補正されたテクスチャ予測は、ある可能な実施形態においては、センサー的に捕捉されたオドメトリデータに依存して実施されることができる。オドメトリデータは、その際、これも、乗り物の乗り物ボディに設けられているセンサーにより供給される。
図2は、本発明に係る乗り物における乗り物周辺ビューFUAを生成するための方法の実施例を示すための他のグラフを示している。
先ず、オリジナル乗り物周辺ビューoFUA、又は、サラウンドビューイメージが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく、複数のカメラ画像を基に算出される。このオリジナル乗り物周辺ビューoFUAを基に、カラー予測マトリクスFPMの算出のためのローカルなカラー予測を実施する一方、他方では、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測が、実施される。算出されたカラー予測マトリクスFPM、及び、テクスチャ予測マトリクスTPMは、その後、好ましくは、更なるデータ処理のために、一時保存される。続いて、更なる中間ステップにおいて、好ましくは、見えない地面の境界に沿った、オリジナル乗り物周辺ビューoFUA、並びに、算出され、そして、一時保存されたテクスチャ予測マトリクスTPMの間の境界誤差(boundary error)が、算出される。見えない地面領域内のピクセルの誤差度合いは、重み付けマトリクスGMを生成するために、好ましくは、算出された境界誤差に依存して、算出される。乗り物ボディの下の地面は、多数の画像点、又は、ピクセルによって表されることができる。従来の陸上用の乗り物では、乗り物ボディの下の地面は、典型的には、長方形であり、適した二次元の重み付けマトリクスGMを割り当てることができる。例えば、地面が、200×500画像点、又は、ピクセルによって再現できる場合、重み付けマトリクスは、200の列と500の行を有している。即ち、重み付けマトリクスGMは、地面の各々の画像点に対して一つの、計算ユニットによって、割り出した誤差度合いに基づき、算出された境界誤差に依存して、割り出される重み付けファクターを有している。算出された重み付けマトリクスとこれに含まれる重み付けファクターは、好ましくは、一時保存され、続いて、乗り物の乗り物周辺ビューFUAの算出用のベースとして使用される。ある好ましい実施形態においては、一時保存されたカラー予測マトリクスFPMと一時保存されたテクスチャ予測マトリクスTPMが、一時保存された重み付けマトリクスGMによって、以下の様に重み付けされ組み合わされる:
FUA=GM×FPM+(1−GM)×TPM。
FUA=GM×FPM+(1−GM)×TPM。
算出された乗り物周辺ビューFUAは、乗り物ボディの下にある地面用のテクスチャも包含しているため、地面を含む乗り物の乗り物周辺部内を現実的に再現する。算出された乗り物周辺ビューFUAは、出力ユニットを介して、出力される。ある可能な実施形態においては、算出された乗り物周辺ビューFUAは、直接的に、乗り物のドライバーに対してドライバーアシスタントシステムFASの表示ユニット上に出力される。更なる可能な実施形態においては、地面用のテクスチャを含む算出された乗り物周辺ビューFUAは、更なるデータ処理のために、一時保存される。たとえば、ドライバーアシスタントシステムのドライバーアシスタント機能は、算出され、一時保存された乗り物周辺ビューFUAの画像データを、更に評価し、対応するドライバーアシスタントシステムの補助機能を、乗り物のドライバーに提供することもできる。複数の車載カメラによって用意された複数のカメラ画像の評価と、乗り物周辺ビューFUAの算出は、ある好ましい実施形態においては、リアルタイムに実施される。乗り物周辺ビューFUAをカラー予測と動き補正されたテクスチャ予測を用いてリアルタイムに算出する計算ユニットは、一つの、又は、複数のマイクロプロセッサーであることができる。乗り物周辺ビューFUAの算出は、該当する乗り物が、停止している、又は、乗り物が、地面上を動いている時に実施されることができる。例えば、乗り物の乗り物ボディの側方に設けられている複数の車載カメラの数は、可変である。
図3は、乗り物の乗り物周辺ビューFUAを作成するための本発明に係る装置1の一例である実施形態の簡略化したブロック図を示している。装置1は、複数の車載カメラ2−1,2−2,2−3,2−4から、乗り物周辺部の複数のカメラ画像を継続的に対応するシグナル配線を介して受取る。複数の車載カメラ2−iは、乗り物Fの乗り物ボディ3に配置されている。その際、複数の車載カメラ2−iは、好ましくは、乗り物ボディ3の異なるサイドに設けられている。図3に示されている実施例では、乗り物は、乗り物Fの前方、後方、及び、双方の長手方向に設けられている四台の車載カメラを装備している。複数の車載カメラ2−iは、ある可能な実施形態においては、好ましくは、それらの視野が、重なり合っている、フィッシュアイカメラであることができる。乗り物周辺ビューFUAを作成するための装置1は、示されている実施例では、計算ユニット4を包含している。計算ユニット4は、好ましくは、一つの、又は、複数のリアルタイムに画像処理をするためのマイクロプロセッサーを包含している。計算ユニット4は、シグナル配線を介して、複数の車載カメラ2−iから、複数のカメラ画像KBを受け取る。計算ユニット4は、乗り物Fの乗り物周辺ビューFUAを、用意され受信した複数のカメラ画像KBを基に算出するが、この際、乗り物周辺ビューFUA内の乗り物ボディ3の下にあり、見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、又は、算出される。図3に示されている実施例では、陸上用の乗り物Fの乗り物ボディ3は、長方形に形成されていて、乗り物ボディ3の下には、複数の車載カメラ2−iによって、捕捉できない同様に長方形の見えない地面がある。複数の車載カメラ2−iによって用意された複数のカメラ画像KBを基にして、先ず、計算ユニット4により、乗り物ボディ3の下にあり、複数の車載カメラ2−iからは見えない地面のテクスチャを割り出すことなく、乗り物Fのオリジナル乗り物周辺ビューoFUAが、算出される。続いて、オリジナル乗り物周辺ビューoFUAに基づいて、計算ユニット4によりリアルタイムに、カラー予測マトリクスFPMの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測が実施される。その際、計算ユニット4は、対応するカラー予測アルゴリズム、及び、テクスチャ予測アルゴリズムを実施することができる。続いて、装置1の計算ユニット4は、見えない地面の境界に沿った、オリジナル乗り物周辺ビューoFUA、並びに、算出され一時保存されたテクスチャ予測マトリクスTPMの間の境界誤差を算出する。更には、見えない地面領域内のピクセルの誤差度合いが、計算ユニット4によって、重み付けマトリクスGMを生成するために、算出された境界誤差に依存して、算出される。最後に、計算ユニット4により、カラー予測マトリクスFPM、並びに、テクスチャ予測マトリクスTPMが、乗り物周辺ビューFUAの算出のために、重み付けマトリクスGMによって、重み付けされ、以下の様に組み合わされる:
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
FUA=GM×FPM+(1−GM)×TPM,
尚、式中:
FUAは、乗り物周辺ビュー、
GMは、重み付けマトリクス、
FPMは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
計算ユニット4には、好ましくは、算出された乗り物周辺ビューFUAを出力するための出力ユニットが接続されている。出力ユニットは、ある可能な実施形態においては、算出された乗り物周辺ビューFUAを乗り物Fのドライバーに対して出力する表示ユニットであることができる。また、出力ユニットは、乗り物周辺ビューFUAを更に評価する更なるデータ処理ユニットへのデータインターフェースを包含することもできる。その際、ある可能な実施形態においては、算出された乗り物周辺ビューFUAを基に、様々なサポート機能、又は、ドライバーアシスタント機能を乗り物Fのドライバーに提供するために、又は、算出するために、ドライバーアシスタントシステムFASの更なるドライバー・アシスタント・ユニットに、アクセスすることもできる様になっている。本発明に係る乗り物周辺ビューFUAを生成するための装置1は、計算ユニット4を、特に好ましくは、ステップS2において用意された算出ステップS2をリアルタイムに実施できるプロセッサーを包含している。ある可能な実施形態においては、テクスチャ予測マトリクスTPMを算出するための動き補正されたテクスチャ予測は、これらも乗り物Fの乗り物ボディ3に設けられているセンサー類によって捕捉されたオドメトリデータに依存して実施される。
本発明に係る乗り物周辺ビューFUAを作成するための方法は、図1に例示されているごとく、そして、乗り物Fにおいて乗り物周辺ビューFUAを作成するための本発明に係る装置1は、図3に例示されているごとく、地面上に停止している乗り物Fにおいても、地面上を動いている乗り物Fにおいても、いずれも、乗り物周辺ビューFUAを作成することを可能にする。乗り物Fが動いている場合、算出された乗り物周辺ビューFUAの画質は、通常、より優れている。よって、本発明に係る乗り物周辺ビューFUAを作成するための方法は、特に、動くことができる、又は、動いている乗り物に適している。乗り物周辺ビューFUAを作成するための本発明に係る方法、並びに、本発明に係る装置1は、好ましくは、地面の上を動く、陸上用の乗り物において使用される。尚、陸上用の乗り物は、従来の道路用の乗り物、特に、乗用車や貨物自動車、又は、アスファルト舗装された地面を動いている農業用の乗り物であることができる。
Claims (13)
- 乗り物において、乗り物周辺ビュー(FUA)を作成するための方法であって、
この方法が、以下のステップ、即ち、
(a)複数のカメラ画像(KB)を、乗り物の乗り物ボディ(3)に設けられている複数の車載カメラ(2)によって用意するステップ(S1)、並びに、
(b)複数の車載カメラ(2)によって用意された複数のカメラ画像(KB)を基にして、乗り物ボディ(3)の下にあり、複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー(oFUA)が、算出され、続いて、オリジナル乗り物周辺ビュー(oFUA)に基づいて、カラー予測マトリクス(FPM)の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス(TPM)の算出のための動き補正されたテクスチャ予測が実施され、並びに、
乗り物周辺ビュー(FUA)に含まれ、乗り物ボディ(3)の下にあり、見えない地面のテクスチャが、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出され、用意された複数のカメラ画像(KB)を基に、乗り物の乗り物周辺ビュー(FUA)を算出するステップ(S2)、
を備えることを特徴とする方法。 - オリジナル乗り物周辺ビュー(oFUA)とテクスチャ予測マトリクス(TPM)との間の見えない地面の境界に沿った境界誤差が算出されることを特徴とする請求項1に記載の方法。
- 見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクス(GM)を生成するために算出されることを特徴とする請求項2に記載の方法。
- カラー予測マトリクス(FPM)と、テクスチャ予測マトリクス(TPM)とが、乗り物周辺ビュー(FUA)の算出のために、重み付けマトリクス(GM)によって、以下の組み合わせ、即ち、
FUA=GM×FPM+(1−GM)×TPM,
の様に重み付けし、
この式中の、
FUAは、乗り物周辺ビューであり、
GMは、重み付けマトリクスであり、
FPMは、カラー予測マトリクスであり、そして、TPMは、テクスチャ予測マトリクスである、ことを特徴とする請求項3に記載の方法。 - センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクス(TPM)を算出するために動き補正されたテクスチャ予測が、実施されることを特徴とする請求項1から4のうち何れか一項に記載の方法。
- 乗り物(F)において、乗り物周辺ビュー(FUA)を作成するための装置であって、この装置が、以下の、即ち、
−乗り物(F)の乗り物ボディ(3)に設置され、乗り物の乗り物周辺部(FUA)の複数のカメラ画像(KB)を用意する複数の車載カメラ(2)、
−計算ユニット(4)が、複数の車載カメラ(2)によって用意された複数のカメラ画像(KB)を基にして、乗り物ボディ(3)の下にあり、複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー(oFUA)を、算出し、続いて、
算出したオリジナル乗り物周辺ビュー(oFUA)に基づいて、カラー予測マトリクス(FPM)の算出のためのローカルなカラー予測、及び、テクスチャ予測マトリクス(TPM)の算出のための動き補正されたテクスチャ予測を実施し、並びに、
乗り物周辺ビュー(FUA)内の乗り物ボディ(3)の下にあり見えない地面のテクスチャが、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出され、乗り物周辺ビュー(FUA)を、用意された複数のカメラ画像(KB)を基に算出することができる様に構成された計算ユニット(4)、並びに、
−計算ユニット(4)によって算出された乗り物周辺ビュー(FUA)を出力する出力ユニット、
を備えることを特徴とする装置。 - 計算ユニット(4)が、オリジナル乗り物周辺ビュー(oFUA)とテクスチャ予測マトリクス(TPM)との間の見えない地面の境界に沿った境界誤差を算出することを特徴とする請求項6に記載の装置。
- 計算ユニット(4)が、見えない地面領域内のピクセルの誤差度合いを、算出された境界誤差に依存して、重み付けマトリクス(GM)を生成するために算出することを特徴とする請求項7に記載の装置。
- 計算ユニット(4)が、カラー予測マトリクス(FPM)とテクスチャ予測マトリクス(TPM)とを、乗り物周辺ビュー(FUA)の算出のために、重み付けマトリクス(GM)によって、以下の組み合わせ、即ち、
FUA=GM×FPM+(1−GM)×TPM,
の様に重み付けし、
この式中の、
FUAは、乗り物周辺ビューであり、
GMは、重み付けマトリクスであり、
FPMは、カラー予測マトリクスであり、そして、
TPMは、テクスチャ予測マトリクスである、
ことを特徴とする請求項6から8のうち何れか一項に記載の装置。 - テクスチャ予測マトリクス(TPM)を算出するための動き補正されたテクスチャ予測が、乗り物のセンサーによって、センサー的に捕捉されたオドメトリデータに依存して実施されることを特徴とする請求項6から9のうち何れか一項に記載の装置。
- 算出されたカラー予測マトリクス(FPM)と算出されたテクスチャ予測マトリクス(TPM)が、一つのデータ保存手段に一時保存されることを特徴とする請求項6から10のうち何れか一項に記載の装置。
- 請求項6から11のうち何れか一項に記載の乗り物周辺ビュー(FUA)を作成するための装置(1)を備えた乗り物用のドライバーアシスタントシステム。
- 請求項12のドライバーアシスタントシステムを搭載した陸上用の乗り物。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016220651.6A DE102016220651A1 (de) | 2016-10-20 | 2016-10-20 | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
DE102016220651.6 | 2016-10-20 | ||
PCT/DE2017/200098 WO2018072793A1 (de) | 2016-10-20 | 2017-09-21 | Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020502850A JP2020502850A (ja) | 2020-01-23 |
JP2020502850A5 true JP2020502850A5 (ja) | 2021-11-18 |
JP7132213B2 JP7132213B2 (ja) | 2022-09-06 |
Family
ID=60164562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019518222A Active JP7132213B2 (ja) | 2016-10-20 | 2017-09-21 | 乗り物において乗り物周辺ビューを作成するための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10902622B2 (ja) |
EP (1) | EP3529743A1 (ja) |
JP (1) | JP7132213B2 (ja) |
DE (2) | DE102016220651A1 (ja) |
WO (1) | WO2018072793A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
DE102019201702A1 (de) * | 2019-02-11 | 2020-08-13 | Conti Temic Microelectronic Gmbh | Modulares inpainting Verfahren |
JP2021150838A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社デンソーテン | 画像処理装置 |
US11663807B2 (en) * | 2021-08-05 | 2023-05-30 | Ford Global Technologies, Llc | Systems and methods for image based perception |
US11966452B2 (en) | 2021-08-05 | 2024-04-23 | Ford Global Technologies, Llc | Systems and methods for image based perception |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3772185B2 (ja) * | 1995-07-28 | 2006-05-10 | 独立行政法人情報通信研究機構 | 画像符号化方式 |
JP2002354467A (ja) | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2005001570A (ja) | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | 駐車支援装置 |
US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
FR2976355B1 (fr) | 2011-06-09 | 2013-06-21 | Jean Luc Desbordes | Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant. |
DE102011077398B4 (de) * | 2011-06-10 | 2021-11-04 | Robert Bosch Gmbh | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren |
DE102012211025A1 (de) | 2012-06-27 | 2014-01-02 | Robert Bosch Gmbh | Verfahren zur Fahrassistenz und Fahrassistenzsystem |
DE102012112724A1 (de) | 2012-12-20 | 2014-06-26 | Continental Teves Ag & Co. Ohg | Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten |
US9886636B2 (en) | 2013-05-23 | 2018-02-06 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US9892493B2 (en) * | 2014-04-21 | 2018-02-13 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
US9811743B2 (en) * | 2015-06-29 | 2017-11-07 | Sharp Laboratories Of America, Inc. | Tracking road boundaries |
DE102016005463A1 (de) | 2016-05-03 | 2016-11-17 | Daimler Ag | Verfahren und Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten |
JPWO2018088224A1 (ja) * | 2016-11-09 | 2019-09-26 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
-
2016
- 2016-10-20 DE DE102016220651.6A patent/DE102016220651A1/de not_active Withdrawn
-
2017
- 2017-09-21 JP JP2019518222A patent/JP7132213B2/ja active Active
- 2017-09-21 EP EP17788107.5A patent/EP3529743A1/de not_active Ceased
- 2017-09-21 US US16/334,493 patent/US10902622B2/en active Active
- 2017-09-21 DE DE112017004075.2T patent/DE112017004075A5/de active Pending
- 2017-09-21 WO PCT/DE2017/200098 patent/WO2018072793A1/de unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020502850A5 (ja) | ||
JP7132213B2 (ja) | 乗り物において乗り物周辺ビューを作成するための方法及び装置 | |
JP6860348B2 (ja) | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 | |
CN105075247B (zh) | 车辆的控制装置及存储介质 | |
CN107808390A (zh) | 使用来自单摄像机的数据的对象距离估算 | |
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
JP7247173B2 (ja) | 画像処理方法及び装置 | |
KR20170135952A (ko) | 차량의 주변 영역을 표시하기 위한 방법 | |
US20230177766A1 (en) | Transferring data from autonomous vehicles | |
CN112889071A (zh) | 用于确定二维图像中深度信息的系统和方法 | |
JP2021516390A (ja) | 調整された投影面を有するサラウンドビュー・システム | |
CN111160070A (zh) | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 | |
CN112825546A (zh) | 使用中间图像表面生成合成图像 | |
Yeol Baek et al. | Scene understanding networks for autonomous driving based on around view monitoring system | |
JP2020508501A (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
CN107851305A (zh) | 后部交叉交通快速检视 | |
JP2934330B2 (ja) | 車両の操作量決定装置 | |
JP5388059B2 (ja) | 背景画像推定に基づく物体検出方法及び物体検出装置 | |
EP1943626A2 (en) | Enhancement of images | |
US20230109473A1 (en) | Vehicle, electronic apparatus, and control method thereof | |
CN114913500B (zh) | 位姿确定方法、装置、计算机设备和存储介质 | |
CN116168362A (zh) | 车辆感知模型的预训练方法、装置、电子设备及车辆 | |
US11430147B2 (en) | Image processing apparatus, imaging apparatus, mobile body, and image processing method | |
US10825147B2 (en) | Surround view system for a vehicle | |
CN103870830B (zh) | 车道线边缘特征点的提取方法及装置 |