JP2020502850A - 乗り物において該乗り物の周辺部の描写を作成するための方法ならびに装置 - Google Patents

乗り物において該乗り物の周辺部の描写を作成するための方法ならびに装置 Download PDF

Info

Publication number
JP2020502850A
JP2020502850A JP2019518222A JP2019518222A JP2020502850A JP 2020502850 A JP2020502850 A JP 2020502850A JP 2019518222 A JP2019518222 A JP 2019518222A JP 2019518222 A JP2019518222 A JP 2019518222A JP 2020502850 A JP2020502850 A JP 2020502850A
Authority
JP
Japan
Prior art keywords
vehicle
fua
matrix
texture
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019518222A
Other languages
English (en)
Other versions
JP2020502850A5 (ja
JP7132213B2 (ja
Inventor
フリーベ・マルクス
シュレプファー・イェルク
ガルシア・マルケス・ロドリゴ
ペッツォールト・ヨハネス
アルバイター・ゲオルク
ミルツ・シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2020502850A publication Critical patent/JP2020502850A/ja
Publication of JP2020502850A5 publication Critical patent/JP2020502850A5/ja
Application granted granted Critical
Publication of JP7132213B2 publication Critical patent/JP7132213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

以下のステップを有することを特徴とする、車両において、車両周辺描写−FUA−を作成するための方法:(a)カメラ画像(KB)を、車両の車両ボディ(3)に設けられている車載カメラ(2)によって用意するステップ(S1);並びに、(b)用意されたカメラ画像(KB)を基に、車両の車両周辺描写−FUA−を算出するステップ(S2)、但し、車両周辺描写−FUA−に含まれる、車両ボディ(3)の下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。

Description

本発明は、乗り物、特に、陸上用車両において、該乗り物の周辺部の描写を作成するための方法ならびに装置に関する。
車両には、増々、車両周辺描写を表示するためのシステムやサラウンド・ビュー・システムが、搭載される様になってきている。サラウンド・ビュー・システムは、車両のドライバー・アシスタント・システムの一部であることができるが、その際、該サラウンド・ビュー・システムは、車両の車両周辺部を可能な限り詳細に再現するものである。該ドライバー・アシスタント・システムは、該車両のドライバーを、特に、車両マヌーバの実施時にサポートするものである。従来のサラウンド・ビュー・システムでは、該車両の車両ボディに設置されている車載カメラによって提供されるカメラ画像が、評価される。その際、車載カメラは、車両ボディの側方に配置されており、車両周辺部のカメラ画像を作成する。
しかしながら、様々な車載カメラから提供されるカメラ画像は、車両ボディの下に横たわる地面の画像データは、供給しない。従来のサラウンド・ビュー・システムは、車両ボディの下にある地面を、画一的な色で描写する。即ち、車両の車両ボディの下にあり、車載カメラからは見えない地面は、十分には、描写されていない。よって、サラウンド・ビュー・システムによって描写された車両周辺描写は、例えば、該車両のドライバーに、地面の領域において、車両周辺部の現実的な再現を提供していないため、運転マヌーバの実施の際に、ドライバーのサポートに悪影響を与えている。地面の再現が不十分であるため、運転マヌーバにおいて、例えば、駐車マヌーバや同様のマヌーバにおいて、車両ボディに傷がつく可能性がある。
これによれば、本発明は以下のステップを有する乗り物において該乗り物の周辺部の描写を作成するための方法を提供する:
カメラ画像を、車両の車両ボディに設けられている車載カメラによって用意するステップ、並びに、
用意されたカメラ画像を基に、車両の車両周辺描写を算出するステップ、但し、車両周辺描写に含まれる、車両ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
本発明に係る方法のある可能な実施形態においては、車載カメラによって用意されたカメラ画像を基に、車両のオリジナル車両周辺描写が、車両ボディの下にある、車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。
本発明に係る方法のある可能な実施形態においては、算出されたオリジナル車両周辺描写を基に、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。
本発明に係る方法のある更なる可能な実施形態においては、オリジナル車両周辺描写と算出されたテクスチャ予測マトリクスとの間の見えない地面の縁に沿った周縁エラーが、算出される。
本発明に係る方法のある更なる可能な実施形態においては、見えない地面領域内のピクセルのエラー度合いが、算出された周縁エラーに依存して、加重マトリクスを生成するために算出される。
本発明に係る方法のある更なる可能な実施形態においては、カラー予測マトリクスとテクスチャ予測マトリクスが、車両周辺描写の算出のために、割り出された加重マトリクスを用いて以下の様に加重され組み合わされる:
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
本発明に係る方法のある更なる可能な実施形態においては、センサー的に捕捉されたオドメトリ・データに依存してテクスチャ予測マトリクスTPMを算出するために動き補正されたテクスチャ予測が、実施される。
本発明は、更に、第二のアスペクトにおいて、請求項7に記載の特徴を有する乗り物において該乗り物の周辺部FUAの描写を作成するための装置も提供する。
それによれば、本発明は、以下を包含する車両において、車両周辺描写FUAを作成するための装置が提供される:
車両の車両ボディに設置され、該車両の車両周辺部のカメラ画像を用意する車載カメラ、
用意された該車両の車両周辺描写を算出する計算ユニット、
但し、車両の車両周辺描写内の車両ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
該計算ユニットによって算出された車両周辺描写を出力する出力ユニット。
本発明に係る装置のある可能な実施形態においては、車載カメラによって用意されたカメラ画像を基に、先ず、計算ユニットによって、車両のオリジナル車両周辺描写が、車両ボディの下にある、車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。
本発明に係る装置のある更なる可能な実施形態においては、算出されたオリジナル車両周辺描写を基に、該計算ユニットによって、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。
本発明に係る装置のある更なる可能な実施形態においては、該計算ユニットによって、オリジナル車両周辺描写とテクスチャ予測マトリクスとの間の見えない地面の縁に沿った周縁エラーが、算出される。
本発明に係る装置のある更なる可能な実施形態においては、該計算ユニットによって、見えない地面領域内のピクセルのエラー度合いが、算出された周縁エラーに依存して、加重マトリクスを生成するために算出される。
本発明に係る装置のある更なる可能な実施形態においては、該計算ユニットは、カラー予測マトリクスとテクスチャ予測マトリクスを、車両周辺描写の算出のために、割り出された加重マトリクスを用いて以下の様に加重して組み合わせる様に構成されている:
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
本発明に係る装置の更なる可能な実施形態においては、該装置は、算出したカラー予測マトリクスと算出したテクスチャ予測マトリクスを一時保存するための少なくとも一つのデータ保存手段も包含している。
また本発明は、更なるアスペクトによれば、特許請求項14に記載の特徴を有するドライバー・アシスタント・システムも、提供する。
それによれば、本発明は、
車両の車両ボディに取り付けられ、車両の車両周辺部のカメラ画像を用意する車載カメラ、並びに、
用意されたカメラ画像に基づいて車両の車両周辺描写を算出することに適した、但し、車両の車両周辺描写内の車両ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出す計算ユニットを
有する
車両周辺描写を作成するための装置を
備えた
車両用のドライバー・アシスタント・システムを提供する。
また本発明は、更なるアスペクトによれば、この様なドライバー・アシスタント・システムを備えた陸上用車両も、提供する。
以下、様々な本発明に係るアスペクトの可能な実施形態を、添付されている図を用いて詳細に説明する:
よって、本発明の課題は、マヌーバを実施する際に、ドライバーをより効率的にサポートし、マヌーバ実施の際に車両ボディへの傷を回避できるようにするために、特に車両の地面領域の、より現実的な車両周辺描写を作成するための方法を提供することにある。
この課題は、本発明の請求項1記載の特徴を有する、乗り物において、該乗り物の周辺部の描写を作成するための方法によって達成される。
車両の車両周辺描写を作成するための本発明に係る方法の可能な実施形態の簡略化したフローチャートである。 車両の車両周辺描写を作成するための本発明に係る方法の可能な実施形態の模式的な描写である。 車両の車両周辺描写を作成するための本発明に係る装置の一例である実施形態の簡略化したブロック図である。
図1から見て取れるように、本発明の第一アスペクトに係る車両において車両周辺描写FUAを作成するための方法は、示されている実施例では、二つのメインステップを包含している。
第一ステップS1では、カメラ画像が、該車両の車両ボディに設置されている車載カメラによって用意される。
次の第二ステップS2では、計算ユニットによって、該車両の車両周辺描写が、ステップS1において用意されたカメラ画像を基に算出される。その際、車両周辺描写内の車両ボディの下にあり見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、或いは、算出される。
複数の車載カメラによって用意されたカメラ画像は、ステップS2において、先ず、該車両の車両ボディの下にあり、車載カメラからは見えない地面のテクスチャを割り出すことなく、該車両のオリジナル車両周辺描写oFUAが、算出される。続いて、計算ユニットが、オリジナル車両周辺描写oFUAに基づいて、カラー予測マトリクスFPMの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測を実施する。この際、複数の予測アルゴリズムが、実施される。算出されたカラー予測マトリクスFPMと動き補正されたテクスチャ予測マトリクスTPMは、ある可能な実施形態においては、一つの、或いは、複数の異なるデータ保存手段に更なるデータ処理のために一時保存されることができる。ステップS2では、好ましくは、見えない地面の縁に沿った、オリジナル車両周辺描写oFUA、並びに、算出され一時保存されたテクスチャ予測マトリクスTPMの間の周縁エラーが、算出される。続いて、ステップS2では、見えない地面領域内のピクセルのエラー度合いが、算出された周縁エラーに依存して、加重マトリクスGMを生成するために算出される。該加重マトリクスも、データ保存手段に、更なるデータ処理のために、一時保存されることができる。該計算ユニットにより、ステップS2では、一時保存されたカラー予測マトリクスFPM、並びに、一時保存されたテクスチャ予測マトリクスTPMが、車両周辺描写FUAの算出のために、一時保存された加重マトリクスGMによって、加重され、以下の様に組み合わされる:
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
該ステップS2において計算ユニットによって実施されるテクスチャ予測マトリクスTPMを算出するための動き補正されたテクスチャ予測は、ある可能な実施形態においては、センサー的に捕捉されたオドメトリ・データに依存して実施されることができる。オドメトリ・データは、その際、これも、車両の車両ボディに設けられているセンサーにより供給される。
図2は、本発明に係る車両における車両周辺描写FUAを生成するための方法の実施例を示すための他のグラフを示している。
先ず、オリジナル車両周辺描写oFUA、乃至、サラウンド・ビュー・イメージが、車両ボディの下にある、車載カメラからは見えない地面用のテクスチャを割り出すことなく、カメラ画像を基に算出される。このオリジナル車両周辺描写oFUAを基に、カラー予測マトリクスFPMの算出のためのローカルなカラー予測を実施する一方、他方では、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測が、実施される。算出されたカラー予測マトリクスFPM、及び、テクスチャ予測マトリクスTPMは、その後、好ましくは、更なるデータ処理のために、一時保存される。続いて、更なる中間ステップにおいて、好ましくは、見えない地面の縁に沿った、オリジナル車両周辺描写oFUA、並びに、算出され、そして、一時保存されたテクスチャ予測マトリクスTPMの間の周縁エラー(boundary error)が、算出される。該見えない地面領域内のピクセルのエラー度合いは、加重マトリクスGMを生成するために、好ましくは、算出された周縁エラーに依存して、算出される。該車両ボディの下の地面は、多数の画像点、乃至、ピクセルによって表されることができる。従来の陸上用の乗り物では、車両ボディの下の地面は、典型的には、長方形であり、適した二次元の加重マトリクスGMを割り当てることができる。例えば、地面が、200x500画像点、乃至、ピクセルによって再現できる場合、該加重マトリクスは、200の列と500の行を有している。即ち、該加重マトリクスGMは、該地面の各々の画像点に対して一つの、計算ユニットによって、割り出したエラー度合いに基づき、算出された周縁エラーに依存して、割り出される加重ファクターを有している。算出された加重マトリクスとこれに含まれる加重ファクターは、好ましくは、一時保存され、続いて、車両の車両周辺描写FUAの算出用のベースとして使用される。ある好ましい実施形態においては、一時保存されたカラー予測マトリクスFPMと一時保存されたテクスチャ予測マトリクスTPMが、一時保存された加重マトリクスGMによって、以下の様に加重され組み合わされる:
FUA=GMxFMP+(1−GM)xTPM。
算出された車両周辺描写FUAは、車両ボディの下にある地面用のテクスチャも包含しているため、地面を含む車両の車両周辺部内を現実的に再現する。算出された車両周辺描写FUAは、出力ユニットを介して、出力される。ある可能な実施形態においては、算出された車両周辺描写FUAは、直接的に、車両のドライバーに対してドライバー・アシスタント・システムFASの表示ユニット上に出力される。更なる可能な実施形態においては、地面用のテクスチャを含む算出された車両周辺描写FUAは、更なるデータ処理のために、一時保存される。たとえば、ドライバー・アシスタント・システムのドライバー・アシスタント機能は、算出され、一時保存された車両周辺描写FUAの画像データを、更に評価し、対応するドライバー・アシスタント・システムの補助機能を、車両のドライバーの提供することもできる。車載カメラによって用意されたカメラ画像の評価と、車両周辺描写FUAの算出は、ある好ましい実施形態においては、リアルタイムに実施される。車両周辺描写FUAをカラー予測と動き補正されたテクスチャ予測を用いてリアルタイムに算出する計算ユニットは、一つの、或いは、複数のマイクロプロセッサーであることができる。車両周辺描写FUAの算出は、該当する車両が、停止している、或いは、該車両が、地面上を動いている時に実施されることができる。例えば、該車両の車両ボディの側方に設けられている複数の車載カメラの数は、可変である。
図3は、車両の車両周辺描写FUAを作成するための本発明に係る装置1の一例である実施形態の簡略化したブロック図を示している。該装置1は、複数の車載カメラ2−1,2−2,2−3,2−4から、車両周辺部のカメラ画像を継続的に対応するシグナル配線を介して受取る。車載カメラ2−iは、車両Fの車両ボディ3に配置されている。その際、複数の車載カメラ2−iは、好ましくは、車両ボディ3の異なるサイドに設けられている。図3に示されている実施例では、該車両は、車両Fの前方、後方、及び、双方の長手方向に設けられている四台の車載カメラを装備している。車載カメラ2−iは、ある可能な実施形態においては、好ましくは、それらの視野が、重なり合っている、フィッシュアイ・カメラであることができる。車両周辺描写FUAを作成するための該装置1は、示されている実施例では、計算ユニット4を包含している。計算ユニット4は、好ましくは、一つの、或いは、複数のリアルタイムに画像処理をするためのマイクロプロセッサーを包含している。該計算ユニット4は、シグナル配線を介して、複数の車載カメラ2−iから、カメラ画像KBを受け取る。計算ユニット4は、車両Fの車両周辺描写FUAを、用意され受信したカメラ画像KBを基に算出するが、この際、車両周辺描写FUA内の車両ボディ3の下にあり、見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、乃至、算出される。図3に示されている実施例では、該陸上用車両Fの車両ボディ3は、長方形に形成されており、車両ボディ3の下には、車載カメラ2−iによって、捕捉できない同様に長方形の見えない地面がある。複数の車載カメラ2−iによって用意されたカメラ画像KBを基にして、先ず、計算ユニット4により、車両ボディ3の下にあり、該複数の車載カメラ2−iからは見えない地面のテクスチャを割り出すことなく、該車両Fのオリジナル車両周辺描写oFUAが、算出される。続いて、オリジナル車両周辺描写oFUAに基づいて、計算ユニット4によりリアルタイムに、カラー予測マトリクスFPMの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスTPMの算出のための動き補正されたテクスチャ予測が実施される。その際、計算ユニット4は、対応するカラー予測アルゴリズム、及び、テクスチャ予測アルゴリズムを実施することができる。続いて、該装置1の計算ユニット4は、見えない地面の縁に沿った、オリジナル車両周辺描写oFUA、並びに、算出され一時保存されたテクスチャ予測マトリクスTPMの間の周縁エラーを算出する。更には、該見えない地面領域内のピクセルのエラー度合いが、計算ユニット4によって、加重マトリクスGMを生成するために、算出された周縁エラーに依存して、算出される。最後に、該計算ユニット4により、カラー予測マトリクスFPM、並びに、テクスチャ予測マトリクスTPMが、車両周辺描写FUAの算出のために、加重マトリクスGMによって、加重され、以下の様に組み合わされる:
FUA=GMxFMP+(1−GM)xTPM,
尚、式中:
FUAは、車両周辺描写、
GMは、加重マトリクス、
FMPは、カラー予測マトリクス、そして、
TPMは、テクスチャ予測マトリクスである。
該計算ユニット4には、好ましくは、算出された車両周辺描写FUAを出力するための出力ユニットが接続されている。該出力ユニットは、ある可能な実施形態においては、算出された車両周辺描写FUAを車両Fのドライバーに対して出力する表示ユニットであることができる。また、該出力ユニットは、車両周辺描写FUAを更に評価する更なるデータ処理ユニットへのデータインターフェースを包含することもできる。その際、ある可能な実施形態においては、算出された車両周辺描写FUAを基に、様々なサポート機能、或いは、ドライバー・アシスタント機能を該車両Fのドライバーに提供するために、或いは、算出するために、ドライバー・アシスタント・システムFASの更なるドライバー・アシスタント・ユニットに、アクセスすることもできる様になっている。本発明に係る車両周辺描写FUAを生成するための装置1は、計算ユニット4を、特に好ましくは、ステップS2において用意された算出ステップS2をリアルタイムに実施できるプロセッサーを包含している。ある可能な実施形態においては、テクスチャ予測マトリクスTPMを算出するための動き補正されたテクスチャ予測は、これらも該車両Fの車体3に設けられているセンサー類によって捕捉されたオドメトリ・データに依存して実施される。
本発明に係る車両周辺描写FUAを作成するための方法は、図1に例示されているごとく、そして、車両Fにおいて車両周辺描写FUAを作成するための本発明に係る装置1は、図3に例示されているごとく、地面上に停止している車両Fにおいても、地面上を動いている車両Fにおいても、いずれも、車両周辺描写FUAを作成することを可能にする。車両Fが動いている場合、算出された車両周辺描写FUAの画質は、通常、より優れている。よって、本発明に係る車両周辺描写FUAを作成するための方法は、特に、動くことができる、或いは、動いている車両に適している。車両周辺描写FUAを作成するための本発明に係る方法、並びに、本発明に係る装置1は、好ましくは、地面の上を動く、陸上用の乗り物において使用される。尚、該陸上用の乗り物は、従来の道路用の乗り物、特に、乗用車や貨物自動車、或いは、アスファルト舗装された地面を動いている農業用車両であることができる。

Claims (15)

  1. 以下のステップを有することを特徴とする、車両において、車両周辺描写−FUA−を作成するための方法:
    (a)カメラ画像(KB)を、車両の車両ボディ(3)に設けられている車載カメラ(2)によって用意するステップ(S1);並びに、
    (b)用意されたカメラ画像(KB)を基に、車両の車両周辺描写−FUA−を算出するステップ(S2)、但し、車両周辺描写−FUA−に含まれる、車両ボディ(3)の下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。
  2. 複数の車載カメラ(2)によって用意されたカメラ画像(KB)を基にして、車両ボディ(3)の下にあり、該複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、該車両のオリジナル車両周辺描写−oFUA−が、算出され、続いて、オリジナル車両周辺描写−oFUA−に基づいて、カラー予測マトリクス−FPM−の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス−TPM−の算出のための動き補正されたテクスチャ予測が実施されることを特徴とする請求項1に記載の方法。
  3. 見えない地面の縁に沿った、オリジナル車両周辺描写−oFUA−とテクスチャ予測マトリクス−TPM−との間の周縁エラーも算出されることを特徴とする請求項1或いは2に記載の方法。
  4. 見えない地面領域内のピクセルのエラー度合いが、算出された周縁エラーに依存して、加重マトリクス−GM−を生成するために算出されることを特徴とする請求項3に記載の方法。
  5. カラー予測マトリクス−FPM−とテクスチャ予測マトリクス−TPM−とが、車両周辺描写−FUA−の算出のために、加重マトリクス−GM−によって、加重され、以下の様に組み合わされる
    ことを特徴とする請求項4に記載の方法:
    FUA=GMxFMP+(1−GM)xTPM,
    尚、式中:
    FUAは、車両周辺描写、
    GMは、加重マトリクス、
    FMPは、カラー予測マトリクス、そして、TPMは、テクスチャ予測マトリクスである。
  6. センサー的に捕捉されたオドメトリ・データに依存してテクスチャ予測マトリクス−TPM−を算出するために動き補正されたテクスチャ予測が、実施されることを特徴とする先行請求項1から5のうち何れか一項に記載の方法。
  7. 以下を備えていることを特徴とする車両(F)において、車両周辺描写−FUA−を作成するための装置:
    −車両(F)の車両ボディ(3)に設置され、該車両の車両周辺部−FUA−のカメラ画像(KB)を用意する車載カメラ(2);
    −車両周辺描写−FUA−を、用意されたカメラ画像(KB)を基に算出することができる様に構成された計算ユニット(4)、但し、
    車両周辺描写−FUA−内の車両ボディ(3)の下にあり見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される;並びに、
    −計算ユニット(4)によって算出された車両周辺描写−FUA−を出力する出力ユニット。
  8. 該計算ユニット(4)が、複数の車載カメラ(2)によって用意されたカメラ画像(KB)を基にして、車両ボディ(3)の下にあり、該複数の車載カメラ(2)からは見えない地面のテクスチャを割り出すことなく、該車両のオリジナル車両周辺描写−oFUA−を、算出し、続いて、
    算出した該オリジナル車両周辺描写−oFUA−に基づいて、カラー予測マトリクス−FPM−の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス−TPM−の算出のための動き補正されたテクスチャ予測を実施することを特徴とする請求項7に記載の装置。
  9. 該計算ユニット(4)が、見えない地面の縁に沿った、オリジナル車両周辺描写−oFUA−とテクスチャ予測マトリクス−TPM−との間の周縁エラーも算出することを特徴とする請求項7或いは8に記載の装置。
  10. 該計算ユニット(4)が、見えない地面領域内のピクセルのエラー度合いも、算出された周縁エラーに依存して、加重マトリクス−GM−を生成するために算出することを特徴とする請求項9に記載の装置。
  11. 該計算ユニット(4)が、カラー予測マトリクス−FPM−とテクスチャ予測マトリクス−TPM−とを、車両周辺描写−FUA−の算出のために、加重マトリクス−GM−によって、加重し、以下の様に組み合わせる
    ことを特徴とする先行請求項7から10のうち何れか一項に記載の装置:
    FUA=GMxFMP+(1−GM)xTPM,
    尚、式中:
    FUAは、車両周辺描写、
    GMは、加重マトリクス、
    FMPは、カラー予測マトリクス、そして、
    TPMは、テクスチャ予測マトリクスである。
  12. テクスチャ予測マトリクス−TPM−を算出するための動き補正されたテクスチャ予測が、該車両のセンサーによって、センサー的に捕捉されたオドメトリ・データに依存して実施されることを特徴とする先行請求項7から11のうち何れか一項に記載の方法。
  13. 算出されたカラー予測マトリクス−FPM−と算出されたテクスチャ予測マトリクス−TPM−が、一つのデータ保存手段に一時保存されることを特徴とする先行請求項7から12のうち何れか一項に記載の方法。
  14. 先行請求項7から13のうち何れか一項に記載の車両周辺描写−FUA−を作成するための装置(1)を備えた車両用のドライバー・アシスタント・システム。
  15. 請求項14のドライバー・アシスタント・システムを搭載した陸上用の乗り物。
JP2019518222A 2016-10-20 2017-09-21 乗り物において乗り物周辺ビューを作成するための方法及び装置 Active JP7132213B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016220651.6A DE102016220651A1 (de) 2016-10-20 2016-10-20 Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016220651.6 2016-10-20
PCT/DE2017/200098 WO2018072793A1 (de) 2016-10-20 2017-09-21 Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug

Publications (3)

Publication Number Publication Date
JP2020502850A true JP2020502850A (ja) 2020-01-23
JP2020502850A5 JP2020502850A5 (ja) 2021-11-18
JP7132213B2 JP7132213B2 (ja) 2022-09-06

Family

ID=60164562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518222A Active JP7132213B2 (ja) 2016-10-20 2017-09-21 乗り物において乗り物周辺ビューを作成するための方法及び装置

Country Status (5)

Country Link
US (1) US10902622B2 (ja)
EP (1) EP3529743A1 (ja)
JP (1) JP7132213B2 (ja)
DE (2) DE102016220651A1 (ja)
WO (1) WO2018072793A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021150838A (ja) * 2020-03-19 2021-09-27 株式会社デンソーテン 画像処理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102019201702A1 (de) * 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
US11966452B2 (en) 2021-08-05 2024-04-23 Ford Global Technologies, Llc Systems and methods for image based perception
US11663807B2 (en) * 2021-08-05 2023-05-30 Ford Global Technologies, Llc Systems and methods for image based perception

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946704A (ja) * 1995-07-28 1997-02-14 Tsushin Hoso Kiko 画像符号化方式
JP2002354467A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20140347470A1 (en) * 2013-05-23 2014-11-27 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
FR2976355B1 (fr) 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
DE102011077398B4 (de) * 2011-06-10 2021-11-04 Robert Bosch Gmbh Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE102012211025A1 (de) 2012-06-27 2014-01-02 Robert Bosch Gmbh Verfahren zur Fahrassistenz und Fahrassistenzsystem
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
US9811743B2 (en) * 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
DE102016005463A1 (de) 2016-05-03 2016-11-17 Daimler Ag Verfahren und Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten
WO2018088224A1 (ja) * 2016-11-09 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946704A (ja) * 1995-07-28 1997-02-14 Tsushin Hoso Kiko 画像符号化方式
JP2002354467A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20140347470A1 (en) * 2013-05-23 2014-11-27 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021150838A (ja) * 2020-03-19 2021-09-27 株式会社デンソーテン 画像処理装置

Also Published As

Publication number Publication date
EP3529743A1 (de) 2019-08-28
US20190213744A1 (en) 2019-07-11
WO2018072793A1 (de) 2018-04-26
JP7132213B2 (ja) 2022-09-06
DE102016220651A1 (de) 2018-04-26
US10902622B2 (en) 2021-01-26
DE112017004075A5 (de) 2019-04-18

Similar Documents

Publication Publication Date Title
JP2020502850A (ja) 乗り物において該乗り物の周辺部の描写を作成するための方法ならびに装置
JP6860348B2 (ja) 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2020502850A5 (ja)
CN105075247B (zh) 车辆的控制装置及存储介质
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP7247173B2 (ja) 画像処理方法及び装置
JP2018531530A5 (ja)
JP2012105158A (ja) 連結車両用鳥瞰図表示システム
US11383642B2 (en) Display control apparatus
JP6743171B2 (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JP2021516390A (ja) 調整された投影面を有するサラウンドビュー・システム
JP7008068B2 (ja) 乗り物において乗り物周辺ビューを作成するための方法ならびに装置
JP2018509799A5 (ja)
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
CN107851305A (zh) 后部交叉交通快速检视
KR20170117416A (ko) 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치
CN110751598B (zh) 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
US11243536B2 (en) Vehicular electronic device and operation method thereof
JP6959032B2 (ja) 位置推定装置、移動装置
US10825147B2 (en) Surround view system for a vehicle
WO2021073827A1 (en) Method and device for providing a visualization of a vehicle, and vehicle
US11430147B2 (en) Image processing apparatus, imaging apparatus, mobile body, and image processing method
US20240169668A1 (en) Computer-implemented method for creating a three-dimensional virtual model of an environment of a motor vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210707

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20211005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220705

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220713

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220825

R150 Certificate of patent or registration of utility model

Ref document number: 7132213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150