JP2019526105A - 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 - Google Patents

周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 Download PDF

Info

Publication number
JP2019526105A
JP2019526105A JP2018565656A JP2018565656A JP2019526105A JP 2019526105 A JP2019526105 A JP 2019526105A JP 2018565656 A JP2018565656 A JP 2018565656A JP 2018565656 A JP2018565656 A JP 2018565656A JP 2019526105 A JP2019526105 A JP 2019526105A
Authority
JP
Japan
Prior art keywords
vehicle
camera
projection plane
peripheral model
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018565656A
Other languages
English (en)
Other versions
JP2019526105A5 (ja
JP7008040B2 (ja
Inventor
ミルツ・シュテファン
アルバイター・ゲオルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2019526105A publication Critical patent/JP2019526105A/ja
Publication of JP2019526105A5 publication Critical patent/JP2019526105A5/ja
Application granted granted Critical
Publication of JP7008040B2 publication Critical patent/JP7008040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/08
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B60K2360/176
    • B60K2360/21
    • B60K35/23
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本発明は、車両(20)の保存された三次元周辺モデル(30)の遠近法的修正された写像を作成するための方法に関する。カメラ画像(32)は、車両のカメラ手段(21)によって作成され、該作成されたカメラ画像(32)は、車両周辺モデル(30)内の投影面(31)に投影される。走行に関連する領域(33)は、保存されている三次元周辺モデル(30)内においてマークされ、該マーキングされた領域(33)は、投影面(31)の対応する投影面領域(35)上に投影される。投影面領域(35)上に投影された領域(33)を含む投影面(31)の写像は、周辺モデル(30)内を移動自在なバーチャルカメラ(72)によって作成され、出力される。

Description

本発明は、保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための方法、車両の保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための車両の車両制御システム、並びに、該車両制御システムを備えた車両に関する。
例えば、WO2013/060323A1より既知の周辺モデルは、車両を操縦する際に、ドライバー、或いは、ドライバー・アシスタント・システムをサポートすることができる。例えば、駐車アシストでは、補助線によって予測される車両の軌道がオーバーレイされているカメラ画像を、ディスプレイ上にドライバーに対して表示することができる。カメラオリエンテーションが変化していく間も、該補助線が正しい位置に表示されつづけることは、ドライバーが車両の動きを誤って推定しオブジェクトと衝突してしまうことを、回避するには、非常に重要なことである。
WO2013/060323A1
よって本発明の課題は、走行に関連する領域が、正しく描写された周辺モデルの写像を提供することにある。
この課題は、請求項1に記載の特徴を有する車両の保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための方法、請求項8に記載の特徴を有する保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための車両の車両制御システム、並びに、特許請求項15に記載されている特徴を有する車両によって解決される。
好ましい実施形態は、従属請求項の対象である。
第一アスペクトによれば本発明は、車両の保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための方法に関する。少なくとも一枚のカメラ画像が、車載カメラ手段によって作成され、該作成されたカメラ画像は、保存されている三次元の車両周辺モデル内の投影面に投影される。続いて、保存されている三次元周辺モデル内において、走行に関連する領域が、マークされる。更に該方法は、投影面上に投影されたカメラ画像の該マーキングされた領域に対応する画像領域を遠近法的に修正してマークするために、投影面の対応する投影面領域上に該マーキングされた領域を投影することも包含している。投影面領域に投影された領域を含む投影面の写像は、周辺モデル内を移動自在なバーチャルカメラによって作成され、該作成された描写は、出力される。
ここで言う「車両」には、特に、動力ビークル、特に好ましくは、乗用動力車両、動力二輪車、電動二輪車・自転車、貨物用動力車両、船舶、ボートが、或いは、飛行機も、包含されると解釈する。
ここで言う「周辺モデルの描写」は、バーチャルカメラを用いて作成した特定の空間部分領域の写像であると解釈できるが、該写像は、バーチャルカメラのポジションとオリエンテーション(向き)に依存している。
ここで言う「投影面」は、三次元の周辺モデル内の二次元の超曲面であると解釈できるが、これは、任意の形状と湾曲を有していることができる。即ち該「投影面」は、平面、球の殻のセグメント、円柱状の面、或いは、放物乃至双曲の面であることができる。
ここで言う「走行に関連する領域」は、車両をナビゲーションする時に有意義な車両の車両周辺部のリアルな空間領域に対応する周辺モデルの領域であると解釈する。また、該「リアルな空間領域」は、例えば、オブジェクトや障害物が存在し、車両がそこを走行することのできない空間領域であることもできる。一方、該「リアルな空間領域」は、該車両が、走行パラメータを変更させることなく移動できる車両の軌道であることもできる。更に、該「リアルな空間領域」は、車両から一定な間隔範囲を有する、或いは、駐車スペースに対応する領域であることもできる。尚、該「リアルな空間領域」は、ゼロ次元の点状の領域、一次元の、特に好ましくは湾曲した、線状の領域、二次元の、場合によっては湾曲した面、或いは、三次元の体積を有する領域であることができる。
投影面の投影面領域上に、該マーキングされた領域が、直接的に投影されることにより、これは、投影面上に投影されたカメラ画像内において、直接的にマーキングされる。バーチャルカメラの移動によって投影面に対する視線方向が、変化した場合でも、投影面領域は、正しい位置に留まり、収差効果(aberration effect)を回避できる。このような遠近法的エラーは、本発明に係る方法によって修正される。
本発明に係る方法は、走行に関連する領域の描写を改善する。遠近法的修正が実施されない場合、誤って描かれた走行に関連する領域が、評価されてしまうおそれがあるため、これを行うことによってはじめて、作成された描写を用いたドライバー・アシスタント・システムによる車両の走行機能の制御が、可能になる。即ち、該写像は、遠近法的に修正され、遠近法的なエラーを有していないため、該方法は、作成された写像の精度と正確さを改善し、且つ、安全性も大幅に高める。
該方法のある好ましい実施形態によれば、該マーキングされた領域は、投影面への対応する接続ラインとの交点上に該マーキングされた領域の各々の点が描写されることによって、該投影面上に投影される、但し、該接続ラインは、該マーキングされた領域の点を、周辺モデルの予め定められている基準点と結んでいる。即ち、該基準点は、そこから見て走行に関連する領域が、センタープロジェクションによって、該投影面に投影される可動バーチャルカメラのある一つの位置候補を示している。該投影面は、好ましくは、基準点と走行に関連する領域の間にあるが、該走行に関連する領域は、該基準点と投影面の間にあっても良い。
本方法の好ましい発展形態によれば、該カメラ手段は、少なくとも一台の車載カメラを有しているが、一つの空間的ポジションの周辺モデルの基準点は、投影面上に描写されているカメラ画像を作成した車載カメラに対応している。これにより、基準点の視点から作成された描写が、正しい位置にある走行に関連する領域によって、現実にある状況を、反映するため、該マーキングされた領域の投影によって、それが、投影面の正しい場所に描写されることを確かなものにしている。
本方法の好ましい発展形態によれば、移動自在なバーチャルカメラのカメラポジション、及び/或いは、カメラオリエンテーションは、車両の車載センサー類によって作成されたセンサーデータ、及び/或いは、車両の捕捉された車両パラメータによって定められる。これにより、例えば、バック走行や角を曲がって見通しの悪い道路へ進入するなど危険を伴うシチュエーションにおいて、バーチャルカメラの位置を、ドライバーにとって都合の良い、或いは、ドライバー・アシスタント・システムが、容易に評価できる視線方向からの描写を出力できるように、自動的且つ連続的に動かすことができる。車両パラメータの例としては、車両の速度やポジション、或いは、車両の車輪が向けられている角度が挙げられる。
本方法の好ましい実施形態によれば、ドライバー・アシスタント・システムは、出力される写像に基づいて、車両の車両機能を制御する。該車両機能は、ウインカーやサイドミラーなどのアクチュエータの制御、起動、停止、或いは、半自律的乃至自律的な車両の加速、制動、或いは、操舵を包含している。
本方法の好ましい実施形態によれば、出力された写像は、車両のドライバーのために、表示手段上に表示される。これにより該ドライバーは、車両周辺部に関する正確な概要を得ることができるが、走行に関連する領域は、遠近法的に正しく描写される。
本方法の好ましい発展形態によれば、保存されている三次元の周辺モデル内における走行に関連する領域のマーキングは、車両の車載センサー類によって作成されたセンサーデータ、及び/或いは、車両の捕捉された車両パラメータによって実施される。例えば、レーダー・センサーによって、オブジェクトの距離を測定し、これにより、オブジェクトが存在している空間領域に対応する周辺モデルの走行に関連する領域をマークすることができる。
更なるアスペクトによれば本発明は、保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための車両の車両制御システムを包含する。該車両制御システムは、少なくとも一枚のカメラ画像を作成するように構成されたカメラ手段、並びに、計算手段を包含している。該計算手段は、作成されたカメラ画像を車両の保存されている三次元の周辺モデル内の投影面上に、投影し、保存されている三次元周辺モデル内の走行に関連する領域をマーキングし、該マーキングされた領域を対応する投影面の投影面領域に投影するように構成されている。即ち該計算手段は、該マーキングされた領域に対応する投影面上に投影されたカメラ画像の画像領域を遠近法的に修正するように構成されている。該計算手段は、更に、投影面領域に投影された領域を含む投影面の写像を、周辺モデル内を移動自在なバーチャルカメラによって作成し、該作成された描写を、出力するように構成されている。
該車両制御システムの発展形態によれば、該計算手段は、投影面への対応する接続ラインとの交点上に該マーキングされた領域の各々の点を描写することによって、該マーキングされた領域を投影面上に投影するようにも構成されている、但し、該接続ラインは、該マーキングされた領域の点を、周辺モデルの予め定められている基準点と結んでいる。
該車両制御システムの好ましい発展形態によれば、該カメラ手段は、少なくとも一台の車載カメラを有しているが、一つの空間的ポジションの周辺モデルの基準点は、投影面上に描写されているカメラ画像を作成した車載カメラに対応している。
更なる実施形態によれば、該車両制御システムは、車両の少なくとも一つの、センサーデータを作成する、及び/或いは、車両の車両パラメータを捕捉することができるように構成された車載センサーを包含している。該計算手段は、保存されている三次元周辺モデル内の走行に関連する領域を作成したセンサーデータに基づいて、及び/或いは、捕捉した車両の車両パラメータに基づいてマークすることができるように構成されている。
該車両制御システムの更なる実施形態によれば、該計算手段は、該移動自在なバーチャルカメラのカメラポジション、及び/或いは、カメラオリエンテーションを、作成したセンサーデータに基づいて、及び/或いは、捕捉した車両の車両パラメータに基づいて割り出すことができるように構成されている。
ある好ましい実施形態によれば、該車両制御システムは、出力された写像によって、車両の車両機能を制御するように構成されているドライバー・アシスタント・システムを有している。
該車両制御システムのある好ましい実施形態によれば、該出力手段は、出力された写像を、車両のドライバーに対して表示することができる表示手段を有している。
第三のアスペクトによれば、本発明は、車両制御システムを備えた車両を提供する。
以下本発明を、概略的な図として描かれている実施例を参照しながら詳しく説明する。
図の説明:
図1は、本発明のある一つの実施形態に係る車両の保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための方法を説明するためのフローチャート; 図2は、本発明に係る方法を説明するための典型的なシナリオの上視図; 図3は、マーキングされた領域の投影を説明するための周辺モデルの模式的な描写; 図4は、第一カメラアングルからの典型的な描写; 図5は、発明によって回避された収差効果を説明するための周辺モデルの描写; 図6は、収差効果を含む描写; 図7は、移動自在なバーチャルカメラと周辺モデルの概略的な描写; 図8は、第二カメラアングルからの典型的な描写; 図9は、本発明のある実施形態によれば、車両制御システムを説明するための概略的なブロック回路図; 図10は、本発明のある実施形態に係る車両の模式的ブロック図である。
全ての図において、同じ、或いは、機能的に同じエレメント、並びに、手段に対しては、同じ符号がつけられている。方法ステップの番号は、明瞭性のためであり、通常、特定の時間的順序を示すものではない。特に、複数の方法ステップが、同時に実行されることも可能である。更に、様々な実施形態は、有意義である限り、互いに自由に組み合わせることが可能である。
図1は、発明のある実施形態に係る車両の保存されている三次元の周辺モデルの遠近法的に修正された写像を作成するための方法を説明するためのフローチャートを示している。
図2には、ある典型的なシナリオが、車両の周囲に配置された車載カメラ21a−21dを備えたカメラ手段21を有する車両20を示す上面図として描かれている。車両20の車両周辺部内には境界ポール24や他の交通参加者22,23が、存在している。
第一方法ステップS1では、車両20の車載カメラ手段21によって少なくとも一枚の車両20の車両周辺部のカメラ画像が、作成される。
次に、図3に概略的に描かれている車両20の三次元の周辺モデル30が、用意される。該三次元の周辺モデルは、好ましくは、車両20の車両制御システムのメモリー上に保存されている。該周辺モデル30では、例えば、円筒状に周辺モデル30の座標起点36を取り巻いて配置される、投影面31が定められるが、該座標起点36は、車両20車両ポジションに相当している。該投影面31は、座標起点36を取り巻いて配置される球表面、乃至、該球表面の部分領域に相当していても良い。但し、投影面の形状は、上記の例に限定されるものではない。
第二方法ステップS2では、作成されたカメラ画像32が、投影面31上に投影される。
更なる方法ステップS3では、走行に関連する領域33が、三次元の周辺モデル内においてマーキングされる。マーキングS3は、好ましくは、自動的に、特に好ましくは、該車両20の好ましくは少なくとも一つの車載センサーによって作成される及び/或いは割り出される、該車両のセンサーデータ及び/或いは車両パラメータに基づいて実施される。これにより例えば、該車両20の予期される軌道に相当する走行に関連する領域33は、少なくとも一つの車載センサーによって測定された車両のタイヤが向いている角度に基づいて定められ、周辺モデル内にマーキングされる。尚、該走行に関連する領域33は、周辺モデル内において色を用いてマーキングされることもできる。続いて、投影面31に投影されているカメラ画像32を作成した車載カメラの空間的ポジションに相当する周辺モデル30の基準点34が、マーキングされる。
該基準点34に従って、更なる方法ステップS4において、該マーキングされた走行に関連する領域33が、投影面31の対応する投影面領域35上に投影される。該投影面領域35は、投影面上に投影されたカメラ画像の該マーキングされた領域33に対応する、即ち、遠近法的に修正された形でマーキングされる画像領域である。該マーキングされた領域33の各々の点37に対して投影面31と接続ライン38との交点39が割り出されるが、該接続ライン38は、該点37と基準点34を接続するものである。
更なる方法ステップS5では、投影面領域35に投影された領域33を含む投影面31の描写は、周辺モデル30内を移動自在なバーチャルカメラによって作成され、続く方法ステップS6において、該作成された描写は、出力される。
図4は、基準点34にあるバーチャルカメラによって撮影される、該作成された第一描写40を示している。マーキングされた走行に関連する領域33は、この際、正しい位置にあり、且つ、車両のドライバー21に、車両パラメータを維持した際に該車両が、動く軌道を示す。
本発明の重要な点は、走行に関連する領域が、投影面に投影され、投影面領域に投影された領域を含む投影面の描写が実施されるこれは、投影面及び走行に関連する領域自体の撮影よって実施される描写とは異なる。
比較のため、図5には、本発明には属さないこのような方法が描かれている。該バーチャルカメラが、基準点34から予め定められているカメラ空間点54に移動され、これが、投影面31の、並びに、マーキングされた走行に関連する領域33の画像を捕捉した場合、走行に関連する領域33の対応する描写内の投影されたカメラ画像32の移動したポジション55に現れる。このことは、本発明に属さないこの方法によって撮影された第二描写60を示す図6に描かれている。該バーチャルカメラのカメラ空間点54への移動では、該描写されている走行に関連する領域33の移動が、画像領域の移動自体と一致していないことが認識できる。この収差効果により、本例では、車両の軌道が正しく示されない。
一方、図7は、本発明に係る投影面領域35に投影された領域33を含む投影面31の描写の作成を説明している。この際、バーチャルカメラ72は、一例として、基準点34ともう一つのカメラ空間点71に描かれている。バーチャルカメラ72のカメラポジションとバーチャルカメラ72のオリエンテーションに関係なく、投影面領域35は、常に同じ位置、即ち、投影面31上のカメラ画像32の正しいポジションに現れる。
図8は、一例として、更なるカメラ空間点71にあるバーチャルカメラ72によって撮影された第三描写80を示している。見れば明らかな如く、ここでは、走行に関連する領域33は、作成された描写の正しいポジションにある。
即ち、本方法は、収差効果を防止することによって、描写の遠近法的修正を可能にしている。
更なる実施形態によれば、移動自在なバーチャルカメラ72のカメラポジション、及び/或いは、カメラオリエンテーションは、車両20の車載センサー類によって作成されたセンサーデータ、及び/或いは、車両20の特定の車両パラメータによって定められる。よって、バーチャルカメラのカメラポジションは、連続的且つ均一に移動させることができ、それに基づき連続的な描写を作成することができる。
作成された描写は、ある実施形態によれば、出力された描写に基づいて車両の車両機能を制御するドライバー・アシスタント・システムに出力される。例えば、それにより、ドライバー・アシスタント・システムが必要とする計算時間と計算能力を低減することのできるような最適な遠近法的ビューを特徴とするドライバー・アシスタント・システムにとって有利なカメラ視点を選択することができる。このカメラアングルを基にして、ドライバー・アシスタント・システムは、該車両を部分自律的乃至自律的に制御する。正しくマーキングされた走行に関連する領域が、ドライバー・アシスタント・システムによる車両の正確な制御をはじめて可能にする。
好ましい発展形態によれば、出力された写像は、車両20のドライバーのために、車両20の表示手段上に表示される。
図9は、車両20の保存されている三次元の周辺モデル30の遠近法的に修正された写像を作成するための車両20の車両制御システム90を説明するためのブロック図を示している。該車両制御システム90は、少なくとも一枚の画像32を作成するように構成されたカメラ手段21を有している。カメラ手段21は、車両20の車両周辺部のサラウンドビュー描写を可能にする多数の車載カメラ21a−21dを包含していることができる。更に、該車両制御システムは、車両20の三次元周辺モデルが保存されている保存手段も有している。更なる実施形態によれば、三次元周辺モデル30は、車両制御システムに、インターフェースを介しても提供されることができる。
該車両制御システム90は、作成されたカメラ画像を、車両の保存されている三次元の周辺モデル内の投影面31に投影するように構成されている計算手段91を包含している。該投影面31は、予め定められている、或いは、計算手段91によって自ら割り出されることができる。
更に、該計算手段91は、保存されている三次元周辺モデル内の走行に関連する領域を認識できるように構成されている。そのため車両制御システム90は、オプションとして、センサーデータを作成する、及び/或いは、車両20の車両パラメータを捕捉する、少なくとも一つの車載センサー93を有することもできる。このような車載センサー類93は、レーダーシステム、ライダーシステム、光学的カメラ、赤外線カメラ、レーザーシステムを包含している。例えば、駐車ボックス、車両の軌道、乃至、障害物に対応する走行に関連する領域は、センサーデータに基づいて計算手段91によって認識され、周辺モデル30内に描き込まれ、マーキングされる。
該計算手段91は、更に、該マーキングされた領域33は、投影面31の対応する投影面領域35上に投影するように構成されている。該計算手段91は、このようにして、遠近法的に修正された状態で、マーキングされた領域33に対応する投影面31上に投影されたカメラ画像32の画像領域をマークする。更に、該計算手段91は、投影面領域35に投影された領域33を含む投影面の写像を、周辺モデル30内を移動自在なバーチャルカメラ72によって作成するように構成されている。
該車両制御システム90は、更に、作成された写像を出力するように構成された出力手段92も有している。該出力手段92は、インターフェース、特に好ましくは、配線接続、USBインターフェース、或いは、無線インターフェースを有している。作成された写像は、特に好ましくは、出力手段92を介して、他の装置に、或いは、C2C・コミュニケーションを介して、他の車両に伝達されることができる。
オプションとして、該車両制御システム90は、更に、出力された写像によって、車両20のある車両機能を制御するように構成されているドライバー・アシスタント・システム94を包含している。
好ましい発展形態によれば、該出力手段92は、車両20の車内に配置され、車両20のドライバーに対して出力された写像を表示する表示手段を有している。
図10は、本発明の実施形態のうちの一つに係る車両制御システム90を装備した車両20の典型的なブロック図を示している。該車両制御システム90は、この際、上述の実施形態のうちの一つであることができる。
20 車両
21 カメラ手段
21a〜22d 車載カメラ
22,23 他の交通参加者
24 境界ポール
30 周辺モデル
31 投影面
32 カメラ画像
33 走行に関連する領域
34 基準点
35 投影面領域
36 座標起点
37 マークされた領域の点
38 接続ライン
39 交点
40 第一描写
54 カメラ空間点
55 移動した位置
60 第二描写
71 他のカメラ空間点
72 バーチャルカメラ
80 第三描写
90 車両制御システム
91 計算手段
92 出力手段
93 車載センサー類
94 ドライバー・アシスタント・システム

Claims (15)

  1. 以下のステップを包含することを特徴とする車両(20)の保存された三次元周辺モデル(30)の遠近法的に修正された写像を作成するための方法:
    車両(20)のカメラ手段(21)によって少なくとも一枚のカメラ画像(32)を作成するステップ(S1);
    作成されたカメラ画像(32)を車両(20)の保存されている三次元の周辺モデル(30)内の投影面(31)上に投影するステップ(S2);
    保存されている三次元の周辺モデル(30)内において走行に関連する領域(33)をマークするステップ(S3);
    投影面(31)上に投影されたカメラ画像(32)の該マーキングされた領域(33)に対応する画像領域を遠近法的に修正してマークするために、投影面(31)の対応する投影面領域(35)上に該マーキングされた領域(33)を投影するステップ(S4);
    周辺モデル(30)内を移動自在なバーチャルカメラ(72)によって、投影面領域(35)上に投影された領域(33)を含む投影面(31)の写像を作成するステップ(S5);
    作成された写像を出力するステップ(S6)。
  2. 該マーキングされた領域が、マーキングされた領域(33)の各々の点(37)が、対応する接続ライン(38)と投影面(31)との交点(39)上に描写されることにより投影面(31)上に投影される、但し、該接続ライン(38)が、該マーキングされた領域の点(37)を、周辺モデル(30)の予め定められている基準点(34)と結んでいることを特徴とする請求項1に記載の方法。
  3. 該カメラ手段(21)が、少なくとも一つの車載カメラ(21a-21d)を有している、但し、周辺モデル(30)の基準点(34)が、投影面(31)上に描写されているカメラ画像(32)を作成した車載カメラの空間的ポジジョンに対応していることを特徴とする請求項2に記載の方法。
  4. 移動自在なバーチャルカメラ(72)のカメラポジション、及び/或いは、カメラオリエンテーションが、車両(20)の車載センサー類(93)によって作成されたセンサーデータ、及び/或いは、車両(20)の捕捉された車両パラメータによって定められることを特徴とする先行請求項のうち一項に記載の方法。
  5. ドライバー・アシスタント・システム(94)が、出力された写像によって、車両(20)の車両機能を制御することを特徴とする先行請求項のうち一項に記載の方法。
  6. 出力された写像が、車両(20)のドライバーのために、表示手段上に表示されることを特徴とする先行請求項のうち一項に記載の方法。
  7. 保存されている三次元の周辺モデル(30)内における走行に関連する領域のマーキングが、車両(20)の車載センサー類(93)によって作成されたセンサーデータ、及び/或いは、車両(20)の捕捉された車両パラメータによって実施されることを特徴とする先行請求項のうち一項に記載の方法。
  8. 以下を装備していることを特徴とする車両(20)の保存された三次元周辺モデル(30)の遠近法的に修正された写像を作成するための車両(20)の車両制御システム(90):
    少なくとも一枚の画像(32)を作成するように構成されたカメラ手段(21);
    該作成されたカメラ画像(32)を車両(20)の保存されている三次元の周辺モデル(30)内の投影面(31)上に投影し;
    保存されている三次元の周辺モデル(30)内において走行に関連する領域(33)をマークし;
    投影面(31)上に投影されたカメラ画像(32)の該マーキングされた領域(33)に対応する画像領域を遠近法的に修正してマークするために、投影面(31)の対応する投影面領域(35)上に該マーキングされた領域を投影し;
    周辺モデル(30)内を移動自在なバーチャルカメラ(72)によって、投影面領域(35)上に投影された領域(33)を含む投影面(31)の写像を作成する;
    ことができるように構成された計算手段(91):
    並びに、
    作成された写像を出力するように構成された出力手段(92)。
  9. 該計算手段(91)が、更に、投影面(31)への対応する接続ライン(38)との交点(39)上に該マーキングされた領域(33)の各々の点(37)を描写することによって、該マーキングされた領域(33)を投影面(31)上に投影するようにも構成されている、但し、該接続ライン(38)が、該マーキングされた領域(33)の点(37)を、周辺モデル(30)の予め定められている基準点(34)と結んでいることを特徴とする請求項8に記載の車両制御システム(90)。
  10. 該カメラ手段(21)が、少なくとも一つの車載カメラ(21a-21d)を有している、但し、周辺モデル(30)の基準点(34)が、投影面(31)上に描写されているカメラ画像(32)を作成した車載カメラの空間的ポジジョンに対応していることを特徴とする請求項9に記載の車両制御システム(90)。
  11. センサーデータを作成する、及び/或いは、車両(20)のの車両パラメータを捕捉するための車両(20)の少なくとも一つの車載センサー(93)を備えている、
    但し、該計算手段(91)が、更に、保存されている三次元周辺モデル(30)内の走行に関連する領域を、作成したセンサーデータに基づいて、及び/或いは、捕捉した車両(20)の車両パラメータに基づいてマークするように構成されている
    ことを特徴とする請求項8から10のうち何れか一項に記載の車両制御システム(90)。
  12. 該計算手段(91)が、該移動自在なバーチャルカメラ(72)のカメラポジション、及び/或いは、カメラオリエンテーションを、作成したセンサーデータに基づいて、及び/或いは、捕捉した車両(20)の車両パラメータに基づいて割り出すことができるように構成されていることを特徴とする請求項11に記載の車両制御システム(90)。
  13. 出力された写像によって、車両(20)の車両機能を制御するように構成されているドライバー・アシスタント・システム(93)を包含していることを特徴とする請求項8から12のうち何れか一項に記載の車両制御システム(90)。
  14. 該出力手段(92)が、出力された写像を車両(20)のドライバーに対して表示できるように構成された表示手段を包含していることを特徴とする請求項8から13のうち何れか一項に記載の車両制御システム(90)。
  15. 請求項8から14のうち何れか一項に記載の車両制御システム(90)を備えた車両(20)。
JP2018565656A 2016-06-23 2017-06-20 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 Active JP7008040B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016211227.9 2016-06-23
DE102016211227.9A DE102016211227A1 (de) 2016-06-23 2016-06-23 Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
PCT/DE2017/200054 WO2017220092A1 (de) 2016-06-23 2017-06-20 Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug

Publications (3)

Publication Number Publication Date
JP2019526105A true JP2019526105A (ja) 2019-09-12
JP2019526105A5 JP2019526105A5 (ja) 2021-08-26
JP7008040B2 JP7008040B2 (ja) 2022-01-25

Family

ID=59683360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565656A Active JP7008040B2 (ja) 2016-06-23 2017-06-20 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両

Country Status (5)

Country Link
US (1) US11145112B2 (ja)
EP (1) EP3475921B1 (ja)
JP (1) JP7008040B2 (ja)
DE (2) DE102016211227A1 (ja)
WO (1) WO2017220092A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021307A (ja) * 2002-06-12 2004-01-22 Matsushita Electric Ind Co Ltd 運転支援装置
WO2014084251A1 (ja) * 2012-11-27 2014-06-05 クラリオン株式会社 車載画像処理装置
JP2014198531A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2015179482A (ja) * 2014-03-20 2015-10-08 クラリオン株式会社 車載用画像処理装置およびそれを用いた車両システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000000013A1 (fr) 1998-06-30 2000-01-06 Pascal Peleszezak Dispositif pour la realisation de massifs et decors floraux
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP2002083285A (ja) 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
JP4642723B2 (ja) 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
DE102007044535B4 (de) * 2007-09-18 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
JP5223811B2 (ja) 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
DE102011112577A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeg zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
US20140278049A1 (en) 2011-10-28 2014-09-18 Conti Temic Microelectronic Gmbh Grid-Based Environmental Model for a Vehicle
US9225942B2 (en) 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20140114534A1 (en) 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US9445011B2 (en) 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US9654704B2 (en) * 2013-03-15 2017-05-16 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with three dimensional overlaying
US20150042799A1 (en) 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
US20150109444A1 (en) 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
JP6096155B2 (ja) * 2014-09-12 2017-03-15 アイシン精機株式会社 運転支援装置及び運転支援システム
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US9437001B2 (en) * 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems
JP6276719B2 (ja) 2015-02-05 2018-02-07 クラリオン株式会社 画像生成装置、座標変換テーブル作成装置および作成方法
DE102015206477A1 (de) * 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021307A (ja) * 2002-06-12 2004-01-22 Matsushita Electric Ind Co Ltd 運転支援装置
WO2014084251A1 (ja) * 2012-11-27 2014-06-05 クラリオン株式会社 車載画像処理装置
JP2014198531A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2015179482A (ja) * 2014-03-20 2015-10-08 クラリオン株式会社 車載用画像処理装置およびそれを用いた車両システム

Also Published As

Publication number Publication date
EP3475921A1 (de) 2019-05-01
EP3475921B1 (de) 2021-01-27
WO2017220092A1 (de) 2017-12-28
DE102016211227A1 (de) 2017-12-28
JP7008040B2 (ja) 2022-01-25
DE112017002355A5 (de) 2019-01-24
US11145112B2 (en) 2021-10-12
US20190311523A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
US9849832B2 (en) Information presentation system
US9308917B2 (en) Driver assistance apparatus capable of performing distance detection and vehicle including the same
JP5212748B2 (ja) 駐車支援装置
JP6639194B2 (ja) 情報表示装置
US9896098B2 (en) Vehicle travel control device
JP6981377B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
US20170036678A1 (en) Autonomous vehicle control system
JP6213567B2 (ja) 予測進路提示装置及び予測進路提示方法
JP7008040B2 (ja) 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP7156924B2 (ja) 車線境界設定装置、車線境界設定方法
WO2018150642A1 (ja) 周辺監視装置
US20190325234A1 (en) Lane post-processing in an autonomous driving vehicle
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
JP2019526105A5 (ja)
CN111936364B (zh) 停车辅助装置
JP7148064B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
JP2012086684A (ja) 駐車支援装置
JP6936816B2 (ja) 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
WO2019065564A1 (ja) 自動運転制御装置及び方法
JP6658968B2 (ja) 運転支援方法及び運転支援装置
KR101826627B1 (ko) 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
JP7056379B2 (ja) 車両用走行制御装置
US20230298491A1 (en) System and method to adjust inclined heads-up display perspective
JP2023111192A (ja) 画像処理装置、移動体制御装置、画像処理方法、およびプログラム
JP2018075866A (ja) 駐車制御装置の姿勢推定方法、及び姿勢推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210428

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220107

R150 Certificate of patent or registration of utility model

Ref document number: 7008040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150