JP2021534646A - 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム - Google Patents

車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム Download PDF

Info

Publication number
JP2021534646A
JP2021534646A JP2021506997A JP2021506997A JP2021534646A JP 2021534646 A JP2021534646 A JP 2021534646A JP 2021506997 A JP2021506997 A JP 2021506997A JP 2021506997 A JP2021506997 A JP 2021506997A JP 2021534646 A JP2021534646 A JP 2021534646A
Authority
JP
Japan
Prior art keywords
vehicle
representation
image
environment
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021506997A
Other languages
English (en)
Other versions
JP7191201B2 (ja
Inventor
ファンチン、グオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of JP2021534646A publication Critical patent/JP2021534646A/ja
Application granted granted Critical
Publication of JP7191201B2 publication Critical patent/JP7191201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/22
    • B60K35/28
    • B60K35/60
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/21
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • B60Y2400/3015Optical cameras

Abstract

本発明は、車両(1)の環境(7)の画像表現(15)を提供する方法に関し、車両(1)の環境(7)は少なくとも部分的に撮像され、撮像された環境(7)の少なくとも一部の第1の部分(10a)の画像表現(15)は、所定の視点(11)からの所定の表示域(10)内に提供され、画像表現(15)は車両(1)を表す車両表現(14)を含み、画像表現(15)は表示装置(12)上に表示される。さらに、画像表現(15)を提供する場合、撮像された環境(7)の少なくとも1つの第2の部分(16a)は、車両表現(14)の所定の領域(17,19,20)上の環境(7)の少なくとも1つの第2の部分(16a)の鏡像(18)の形態で表現される。

Description

本発明は、車両の環境の少なくとも一部の画像表現を表示装置上に提供する方法に関し、車両の環境は、少なくとも1つの車両センサによって少なくとも部分的に撮像され、少なくとも一部の撮像された環境の画像表現は、所定の視点からの所定の表示域内に提供され、画像表現は車両を表す車両表現を含む。さらに、画像表現が表示装置に表示される。本発明はまた、車両の環境の少なくとも一部の画像表現を提供するための、車両用のコンピュータプログラム製品および運転者支援システムに関する。
例えば車両の周囲360°の眺望の提供を達成する従来技術から知られているシステムがあり、これは、例えば車両を駐車する際に運転者を支援するために車両の表示装置に表示することができる。この目的のために、例えば車両表現を含む車両の周囲の360°の上面視、例えば車両自体の2Dビットマップ画像を平面図で示すことができる。また、表示されたシーンへの視点の動的な変更を可能にする3D車両モデルを提供することができるシステムも知られている。通常、このような視覚化を提供する目的で環境を撮像するために、複数のカメラを含む車両のカメラシステムが使用される。このようなマルチカメラ自動車用視覚システムでは、複数のカメラ画像を使用して様々な種類の眺望を生成することができる。複数のカメラおよび電子計算ユニットを備えるこのような視覚化の枠組みでは、生のカメラ画像が最初に標的表示域にマッピングされて統合され、こうして車両付近の特定の3D位置からの眺望を表すモザイク画像が生成される。最も単純な場合では、仮想カメラは上部中央位置から見て自動車の上に配置され、投影面は平坦な2D平面である。この眺望は通常、上記のように上面視と呼ばれる。より一般的な場合には、例えば投影2D面がボウルの形状であり、仮想カメラもしくは仮想視点が3D空間の任意の位置に位置決めされたボウルの図が含まれる。
車両表現を含む環境シーンへの視点を変更することはできるが、特定の選択された視点からは、関連情報を含む可能性のある環境の一部が所定の表示域外にあるために表示されず、かつ使用者からは見えないことが、依然として起こる可能性がある。これは非常に危機的な局面を引き起こしかねない。使用者が関連情報を見逃していないことを確認するために、使用者は車両全体の表現の視点を変更することができる。しかし、これは非常に時間がかかり、使用者を不快にするであろう。したがって、ほとんどの使用者は、重要な情報を見逃していないことを確認するために、便宜上、常に視点を変更することはない。これもまた、非常に危機的な局面を引き起こしかねない。
したがって、本発明の目的は、車両の環境の少なくとも一部の画像表現を表示装置上に提供する方法、コンピュータプログラム製品および運転者支援システムを提供することであり、それによって、重要な環境情報を見逃す危険性を低減することができる。
この目的は、対応する独立請求項による特徴を含む方法、コンピュータプログラム製品、および運転者支援システムによって解決される。本発明の有利な実施形態は、従属請求項、説明および図面に提示されている。
車両の環境の少なくとも一部の画像表現を表示装置上に提供する本発明の文脈における方法によれば、車両の環境は、少なくとも1つの車両センサによって少なくとも部分的に撮像され、撮像された環境の少なくとも1つの第1の部分の画像表現は、所定の視点からの所定の表示域内に提供され、画像表現は車両を表す車両表現を含む。また、画像表現が表示装置に表示される。さらに、画像表現を提供する場合、撮像された環境の少なくとも1つの第2の部分は、車両表現の所定の領域上の環境の少なくとも1つの第2の部分の鏡像の形態で表現される。
したがって、有利には、環境の一部、すなわち環境の少なくとも1つの第2の部分を、車両の所定の領域、例えば車両表現のウィンドウ上の反射として表すことができる。これにはいくつかの大きな利点がある。第一に、それによって、現在の選択された視点からは実際には見ることができなかった環境の一部を、車両表現の少なくとも一部上の反射、すなわち鏡像の形態で、使用者が表示装置上で視認できるようにすることが可能である。その結果、車両の環境に関する追加情報を、所定の視点および所定の表示域について同時に表示することができる。これによって、車両の環境における重要な情報を運転者が見逃す危険性を大幅に低減することができる。例えば、車両表現を含む環境シーンが、車両表現を後方から見た視点から表示装置に表示される場合、および運転者が現在、車両後方の駐車場に車両を後方へ駐車するための駐車操作を実行している場合、このような視点からは、基本的に車両の前方の環境情報のみが表示されるので、通常、駐車場自体は、車両表現を後方から見た前記視点からは見ることができない。しかし、本発明によって、車両の後方の駐車場および周囲の領域を、特に車両の前方の環境の部分の表現に加えて、車両表現のリアウィンドウの反射として見なすことが可能になる。したがって、本発明によって、車両環境に関するさらに多くの関連情報を運転者または使用者に提供することができ、異なる運転または駐車の場面においてはるかに優れた支援を提供し、それによって安全性を大幅に高める。本発明の別の大きな利点は、環境のこの第2の部分が、車両表現の所定の領域上の鏡像もしくは反射の形態で表示されることである。一方、車両表現の一部にこの鏡像を提供することによって、撮像された環境の少なくとも1つの第1の部分によって提供される潜在的に重要な情報を鏡像によって隠すことができない。一方、環境の第2の部分に関する情報を反射もしくは鏡像の形態で提供することによって、この追加情報が非常に自然で写実的に提供され、したがって使用者が非常に簡単かつ直感的に認識できるように、光反射の自然な印象を使用者に提供することができる。これにより、使用者の注意散漫や苛立ちが少なくなり、それによって安全性を向上させることができ、重要な情報を見逃す危険性を再び低減することができる。また、この種の写実的表現は、鏡像の形態で表現されるこの追加的に表示された内容が、実際には環境の第2の部分の反射もしくは鏡像を構成するものであることを運転者が認識するのに役立ち、車両に関連する鏡像によって表現される環境のこの第2の部分を正確にローカライズすることができるので、非常に有用である。
好ましくは、少なくとも1つの車両センサはカメラとして構成される。また、車両は複数のカメラを備え、特に全視野が360°であることが好ましい。そこで、これらのカメラによって撮像された環境画像を一体に統合して、上述したように選択された視点からの所定の表示域にマッピングすることができる。しかし、一般に、少なくとも1つの車両センサは、レーザスキャナ、超音波センサおよび/またはレーダのような任意の車両センサとして構成することができる。これら全てのセンサによって、車両もしくはその少なくとも一部の環境の表現を、撮像されたセンサデータの適切な処理によって提供して、撮像された環境情報の画像表現を提供することができる。
さらに、鏡像は、例えば物理的な反射の法則に従って、または物理的な反射の法則からの所定の偏差を使用して事前定義された方法でミラーリングされ、特に計算的にミラーリングされた、環境の少なくとも1つの第2の部分の画像を構成しており、これについては後に詳述する。
また、本発明の好ましい実施形態によれば、環境の第2の部分は環境の第1の部分と少なくとも部分的に異なる。換言すれば、車両の環境の一部は鏡像によって視認でき、そうでなければ所定の表示域の所定の視点からは視認できない。したがって、有利には、環境に関する追加情報を車両の運転者もしくは使用者に提供することができ、重要な情報を見逃す危険性を低減することができる。
さらに、車両表現の所定の領域が、車両のウィンドウ、特にフロントガラスおよび/またはリアウィンドウおよび/またはルーフウィンドウおよび/またはサイドウィンドウに関連する車両表現の一部を構成する場合に非常に有利である。これにより、鏡像を追加的に表示することによって車両表現の自然な外観を維持することができ、使用者を注意散漫にさせるかまたは苛立たせる可能性の危険性を低減することができる。それにもかかわらず、一般に、例えば車両のドアまたはトランクの蓋を表す部分など車両表現の任意の部分に鏡像を提供することができる。
本発明の別の有利な実施形態によれば、特定の鏡像は、所定の視点、および/または鏡像が表示された車両表現の所定の領域に関連付けられた鏡面の所定の形状に応じて、および/または所定の視点に対する鏡面の位置および/または向きに応じて決定される。これにより、これらの依存関係が実際の反射の法則に対応するので、鏡像の非常に自然な外観を実現することができる。換言すれば、鏡像によって表現される環境の第2の部分は、所定の視点の位置、および車両表現の表面の傾斜に依存し、例えば車両表現のウィンドウの形状および表面の傾斜、および、そこからシーン全体が最終的に表示装置に表示される仮想視点に対するこれらの仮想反射面の位置に依存する。
さらに、自動車の2D画像、特に、所定の視点からの車両を表すビットマップ画像の形態で車両表現を提供することができる。車両の2D画像の形態のこのような車両表現は、例えば上面視について特に有利である。しかし、シーンの他の眺望をいくつかの異なる所定の視点の形態で提供することもできる。この場合、それぞれの2D画像を各視点について定義することができる。車両の2D画像を車両表現として使用することには、特に車両表現の一部の鏡像の表現と組み合わせて、これが特に計算的に安価であるという利点がある。したがって、各視点について、車両表現の所定の領域に関連付けられた対応する鏡面を定義することができ、鏡像を所与の視点から簡単に計算することができる。
したがって、視点がいくつかの事前定義された個別の視点に調整可能である場合、本発明の別の実施形態は有利であり、車両の対応する2D画像は事前定義された視点ごとに記憶され、2D画像および鏡像は、視点が変化する場合にそれに応じて変更される。非常に有利には、シーン上の複数の異なる眺望を限られた処理能力で提供することができ、鏡像の内容もまた選択された視点に依存するので、これら眺望は、鏡像、特にそれぞれの鏡像によって提供される追加情報によって有利に強化される。
本発明の別の有利な実施形態によれば、車両表現は、車両モデル、特に3D車両モデルの形態で提供され、鏡面の形状は、鏡像が表示された車両モデルの所定の領域の形状によって決定される。換言すれば、車両モデルの一部での環境の写実的な反射を計算するために、単純に3D車両モデルのこの部分の形状をこれらの計算に使用することができる。3D車両モデルを車両表現として使用することにより、特に鏡像と組み合わせて、シーンのはるかに写実的な視覚化、特に動的に変更可能な視覚化を行うことができる。
したがって、所定の視点が動的に調整可能である場合、本発明の別の実施形態は有利であり、車両モデルの表現および鏡像は、動的に調整された視点に応じて動的に調整される。それにより、環境情報を3D空間内の任意の視点から提供することができ、有利には、連続的な遷移を異なる視点間で提供することができる。
また、一方では、物理的な光反射の法則に基づいて鏡像を簡単に計算することができる。したがって、鏡像が物理的な光反射の法則に基づいて決定される場合、本発明の別の実施形態は有利である。これにより、最終的に表示される表現の非常に自然で写実的な外観が得られる。一方、鏡像の計算が物理的な光反射の法則に厳密に従わない場合にも非常に有利なことがある。
したがって、鏡像が物理的な光反射の法則からの所定の偏差に基づいて決定される場合、本発明の別の実施形態は有利である。例えば、反射として車両表現に表示される内容を、車両の遠く離れた隅からの危機的なシーンなどの、さもなければ非表示となる周囲のシーンを隠すように事前に設計することができる。例えば、環境の第2の部分からの光が、仮想レンズのような特定の仮想光学部品を最初に通過し、次いで鏡面によって仮想視点に反射されるかのように、鏡像を計算することができる。そこで、このような仮想光学部品の設計は所定の偏差を定義する。これにより、さらに重要な情報を使用者に提供することができる。
特に、鏡像によって表現される環境の第2の部分への所定の視点からの視野が、鏡像が所定の偏差を含まない物理的な光反射の法則に基づいて決定された場合よりも大きくなるように、鏡像が物理的な光反射の法則からの所定の偏差に基づいて決定される場合、非常に有利である。好ましくは、視野は、特に水平方向、すなわち車両の垂直軸に対して垂直に拡大され、これは、ほとんどの運転または駐車の場面において非常に有利である。このような広い視野を作り出すために、単一のカメラのように単一のセンサの入力データのみを使用することができるだけでなく、鏡像の計算は、異なるセンサ、特に、例えば異なる隣接カメラによって提供される環境データに基づくこともでき、それぞれ提供された環境データを適切に融合して統合することができる。例えば水平方向の魚眼特性を有する仮想レンズを通過する環境の第2の部分からの光をモデル化することによって、鏡像を計算することができ、これにより、特に広い視野が水平方向に提供され、次いで、所定の鏡面上で仮想視点に仮想的に反射される。
本発明の別の有利な実施形態によれば、車両表現の所定の領域は所定の視点の変化に応じて変更される。上記で説明したように、車両表現の所定の領域が、例えば車両表現のウィンドウを構成する場合、非常に有利である。車両表現は、通常の自動車と同様に、フロントガラス、リアウィンドウ、サイドウィンドウ、場合によってはルーフウィンドウなどの複数のウィンドウを含むので、車両表現のこれら全てのウィンドウ表現を、最終的に鏡像が表示されるかまたはいくつかのそれぞれの鏡像が同時に表示される所定の領域として使用することが可能である。しかし、視点によっては、これらのウィンドウ表現の一部が、鏡面として使用される他の表現よりも適切な位置に存在する場合がある。例えば、画像表現が車両表現を後方から見た視点から表示される場合、特にこのような視点からは車両表現のフロントガラスが視認できない場合があるので、鏡像を表示するための鏡面としてリアウィンドウを使用することは、例えばフロントガラスを使用することよりも適切である。したがって、本発明のこの有利な実施形態によれば、鏡像が表示されるべき車両表現の領域もまた、視点に応じて有利に選択することができる。好ましくは、車両表現を後方から見た視点の場合、車両表現のリアウィンドウは車両表現の所定の領域として使用され、車両表現上に前方付近からどこかを見た視点の場合、所定の領域は車両表現のフロントガラス表現を含み、車両表現を側部からどこかを見た所定の視点の場合、好ましくは車両表現のサイドウィンドウの1つは車両表現の所定の領域を構成し、上面視の場合、所定の領域は少なくとも車両表現のリアウィンドウおよびフロントガラスによって構成され、任意には、車両表現のサイドウィンドウによっても構成される。有利には、画像表現の視点を変更することによって、使用者は、車両表現の周囲に表現される環境への眺望を変更できるだけでなく、車両表現の少なくとも一部上の反射として表現される環境の第2の部分の眺望も変更することができる。
本発明の別の有利な実施形態によれば、鏡像の反射率は調整可能であり、鏡像および車両表現の所定の領域は、調整された反射率に依存してクロスフェードされる。これにより、例えば運転状況に応じて反射率を自動的に調整することができる。例えば通常の運転状況では、反射率を20%に設定することができ、つまり、車両表現の所定の領域で、鏡像の20%を視認でき、例えばウィンドウ表現などの車両表現自体の所定の領域の80%を視認できる。0%の反射率とは、鏡像が全く表示されず、車両表現の所定の領域のみが視認できることを意味し、100%の反射率とは、理想的な反射鏡のように鏡像のみを視認できるが、車両表現の所定の領域に表現される車両の一部は全く視認できないことを意味する。駐車場に駐車する場合では、環境情報が通常の運転状況よりもはるかに重要であるが、反射率を上げることができるので、使用者は、鏡像によって示された環境情報を簡単に収集できるようになる。しかし、使用者自身が反射率を調整することもできる。例えば、反射率を0〜100%の間で調整することができる。これは、使用者が自分の好みに応じて反射率を設定することができるので非常に有利である。同時に、このガラス反射機能をオンまたはオフにする選択肢を使用者に提供することもできる。使用者が鏡像の表示をオフにした場合、車両表現、特に所定の領域、例えば車両表現のウィンドウは、例えばシーンの反射なしで、またはシーンの反射が非常に弱い状態のみで透明に表示される。
本発明はまた、コンピュータ可読媒体に記憶されたプログラムコードを含み、電子制御装置のプロセッサによって実行された場合に、プロセッサに、撮像された車両の環境の少なくとも1つの第1の部分の画像表現であって車両を表す車両表現を含む画像表現を、所定の視点からの所定の表示域内に提供し、かつ画像表現を表示装置上に表示する、コンピュータプログラム製品に関する。また、コンピュータプログラム製品はさらに、画像表現を提供する場合に、プロセッサに、撮像された環境の少なくとも1つの第2の部分を、車両表現の所定の領域上の環境の少なくとも1つの第2の部分の鏡像の形態で表現させる。
さらに、本発明はまた、車両の環境の少なくとも一部の画像表現を表示装置上に提供するための車両用の運転者支援システムに関し、運転者支援システムは、車両の環境を少なくとも部分的に撮像するように構成された少なくとも1つの車両センサと、撮像された環境の少なくとも1つの第1の部分の画像表現を、所定の視点からの所定の表示域内に提供するように構成された処理ユニットであって、画像表現が車両を表す車両表現を含む、処理ユニットと、画像表現を表示するように構成された表示装置とを含む。さらに、処理ユニットは、画像表現を提供する場合に、撮像された環境の少なくとも1つの第2の部分を、車両表現の所定の領域上の環境の少なくとも1つの第2の部分の鏡像の形態で表すように構成される。
さらに、本発明による運転者支援システムを備えた車両もまた、本発明に関連すると見なされなければならない。
本発明による方法およびその実施形態に関して説明した利点は、本発明によるコンピュータプログラム製品、運転者支援システムおよび車両に同様に適用される。
好ましくは、少なくとも1つのセンサは少なくとも1つのカメラとして構成される。好ましくは、運転者支援システムは、いくつかのカメラ、例えば車両の前部に取り付けられたフロントカメラ、車両の後部に取り付けられたリアカメラ、車両の左側のサイドミラーに取り付けられた左ミラーカメラ、および車両の右側のミラーに取り付けられた右ミラーカメラのような4つのカメラを含む。各時間ステップでは、これらのカメラは車両の環境の画像を撮像することができ、この画像を、所定の視点を定義する所定の仮想視点から所与の表示域に投影することができ、それによって車両表現が挿入され、かつ表示装置、特に車両の表示装置に表示されたそれぞれの出力画像を提供する。
本発明のさらなる構成は、特許請求の範囲、図面、および図面の説明から明らかである。上記の説明で言及した構成および構成の組合せ、ならびに図の説明で以下に言及する構成および構成の組合せ、および/または図のみに示すものは、本発明の範囲から逸脱することなく、それぞれ指定された組合せだけでなく他の組合せも使用可能である。したがって、実装もまた、本発明によって包含および開示されると見なされるべきであり、これは、図に明示的に示され説明されていないが、説明された実装から生じ、またそれから分離される構成の組合せによって生成することができる。実装と構成の組合せも開示されていると見なされるべきであり、したがってこれらは元々策定された独立請求項の構成の全てを備えているわけではない。さらに、実装と構成の組合せは、特に、上記の実装によって開示されていると見なされるべきであり、これらは特許請求の範囲に記載された構成の組合せを超えて拡大し、またはそれから逸脱している。
本発明の一実施形態による運転者支援システムを含む車両の概略図である。 本発明の一実施形態による、車両のモデルが挿入されたボウルとして構成された投影面の概略図である。 本発明の一実施形態による、車両の表示装置に表示される画像表現の概略図である。 本発明の別の実施形態による、車両の表示装置に表示される画像表現の概略図である。
図1は、本発明の一実施形態による運転者支援システム2を備える車両1の概略図を示している。運転者支援システム2は、少なくとも1つの環境センサ、この場合は4つのカメラ3、4、5、6、すなわちフロントカメラ3、リアカメラ4、左ミラーカメラ5および右ミラーカメラ6を備える。カメラ3、4、5、6の各々は広角カメラとして構成されてもよい。したがって、非常に広い視野をカメラ3、4、5、6の各々によって撮像することができる。この例では、フロントカメラ3は、図示の境界線3aによって水平面に限定された対応する視野FOV1を含む。同様に、リアカメラ4は、対応する境界線4aによって水平面に限定された対応する視野FOV2を含む。左ミラーカメラ5は、図示の境界線5aによって水平面に限定された対応する視野FOV3を含み、右ミラーカメラ6は、図示の境界線6aによって水平面に限定された対応する視野FOV4を含む。したがって、カメラ3、4、5、6の各々は、車両1の環境7の対応する部分7a、7b、7c、7dを撮像するように構成される。さらに、それぞれの視野FOV1、FOV2、FOV3、FOV4は互いに重なる。
運転者支援システム2はまた、画像処理モジュール8として構成される処理ユニットを備える。画像処理モジュール8は、それぞれのカメラ3、4、5、6によって撮像された画像を、ボウル9(図2を参照)または平坦な2D平面のような標的表面にマッピングし、その後、仮想視点11で任意に選択された仮想カメラから画像を統合して表示域10(図2を参照)にレンダリングし、それによって視点を定義する。次いで、その表示域10内の環境の画像表現および追加的に車両1の表現が、車両1の表示装置12に表示される。
図2は、この例では車両表現14の一例として、車両1の3Dモデルと共にボウル13として構成された投影面の概略図を示している。上述したように、車両カメラ3、4、5、6によって撮像された画像は一体に統合され、かつボウル13の表面に投影される。さらに、ここで仮想視点11によって表されている選択された視点の位置に応じた特定の表示域10が画定される。この例では、視点11は、車両モデルまたは一般に車両表現14によって表現される車両1の後方からの眺望が提供されるように選択される。結果として得られる画像表現15は、最終的に車両1の表示装置12に表示され、図3に示されている。
ここで有利には、表示域10に関連付けられた車両1の環境7の第1の部分10aが表現されるだけでなく、車両モデル14の後方の標示領域によって図2に示され、したがって第2の表示域16に関連付けられていると見なすことができる、車両1の環境7の第2の部分16aもまた表現される。この第2の部分16aは車両表現14の特定の領域に表示され、特にこの例では、環境7のこの第2の部分16aの鏡像18の形態でリアウィンドウ17(図3を参照)に表示される。これにより、追加の環境情報を車両1の使用者に非常に自然で写実的に表示することができる。
一般に、任意のウィンドウ表現17、さらには例えば図4に示すフロントガラス19またはサイドウィンドウ20の表現を使用して鏡像18を表示することができる。特に図4は、上面視画像の形態の画像表現15の別の例の概略図を示しており、仮想視点11は車両1の真上に位置決めされ、さらに、対応する車両表現14によって表現される。この場合、車両表現14は、好ましくは2Dビットマップ画像によって提供される。ここで、この例における対応する表示域10は接地面であり、有利には、この場合もまた、その所定の表示域内にはない環境の他の部分は、車両表現14のウィンドウ17、19、20上のそれぞれの鏡像18として示される。
これによって、鏡像18がウィンドウ17、19、20を構成する車両表現14の部分上に示される場合、光反射の非常に自然な印象を使用者に与えるので、特に有利である。このような鏡像18の形態で環境の追加的部分を示すことによって、例えばガラス窓を使用すると、環境7における危機的なシーンを、図4に示す例に従って上面視の範囲を超えて、または図3の例のように他の選択した表示域10を超えて反射させることができ、運転者による環境7の観察の改善に非常に役立つ。
このような鏡像18を提供するために、計算は厳密に物理的な光反射の法則に従ってもよい。この目的のために、鏡面を画定することができ、この鏡面は、車両表現14が3D車両モデル14の形態で提供される場合に、鏡像18が表示された車両表現14の所定の領域の形状によって決定することができる。しかし、車両1が2Dビットマップ画像によって表現される場合にも、所定の領域、例えば窓領域を、特に仮想視点11の位置に応じて、モデル計算に従って環境7からの光が反射した対応する鏡面に関連付けることができる。
また、鏡像18を計算する場合、物理的な光反射の法則からの所定の偏差も許容されてもよい。これは、ガラスに表示されるシーンを事前に設計して、車両1の遠く離れた隅からの危機的なシーンなどの、さもなければ非表示となる周囲のシーンを表示することができることを意味する。したがって有利には、光反射の法則からのそのような人為的な偏差によって、この鏡像18によって提供される視野を拡大することができる。この場合、画像のゆがみおよび表示域の設計を適用して視野を拡大することができる。画像のゆがみおよび表示域の設計は、実際のカメラ3、4、5、6の生画像を変換して、より興味深い画像コンテンツを適切に表示する手法である。
この反射機能、すなわち環境の一部を鏡像として表示することは、車両が駐車スロットに逆向きに駐車するなどの、一部の車両運転操作に特に役立つ場合がある。さらに、車両表現14の所定の領域に現れる反射の明るさもしくは強さの程度を定義する反射のレベルもまた、特に使用者によって調整することができる。この目的のために、好みに応じて反射のレベルを調整するための任意の種類の入力手段を使用者に提供することができる。また、例えば20%など、反射を可能な限り自然にするための既定の反射レベルを提供することができる。さらに、このガラス反射機能をオンまたはオフにする選択肢を使用者に提供してもよい。したがって、この機能をオフにすると、ガラスは、シーンの反射なしで、またはシーンの反射が非常に弱い状態でのみ透明に表示される。
結論として、本発明またはその実施形態によって、追加の潜在的に重要な内容を、環境の任意の他の関連する表現部分を隠すことなく、非常に自然で写実的に使用者に表示することができ、したがって、多くの運転および駐車の場面において非常に有益であり、かつ危機的な情報を見逃す危険性を低減する。

Claims (14)

  1. 車両(1)の環境(7)の少なくとも一部の画像表現(15)を表示装置(12)上に提供する方法であって、
    前記車両(1)の前記環境(7)を少なくとも1つの車両センサ(3,4,5,6)を使用して少なくとも部分的に撮像するステップと、
    撮像された前記環境(7)の少なくとも1つの第1の部分(10a)の画像表現(15)を、所定の視点(11)からの所定の表示域(10)内に提供するステップであって、前記画像表現(15)が前記車両(1)を表す車両表現(14)を含む、ステップと、
    前記画像表現(15)を前記表示装置(12)上に表示するステップと
    を含み、
    前記画像表現(15)を提供する場合、撮像された前記環境(7)の少なくとも1つの第2の部分(16a)が、前記車両表現(14)の所定の領域(17,19,20)上の、前記環境(7)の前記少なくとも第2の部分(16a)の鏡像(18)の形態で表現される一方で、
    前記車両表現(14)の前記所定の領域(17,19,20)が、前記車両(1)のウィンドウ(17,19,20)、特にフロントガラス(19)および/またはリアウィンドウ(17)および/またはルーフウィンドウおよび/またはサイドウィンドウ(20)に関連する前記車両表現(14)の一部を構成する
    ことを特徴とする、
    方法。
  2. 前記環境(7)の前記第2の部分(16a)が、前記環境(7)の前記第1の部分(10a)と少なくとも部分的に異なる
    ことを特徴とする、
    請求項1に記載の方法。
  3. 前記鏡像(18)が、前記所定の視点(11)、および/または前記鏡像(18)が表示された前記車両表現(14)の前記所定の領域(17,19,20)に関連付けられた鏡面の所定の形状に応じて、および/または前記所定の視点(11)に対する前記鏡面の位置および/または向きに応じて決定される
    ことを特徴とする、
    請求項1または2に記載の方法。
  4. 前記車両表現(14)が、前記車両(1)の2D画像、特に、前記所定の視点(11)からの前記車両(1)を表すビットマップ画像の形態で提供される
    ことを特徴とする、
    請求項1から3のいずれか一項に記載の方法。
  5. 前記視点(11)が、いくつかの事前定義された個別の視点(11)に調整可能であり、前記事前定義された視点(11)ごとに、前記車両(1)の対応する2D画像が記憶され、前記視点(11)が変化する場合、前記2D画像および前記鏡像(18)がそれに応じて変更される
    ことを特徴とする、
    請求項1から4のいずれか一項に記載の方法。
  6. 前記車両表現(14)が車両モデルの形態で提供され、前記鏡面の形状が、前記鏡像(18)が表示された前記車両モデルの前記所定の領域(17,19,20)の前記形状によって決定される
    ことを特徴とする、
    請求項1から5のいずれか一項に記載の方法。
  7. 前記所定の視点(11)が動的に調整可能であり、前記車両モデルの前記表現および前記鏡像(18)が、動的に調整された前記視点(11)に応じて動的に調整される
    ことを特徴とする、
    請求項1から6のいずれか一項に記載の方法。
  8. 前記車両表現(14)の前記所定の領域(17,19,20)が、前記所定の視点(11)の変化に応じて変更される
    ことを特徴とする、
    請求項1から7のいずれか一項に記載の方法。
  9. 前記鏡像(18)が、物理的な光反射の法則に基づいて決定されることを特徴とする、
    請求項1から8のいずれか一項に記載の方法。
  10. 前記鏡像(18)が、物理的な光反射の法則からの所定の偏差に基づいて決定される
    ことを特徴とする、
    請求項1から9のいずれか一項に記載の方法。
  11. 前記鏡像(18)によって表現される前記環境(7)の前記第2の部分(16a)への前記所定の視点(11)からの視野が、前記鏡像(18)が所定の偏差を含まない物理的な光反射の法則に基づいて決定された場合よりも大きくなるように、前記鏡像(18)が物理的な光反射の法則からの所定の偏差に基づいて決定される
    ことを特徴とする、
    請求項1から10のいずれか一項に記載の方法。
  12. 前記鏡像(18)の反射率が調整可能であり、前記鏡像(18)および前記車両表現(14)の前記所定の領域(17,19,20)が、調整された反射率に応じてクロスフェードされる
    ことを特徴とする、
    請求項1から11のいずれか一項に記載の方法。
  13. コンピュータ可読媒体に記憶されたプログラムコードを含み、電子制御装置(8)のプロセッサによって実行された場合に、プロセッサに以下のステップを実行させるコンピュータプログラム製品であって、
    撮像された車両(1)の環境(7)の少なくとも1つの第1の部分(10a)の画像表現(15)を、所定の視点(11)からの所定の表示域(10)内に提供するステップであって、前記画像表現(15)が前記車両(1)を表す車両表現(14)を含む、ステップと、
    前記画像表現(15)を表示装置(12)上に表示するステップと
    を含み、
    前記コンピュータプログラム製品がさらに、プロセッサに、前記画像表現(15)を提供する場合に、撮像された前記環境(7)の少なくとも1つの第2の部分(16a)を、前記車両表現(14)の所定の領域(17,19,20)上の、前記環境(7)の前記少なくとも1つの第2の部分(16a)の鏡像(18)の形態で表現させる
    ことを特徴とする、
    コンピュータプログラム製品。
  14. 車両(1)の環境(7)の少なくとも一部の画像表現(15)を表示装置(12)上に提供する前記車両(1)の運転者支援システム(2)であって、前記運転者支援システム(2)が、
    前記車両(1)の前記環境(7)を少なくとも部分的に撮像するように構成された少なくとも1つの車両センサ(3,4,5,6)と、
    撮像された前記環境(7)の少なくとも1つの第1の部分(10a)の画像表現(15)を、所定の視点(11)からの所定の表示域(10)内に提供するように構成された処理ユニット(8)であって、前記画像表現(15)が前記車両(1)を表す車両表現(14)を含む、処理ユニット(8)と、
    前記画像表現(15)を表示するように構成された前記表示装置(12)と
    を含み、
    前記処理ユニット(8)が、前記画像表現(15)を提供する場合に、撮像された前記環境(7)の少なくとも1つの第2の部分(16a)を、前記車両表現(14)の所定の領域(17,19,20)上の、前記環境(7)の前記少なくとも1つの第2の部分(16a)の鏡像(18)の形態で表すように構成される一方で、
    前記車両表現(14)の前記所定の領域(17,19,20)が、前記車両(1)のウィンドウ(17,19,20)、特にフロントガラス(19)および/またはリアウィンドウ(17)および/またはルーフウィンドウおよび/またはサイドウィンドウ(20)に関連する前記車両表現(14)の一部を構成する
    ことを特徴とする、
    運転者支援システム(2)。
JP2021506997A 2018-08-10 2019-07-24 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム Active JP7191201B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018119481.1 2018-08-10
DE102018119481.1A DE102018119481A1 (de) 2018-08-10 2018-08-10 Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
PCT/EP2019/069857 WO2020030427A1 (en) 2018-08-10 2019-07-24 Method for providing an image representation of at least part of an environment of a vehicle, computer program product and driver assistance system

Publications (2)

Publication Number Publication Date
JP2021534646A true JP2021534646A (ja) 2021-12-09
JP7191201B2 JP7191201B2 (ja) 2022-12-16

Family

ID=67441120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506997A Active JP7191201B2 (ja) 2018-08-10 2019-07-24 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム

Country Status (7)

Country Link
US (1) US11491914B2 (ja)
EP (1) EP3833574B1 (ja)
JP (1) JP7191201B2 (ja)
KR (1) KR102447414B1 (ja)
CN (1) CN112703127A (ja)
DE (1) DE102018119481A1 (ja)
WO (1) WO2020030427A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125224A (ja) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd 監視システム
JP2010114618A (ja) * 2008-11-06 2010-05-20 Clarion Co Ltd 車両周辺監視システム
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
WO2016017367A1 (ja) * 2014-07-30 2016-02-04 ヤンマー株式会社 遠隔操作装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867512B2 (ja) * 2006-07-20 2012-02-01 株式会社デンソー 画像表示装置およびプログラム
JP4852062B2 (ja) * 2008-03-28 2012-01-11 株式会社東芝 単眼用画像表示装置及び単眼用画像表示方法
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP5488958B2 (ja) * 2009-04-23 2014-05-14 株式会社リコー フロントモニタカメラ装置及び車両左右両側確認装置
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
DE102011084524A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
KR101327032B1 (ko) * 2012-06-12 2013-11-20 현대자동차주식회사 카메라 영상의 반사광 제거 장치 및 방법
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
KR102015204B1 (ko) * 2012-10-26 2019-08-27 인텔 코포레이션 비디오 방향에 기초한 멀티미디어 적응
CN104015658A (zh) * 2013-03-01 2014-09-03 怡利电子工业股份有限公司 车用后视环景抬头显示装置
US9509939B2 (en) * 2014-06-04 2016-11-29 Universal City Studios Llc Display for immersive window effect
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10366473B2 (en) * 2017-05-23 2019-07-30 Toyota Jidosha Kabushiki Kaisha Providing traffic mirror content to a driver
CN107517372B (zh) * 2017-08-17 2022-07-26 腾讯科技(深圳)有限公司 一种vr内容拍摄方法、相关设备及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125224A (ja) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd 監視システム
JP2010114618A (ja) * 2008-11-06 2010-05-20 Clarion Co Ltd 車両周辺監視システム
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
WO2016017367A1 (ja) * 2014-07-30 2016-02-04 ヤンマー株式会社 遠隔操作装置

Also Published As

Publication number Publication date
CN112703127A (zh) 2021-04-23
JP7191201B2 (ja) 2022-12-16
US20210309150A1 (en) 2021-10-07
US11491914B2 (en) 2022-11-08
DE102018119481A1 (de) 2020-02-13
KR102447414B1 (ko) 2022-09-27
WO2020030427A1 (en) 2020-02-13
KR20210042143A (ko) 2021-04-16
EP3833574B1 (en) 2023-11-15
EP3833574A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
US11689703B2 (en) Vehicular vision system with customized display
CN107472135B (zh) 图像生成装置、图像生成方法以及记录介质
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
JP6608146B2 (ja) ライブ映像を有する仮想透過型インストルメントクラスタ
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP7295123B2 (ja) 調整された投影面を有するサラウンドビュー・システム
JP2012227913A (ja) 車両のサラウンドビューシステム
JP2005335410A (ja) 画像表示装置
WO2014130049A1 (en) Systems and methods for augmented rear-view displays
CN109789831A (zh) 用于提供车辆的车辆周围环境的后视镜视图的方法
US20220041105A1 (en) Rearview device simulation
JP2010130647A (ja) 車両周辺確認装置
US11945306B2 (en) Method for operating a visual field display device for a motor vehicle
CN112703527A (zh) 平视显示器(hud)内容控制系统和方法
WO2021050405A1 (en) Sensor fusion based perceptually enhanced surround view
CN114489332A (zh) Ar-hud输出信息的显示方法及系统
EP2605101B1 (en) Method for displaying images on a display device of a driver assistance device of a motor vehicle, computer program and driver assistance device carrying out the method
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
JP2021534646A (ja) 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム
JPWO2019170202A5 (ja)
JP6909404B2 (ja) ヘッドアップディスプレイ
JP2020158014A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
CN117241003A (zh) 全景图像处理方法、装置、存储介质及电子设备
JP2020100358A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221206

R150 Certificate of patent or registration of utility model

Ref document number: 7191201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150