JP2021534646A - 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム - Google Patents
車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム Download PDFInfo
- Publication number
- JP2021534646A JP2021534646A JP2021506997A JP2021506997A JP2021534646A JP 2021534646 A JP2021534646 A JP 2021534646A JP 2021506997 A JP2021506997 A JP 2021506997A JP 2021506997 A JP2021506997 A JP 2021506997A JP 2021534646 A JP2021534646 A JP 2021534646A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- representation
- image
- environment
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000005293 physical law Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000007794 irritation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/22—
-
- B60K35/28—
-
- B60K35/60—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B60K2360/21—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/301—Sensors for position or displacement
- B60Y2400/3015—Optical cameras
Abstract
Description
Claims (14)
- 車両(1)の環境(7)の少なくとも一部の画像表現(15)を表示装置(12)上に提供する方法であって、
前記車両(1)の前記環境(7)を少なくとも1つの車両センサ(3,4,5,6)を使用して少なくとも部分的に撮像するステップと、
撮像された前記環境(7)の少なくとも1つの第1の部分(10a)の画像表現(15)を、所定の視点(11)からの所定の表示域(10)内に提供するステップであって、前記画像表現(15)が前記車両(1)を表す車両表現(14)を含む、ステップと、
前記画像表現(15)を前記表示装置(12)上に表示するステップと
を含み、
前記画像表現(15)を提供する場合、撮像された前記環境(7)の少なくとも1つの第2の部分(16a)が、前記車両表現(14)の所定の領域(17,19,20)上の、前記環境(7)の前記少なくとも第2の部分(16a)の鏡像(18)の形態で表現される一方で、
前記車両表現(14)の前記所定の領域(17,19,20)が、前記車両(1)のウィンドウ(17,19,20)、特にフロントガラス(19)および/またはリアウィンドウ(17)および/またはルーフウィンドウおよび/またはサイドウィンドウ(20)に関連する前記車両表現(14)の一部を構成する
ことを特徴とする、
方法。 - 前記環境(7)の前記第2の部分(16a)が、前記環境(7)の前記第1の部分(10a)と少なくとも部分的に異なる
ことを特徴とする、
請求項1に記載の方法。 - 前記鏡像(18)が、前記所定の視点(11)、および/または前記鏡像(18)が表示された前記車両表現(14)の前記所定の領域(17,19,20)に関連付けられた鏡面の所定の形状に応じて、および/または前記所定の視点(11)に対する前記鏡面の位置および/または向きに応じて決定される
ことを特徴とする、
請求項1または2に記載の方法。 - 前記車両表現(14)が、前記車両(1)の2D画像、特に、前記所定の視点(11)からの前記車両(1)を表すビットマップ画像の形態で提供される
ことを特徴とする、
請求項1から3のいずれか一項に記載の方法。 - 前記視点(11)が、いくつかの事前定義された個別の視点(11)に調整可能であり、前記事前定義された視点(11)ごとに、前記車両(1)の対応する2D画像が記憶され、前記視点(11)が変化する場合、前記2D画像および前記鏡像(18)がそれに応じて変更される
ことを特徴とする、
請求項1から4のいずれか一項に記載の方法。 - 前記車両表現(14)が車両モデルの形態で提供され、前記鏡面の形状が、前記鏡像(18)が表示された前記車両モデルの前記所定の領域(17,19,20)の前記形状によって決定される
ことを特徴とする、
請求項1から5のいずれか一項に記載の方法。 - 前記所定の視点(11)が動的に調整可能であり、前記車両モデルの前記表現および前記鏡像(18)が、動的に調整された前記視点(11)に応じて動的に調整される
ことを特徴とする、
請求項1から6のいずれか一項に記載の方法。 - 前記車両表現(14)の前記所定の領域(17,19,20)が、前記所定の視点(11)の変化に応じて変更される
ことを特徴とする、
請求項1から7のいずれか一項に記載の方法。 - 前記鏡像(18)が、物理的な光反射の法則に基づいて決定されることを特徴とする、
請求項1から8のいずれか一項に記載の方法。 - 前記鏡像(18)が、物理的な光反射の法則からの所定の偏差に基づいて決定される
ことを特徴とする、
請求項1から9のいずれか一項に記載の方法。 - 前記鏡像(18)によって表現される前記環境(7)の前記第2の部分(16a)への前記所定の視点(11)からの視野が、前記鏡像(18)が所定の偏差を含まない物理的な光反射の法則に基づいて決定された場合よりも大きくなるように、前記鏡像(18)が物理的な光反射の法則からの所定の偏差に基づいて決定される
ことを特徴とする、
請求項1から10のいずれか一項に記載の方法。 - 前記鏡像(18)の反射率が調整可能であり、前記鏡像(18)および前記車両表現(14)の前記所定の領域(17,19,20)が、調整された反射率に応じてクロスフェードされる
ことを特徴とする、
請求項1から11のいずれか一項に記載の方法。 - コンピュータ可読媒体に記憶されたプログラムコードを含み、電子制御装置(8)のプロセッサによって実行された場合に、プロセッサに以下のステップを実行させるコンピュータプログラム製品であって、
撮像された車両(1)の環境(7)の少なくとも1つの第1の部分(10a)の画像表現(15)を、所定の視点(11)からの所定の表示域(10)内に提供するステップであって、前記画像表現(15)が前記車両(1)を表す車両表現(14)を含む、ステップと、
前記画像表現(15)を表示装置(12)上に表示するステップと
を含み、
前記コンピュータプログラム製品がさらに、プロセッサに、前記画像表現(15)を提供する場合に、撮像された前記環境(7)の少なくとも1つの第2の部分(16a)を、前記車両表現(14)の所定の領域(17,19,20)上の、前記環境(7)の前記少なくとも1つの第2の部分(16a)の鏡像(18)の形態で表現させる
ことを特徴とする、
コンピュータプログラム製品。 - 車両(1)の環境(7)の少なくとも一部の画像表現(15)を表示装置(12)上に提供する前記車両(1)の運転者支援システム(2)であって、前記運転者支援システム(2)が、
前記車両(1)の前記環境(7)を少なくとも部分的に撮像するように構成された少なくとも1つの車両センサ(3,4,5,6)と、
撮像された前記環境(7)の少なくとも1つの第1の部分(10a)の画像表現(15)を、所定の視点(11)からの所定の表示域(10)内に提供するように構成された処理ユニット(8)であって、前記画像表現(15)が前記車両(1)を表す車両表現(14)を含む、処理ユニット(8)と、
前記画像表現(15)を表示するように構成された前記表示装置(12)と
を含み、
前記処理ユニット(8)が、前記画像表現(15)を提供する場合に、撮像された前記環境(7)の少なくとも1つの第2の部分(16a)を、前記車両表現(14)の所定の領域(17,19,20)上の、前記環境(7)の前記少なくとも1つの第2の部分(16a)の鏡像(18)の形態で表すように構成される一方で、
前記車両表現(14)の前記所定の領域(17,19,20)が、前記車両(1)のウィンドウ(17,19,20)、特にフロントガラス(19)および/またはリアウィンドウ(17)および/またはルーフウィンドウおよび/またはサイドウィンドウ(20)に関連する前記車両表現(14)の一部を構成する
ことを特徴とする、
運転者支援システム(2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018119481.1 | 2018-08-10 | ||
DE102018119481.1A DE102018119481A1 (de) | 2018-08-10 | 2018-08-10 | Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem |
PCT/EP2019/069857 WO2020030427A1 (en) | 2018-08-10 | 2019-07-24 | Method for providing an image representation of at least part of an environment of a vehicle, computer program product and driver assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021534646A true JP2021534646A (ja) | 2021-12-09 |
JP7191201B2 JP7191201B2 (ja) | 2022-12-16 |
Family
ID=67441120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506997A Active JP7191201B2 (ja) | 2018-08-10 | 2019-07-24 | 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11491914B2 (ja) |
EP (1) | EP3833574B1 (ja) |
JP (1) | JP7191201B2 (ja) |
KR (1) | KR102447414B1 (ja) |
CN (1) | CN112703127A (ja) |
DE (1) | DE102018119481A1 (ja) |
WO (1) | WO2020030427A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002125224A (ja) * | 2000-07-19 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2010114618A (ja) * | 2008-11-06 | 2010-05-20 | Clarion Co Ltd | 車両周辺監視システム |
JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
WO2016017367A1 (ja) * | 2014-07-30 | 2016-02-04 | ヤンマー株式会社 | 遠隔操作装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4867512B2 (ja) * | 2006-07-20 | 2012-02-01 | 株式会社デンソー | 画像表示装置およびプログラム |
JP4852062B2 (ja) * | 2008-03-28 | 2012-01-11 | 株式会社東芝 | 単眼用画像表示装置及び単眼用画像表示方法 |
JP5397373B2 (ja) * | 2008-05-29 | 2014-01-22 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
JP5488958B2 (ja) * | 2009-04-23 | 2014-05-14 | 株式会社リコー | フロントモニタカメラ装置及び車両左右両側確認装置 |
JP2011135253A (ja) * | 2009-12-24 | 2011-07-07 | Fujitsu Ten Ltd | 画像処理装置、画像処理システム、および、画像処理方法 |
DE102011084524A1 (de) * | 2011-10-14 | 2013-04-18 | Robert Bosch Gmbh | Verfahren zur Darstellung eines Fahrzeugumfeldes |
KR101327032B1 (ko) * | 2012-06-12 | 2013-11-20 | 현대자동차주식회사 | 카메라 영상의 반사광 제거 장치 및 방법 |
JP5669791B2 (ja) * | 2012-08-07 | 2015-02-18 | 本田技研工業株式会社 | 移動体の周辺画像表示装置 |
KR102015204B1 (ko) * | 2012-10-26 | 2019-08-27 | 인텔 코포레이션 | 비디오 방향에 기초한 멀티미디어 적응 |
CN104015658A (zh) * | 2013-03-01 | 2014-09-03 | 怡利电子工业股份有限公司 | 车用后视环景抬头显示装置 |
US9509939B2 (en) * | 2014-06-04 | 2016-11-29 | Universal City Studios Llc | Display for immersive window effect |
US10523865B2 (en) * | 2016-01-06 | 2019-12-31 | Texas Instruments Incorporated | Three dimensional rendering for surround view using predetermined viewpoint lookup tables |
US10366473B2 (en) * | 2017-05-23 | 2019-07-30 | Toyota Jidosha Kabushiki Kaisha | Providing traffic mirror content to a driver |
CN107517372B (zh) * | 2017-08-17 | 2022-07-26 | 腾讯科技(深圳)有限公司 | 一种vr内容拍摄方法、相关设备及系统 |
-
2018
- 2018-08-10 DE DE102018119481.1A patent/DE102018119481A1/de active Pending
-
2019
- 2019-07-24 EP EP19745106.5A patent/EP3833574B1/en active Active
- 2019-07-24 CN CN201980060925.6A patent/CN112703127A/zh active Pending
- 2019-07-24 JP JP2021506997A patent/JP7191201B2/ja active Active
- 2019-07-24 WO PCT/EP2019/069857 patent/WO2020030427A1/en unknown
- 2019-07-24 KR KR1020217007148A patent/KR102447414B1/ko active IP Right Grant
- 2019-07-24 US US17/267,209 patent/US11491914B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002125224A (ja) * | 2000-07-19 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 監視システム |
JP2010114618A (ja) * | 2008-11-06 | 2010-05-20 | Clarion Co Ltd | 車両周辺監視システム |
JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
WO2016017367A1 (ja) * | 2014-07-30 | 2016-02-04 | ヤンマー株式会社 | 遠隔操作装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112703127A (zh) | 2021-04-23 |
JP7191201B2 (ja) | 2022-12-16 |
US20210309150A1 (en) | 2021-10-07 |
US11491914B2 (en) | 2022-11-08 |
DE102018119481A1 (de) | 2020-02-13 |
KR102447414B1 (ko) | 2022-09-27 |
WO2020030427A1 (en) | 2020-02-13 |
KR20210042143A (ko) | 2021-04-16 |
EP3833574B1 (en) | 2023-11-15 |
EP3833574A1 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11689703B2 (en) | Vehicular vision system with customized display | |
CN107472135B (zh) | 图像生成装置、图像生成方法以及记录介质 | |
US8754760B2 (en) | Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle | |
CN107438538B (zh) | 用于显示车辆的车辆周围环境的方法 | |
JP6608146B2 (ja) | ライブ映像を有する仮想透過型インストルメントクラスタ | |
JP5397373B2 (ja) | 車両用画像処理装置、車両用画像処理方法 | |
JP7295123B2 (ja) | 調整された投影面を有するサラウンドビュー・システム | |
JP2012227913A (ja) | 車両のサラウンドビューシステム | |
JP2005335410A (ja) | 画像表示装置 | |
WO2014130049A1 (en) | Systems and methods for augmented rear-view displays | |
CN109789831A (zh) | 用于提供车辆的车辆周围环境的后视镜视图的方法 | |
US20220041105A1 (en) | Rearview device simulation | |
JP2010130647A (ja) | 車両周辺確認装置 | |
US11945306B2 (en) | Method for operating a visual field display device for a motor vehicle | |
CN112703527A (zh) | 平视显示器(hud)内容控制系统和方法 | |
WO2021050405A1 (en) | Sensor fusion based perceptually enhanced surround view | |
CN114489332A (zh) | Ar-hud输出信息的显示方法及系统 | |
EP2605101B1 (en) | Method for displaying images on a display device of a driver assistance device of a motor vehicle, computer program and driver assistance device carrying out the method | |
CN111669543A (zh) | 用于停车解决方案的车辆成像系统和方法 | |
JP2021534646A (ja) | 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム | |
JPWO2019170202A5 (ja) | ||
JP6909404B2 (ja) | ヘッドアップディスプレイ | |
JP2020158014A (ja) | ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム | |
CN117241003A (zh) | 全景图像处理方法、装置、存储介质及电子设备 | |
JP2020100358A (ja) | ヘッドアップディスプレイ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7191201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |