JP2018182646A - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP2018182646A JP2018182646A JP2017083341A JP2017083341A JP2018182646A JP 2018182646 A JP2018182646 A JP 2018182646A JP 2017083341 A JP2017083341 A JP 2017083341A JP 2017083341 A JP2017083341 A JP 2017083341A JP 2018182646 A JP2018182646 A JP 2018182646A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- area
- display
- rear side
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 239000005357 flat glass Substances 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 description 15
- 239000011521 glass Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
特許文献2には、自動車のドアミラー位置又はその近辺、及び、後部中央に小型カラーテレビカメラを設置し、各テレビカメラで捕らえた映像を運転席のモニターテレビでトレミングをして一つの映像に映し出すことが記載されている。
しかし、自車両走行車線と隣接して走行する車線から自車両を追い越そうとしている他車両等を容易に認識するためには、対象物の情報そのものよりも、直接目視した場合に対する視覚的な変化による認識を強化するほうが、危険認識という点では優れていると考えられる。
上述した問題に鑑み、本発明の課題は、直感的な危険認識を可能とした画像表示装置を提供することである。
請求項1に係る発明は、自車両の後方及び側方を撮像する撮像手段と、前記撮像手段が撮像した撮像画像又は前記撮像画像に基づいて生成された生成画像を表示画像として表示する表示手段とを備える画像表示装置であって、前記表示手段は、自車両後方の領域を含む前記表示画像を表示する第1の領域と、前記第1の領域に隣接して配置され、自車両側方の領域を含む前記表示画像を表示する第2の領域とを有し、前記第2の領域に表示される前記表示画像は、前記第1の領域に表示される前記表示画像に対して、縦横比が変化するよう画像処理が施されることを特徴とする画像表示装置である。
これによれば、自車両の車線変更等により隣接車線を走行する他車両等との衝突のリスクが存在する自車両側方の領域である第2の領域の画像を、第1の領域の画像に対して縦横比が変化するようにしたことによって、違和感が強調される画像の変化によって障害物の前後位置や自車両に対する相対位置を直感的に認識させ、適切な危険認識を促すことができる。
これによれば、上述した効果をより促進することができる。
請求項4に係る発明は、自車両の車室内に設定した仮想視点から見て車両最後方に設けられたピラーの前縁部、後縁部、中心軸の少なくとも一つに実質的に沿って配置された基準線よりも自車両前方側に相当する領域を前記第2の領域の表示することを特徴とする請求項1又は請求項2に記載の画像表示装置である。
これらの各発明によれば、自車両が車線変更等を行う際に他車両との接触等が懸念される領域が第2の領域に含まれるよう、第2の領域を適切に設定することができる。
また、車体の特定箇所を基準とすることによって、ユーザが第1の領域と第2の領域との境界を車体サイズ、形状の感覚(車両間隔)と関連付けて直感的に認識することができる。
これによれば、表示される画像の仮想視点とユーザが肉眼により目視する際の視点位置を近づけることにより、違和感なく直感的に認識可能な画像を生成することができる。
これによれば、第2の領域に表示される他車両との接触リスクが大きいことをユーザに直感的かつ迅速に認識させることができる。
これによれば、画像に表示された物体が肉眼で目視する場合におけるどの方向に存在するのか、ユーザが直感的に認識することができる。
実施形態の画像表示装置は、例えば乗用車等の自動車に設けられ、車体後側方をカメラによって撮像した画像をドライバ等のユーザに提示するカメラモニタリングシステムである。
画像表示装置1は、後側方画像処理ユニット10、後方カメラ11、左後側方カメラ12、右後側方カメラ13、ステレオカメラ処理ユニット20、左前方カメラ21、右前方カメラ22、環境認識ユニット30、左後側方レーダ31、右後側方レーダ32、ドライバモニタリングユニット40、ドライバモニタリングカメラ41、表示画像生成ユニット50、表示制御ユニット60、LCD70等を有して構成されている。
後側方画像処理ユニット10が出力する映像信号は、環境認識ユニット30及び表示画像生成ユニット50に伝達される。
後方カメラ11、左後側方カメラ12、右後側方カメラ13は、車両周囲の状況を動画撮影して映像信号をリアルタイム出力するものであり、CMOS等の固体撮像素子及びその駆動装置、レンズ等を備えている。
後方カメラ11は、車体Bの後端部における車幅方向中央部に、光軸方向を車両後方側に向けて配置される。
左後側方カメラ12は、車体Bの左側面部に、光軸方向を後方側かつ車幅方向外側に向けて配置されている。
左後側方カメラ12は、例えば、サイドミラー130に隣接した箇所に配置される。
左後側方カメラ12の視野(撮像可能範囲)F12は、後方カメラ11の視野F11と部分的にラップし、自車両の後方から左側方に至る範囲の全てが少なくともいずれかのカメラによって、実質的に死角がないように撮像されるようになっている。
右後側方カメラ13(図2においては不図示)は、左後側方カメラ12と実質的に左右対称に配置されている。
ステレオカメラ処理ユニット20の出力は、環境認識ユニット30に伝達される。
左前方カメラ21、右前方カメラ22は、車両前方の状況を動画撮影して映像信号をリアルタイム出力するものであり、CMOS等の固体撮像素子及びその駆動装置、レンズ等を備えている。
左前方カメラ21、右前方カメラ22は、例えば、車室内におけるフロントウインドウガラス上端部付近に、左右方向に離間して配置されている。
環境認識ユニット30は、左後側方レーダ31、右後側方レーダ32と協働して本発明にいう他車両検出手段として機能する。
ここで、認識される環境として、自車両が走行する自車両走行車線の車線形状、自車両走行車線に隣接する隣接車線の車線形状、自車両の周囲を走行する他車両、歩行者、建造物(例えば、建物、ガードレール、標識、信号機、橋げた、トンネル、中央分離帯、路側帯等)等の障害物等を含む。
左後側方レーダ31、右後側方レーダ32として、例えば、ミリ波レーダを用いることができる。
左後側方レーダ31、右後側方レーダ32は、他車両が存在する場合に自車両に対する他車両の相対位置を検出することが可能であり、この相対位置の推移に基づいて、他車両の自車両に対する相対速度を算出することが可能である。
左後側方レーダ31、右後側方レーダ32は、車体後部における左右(例えばリアバンパ内部等)に配置されている。
ドライバモニタリングカメラ41は、車室内におけるドライバの前方側に設けられている。
ドライバモニタリングユニット40は、ユーザが車両後方を振り返って車両後側方の状況を直接目視する場合の視点位置を検出する視点検出手段として機能する。
表示画像生成ユニット50の機能及び生成される表示画像の例については、後に詳しく説明する。
なお、表示画像は、後方カメラ11、左後側方カメラ12、右後側方カメラ13が撮像した映像に所定の画像処理を施した実写画像(撮像画像)であってもよく、また、実写画像に対応する情報を表示するコンピュータグラフィックス等(撮像画像に基づいて生成される生成画像)であってもよい。また、実写画像とコンピュータグラフィックスとを重畳するなどして合成して用いてもよい。
LCD70は、ユーザ(乗員・手動運転時における運転者)の前方側に設けられ、表示画像をユーザに対して表示する表示手段である。
車室内におけるLCD70の配置については、後に詳しく説明する。
図3に示すように、車両は、フロントガラス110、フロントドアガラス120、サイドミラー130、インストルメントパネル140、ステアリングホイール150、Aピラー160、ルーフ170、ルームミラー180等を有する。
フロントガラス110は、実質的に横長の矩形状に形成され、前方が凸となる方向に湾曲した2次曲面ガラスである。
フロントガラス110は、上端部が下端部に対して車両後方側となるように後傾して配置されている。
フロントドアガラス120は、昇降式の本体部121、及び、本体部121の前部に設けられた固定式の三角窓部122を有する。
サイドミラー130は、左右フロントドアのアウタパネルから車幅方向外側に突出している。
ユーザ視界において、サイドミラー130は、例えば、フロントドアガラス120の本体部121の前端部近傍に見えるようになっている。
インストルメントパネル140は、各種計器類、表示装置、スイッチ類、空調装置、助手席エアバッグ装置、膝部保護エアバッグ装置等が収容される筐体としても機能する。
インストルメントパネル140は、コンビネーションメータ141、マルチファンクションディスプレイ142、ナビゲーション装置ディスプレイ143等が設けられる。
コンビネーションメータ141には、LCD70が内蔵されている。
マルチファンクションディスプレイ142は、インストルメントパネル140の車幅方向中央部における上部に設けられた例えばLCD等の画像表示手段である。
ナビゲーション装置ディスプレイ143は、インストルメントパネル140の車幅方向中央部における下部に設けられている。
ステアリングホイール150は、ドライバの前方に実質的に正対して設けられる。
コンビネーションメータ141は、ユーザ視界において、ステアリングホイール150の上半部における内径側から目視可能となっている。
Aピラー160の車室内側の面部は、樹脂製のピラートリムによってカバーされている。
ルーフ170の車室内側の面部は、樹脂製のルーフトリムによってカバーされている。
ルーフ170の車幅方向中央部における前端部には、左前方カメラ21、右前方カメラ22が収容されるステレオカメラ収容部171が設けられている。
ルームミラー180は、図示しないステーを介してフロントガラス110の車幅方向中央部における上端部近傍に設けられている。
以下説明する表示画像は、表示画像生成ユニット50によって生成される。
図4は、実施形態の画像表示装置における表示画像の一例であって、他車両が自車両の後方に存在する場合を示す図である。
図5は、実施形態の画像表示装置における表示画像の他の例であって、他車両が自車両の後側方に存在する場合を示す図である。
実施形態においては、車体側部でありかつ車体後部に基準点P(図2参照)を設定し、車室内に設定される仮想視点から見て基準点Pよりも車両後方側に相当する領域を第1の領域A1とし、基準点Pよりも車両前方側に相当する領域を第2の領域A2とする。
仮想視点は、例えば、ドライバモニタリングユニット40が検出したユーザ(手動運転時のドライバ)の頭部位置に設定される。
表示画像I1、I2には、仮装視点から見たときの各ウインドウガラスの外周縁に相当する箇所を示すラインLgが、後側方画像処理ユニット10から提供される車両外部の画像と重畳して表示される。
このとき、表示画像I1,I2において、他車両等の物体をピラーに相当する範囲においても目視可能なよう、ピラーを透視した状態の画像となっている。
また、表示画像I1、I2は、ミラー類を利用して車両後側方を視認する際の見え方に対して違和感がないよう、左右逆像とすることができる。
すなわち、表示画像I1、I2において、右側に表示される第2の領域A2は、自車両の右後側方の状況を示し、左側に表示される第2の領域A2は、自車両の左後側方の状況を示している。
これに対し、第2の領域A2に表示される画像は、縦方向の寸法が横方向の寸法に対して拡大されるように、縦横比を変換したデフォルメ画像として表示される。
図4においては、後続車両FVは、自車両の後方側に存在し、表示画像I1上において第1の領域A1に含まれるため、後続車両FVの画像は縦横比を変更するデフォルメが施されていない。
これに対し、図5においては、後続車両FVは隣接車線に車線変更をして自車両を追い越しにかかっており、後続車両FVは自車両の後側方に位置し、表示画像I2上において第2の領域A2に含まれている。
この場合、後続車両FVの画像は、縦方向の寸法が拡大されるデフォルメが施されている。
ここで、縦横比の変化度合は、車両後方側に対して車両前方側において大きくなるように設定されている。
環境認識ユニット30は、後続車両FVが自車両に接近する相対速度が速いほど、また、自車両側方を通過する際の推定奇跡が自車両に近いほど、接触リスクが高いものと判定する。
表示画像生成ユニット50は、所定以上の高い接触リスクを有する後続車両FVが接近している場合には、第2の領域における縦横比の変更度合を大きくし、デフォルメの度合を強めてユーザにより強い違和感を与えることにより、迅速な危険の認識を促す。
(1)自車両の車線変更等によって隣接車線を走行する後続車両FV等との衝突のリスクが存在する自車両側方の領域である第2の領域A2の画像を、第1の領域A1の画像に対して縦横比が変化するように表示したことによって、被写体がデフォルメされ違和感が強調される画像の変化によって障害物の前後位置や自車両に対する相対位置を直感的に認識させ、適切な危険認識を促すことができる。
(2)第2の領域A2に表示される画像を、自車両後方側に対して自車両前方側のほうが縦横比の変化度合が大きくなるようにしたことによって、上述した効果をより促進することができる。
(3)ドライバモニタリングユニット40が検出したユーザの頭部位置に基づいて設定した仮想視点から見て、リアバンパの後側端部に設定した基準点Pよりも車両前方側の領域を第2の領域A2に表示することによって、自車両が車線変更等を行う際に後続車両FV等との接触等が懸念される領域が第2の領域A2に含まれるよう、第2の領域A2を適切に設定することができる。
また、車体の特定箇所を基準とすることによって、ユーザが第1の領域と第2の領域との境界を車体サイズ、形状に関するユーザ自身の感覚(車両感覚)と関連付けて直感的に認識することができる。
また、表示される画像の仮想視点とユーザが肉眼により目視する際の視点位置を近づけることにより、違和感なく直感的に認識可能な画像を生成することができる。
(4)第2の領域A2に表示される後続車両FV等との接触リスクが高い場合に、第2の領域A2における縦横比の変化度合を大きくすることによって、第2の領域に表示される後続車両FVとの接触リスクが大きいことをユーザに直感的かつ迅速に認識させることができる。
(5)表示画像I1,I2において、ウインドウガラスの外周縁部に相当する箇所にラインLgを表示することによって、表示画像I1,I2に表示された物体が肉眼で目視する場合におけるどの方向に存在するのか、ユーザが直感的に認識することができる。
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)画像表示装置やこれが搭載される車両の構成は、上述した実施形態に限定されず、適宜変更することができる。
例えば、カメラ、レーダ類の数量や配置は適宜変更することができる。実施形態においては、後方カメラ及び左右の後側方カメラをそれぞれ1つ備えているが、複数備える構成としてもよい。また、例えば単一の広角カメラを用いて、後方カメラと後側方カメラとを兼用する構成としてもよい。
(2)実施形態では、後側方レーダを用いて後側方から接近する他車両を検出しているが、これに限らず、例えばカメラの画像や車車間通信などの他の手法によって検出するようにしてもよい。
(3)実施形態では、第2の領域において縦方向の寸法が横方向の寸法に対して拡大されるように縦横比を変換しているが、横方向の寸法が縦方向の寸法に対して拡大されるように縦横比を変換してもよい。
また、第2の領域において縦横比を変更するとともに、縮尺を変更して全体的に拡大又は縮小するようにしてもよい。
(4)実施形態は、リアバンパの後部かつ側端部に基準点Pを設定しているが、基準点の設定は適宜変更することが可能である。例えば、トランクリッド上面部やルーフにおける後端部かつ側端部や、リアコンビネーションランプ近傍など、任意の箇所に基準点を設定してもよい。
また、このような基準点に代えて、仮想視点から見て車体最後部に設けられたピラー(3ボックス車等の場合はCピラー、ステーションワゴン車等の場合はDピラー)の前縁部、後縁部に実質的に沿って配置された基準線よりも前方側を第2の領域としてもよい。
また、仮想視点の位置もユーザ頭部に位置に限定されず、適宜変更することができる。例えば車室内に設けられるルームミラーの位置を仮想視点としてもよい。
11 後方カメラ 12 左後側方カメラ
13 右後側方カメラ 20 ステレオカメラ処理ユニット
21 左前方カメラ 22 右前方カメラ
30 環境認識ユニット 31 左後側方レーダ
32 右後側方レーダ
40 ドライバモニタリングユニット 41 ドライバモニタリングカメラ
50 表示画像生成ユニット 60 表示制御ユニット
70 LCD
110 フロントガラス 120 フロントドアガラス
121 本体部 122 三角窓部
130 サイドミラー 140 インストルメントパネル
141 コンビネーションメータ
142 マルチファンクションディスプレイ
143 ナビゲーション装置ディスプレイ
150 ステアリングホイール 160 Aピラー
170 ルーフ 171 ステレオカメラ収容部
180 ルームミラー
I1,I2 表示画像
A1 第1の領域 A2 第2の領域
F11 後方カメラ視野 F12 左後側方カメラ視野
Claims (7)
- 自車両の後方及び側方を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像又は前記撮像画像に基づいて生成された生成画像を表示画像として表示する表示手段と
を備える画像表示装置であって、
前記表示手段は、自車両後方の領域を含む前記表示画像を表示する第1の領域と、前記第1の領域に隣接して配置され、自車両側方の領域を含む前記表示画像を表示する第2の領域とを有し、
前記第2の領域に表示される前記表示画像は、前記第1の領域に表示される前記表示画像に対して、縦横比が変化するよう画像処理が施されること
を特徴とする画像表示装置。 - 前記第2の領域に表示される前記表示画像は、自車両後方側に対して自車両前方側のほうが前記縦横比の変化度合が大きくなること
を特徴とする請求項1に記載の画像表示装置。 - 自車両の車室内に設定した仮想視点から見て車体側部でありかつ車体後部に設定された基準点よりも自車両前方側に相当する領域を前記第2の領域に表示すること
を特徴とする請求項1又は請求項2に記載の画像表示装置。 - 自車両の車室内に設定した仮想視点から見て車両最後方に設けられたピラーの前縁部、後縁部、中心軸の少なくとも一つに実質的に沿って配置された基準線よりも自車両前方側に相当する領域を前記第2の領域の表示すること
を特徴とする請求項1又は請求項2に記載の画像表示装置。 - ユーザのアイポイントを検出するアイポイント検出手段を備え、
前記仮想視点は、前記ユーザのアイポイント近傍に設定されること
を特徴とする請求項3又は請求項4に記載の画像表示装置。 - 自車両の後側方から接近する他車両を検出する他車両検出手段と、
前記他車両の自車両との接触リスクを判定するリスク判定手段とを備え、
前記リスク判定手段が前記接触リスクが所定値以上であると判定した場合に、前記第2の領域における前記縦横比の変化度合を通常時に対して大きくすること
を特徴とする請求項1から請求項5までのいずれか1項に記載の画像表示装置。 - 前記表示手段は、ウインドウガラスの外縁部を示す指標を前記表示画像と重畳して表示すること
を特徴とする請求項1から請求項6までのいずれか1項に記載の画像表示装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017083341A JP6649914B2 (ja) | 2017-04-20 | 2017-04-20 | 画像表示装置 |
CN201810287742.5A CN108725320A (zh) | 2017-04-20 | 2018-04-03 | 图像显示装置 |
US15/949,906 US10919450B2 (en) | 2017-04-20 | 2018-04-10 | Image display device |
DE102018108433.1A DE102018108433A1 (de) | 2017-04-20 | 2018-04-10 | Bildanzeigevorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017083341A JP6649914B2 (ja) | 2017-04-20 | 2017-04-20 | 画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018182646A true JP2018182646A (ja) | 2018-11-15 |
JP6649914B2 JP6649914B2 (ja) | 2020-02-19 |
Family
ID=63714312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017083341A Active JP6649914B2 (ja) | 2017-04-20 | 2017-04-20 | 画像表示装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10919450B2 (ja) |
JP (1) | JP6649914B2 (ja) |
CN (1) | CN108725320A (ja) |
DE (1) | DE102018108433A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020166792A (ja) * | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | 視界支援画像生成装置および画像変換プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10757375B2 (en) * | 2016-06-02 | 2020-08-25 | Sony Corporation | Display control device and display control method, display device, and moving body device |
US20180236939A1 (en) * | 2017-02-22 | 2018-08-23 | Kevin Anthony Smith | Method, System, and Device for a Forward Vehicular Vision System |
JP6504529B1 (ja) * | 2017-10-10 | 2019-04-24 | マツダ株式会社 | 車両用表示装置 |
JP7188727B2 (ja) * | 2018-02-20 | 2022-12-13 | 株式会社東海理化電機製作所 | 車両用視認装置 |
EP4420930A3 (en) * | 2018-12-11 | 2024-10-09 | Sony Group Corporation | Image processing device, image processing method, and image processing system |
WO2020122083A1 (ja) * | 2018-12-11 | 2020-06-18 | ソニー株式会社 | 画像処理装置、画像処理方法および画像処理システム |
JP2022098337A (ja) * | 2020-12-21 | 2022-07-01 | 京セラ株式会社 | 撮像装置および画像処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010095086A (ja) * | 2008-10-15 | 2010-04-30 | Nissan Motor Co Ltd | 車両用表示装置および表示方法 |
JP2010109684A (ja) * | 2008-10-30 | 2010-05-13 | Clarion Co Ltd | 車両周辺画像表示システム |
JP2016049953A (ja) * | 2014-09-02 | 2016-04-11 | 日産自動車株式会社 | 後方確認装置及び後方確認方法 |
JP2016055684A (ja) * | 2014-09-05 | 2016-04-21 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
JP2016110501A (ja) * | 2014-12-09 | 2016-06-20 | 株式会社デンソー | 画像生成装置 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0730149U (ja) | 1993-03-31 | 1995-06-06 | 正俊 山本 | 自動車のバックミラーにかわるモニターテレビ |
JPH10257482A (ja) * | 1997-03-13 | 1998-09-25 | Nissan Motor Co Ltd | 車両周辺状況表示装置 |
JP3298851B2 (ja) * | 1999-08-18 | 2002-07-08 | 松下電器産業株式会社 | 多機能車載カメラシステムと多機能車載カメラの画像表示方法 |
DE10253378B4 (de) * | 2001-11-16 | 2010-07-01 | AutoNetworks Technologies, Ltd., Nagoya | Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem |
JP4195966B2 (ja) * | 2002-03-05 | 2008-12-17 | パナソニック株式会社 | 画像表示制御装置 |
JP2005110202A (ja) * | 2003-09-08 | 2005-04-21 | Auto Network Gijutsu Kenkyusho:Kk | カメラ装置及び車両周辺監視装置 |
JP4766841B2 (ja) * | 2003-09-08 | 2011-09-07 | 株式会社オートネットワーク技術研究所 | 車両に搭載されるカメラ装置及び車両周辺監視装置 |
JP4762698B2 (ja) * | 2005-11-30 | 2011-08-31 | アルパイン株式会社 | 車両周辺画像表示装置 |
US8527907B2 (en) * | 2006-07-31 | 2013-09-03 | Adobe Systems Incorporated | Screen relayout |
JP2008301091A (ja) * | 2007-05-30 | 2008-12-11 | Aisin Seiki Co Ltd | 車両用周辺監視装置 |
JP5194679B2 (ja) * | 2007-09-26 | 2013-05-08 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
JP5347257B2 (ja) * | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
JP2009126270A (ja) * | 2007-11-21 | 2009-06-11 | Sanyo Electric Co Ltd | 画像処理装置及び方法、運転支援システム、車両 |
KR100882689B1 (ko) * | 2007-12-06 | 2009-02-06 | 현대자동차주식회사 | 차량의 측후방 모니터링 시스템 및 그 제어방법 |
US20100020170A1 (en) * | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
KR101356201B1 (ko) * | 2008-09-19 | 2014-01-24 | 현대자동차주식회사 | 차량용 후측방 감지시스템 |
US8411245B2 (en) * | 2009-02-06 | 2013-04-02 | Gentex Corporation | Multi-display mirror system and method for expanded view around a vehicle |
EP2512134B1 (en) * | 2009-12-07 | 2020-02-05 | Clarion Co., Ltd. | Vehicle periphery monitoring system |
JP5696872B2 (ja) * | 2010-03-26 | 2015-04-08 | アイシン精機株式会社 | 車両周辺監視装置 |
JP5672862B2 (ja) * | 2010-08-27 | 2015-02-18 | ソニー株式会社 | 撮像装置、撮像システム及び撮像方法 |
JP5812598B2 (ja) * | 2010-12-06 | 2015-11-17 | 富士通テン株式会社 | 物体検出装置 |
US9264672B2 (en) * | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
US9296336B2 (en) * | 2011-09-29 | 2016-03-29 | Toyota Jidosha Kabushiki Kaisha | Image display device and image display method |
US9511711B2 (en) * | 2012-01-30 | 2016-12-06 | Klear-View Camera, Llc | System and method for providing front-oriented visual information to vehicle driver |
US8976040B2 (en) * | 2012-02-16 | 2015-03-10 | Bianca RAY AVALANI | Intelligent driver assist system based on multimodal sensor fusion |
JP5929509B2 (ja) * | 2012-05-23 | 2016-06-08 | 市光工業株式会社 | 車両用インナーミラーシステム及びこの車両用インナーミラーシステムを備えた車両 |
JP6136114B2 (ja) * | 2012-05-23 | 2017-05-31 | 市光工業株式会社 | 車両用インナーミラーシステム |
CN104885448B (zh) * | 2013-02-21 | 2018-04-06 | 本田技研工业株式会社 | 驾驶辅助装置以及图像处理程序 |
CN105580359B (zh) * | 2013-09-27 | 2018-10-19 | 日产自动车株式会社 | 预测前进道路提示装置以及预测前进道路提示方法 |
US10475242B2 (en) * | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
WO2015159407A1 (ja) * | 2014-04-17 | 2015-10-22 | 三菱電機株式会社 | 車載表示装置 |
JP6532229B2 (ja) * | 2014-12-18 | 2019-06-19 | 株式会社デンソーテン | 物体検出装置、物体検出システム、物体検出方法及びプログラム |
US10247941B2 (en) * | 2015-01-19 | 2019-04-02 | Magna Electronics Inc. | Vehicle vision system with light field monitor |
WO2016178190A1 (en) * | 2015-05-06 | 2016-11-10 | Magna Mirrors Of America, Inc. | Vehicle vision system with blind zone display and alert system |
US9855886B2 (en) * | 2015-07-16 | 2018-01-02 | Honda Motor Co., Ltd. | Physical tire tracks coupled to headlights |
US10019805B1 (en) * | 2015-09-29 | 2018-07-10 | Waymo Llc | Detecting vehicle movement through wheel movement |
JP6566422B2 (ja) | 2015-10-29 | 2019-08-28 | 耕成 森山 | ビタミンa欠乏推定装置、プログラム及び記録媒体 |
KR102374921B1 (ko) * | 2015-10-30 | 2022-03-16 | 주식회사 만도모빌리티솔루션즈 | 차량 제어 시스템 및 방법 |
-
2017
- 2017-04-20 JP JP2017083341A patent/JP6649914B2/ja active Active
-
2018
- 2018-04-03 CN CN201810287742.5A patent/CN108725320A/zh active Pending
- 2018-04-10 DE DE102018108433.1A patent/DE102018108433A1/de active Pending
- 2018-04-10 US US15/949,906 patent/US10919450B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010095086A (ja) * | 2008-10-15 | 2010-04-30 | Nissan Motor Co Ltd | 車両用表示装置および表示方法 |
JP2010109684A (ja) * | 2008-10-30 | 2010-05-13 | Clarion Co Ltd | 車両周辺画像表示システム |
JP2016049953A (ja) * | 2014-09-02 | 2016-04-11 | 日産自動車株式会社 | 後方確認装置及び後方確認方法 |
JP2016055684A (ja) * | 2014-09-05 | 2016-04-21 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
JP2016110501A (ja) * | 2014-12-09 | 2016-06-20 | 株式会社デンソー | 画像生成装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020166792A (ja) * | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | 視界支援画像生成装置および画像変換プログラム |
JP7345106B2 (ja) | 2019-03-29 | 2023-09-15 | パナソニックIpマネジメント株式会社 | 視界支援画像生成装置および画像変換プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180304813A1 (en) | 2018-10-25 |
DE102018108433A1 (de) | 2018-10-25 |
JP6649914B2 (ja) | 2020-02-19 |
CN108725320A (zh) | 2018-11-02 |
US10919450B2 (en) | 2021-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6649914B2 (ja) | 画像表示装置 | |
CN108602465B (zh) | 车辆用图像显示系统及搭载了该图像显示系统的车辆 | |
JP6413207B2 (ja) | 車両用表示装置 | |
EP2487906B1 (en) | Control device and vehicle surrounding monitoring device | |
US8350686B2 (en) | Vehicle information display system | |
US20150161458A1 (en) | Emergency vehicle detection with digital image sensor | |
US10836311B2 (en) | Information-presenting device | |
KR102130059B1 (ko) | 디지털 백미러 제어 유닛 및 방법 | |
JP2018173716A (ja) | 情報出力装置 | |
JP2017111739A (ja) | 運転支援装置、運転支援方法 | |
JP2017186008A (ja) | 情報表示システム | |
EP3892489B1 (en) | Vehicle display device | |
WO2013144998A1 (ja) | 車両用視認支援装置 | |
JP7278829B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6878109B2 (ja) | 画像表示装置 | |
JP2008162550A (ja) | 外部環境表示装置 | |
CN113448097B (zh) | 车辆用显示装置 | |
US20200406819A1 (en) | Driver-assisting system for an industrial vehicle | |
JP6971087B2 (ja) | 視認補助装置 | |
JP2018177133A (ja) | 画像表示装置 | |
JP7037896B2 (ja) | 視認補助装置 | |
JP2018177134A (ja) | 画像表示装置 | |
JP2005081860A (ja) | 車両用表示装置 | |
JP2019110390A (ja) | 車両周辺監視装置 | |
JP6946962B2 (ja) | 走行支援装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6649914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |