JP2019118016A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2019118016A
JP2019118016A JP2017250901A JP2017250901A JP2019118016A JP 2019118016 A JP2019118016 A JP 2019118016A JP 2017250901 A JP2017250901 A JP 2017250901A JP 2017250901 A JP2017250901 A JP 2017250901A JP 2019118016 A JP2019118016 A JP 2019118016A
Authority
JP
Japan
Prior art keywords
image
rear side
angle
view
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017250901A
Other languages
English (en)
Other versions
JP7106859B2 (ja
Inventor
由香 志土地
Yuka Shidochi
由香 志土地
五朗 浅井
Goro Asai
五朗 浅井
邦泰 杉原
Kuniyasu Sugihara
邦泰 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017250901A priority Critical patent/JP7106859B2/ja
Priority to KR1020180125817A priority patent/KR102151654B1/ko
Priority to US16/194,984 priority patent/US11336839B2/en
Priority to CN201811547768.5A priority patent/CN110027552B/zh
Priority to EP18214304.0A priority patent/EP3505398B1/en
Priority to RU2018146006A priority patent/RU2707696C1/ru
Priority to BR102018077105-1A priority patent/BR102018077105A2/pt
Publication of JP2019118016A publication Critical patent/JP2019118016A/ja
Priority to US17/696,508 priority patent/US20220210344A1/en
Application granted granted Critical
Publication of JP7106859B2 publication Critical patent/JP7106859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/04Rear-view mirror arrangements mounted inside vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両が左右一方側に進行する場合においても、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することが可能な画像表示装置を提供する。【解決手段】画像表示装置は、車両(1)の後方を撮像可能な後方撮像手段(11B)によって撮像された後方画像(111B)と左右一方側における車両の後側方を撮像可能な第1後側方撮像手段(11BL、11BR)によって撮像された第1後側方画像(111BL、111BR)とを合成して合成画像を生成する合成手段(132)と、合成画像を表示する表示手段(14)とを備え、合成手段は、合成画像を生成する際に、車両が左右一方側に進行することを通知するために作動可能な第1方向指示器(121L、121R)に関する第1情報に基づいて、合成画像中で後方画像及び第1後側方画像が占める領域の割合を変更する。【選択図】図8

Description

本発明は、車両に搭載された複数の撮像手段が撮像した画像を合成し、合成した画像を表示可能な画像表示装置の技術分野に関する。
このような画像表示装置の一例が特許文献1から特許文献2に記載されている。具体的には、特許文献1には、自車両の後側方領域を撮像可能なカメラが撮像した後側方画像と自車両の後方領域を撮像可能なカメラが撮像した後方画像とを、仮想視点から自車両の周囲後方を見渡した画像となるように自車両の周囲後方において切れ目なく合成することで合成画像を生成し、生成した合成画像を車室内ミラーが有する表示装置に表示可能な画像表示装置が記載されている。特許文献2には、自車両の右後側方領域を撮像可能なカメラが撮像した右後側方画像と自車両の左後側方領域を撮像可能なカメラが撮像した左後側方画像とを自車両の後方を走行している後方車両までの距離に応じてトリミングし、トリミングした左後側方画像及び右後側方画像を合成することで合成画像を生成し、生成した合成画像を表示可能な画像表示装置が記載されている。
特開2008−230558号公報 特開2006−338566号公報
特許文献1に記載された画像表示装置は、自車両の進行方向を考慮することなく、後側方画像と後方画像とを合成している。従って、特許文献1に記載された画像表示装置は、自車両が左右一方側に進行(例えば、右折若しくは左折する、又は、車線変更する)する場合において、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することができない可能性があるという技術的問題を有している。
本発明は、車両に搭載された複数の撮像手段が夫々撮像した複数の画像を合成して合成画像を生成する画像表示装置であって、車両が左右一方側に進行する場合においても、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することが可能な画像表示装置を提供することを課題とする。
本発明の画像表示装置の第1の態様は、車両の後方を撮像可能な後方撮像手段によって撮像された後方画像と左右一方側における前記車両の後側方を撮像可能な第1後側方撮像手段によって撮像された第1後側方画像とを合成して合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備え、前記合成手段は、前記合成画像を生成する際に、前記車両が左右一方側に進行することを通知するために作動可能な第1方向指示器に関する第1情報に基づいて、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更する。
本発明の画像表示装置の第2の態様は、車両の後方を撮像可能な後方撮像手段によって撮像された後方画像と左右一方側における前記車両の後側方を撮像可能な第1後側方撮像手段によって撮像された第1後側方画像とを合成して合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備え、前記合成手段は、前記合成画像を生成する際に、前記車両が左右一方側に進行することを通知するために作動可能な第1方向指示器に関する第1情報に基づいて、前記合成画像のうち前記後方画像に対応する第1画像部分及び前記第1後側方画像に対応する第2画像部分の少なくとも一方の画角を変更する。
図1は、本実施形態の車両の構成を示すブロック図である。 図2(a)は、本実施形態の車両における後方カメラ、左後側方カメラ及び右後側方カメラの夫々の設置位置及び撮像範囲を示す平面図であり、図2(b)は、本実施形態の車両における後方カメラ、左後側方カメラ及び右後側方カメラの夫々の設置位置及び撮像範囲を示す側面図である。 図3は、本実施形態の画像合成処理によって生成される合成画像を示す平面図である。 図4は、本実施形態の画像表示動作の流れを示すフローチャートである。 図5は、後画像画角を模式的に示す平面図である。 図6(a)は、通常画角に対応する左後側方画像を示す平面図であり、図6(b)は、拡大画角に対応する左後側方画像を示す平面図である。 図7(a)は、通常画角に対応する右後側方画像を示す平面図であり、図7(b)は、拡大画角に対応する右後側方画像を示す平面図である。 図8(a)は、方向指示器が作動していない場合に生成される合成画像の一例を示す平面図であり、図8(b)は、右指示器が作動している場合に生成される合成画像の一例を示す平面図である。 図9(a)及び図9(b)の夫々は、操舵角と拡大画角との関係を示すグラフである。 図10は、車両が左折する場合に調整された後方カメラ、左後側方カメラ及び右後側方カメラの撮像範囲、車両が右折する場合に調整された後方カメラ、左後側方カメラ及び右後側方カメラの撮像範囲、並びに、車両が右折も左折もしない場合に調整された後方カメラ、左後側方カメラ及び右後側方カメラの撮像範囲を示す平面図である。 図11は、車両が左折する場合に選択された後方カメラ、左後側方カメラ及び右後側方カメラの撮像範囲、車両が右折する場合に選択された後方カメラ、左後側方カメラ及び右後側方カメラの撮像範囲、並びに、車両が右折も左折もしない場合に選択された後方カメラ、左後側方カメラ及び右後側方カメラの撮像範囲を示す平面図である。 図12(a)から図12(b)の夫々は、合成画像の一例を示す平面図である。
以下、図面を参照しながら、画像表示装置の実施形態について説明する。以下では、画像表示装置の実施形態が搭載された車両1を用いて説明を進める。
(1)車両1の構成
初めに、図1及び図2(a)から図2(b)を参照しながら、本実施形態の車両1の構成について説明する。図1は、本実施形態の車両1の構成を示すブロック図である。図2(a)は、本実施形態の車両1における後方カメラ11B、左後側方カメラ11BL及び右後側方カメラ11BRの設置位置及び撮像範囲を示す平面図であり、図2(b)は、本実施形態の車両1における後方カメラ11B、左後側方カメラ11BL及び右後側方カメラ11BRの設置位置及び撮像範囲を示す側面図である。尚、以下の説明では、右、左及び後方は、特段の注記がない場合は、夫々、車両1の進行方向に対する右、左及び後方を意味するものとする。また、以下の説明では、必要に応じて、右側が+Y側に対応し、左側が−Y側に対応し、後方側が−X側に対応し、前方側が+X側に対応し、上側が+Z側に対応し、且つ、下側が−Z側に対応するXYZ座標系を用いて、説明を進める。
図1に示すように、車両1は、後述する付記における「後方撮像手段」の一具体例である後方カメラ11Bと、後述する付記における「第1及び第2後側方撮像手段のいずれか一方」の一具体例である左後側方カメラ11BLと、後述する付記における「第1及び第2後側方撮像手段のいずれか他方」の一具体例である右後側方カメラ11BRと、方向指示器121と、操舵角センサ122と、ECU(Electrical Control Unit)13と、後述する付記における「表示手段」の一具体例であるディスプレイ14とを備える。
後方カメラ11Bは、図2(a)及び図2(b)に示すように、車両1の後方(特に、真後)に位置する後方領域を撮像する撮像機器である。後方領域は、車両1の車室内にバックミラーが設置されていると仮定した場合において、当該バックミラーに写りこむ領域の少なくとも一部を含む領域である。つまり、本実施形態では、後方カメラ11Bは、車両1の車室内に設置されるバックミラーに代わる、いわゆる電子ミラーの一部を構成する。車両1の後方領域を撮像するために、後方カメラ11Bの撮影中心は、車両1から真っ直ぐ後方に位置している。つまり、後方カメラ11Bが備えるレンズ等の光学系の光軸は、車両1から真っ直ぐ後方に向かって延びる。その結果、後方カメラ11Bの撮像範囲(或いは、画角)IRBは、後方領域を含むように設定される。
左後側方カメラ11BLは、図2(a)及び図2(b)に示すように、車両1の後方(特に、左側方の後方(つまり、左後側方))に位置する左後側方領域を撮像する撮像機器である。左後側方領域は、車両1の左側にある左ドアにドアミラーが設置されていると仮定した場合において、左ドアが閉状態にある状況下で当該左ドアに設置されたドアミラーに写りこむ領域の少なくとも一部に含む領域である。つまり、本実施形態では、左後側方カメラ11BLは、車両1の左ドアに設置されるドアミラーに代わる、いわゆる電子ミラーの一部を構成する。車両1の左後側方領域を撮像するために、左後側方カメラ11BLの撮影中心は、車両1の後方から左側に位置している。言い換えれば、左後側方カメラ11BLの撮影中心は、後方カメラ11Bの撮影中心よりも左側に位置している。つまり、左後側方カメラ11BLが備えるレンズ等の光学系の光軸は、上述した後方カメラ11Bが備える光学系の光軸よりも左側の空間において、後方に向かって延びる。その結果、左後側方カメラ11BLの撮像範囲(或いは、画角)IRBLは、左後側方領域を含むように設定される。尚、撮像範囲IRBLは、撮像範囲IRBと部分的に重複していてもよい。
右後側方カメラ11BRは、図2(a)及び図2(b)に示すように、車両1の(特に、右側方の後方(つまり、右後側方))に位置する右後側方領域を撮像する撮像機器である。右後側方領域は、車両1の右側にある右ドアにドアミラーが設置されていると仮定した場合において、右ドアが閉状態にある状況下で当該右ドアに設置されたドアミラーに写りこむ領域の少なくとも一部に含む領域である。つまり、本実施形態では、右後側方カメラ11BRは、車両1の右ドアに設置されるドアミラーに代わる、いわゆる電子ミラーの一部を構成する。車両1の右後側方領域を撮像するために、右後側方カメラ11BRの撮影中心は、車両1の後方から右側に位置している。言い換えれば、右後側方カメラ11BRの撮影中心は、後方カメラ11Bの撮影中心よりも右側に位置している。つまり、右後側方カメラ11BRが備えるレンズ等の光学系の光軸は、上述した後方カメラ11Bが備える光学系の光軸よりも右側の空間において、後方に向かって延びる。その結果、右後側方カメラ11BRの撮像範囲(或いは、画角)IRBRは、右後側方領域を含むように設定される。尚、撮像範囲IRBRは、撮像範囲IRBと部分的に重複していてもよい。
方向指示器121は、車両1が左方又は右方へと進行する(例えば、車両1が右折、左折又は車線変更する)際に、車両1の進行方向を車両1の周囲に通知するように作動する装置である。方向指示器121は、車両1が左方へ進む場合に作動する左指示器121Lと、車両1が右方へ進む場合に作動する右指示器121Rとを含む。本実施形態では、左指示器121Lは、車両1の相対的に左側に設置されるランプであるものとする。更に、右指示器121Rは、車両1の相対的に右側に設置されるランプであるものとする。この場合、車両1が右折する又は右方へ車線変更する場合には、右指示器121Rが点滅する一方で左指示器121Lが消灯する。一方で、車両1が左折する又は左方へ車線変更する場合には、左指示器121Lが点滅する一方で右指示器121Rが消灯する。尚、左指示器121Lの作動状態に関する情報は、左指示器121LからECU13に対して出力される。同様に、右指示器121Rの作動状態に関する情報は、右指示器121RからECU13に対して出力される。
操舵角センサ122は、ステアリングホイールの回転角度である操舵角を検出する。ステアリングホイールは、車両1の進行方向を制御するために車両1の乗員によって操作される。乗員がステアリングホイールを操作すると、車両1の転蛇輪は、ステアリングホイールの回転に合わせて転蛇される。従って、操舵角は、転蛇輪の転蛇角と等価である。操舵角センサ122の検出結果に関する情報(つまり、操舵角に関する情報)は、そうだ各センサ122からECU13に対して出力される。
ECU13は、車両1の全体の動作を制御する。本実施形態では特に、ECU13は、後方カメラ11Bが撮像した画像(つまり、後方領域の状況を示す画像)、左後側方カメラ11BLが撮像した画像(つまり、左後側方領域の状況を示す画像)、及び右後側方カメラ11BRが撮像した画像(つまり、右後側方領域の状況を示す画像)をディスプレイ14に表示するための画像表示動作を行う。以下、説明の便宜上、後方カメラ11Bが撮像した画像を、“後方画像111B”と称し、左後側方カメラ11BLが撮像した画像を、“左後側方画像111BL”と称し、右後側方カメラ11BRが撮像した画像を、“右後側方画像111BR”と称する。画像表示動作を行うために、ECU13は、ECU13の内部に論理的に実現される処理ブロックとして、画像取得部131と、後述する付記における「合成手段」の一具体例である画像合成部132とを備える。
画像取得部131は、後方カメラ11B、左後側方カメラ11BL及び右後側方カメラ11BRから、夫々、後方画像111B、左後側方画像111BL及び右後側方画像111BRを取得する。
画像合成部132は、後方画像111B、左後側方画像111BL及び右後側方画像111BRを合成する画像合成処理を行うことで、合成画像111Cを生成する。具体的には、画像合成部132は、後方画像111Bをトリミングすることで、後方画像111Bから、後方画像111Bの少なくとも一部の画像部分に相当する後方画像112Bを抽出する。更に、画像合成部132は、左後側方画像111BLをトリミングすることで、左後側方画像111BLから、左後側方画像111BLの少なくとも一部の画像部分に相当する左後側方画像112BLを抽出する。更に、画像合成部132は、右後側方画像111BRをトリミングすることで、右後側方画像111BRから、右後側方画像111BRの少なくとも一部の画像部分に相当する右後側方画像112BRを抽出する。その後、画像合成部132は、後方領域の左側に左後側方領域が位置し、且つ、後方領域の右側に右後側方領域が位置する合成画像111Cを生成する。つまり、画像合成部132は、図3に示すように、後方画像112Bの左側に左後側方画像112BLが隣接し、且つ、後方画像112Bの右側に右後側方画像112BRが隣接する合成画像111Cを生成する。
更に、画像合成部132は、生成した合成画像111Cを表示するように、ディスプレイ14を制御する。尚、ディスプレイ14は、車両1の車室内に設置されており、車室内にいる車両1の乗員に対して合成画像111Cを表示する。
(2)画像表示動作の流れ
続いて、図4を参照しながら、本実施形態の画像表示動作の流れについてより詳細に説明する。図4は、本実施形態の画像表示動作の流れを示すフローチャートである。
図4に示すように、画像合成部132は、左指示器121Lが作動しているか否かを判定する(ステップS11)。つまり、画像合成部132は、左指示器121Lが点滅しているか否かを判定する(ステップS11)。
ステップS11の判定の結果、左指示器121Lが作動している(つまり、点滅している)と判定された場合には(ステップS11:Yes)、画像合成部132は、操舵角が、所定の閾値TH1よりも大きいか否かを判定する(ステップS12)。ステップS12で用いられる操舵角は、中立状態にあるステアリングホイールを基準に、ステアリングホイールが左回り(つまり、転蛇輪を左方に転蛇する方向)にどれだけ回転しているかを示す回転角度を意味する。閾値TH1は、乗員が車両1を左折させる意図を有している状況と、乗員が車両1を現在走行している走行車線の左側に隣接する走行車線へと車線変更する意図を有している状況とを、操舵角から区別可能な適切な値に設定される。乗員が車両1を左折させる意図を有している場合には、乗員が車両1を車線変更させる意図を有している場合と比較して、操舵角が大きくなる可能性が高い。このため、操舵角が閾値TH1よりも大きい状況は、乗員が車両1を左折させる意図を有している可能性が相対的に高い状況に相当する。一方で、操舵角が閾値TH1よりも小さい状況は、乗員が車両1を車線変更させる意図を有している可能性が相対的に高い状況に相当する。
ステップS12の判定の結果、操舵角が閾値TH1よりも大きいと判定された場合には(ステップS12:Yes)、乗員が車両1を左折させる意図を有していると推定される。この場合には、画像合成部132は、後方画像112Bに関するパラメータである後画像画角θBを、所定の通常画角θB_Nに設定する(ステップS15)。更に、画像合成部132は、左後側方画像112BLに関するパラメータである左後画像画角θBLを、後述する所定の通常画角θBL_Nよりも大きい所定の拡大画角θBL_Lに設定する(ステップS15)。更に、画像合成部132は、右後側方画像112BRに関するパラメータである右後画像画角θBRを、ゼロに設定する(ステップS15)。
後画像画角θBは、後方画像112Bに写っている光景の範囲を、ある仮想的な視点からの角度で示すためのパラメータである。後述するように、後方画像112Bが後方画像111Bの少なくとも一部であることを考慮すれば、後画像画角θBは、後方画像111Bからの後方画像112Bの抽出範囲を、ある仮想的な視点からの角度で示すためのパラメータであるとも言える。具体的には、図5に示すように、後方画像112Bは、後方画像111Bの少なくとも一部の画像部分に相当する。つまり、後方画像112Bは、後方画像111Bの少なくとも一部をトリミングした後に残る画像部分に相当する。この後方画像112Bの抽出範囲(つまり、後方画像112Bに写っている光景の範囲)は、仮想的な視点Pから当該抽出範囲の外縁に延びる仮想的な線又は面がなす角度で表現可能である。この角度が、後画像画角θBに相当する。図5に示すように、典型的には、後画像画角θBは、仮想的な視点Pから後方画像112Bの抽出範囲のうち垂直方向に延びる一対の外縁に延びる仮想的な線又は面がなす角度(つまり、水平方向の角度)θBh、及び、仮想的な視点Pから後方画像112Bの抽出範囲のうち水平方向に延びる一対の外縁に延びる仮想的な線又は面がなす角度(つまり、垂直方向の角度)θBvを含む。本実施形態では、後画像画角θBは、水平方向の角度に相当する後画像画角θBhを意味するものとする。但し、後画像画角θBは、後画像画角θBhに加えて又は代えて、垂直方向の角度に相当する後画像画角θBvを意味していてもよい。後画像画角θBが後画像画角θBh及び後画像画角θBvの双方を意味している場合には、ステップS15における「後画像画角θBを通常画角θB_Nに設定する」動作は、後画像画角θBhを、水平方向に対応する通常画角θBh_Nに設定し、且つ、後画像画角θBvを、垂直方向に対応する通常画角θBv_Nに設定する動作を意味する。
左後画像画角θBL及び右後画像画角θBRについても、後画像画角θBと同様である。つまり、左後画像画角θBLは、左後側方画像111BLからの左後側方画像112BLの抽出範囲(言い換えれば、左後側方画像112BLに写っている光景の範囲)を、ある仮想的な視点からの角度(本実施形態では、水平方向の角度)で示すためのパラメータである。同様に、右後画像画角θBRは、右後側方画像111BRからの右後側方画像112BRの抽出範囲(言い換えれば、右後側方画像112BRに写っている光景の範囲)を、ある仮想的な視点からの角度(本実施形態では、水平方向の角度)で示すためのパラメータである。
再び図4において、他方で、ステップS12の判定の結果、操舵角が閾値TH1以下であると判定された場合には(ステップS12:No)、乗員は、車両1を車線変更させる意図を有していると推定される。或いは、場合によっては、乗員が車両1を左方に振興させる意図を有していないにも関わらず、乗員が誤って左指示器121Lを作動させてしまったと推定される。この場合には、画像合成部132は、後画像画角θBを、通常画角θB_Nに設定する(ステップS17)。更に、画像合成部132は、左後画像画角θBLを、所定の通常画角θBL_Nに設定する(ステップS17)。更に、画像合成部132は、右後画像画角θBRを、所定の通常画角θBR_Nに設定する(ステップS17)。
他方で、ステップS11の判定の結果、左指示器121Lが作動していない(つまり、消灯している)と判定された場合には(ステップS11:No)、画像合成部132は、右指示器121Rが作動しているか否かを判定する(ステップS13)。つまり、画像合成部132は、右指示器121Rが点滅しているか否かを判定する(ステップS13)。
ステップS13の判定の結果、右指示器121Rが作動している(つまり、点滅している)と判定された場合には(ステップS13:Yes)、画像合成部132は、操舵角が、所定の閾値TH2よりも大きいか否かを判定する(ステップS14)。ステップS14で用いられる操舵角は、中立状態にあるステアリングホイールを基準に、ステアリングホイールが右回り(つまり、転蛇輪を右方に転蛇する方向)にどれだけ回転しているかを示す回転角度を意味する。閾値TH2は、乗員が車両1を右折させる意図を有している状況と、乗員が車両1を現在走行している走行車線の右側に隣接する走行車線へと車線変更する意図を有している状況とを、操舵角から区別可能な適切な値に設定される。乗員が車両1を右折させる意図を有している場合には、乗員が車両1を車線変更させる意図を有している場合と比較して、操舵角が大きくなる可能性が高い。このため、操舵角が閾値TH2よりも大きい状況は、乗員が車両1を右折させる意図を有している可能性が相対的に高い状況に相当する。一方で、操舵角が閾値TH2よりも小さい状況は、乗員が車両1を車線変更させる意図を有している可能性が相対的に高い状況に相当する。このような閾値TH2は、通常は上述した閾値TH1と同じになる。但し、閾値TH2として、閾値TH1とは異なる値が用いられてもよい。
ステップS14の判定の結果、操舵角が閾値TH2よりも大きいと判定された場合には(ステップS14:Yes)、乗員が車両1を右折させる意図を有していると推定される。この場合には、画像合成部132は、後画像画角θBを、通常画角θB_Nに設定する(ステップS16)。更に、画像合成部132は、左後画像画角θBLを、ゼロに設定する(ステップS16)。更に、画像合成部132は、右後画像画角θBRを、上述した通常画角θBR_Nよりも大きい所定の拡大画角θBR_Lに設定する(ステップS16)。
他方で、ステップS14の判定の結果、操舵角が閾値TH2以下であると判定された場合には(ステップS14:No)、乗員が車両1を車線変更させる意図を有していると推定される。或いは、場合によっては、乗員が車両1を右方へ進行させる意図を有していないにも関わらず、乗員が誤って右指示器121Rを作動させてしまったと推定される。この場合には、画像合成部132は、後画像画角θB、左後画像画角θBL及び右後画像画角θBRを、夫々、通常画角θB_N、通常画角θBL_N及び通常画角θBR_Nに設定する(ステップS17)。
他方で、ステップS13の判定の結果、右指示器121Rが作動していない(つまり、消灯している)と判定された場合にも(ステップS13:No)、画像合成部132は、後画像画角θB、左後画像画角θBL及び右後画像画角θBRを、夫々、通常画角θB_N、通常画角θBL_N及び通常画角θBR_Nに設定する(ステップS17)。
その後、画像合成部132は、後方画像111Bから、ステップS15からS17のいずれかで設定された後画像画角θBに対応する画像部分を、後方画像112Bとして抽出する(ステップS21)。尚、図4に示す例では、後画像画角θBは、通常画角θB_Nに設定されている。このため、後方画像111Bからは、通常画角θB_Nに対応する画像部分が、後方画像112Bとして抽出される。
更に、画像合成部132は、左後側方画像111BLから、ステップS15からS17のいずれかで設定された左後画像画角θBLに対応する画像部分を、左後側方画像112BLとして抽出する(ステップS21)。例えば、左後画像画角θBLが通常画角θBL_Nに設定されている場合には、図6(a)に示すように、左後側方画像111BLから、通常画角θBL_Nに対応する相対的に小さい画像部分が、左後側方画像112BLとして抽出される。例えば、左後画像画角θBLが拡大画角θBL_Lに設定されている場合には、図6(b)に示すように、左後側方画像111BLから、拡大画角θBL_Lに対応する相対的に大きい画像部分が、左後側方画像112BLとして抽出される。例えば、左後画像画角θBLがゼロに設定されている場合には、左後側方画像111BLから左後側方画像112BLが抽出されることはない。
画像合成部132は、左後側方画像111BL中において、拡大画角θBL_Lに対応する左後側方画像112BLの左側の辺(つまり、後方画像112Bとの境界を形成する右側の辺の逆側の辺)1121_Lの位置が、通常画角θBL_Nに対応する左後側方画像112BLの左側の辺1121_Nの位置よりも左方に位置するように、左後側方画像112BLを抽出することが好ましい。その結果、拡大画角θBL_Lに対応する左後側方画像112BLには、通常画角θBL_Nに対応する左後側方画像112BLに写っている光景よりも左方の光景が写り込む。一方で、画像合成部132は、左後側方画像111BL中において、拡大画角θBL_Lに対応する左後側方画像112BLの右側の辺(つまり、後方画像112Bとの境界を形成する辺)1122_Lの位置が、通常画角θBL_Nに対応する左後側方画像112BLの右側の辺1122_Nの位置と同じになるように又は異なるように、左後側方画像112BLを抽出する。
更に、画像合成部132は、右後側方画像111BRから、ステップS15からS17のいずれかで設定された右後画像画角θBRに対応する画像部分を、右後側方画像112BRとして抽出する(ステップS21)。例えば、右後画像画角θBRが通常画角θBR_Nに設定されている場合には、図7(a)に示すように、右後側方画像111BRから、通常画角θBR_Nに対応する相対的に小さい画像部分が、右後側方画像112BRとして抽出される。例えば、右後画像画角θBRが拡大画角θBR_Lに設定されている場合には、図7(b)に示すように、右後側方画像111BRから、拡大画角θBR_Lに対応する相対的に大きい画像部分が、右後側方画像112BRとして抽出される。例えば、右後画像画角θBRがゼロに設定されている場合には、右後側方画像111BRから右後側方画像112BRが抽出されることはない。
画像合成部132は、右後側方画像111BR中において、拡大画角θBR_Lに対応する右後側方画像112BRの右側の辺(つまり、後方画像112Bとの境界を形成する左側の辺の逆側の辺)1123_Lの位置が、通常画角θBR_Nに対応する右後側方画像112BRの右側の辺1123_Nの位置よりも右方に位置するように、右後側方画像112BRを抽出することが好ましい。その結果、拡大画角θBR_Lに対応する右後側方画像112BRには、通常画角θBR_Nに対応する右後側方画像112BRに写っている光景よりも右方の光景が写り込む。一方で、画像合成部132は、右後側方画像111BR中において、拡大画角θBR_Lに対応する右後側方画像112BRの左側の辺(つまり、後方画像112Bとの境界を形成する辺)1124_Lの位置が、通常画角θBR_Nに対応する右後側方画像112BRの左側の辺1124_Nの位置と同じになるように又は異なるように、右後側方画像112BRを抽出する。
その後、画像合成部132は、ステップS21で抽出した後方画像112B、左後側方画像112BL及び右後側方画像112BRを用いて、後方画像112Bの左側に左後側方画像112BLが隣接し、且つ、後方画像112Bの右側に右後側方画像112BRが隣接する合成画像111Cを生成する(ステップS22)。但し、上述したように、左後画像画角θBLがゼロに設定されている場合には、左後側方画像112BLが抽出されない。この場合には、画像合成部132は、後方画像112Bの右側に右後側方画像112BRが隣接する一方で左後側方画像112BLが含まれない合成画像111Cを生成する。同様に、上述したように、右後画像画角θBRがゼロに設定されている場合には、右後側方画像112BRが抽出されない。この場合には、画像合成部132は、後方画像112Bの左側に左後側方画像112BLが隣接する一方で右後側方画像112BRが含まれない合成画像111Cを生成する。
合成画像111Cを生成する過程で、後方画像112B、左後側方画像112BL及び右後側方画像112BRが合成画像111C中で切れ目なくつながるように、画像合成部132は、画像合成処理の一部として、視点変換処理、画像回転処理、拡大縮小処理及び画像成形処理の少なくとも一つを行ってもよい。視点変換処理は、後方画像111B及び112B、左後側方画像111BL及び112BL、並びに、右後側方画像111BR及び112BRの少なくとも一つの視点を変換する処理である。画像回転処理は、後方画像111B及び112B、左後側方画像111BL及び112BL、並びに、右後側方画像111BR及び112BRの少なくとも一つを回転させる処理である。拡大縮小処理は、後方画像111B及び112B、左後側方画像111BL及び112BL、並びに、右後側方画像111BR及び112BRの少なくとも一つを拡大又は縮小する処理である。画像成形処理は、後方画像111B及び112B、左後側方画像111BL及び112BL、並びに、右後側方画像111BR及び112BRの少なくとも一つの形状を変換する処理である。
左後画像画角θBLが拡大画角θBL_Lに設定されている場合には、左後画像画角θBLが通常画角θBL_Nに設定されている場合と比較して、左後側方画像112BLが相対的に大きくなる。このため、画像合成部132は、左後画像画角θBLが拡大画角θBL_Lに設定されている場合には、左後画像画角θBLが通常画角θBL_Nに設定されている場合と比較して、合成画像111C中で左後側方画像112BLが占める領域の割合が大きくなるように、合成画像111Cを生成する。つまり、画像合成部132は、左後画像画角θBLが大きくなるほど、合成画像111C中で左後側方画像112BLが占める領域の割合が大きくなるように、合成画像111Cを生成する。同様の理由から、画像合成部132は、右後画像画角θBRが大きくなるほど、合成画像111C中で右後側方画像112BRが占める領域の割合が大きくなるように、合成画像111Cを生成する。尚、図8(a)は、後画像画角θB、左後画像画角θBL及び右後画像画角θBRが夫々通常画角θB_N、θBL_N及びθBR_Nに設定されている場合に生成される合成画像111Cの一例を示す。一方で、図8(b)は、後画像画角θB、左後画像画角θBL及び右後画像画角θBRが夫々通常画角θB_L、ゼロ及び拡大画角θBR_Lに設定されている場合(つまり、車両1が右折する場合)に生成される合成画像111Cを示す。
その後、ディスプレイ14は、ステップS22で生成された合成画像111Cを表示する(ステップS23)。
尚、上述の説明では、ステップS12の判定の結果、操舵角が閾値TH1と同じであると判定された場合には、操舵角が閾値TH1よりも小さいと判定された場合に行われる処理が行なわれているが、操舵角が閾値TH1よりも大きいと判定された場合に行われる処理が行なわれてもよい。同様に、上述の説明では、ステップS14の判定の結果、操舵角が閾値TH2と同じであると判定された場合には、操舵角が閾値TH2よりも小さいと判定された場合に行われる処理が行なわれているが、操舵角が閾値TH2よりも大きいと判定された場合に行われる処理が行なわれてもよい。
(3)技術的効果
以上説明したように、本実施形態の画像表示動作によれば、方向指示器121の作動状態に関わらずに後画像画角θB、左後画像画角θBL及び右後画像画角θBRが固定され且つ合成画像111C中で後方画像112B、左後側方画像112BL及び右後側方画像112BRが占める領域の割合が固定された比較例の画像表示動作と比較して、車両1が右折又は左折する場合において、車両1の周囲の状況を乗員が適切に把握することができる合成画像111Cを生成可能である。
具体的には、車両が右折する場合(つまり、乗員が車両1を右折させる意図を有していると推定される場合であって、右指示器121Rが作動し且つ操舵角が閾値TH2より大きい場合)には、乗員は、車両の右後側方の状況に対してより多くの注意を払うことが好ましい。本実施形態では、車両1が右折する場合には、車両1が右折しない場合と比較して、右後画像画角θBRが大きくなる。右後画像画角θBRが相対的に大きくなると、図8(b)に示すように、右後画像画角θBRに対応する右後側方画像112BRにはより広い範囲の光景が写りこむ。つまり、右後側方画像112BRの死角(つまり、右後側方画像112BRに写り込まない死角)が相対的に小さくなる。その結果、右後画像画角θBRが変更されなければ右後側方画像112BRの死角に含まれてしまった物体(例えば、歩行者等)が、右後側方画像112BRに含まれる可能性が相対的に高くなる。このため、乗員は、車両1の右後側方の状況を把握しやすくなる。つまり、乗員は、車両1の右後側方の状況により多くの注意を払うことができる。このため、車両1が右折する場合において、車両1の周囲の状況(特に、車両1の右後側方の状況)を乗員が適切に把握することができる合成画像111Cが生成可能となる。
更に、車両1が右折する場合には、車両1が右折しない場合と比較して、合成画像111C中で右後側方画像112BRが占める領域の割合が大きくなる。つまり、図8(b)に示すように、合成画像111C中において右後側方画像112BRが相対的に大きな表示領域で表示される。右後側方画像112BRが相対的に大きな表示領域で表示されると、乗員は、車両1の右後側方の状況により多くの注意を払うことができる。このため、車両1が右折する場合において、車両1の周囲の状況(特に、車両1の右後側方の状況)を乗員が適切に把握することができる合成画像111Cが生成可能となる。
尚、車両1が左折する場合(つまり、乗員が車両1を左折させる意図を有していると推定される場合であって、左指示器121Lが作動し且つ操舵角が閾値TH1より大きい場合)においても、車両1が右折する場合と同様の理由から、車両1の周囲の状況(特に、車両1の左後側方の状況)を乗員が適切に把握することができる合成画像111Cが生成可能となる。
加えて、本実施形態では、合成画像111Cの表示内容の意図せぬ変更(例えば、図8(a)に示す表示内容から図8(b)に示す表示内容への変更)に対して乗員が煩わしさを感じることが適切に防止可能である。具体的には、上述したように、左指示器121Lが作動しているにも関わらず操舵角が閾値TH1以下である場合には、車両1が車線変更する又は乗員が誤って左指示器121Lを作動させてしまったと推定される。つまり、乗員は、車両1を左折させる意図を有していないと推定される。このような場合において、左指示器121Lが作動していることのみを理由に乗員が車両1を左折させる意図を有していると判定して左後画像画角θBL及び合成画像111C中で右後側方画像112BRが占める領域の割合が変更されると、乗員が車両1を左折させる意図がないにも関わらず、合成画像111Cの表示内容が、車両1の左後側方の状況を乗員が適切に把握することができるような表示内容に切り替わる。このため、乗員は、乗員の意図に反した合成画像111Cの表示内容の変更に煩わしさを感じる可能性がある。しかるに、本実施形態では、左指示器121Lが作動しているものの乗員が車両1を左折させる意図を有していないと推定される場合(つまり、操舵角が閾値TH1以下となる場合)には、左後画像画角θBLが通常画角θBL_Nのまま維持され且つ合成画像111C中で右後側方画像112BRが占める領域の割合も、通常画角θBL_Nに対応する割合のまま維持される。このため、乗員の意図に反して合成画像111Cの表示内容が変更されることで乗員が煩わしさを感じることが適切に防止される。尚、右指示器121Rが作動しているものの乗員が車両1を右折させる意図を有していないと推定される場合(つまり、操舵角が閾値TH2以下となる場合)においても同様のことが言える。
加えて、本実施形態では、車両1が左折する場合には、右後側方画像112BRを含まない合成画像111Cが生成される。このため、右後側方画像112BRを含む合成画像111Cが生成される場合と比較して、合成画像111C中で左後側方画像112BLが占める領域の割合がより大きくなった合成画像111Cが生成可能となる。つまり、左後側方画像112BLをより一層大きな表示領域で表示可能となる。このため、車両1が左折する場合において、車両1の周囲の状況(特に、車両1の左後側方の状況)を乗員がより一層適切に把握することができる合成画像111Cが生成可能となる。尚、車両1が右折する場合には、左後側方画像112BLを含まない合成画像111Cが生成される。このため、車両1が右折する場合においても、車両1が左折する場合と同様の理由から、車両1の周囲の状況(特に、車両1の右後側方の状況)を乗員がより一層適切に把握することができる合成画像111Cが生成可能となる。
(4)変形例
続いて、画像表示動作の変形例について説明する。
(4−1)画像表示動作の第1変形例
画像合成部132は、操舵角(特に、ここでは、中立状態にあるステアリングホイールを基準に、ステアリングホイールが左回りにどれだけ回転しているかを示す回転角度)に応じて、拡大画角θBL_Lの大きさを変更してもよい。具体的には、画像合成部132は、図9(a)から図9(d)に示すように、操舵角が大きくなるほど拡大画角θBL_Lが大きくなるように、拡大画角θBL_Lの大きさを変更してもよい。尚、図9(a)は、拡大画角θBL_Lが連続的に大きくなる例を示しており、図9(b)は、拡大画角θBL_Lが段階的に大きくなる例を示している。この場合、車両1を左折させるためにステアリングホイールが左回りに回転すればするほど、左後画像画角θBLが大きくなる。このため、車両1の左折がどれだけ進行しているかに合わせて、適切な範囲の光景が写っている左後側方画像112BLが適切な大きさの表示領域に表示可能となる。
同様の理由から、画像合成部132は、操舵角(特に、ここでは、中立状態にあるステアリングホイールを基準に、ステアリングホイールが右回りにどれだけ回転しているかを示す回転角度)に応じて、拡大画角θBR_Lの大きさを変更してもよい。
(4−2)画像表示動作の第2変形例
上述した説明では、画像合成部132は、左後画像画角θBL及び右後画像画角θBRに対応する合成画像111C(つまり、左後画像画角θBL及び右後画像画角θBRに夫々対応する左後側方画像112BL及び右後側方画像112BRを含む合成画像111C)を生成するために、左後側方画像111BL及び右後側方画像111BRからの左後側方画像112BL及び右後側方画像112BRの抽出範囲を変更している。つまり、画像合成部132は、左後画像画角θBL及び右後画像画角θBRに基づく画像処理を左後側方画像111BL及び右後側方画像111BRに施すことで、左後画像画角θBL及び右後画像画角θBRに対応する合成画像111Cを生成している。しかしながら、画像合成部132は、その他の方法を用いて、左後画像画角θBL及び右後画像画角θBRに対応する合成画像111Cを生成してもよい。以下、左後画像画角θBL及び右後画像画角θBRに対応する合成画像111Cを生成するためのその他の方法の一例について説明する。
画像合成部132は、左後側方カメラ11BL及び右後側方カメラ11BRを制御することで、左後画像画角θBL及び右後画像画角θBRに対応する合成画像111Cを生成してもよい。例えば、画像合成部132は、撮像範囲IRBL及びIRBRが変わるように左後側方カメラ11BL及び右後側方カメラ11BRの光学パラメータを制御することで、左後画像画角θBL及び右後画像画角θBRに対応する合成画像111Cを生成してもよい。この場合、左後側方カメラ11BL及び右後側方カメラ11BRの光学パラメータの変更は、夫々、左後画像画角θBL及び右後画像画角θBRの変更と等価である。光学パラメータの一例として、左後側方カメラ11BL及び右後側方カメラ11BRの夫々が備える光学系(例えば、レンズ等)の焦点距離が一例としてあげられる。この場合、画像合成部132は、車両1が左折する場合には、図10の左下に示すように、左後側方カメラ11BLの撮像範囲IRBLが、拡大画角θBL_Lに対応する相対的に大きい撮像範囲IRBL_Lとなるように、左後側方カメラ11BLを制御してもよい。一方で、画像合成部132は、車両1が右折する場合には、図10の右下に示すように、右後側方カメラ11BRの撮像範囲IRBRが、拡大画角θBR_Lに対応する相対的に大きい撮像範囲IRBR_Lとなるように、右後側方カメラ11BRを制御してもよい。一方で、画像合成部132は、車両1が左折も右折もしない場合には、図10の上部に示すように、左後側方カメラ11BLの撮像範囲IRBLが、通常画角θBL_Nに対応する撮像範囲IRBL_Nとなり、右後側方カメラ11BRの撮像範囲IRBRが、通常画角θBR_Nに対応する撮像範囲IRBR_Nとなるように、左後側方カメラ11BL及び右後側方カメラ11BRを制御してもよい。この場合、左後側方カメラ11BLが撮像した左後側方画像111BLは、実質的には、左後側方画像112BLと一致する。同様に、右後側方カメラ11BRが撮像した右後側方画像111BRは、実質的には、右後側方画像112BRと一致する。
尚、上述した説明では後方画像画角θBが常に通常画角θB_Nに設定されているがゆえに、図10に示す例では、後方カメラ11Bの撮像範囲IRBは、常に通常画角θB_Nに対応する撮像範囲IRB_Nに設定されている。しかしながら、後述するように後方画像画角θBが変更される場合には、後方カメラ11Bの撮像範囲IRBもまた後方画像画角θBに合わせて変更されてもよい。
或いは、撮像範囲IRBLが異なる複数の左後側方カメラ11BLを車両1が備えている場合には、画像合成部132は、方向指示器121の作動状態及び操舵角に基づいて複数の左後側方カメラ11BLから実際に左後側方画像111BLを撮像する一の左後側方カメラ11BLを選択することで、左後画像画角θBLに対応する合成画像111Cを生成してもよい。この場合、使用する左後側方カメラ11BLの変更は、左後画像画角θBLの変更と等価である。具体的には、車両1は、撮像範囲IRBLが通常画角θBL_Nに対応する撮像範囲IRBL_Nとなる左後側方カメラ11BL_Nと、撮像範囲IRBLが拡大画角θBL_Lに対応する撮像範囲IRBL_Lとなる左後側方カメラ11BL_Lとを備えていてもよい。この場合、画像合成部132は、車両1が左折する場合には、図11の左下に示すように、左後側方カメラ11BL_Lが左後側方画像111BLを撮像し、車両1が左折も右折もしない場合には、図11の上部に示すように、左後側方カメラ11BL_Nが左後側方画像111BLを撮像するように、左後側方カメラ11BL_N及び左後側方カメラ11BL_Lを制御してもよい。
同様に、撮像範囲IRBRが異なる複数の右後側方カメラ11BRを車両1が備えている場合には、画像合成部132は、方向指示器121の作動状態及び操舵角に基づいて複数の右後側方カメラ11BRから実際に右後側方画像111BRを撮像する一の右後側方カメラ11BRを選択することで、右後画像画角θBRに対応する合成画像111Cを生成してもよい。この場合、使用する右後側方カメラ11BRの変更は、右後画像画角θBRの変更と等価である。具体的には、車両1は、撮像範囲IRBRが通常画角θBR_Nに対応する撮像範囲IRBR_Nとなる右後側方カメラ11BR_Nと、撮像範囲IRBRが拡大画角θBR_Lに対応する撮像範囲IRBR_Lとなる右後側方カメラ11BR_Lとを備えていてもよい。この場合、画像合成部132は、車両1が右折する場合には、図11の右下に示すように、右後側方カメラ11BR_Lが右後側方画像111BRを撮像し、車両1が左折も右折もしない場合には、図11の上部に示すように、右後側方カメラ11BR_Nが右後側方画像111BR_Nを撮像するように、右後側方カメラ11BR_N及び右後側方カメラ11BR_Lを制御してもよい。この場合、右後側方カメラ11BRが撮像した右後側方画像111BRは、実質的には、右後側方画像112BRと一致する。
尚、上述した説明では後方画像画角θBが常に通常画角θB_Nに設定されているがゆえに、図11に示す例では、撮像範囲IRBが通常画角θB_Nに対応する撮像範囲IRB_Nとなる後方カメラ11BRが後方画像111Bを撮像している。しかしながら、後述するように後方画像画角θBが変更される場合には、車両1が備える複数の後方カメラ11Bから実際に後方画像111Bを撮像する一の後方カメラ11Bが選択されてもよい。
(4−3)画像表示動作の第3変形例
上述した説明では、車両1が右折する場合には、画像合成部132は、右後画像画角θBRを拡大画角θBR_Lに設定すると共に、合成画像111C中で右後側方画像112BRが占める領域の割合も拡大している。しかしながら、車両1が右折する場合において、画像合成部132は、右後画像画角θBRを固定したまま、合成画像111C中で右後側方画像112BRが占める領域の割合を拡大してもよい。この場合には、図12(a)に示すように、画像合成部132は、右後側方画像112BRを左右方向に引き伸ばした上で、引き伸ばした右後側方画像112BRを用いて、合成画像111Cを生成してもよい。或いは、車両1が右折する場合において、画像合成部132は、合成画像111C中で右後側方画像112BRが占める領域の割合を固定したまま、右後画像画角θBRを拡大画角θBR_Lに設定してもよい。この場合には、図12(b)に示すように、画像合成部132は、右後側方画像112BRを左右方向に縮小した上で、縮小した左後側方画像112BRを用いて、合成画像111Cを生成してもよい。この場合であっても、右後画像画角θBRの変更又は合成画像111C中で右後側方画像112BRが占める領域の割合の変更によって、相対的に広い範囲の光景が写っている右後側方画像112BRを含む合成画像111Cか又は右後側方画像112BRを相対的に大きな領域を用いて表示する合成画像111Cが表示される。このため、乗員が車両1の右後側方の状況により多くの注意を払うことができることに変わりはないため、上述した効果と同様の効果が相応に享受可能である。車両1が左折する場合の合成画像111Cについても同様である。
(4−4)その他の変形例
上述した説明では、画像合成部132は、車両1が左折する場合には、右後画像画角θBRをゼロに設定している。しかしながら、画像合成部132は、車両1が左折する場合に、右後画像画角θBRを、ゼロよりも大きな値に設定してもよい。例えば、画像合成部132は、右後画像画角θBRを、通常画角θBR_Nよりも小さい所定の縮小画角θBR_Sに設定してもよい。同様に、上述した説明では、画像合成部132は、車両1が右折する場合には、左後画像画角θBLをゼロに設定している。しかしながら、画像合成部132は、車両1が右折する場合に、左後画像画角θBLを、ゼロよりも大きな値に設定してもよい。例えば、画像合成部132は、左後画像画角θBLを、通常画角θBL_Nよりも小さい所定の縮小画角θBL_Sに設定してもよい。
上述した説明では、画像合成部132は、車両1が左折又は左折する場合には、後画像画角θBを通常画角θB_Nに設定している。しかしながら、画像合成部132は、車両1が左折する場合に、後画像画角θBを、通常画角θB_Nよりも大きな所定の拡大画角θB_Lに設定してもよいし、通常画角θB_Nよりも小さな所定の縮小画角θB_Sに設定してもよい。尚、この場合には、画像合成部132は、後画像画角θBの変更に合わせて合成画像111C中で後方画像112Bが占める領域の割合を変更してもよい。
上述した説明では、画像合成部132は、左指示器121Lが作動している場合であっても、操舵角が閾値TH1以下である場合には、左後画像画角θBLを拡大画角θBL_Lに設定しない。しかしながら、画像合成部132は、左指示器121Lが作動している場合には、操舵角が閾値TH1以下である場合であっても、左後画像画角θBLを拡大画角θBL_Lに設定してもよい。同様に、上述した説明では、画像合成部132は、右指示器121Rが作動している場合であっても、操舵角が閾値TH2以下である場合には、右後画像画角θBRを拡大画角θBR_Lに設定しない。しかしながら、画像合成部132は、右指示器121Rが作動している場合には、操舵角が閾値TH2以下である場合であっても、右後画像画角θBRを拡大画角θBR_Lに設定してもよい。
上述した説明では、操舵角と比較される閾値TH1は、乗員が車両1を左折させる意図を有している状況と、乗員が車両1を現在走行している走行車線の左側に隣接する走行車線へと車線変更する意図を有している状況とを区別可能な適切な値に設定されている。しかしながら、車両1が現在走行している走行車線の左側に隣接する走行車線に車線変更する際にも、乗員は、車両の左後側方の状況に対してより相応の注意を払うことが好ましいことに変わりはない。このため、閾値TH1は、乗員が車両1を左方へ進行させる(例えば、左折させる又は車両1を現在走行している走行車線の左側に隣接する走行車線へと車線変更させる)意図を有している状況と、乗員が車両1を左方へ進行させる意図を有していない(例えば、車両1を直進させる意図を有している)状況とを区別可能な適切な値に設定されていてもよい。その結果、車両1が左折する場合のみならず、車両1が車線変更する場合においても、車両1の周囲の状況(特に、車両1の左後側方の状況)を乗員が適切に把握することができる合成画像111Cが生成可能となる。同様の理由から、操舵角と比較される閾値TH2は、乗員が車両1を右方へ進行させる(例えば、右折させる又は車両1を現在走行している走行車線の右側に隣接する走行車線へと車線変更させる)意図を有している状況と、乗員が車両1を右方へ進行させる意図を有していない(例えば、車両1を直進させる意図を有している)状況とを区別可能な適切な値に設定されていてもよい。
(5)付記
以上説明した実施形態に関して、更に以下の付記を開示する。
(5−1)付記1
付記1に記載の画像表示装置は、車両の後方を撮像可能な後方撮像手段によって撮像された後方画像と左右一方側における前記車両の後側方を撮像可能な第1後側方撮像手段によって撮像された第1後側方画像とを合成して合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備え、前記合成手段は、前記合成画像を生成する際に、前記車両が左右一方側に進行することを通知するために作動可能な第1方向指示器に関する第1情報に基づいて、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更することを特徴とする画像表示装置である。
第1方向指示器は、車両が左右一方側に進行する(例えば、車両が右折若しくは左折する、又は、車線変更する)場合に作動する。このため、付記1に記載の画像表示装置によれば、第1情報に基づいて合成画像中で後方画像及び第1後側方画像が占める領域の割合を変更しない(つまり、固定したままの)比較例の画像表示装置と比較して、車両が左右一方側に進行する場合においても、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することができる。
(5−2)付記2
付記2に記載の画像表示装置は、前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している場合に、前記第1方向指示器が作動していないことを前記第1情報が示している場合と比較して、前記合成画像中で前記第1後側方画像が占める領域の割合が大きくなるように、前記合成画像中で前記第1後側方画像が占める領域の割合を変更することを特徴とする付記1に記載の画像表示装置である。
車両が左右一方側に進行する場合には、車両の乗員は、左右一方側における車両の後側方の状況に対してより多くの注意を払うことが好ましい。付記2に記載の画像表示装置によれば、第1方向指示器が作動している場合には、合成画像中で第1後側方画像が占める領域の割合が相対的に大きくなる。その結果、乗員は、左右一方側における車両の後側方の状況により多くの注意を払うことができる。
(5−3)付記3
付記3に記載の画像表示装置は、前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が大きくなるほど、前記合成画像中で前記第1後側方画像が占める領域の割合が大きくなるように、前記合成画像中で前記第1後側方画像が占める領域の割合を変更することを特徴とする付記1又は2に記載の画像表示装置である。
付記3に記載の画像表示装置によれば、車両が左右一方側への進行状況に合わせて、合成画像中で第1後側方画像が占める領域の割合が調整される。このため、合成画像中において、車両の左右一方側への進行状況に合わせた適切な大きさの表示領域に第1後側方画像が表示される。
(5−4)付記4
付記4に記載の画像表示装置は、前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が所定の第1閾値より大きい場合に、前記第1情報に基づいて、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更し、前記転舵角が前記第1閾値より小さい場合に、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更しないことを特徴とする付記1から3のいずれか一項に記載の画像表示装置である。
付記4に記載の画像表示装置によれば、乗員の意図に反して合成画像の表示内容が変更されることで乗員が煩わしさを感じることが適切に防止される。
(5−5)付記5
付記5に記載の画像表示装置は、前記合成手段は、前記後方画像と、前記第1後側方画像と、左右他方側における前記車両の後側方を撮像可能な第2後側方撮像手段によって撮像された第2後側方画像とを合成して前記合成画像を生成し、前記合成手段は、前記合成画像を生成する際に、前記第1情報及び前記第1車両が左右他方側に進行することを通知するために作動可能な第2方向指示器に関する第2情報に基づいて、前記合成画像中で前記後方画像、前記第1後側方画像及び前記第2後側方画像が占める領域の割合を変更し、前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している一方で前記第2方向指示器が作動していないことを前記第2情報が示している場合に、前記合成画像中で前記第2後側方画像が占める領域の割合がゼロになるように、前記合成画像中で前記第2後側方画像が占める領域の割合を変更することを特徴とする付記1から4のいずれか一項に記載の画像表示装置である。
付記5に記載の画像表示装置によれば、第1方向指示器が作動している一方で第2方向指示器が作動していない場合には、合成画像に第2後側方画像が含まれない。その結果、合成画像中で第2後側方画像が占める領域の割合がゼロにならない(つまり、合成画像に第2後側方画像が含まれる)場合と比較して、合成手段は、合成画像中で第1後側方画像が占める領域の割合をより大きくすることができる。
(5−6)付記6
付記6に記載の画像表示装置は、前記合成手段は、前記合成画像を生成する際に、前記第1情報に基づいて、前記合成画像のうち前記後方画像に対応する第1画像部分及び前記第1後側方画像に対応する第2画像部分の少なくとも一方の画角を変更することを特徴とする付記1から5のいずれか一項に記載の画像表示装置である。
付記6に記載の画像表示装置によれば、第1情報に基づいて第1及び第2画像部分の画角が変更されない(つまり、固定したままの)比較例の画像表示装置と比較して、車両が左右一方側に進行する場合においても、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することができる。尚、付記における「ある画像部分の画角」は、表示手段に表示されているある画像部分に写りこんでいる光景の範囲をある仮想的な視点からの角度で示すための指標値を意味する。
(5−7)付記7
付記7に記載の画像表示装置は、車両の後方を撮像可能な後方撮像手段によって撮像された後方画像と左右一方側における前記車両の後側方を撮像可能な第1後側方撮像手段によって撮像された第1後側方画像とを合成して合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備え、前記合成手段は、前記合成画像を生成する際に、前記車両が左右一方側に進行することを通知するために作動可能な第1方向指示器に関する第1情報に基づいて、前記合成画像のうち前記後方画像に対応する第1画像部分及び前記第1後側方画像に対応する第2画像部分の少なくとも一方の画角を変更することを特徴とする画像表示装置である。
付記7に記載の画像表示装置によれば、第1情報に基づいて第1及び第2画像部分の画角が変更されない比較例の画像表示装置と比較して、車両が左右一方側に進行する場合においても、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することができる。
(5−8)付記8
付記8に記載の画像表示装置は、前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している場合に、前記第1方向指示器が作動していないことを前記第1情報が示している場合と比較して、前記第2画像部分の画角が大きくなるように、前記第2画像部分の画角を変更することを特徴とする付記6又は7に記載の画像表示装置である。
付記8に記載の画像表示装置によれば、第1方向指示器が作動している場合には、第2画像部分の画角が相対的に大きくなる。第2画像部分の画角が相対的に大きくなると、第2画像部分にはより広い範囲の光景が写りこむ(つまり、第2画像部分の死角が相対的に小さくなる)。その結果、左右一方側における車両の後側方の状況により多くの注意を払うことができる。このため、画像表示装置は、車両が左右一方側に進行する場合において、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することができる。
(5−9)付記9
付記9に記載の画像表示装置は、前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が大きくなるほど、前記第2画像部分の画角が大きくなるように、前記第2画像部分の画角を変更することを特徴とする付記6から8のいずれか一項に記載の画像表示装置である。
付記9に記載の画像表示装置によれば、車両が左右一方側への進行状況に合わせて、第2画像部分の画角が調整される。このため、合成画像中において、車両が左右一方側への進行状況に合わせた適切な画角の第2画像部分が表示される。
(5−10)付記10
付記10に記載の画像表示装置は、前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している場合に生成される前記合成画像に、前記第1方向指示器が作動していないことを前記第1情報が示している場合に生成される前記合成画像に含まれる第1光景よりも左右一方側の側方の第2光景が含まれるように、前記第1及び第2画像部分の少なくとも一方の画角を変更することを特徴とする付記6から9のいずれか一項に記載の画像表示装置である。
付記10に記載の画像表示装置によれば、左右一方側における車両の後側方のより広い範囲の状況を示す第2画像部分を合成画像が生成可能となる。
(5−11)付記11
付記11に記載の画像表示装置は、前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が大きくなるほど前記第1光景から左右一方側の側方により多く離れた位置の前記第2光景が前記合成画像に含まれるように、前記第2画像部分の画角を変更することを特徴とする付記6から10のいずれか一項に記載の画像表示装置である。
付記11に記載の画像表示装置によれば、車両の左右一方側への進行状況に合わせて、第2画像部分に含まれる光景の範囲が調整される。このため、合成画像中において、車両の左右一方側への進行状況に合わせた適切な画角の第2画像部分が表示される。
(5−12)付記12
付記12に記載の画像表示装置は、前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が所定の第2閾値より大きい場合に、前記第1情報に基づいて、前記第1及び第2画像部分の少なくとも一方の画角を変更し、前記転舵角が前記第2閾値より小さい場合に、前記第1及び第2画像部分の画角を変更しないことを特徴とする付記6から11のいずれか一項に記載の画像表示装置である。
付記12に記載の画像表示装置によれば、乗員の意図に反して合成画像の表示内容が変更されることで乗員が煩わしさを感じることが適切に防止される。尚、第2閾値は、上述した第1閾値と同じであってもよいし、異なっていてもよい。
(5−13)付記13
付記13に記載の画像表示装置は、前記合成手段は、前記後方画像と、前記第1後側方画像と、左右他方側における前記車両の後側方を撮像可能な第2後側方撮像手段によって撮像された第2後側方画像とを合成して前記合成画像を生成し、前記合成手段は、前記合成画像を生成する際に、前記第1情報及び前記第1車両が左右他方側に進行することを通知するために作動可能な第2方向指示器に関する第2情報に基づいて、前記第1画像部分、前記第2画像部分及び前記合成画像のうち前記第2後側方画像に対応する第3画像部分の少なくとも一つの画角を変更し、前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している一方で前記第2方向指示器が作動していないことを前記第2情報が示している場合に、前記第3画像部分の画角がゼロになるように、前記第3画像部分の画角を変更することを特徴とする付記6から12のいずれか一項に記載の画像表示装置である。
第1方向指示器が作動している一方で第2方向指示器が作動していない場合には、乗員は、左右他方側における車両の後側方の状況よりも左右一方側における車両の後側方の状況に対してより多くの注意を払うことが好ましいことは上述したとおりである。付記13に記載の画像表示装置によれば、第1方向指示器が作動している一方で第2方向指示器が作動していない場合には、第3画像部分の画角がゼロになる。つまり、合成画像に第2後側方画像が含まれない。その結果、第3画像部分の画角がゼロにならない(つまり、合成画像に第2後側方画像が含まれる)場合と比較して、合成手段は、第2画像部分の画角をより大きくすることができる。このため、画像表示装置は、車両が右左折する場合において、車両の周囲の状況を乗員が適切に把握することができる合成画像を生成することができる。
(5−14)その他
付記14に記載の画像表示装置は、前記合成手段は、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を固定したまま、前記第1及び第2画像部分の少なくとも一方の画角を変更することを特徴とする付記7から13のいずれか一項に記載の画像表示装置である。
付記15に記載の画像表示装置は、前記合成手段は、前記後方画像のうちの少なくとも一部である前記第1画像部分及び前記第1後側方画像のうちの少なくとも一部である前記第2画像部分を抽出し、前記第1及び第2画像部分を合成して前記合成画像を生成し、前記合成手段は、前記第1情報に基づいて、前記後方画像からの前記第1画像部分の抽出範囲及び前記第1後側方画像からの前記第2画像部分の抽出範囲の少なくとも一方を変更することで、前記第1及び第2画像部分の少なくとも一方の画角を変更することを特徴とする付記6から14のいずれか一項に記載の画像表示装置である。
付記16に記載の画像表示装置は、前記合成手段は、前記第1情報に基づいて、前記後方撮像手段及び前記第1後側方撮像手段の少なくとも一方の撮像範囲を変更するように前記後方撮像手段及び前記第1後側方撮像手段の少なくとも一方を制御することで、前記第1及び第2画像部分の少なくとも一方の画角を変更することを特徴とする付記6から15のいずれか一項に記載の画像表示装置である。
付記17に記載の画像表示装置は、前記車両は、撮像範囲が異なる複数の前記後方撮像手段を備え、前記合成手段は、前記第1情報に基づいて、前記複数の後方撮像手段のいずれか一つを、前記合成画像を生成するために用いられる前記後方画像を撮像する一の前記後方撮像手段として選択することで、前記第1画像部分の画角を変更することを特徴とする付記6から16のいずれか一項に記載の画像表示装置である。
付記18に記載の画像表示装置は、前記車両は、撮像範囲が異なる複数の前記第1後側方撮像手段を備え、前記合成手段は、前記第1情報に基づいて、前記複数の第1後側方撮像手段のいずれか一つを、前記合成画像を生成するために用いられる前記第1後側方画像を撮像する一の前記第1後側方撮像手段として選択することで、前記第2画像部分の画角を変更することを特徴とする付記6から17のいずれか一項に記載の画像表示装置である。
本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた本発明の技術思想に含まれる。
1 車両
11B 後方カメラ
11BL、11BL_N、11BL_L 左後側方カメラ
11BR、11BR_N、11BR_L 右後側方カメラ
121 方向指示器
121L 左指示器
121R 右指示器
122 操舵角センサ
13 ECU
131 画像取得部
132 画像合成部
14 ディスプレイ
111B、112B 後方画像
111BL、112BL 左後側方画像
111BR、112BR 右後側方画像
111C 合成画像
IRB、IRB_N、IRBL、IRBL_N、IRBL_L、IRBR、IRBR_N、IRBR_L 撮像範囲
後画像画角 θB、θBh、θBh
左後画像画角 θBL
右後画像画角 θBR
通常画角 θB_N、θBL_N、θBR_N
拡大画角 θBL_L、θBR_L

Claims (13)

  1. 車両の後方を撮像可能な後方撮像手段によって撮像された後方画像と左右一方側における前記車両の後側方を撮像可能な第1後側方撮像手段によって撮像された第1後側方画像とを合成して合成画像を生成する合成手段と、
    前記合成画像を表示する表示手段と
    を備え、
    前記合成手段は、前記合成画像を生成する際に、前記車両が左右一方側に進行することを通知するために作動可能な第1方向指示器に関する第1情報に基づいて、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更する
    ことを特徴とする画像表示装置。
  2. 前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している場合に、前記第1方向指示器が作動していないことを前記第1情報が示している場合と比較して、前記合成画像中で前記第1後側方画像が占める領域の割合が大きくなるように、前記合成画像中で前記第1後側方画像が占める領域の割合を変更する
    ことを特徴とする請求項1に記載の画像表示装置。
  3. 前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が大きくなるほど、前記合成画像中で前記第1後側方画像が占める領域の割合が大きくなるように、前記合成画像中で前記第1後側方画像が占める領域の割合を変更する
    ことを特徴とする請求項1又は2に記載の画像表示装置。
  4. 前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が所定の第1閾値より大きい場合に、前記第1情報に基づいて、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更し、前記転舵角が前記第1閾値より小さい場合に、前記合成画像中で前記後方画像及び前記第1後側方画像が占める領域の割合を変更しない
    ことを特徴とする請求項1から3のいずれか一項に記載の画像表示装置。
  5. 前記合成手段は、前記後方画像と、前記第1後側方画像と、左右他方側における前記車両の後側方を撮像可能な第2後側方撮像手段によって撮像された第2後側方画像とを合成して前記合成画像を生成し、
    前記合成手段は、前記合成画像を生成する際に、前記第1情報及び前記第1車両が左右他方側に進行することを通知するために作動可能な第2方向指示器に関する第2情報に基づいて、前記合成画像中で前記後方画像、前記第1後側方画像及び前記第2後側方画像が占める領域の割合を変更し、
    前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している一方で前記第2方向指示器が作動していないことを前記第2情報が示している場合に、前記合成画像中で前記第2後側方画像が占める領域の割合がゼロになるように、前記合成画像中で前記第2後側方画像が占める領域の割合を変更する
    ことを特徴とする請求項1から4のいずれか一項に記載の画像表示装置。
  6. 前記合成手段は、前記合成画像を生成する際に、前記第1情報に基づいて、前記合成画像のうち前記後方画像に対応する第1画像部分及び前記第1後側方画像に対応する第2画像部分の少なくとも一方の画角を変更する
    ことを特徴とする請求項1から5のいずれか一項に記載の画像表示装置。
  7. 車両の後方を撮像可能な後方撮像手段によって撮像された後方画像と左右一方側における前記車両の後側方を撮像可能な第1後側方撮像手段によって撮像された第1後側方画像とを合成して合成画像を生成する合成手段と、
    前記合成画像を表示する表示手段と
    を備え、
    前記合成手段は、前記合成画像を生成する際に、前記車両が左右一方側に進行することを通知するために作動可能な第1方向指示器に関する第1情報に基づいて、前記合成画像のうち前記後方画像に対応する第1画像部分及び前記第1後側方画像に対応する第2画像部分の少なくとも一方の画角を変更する
    ことを特徴とする画像表示装置。
  8. 前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している場合に、前記第1方向指示器が作動していないことを前記第1情報が示している場合と比較して、前記第2画像部分の画角が大きくなるように、前記第2画像部分の画角を変更する
    ことを特徴とする請求項6又は7に記載の画像表示装置。
  9. 前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が大きくなるほど、前記第2画像部分の画角が大きくなるように、前記第2画像部分の画角を変更する
    ことを特徴とする請求項6から8のいずれか一項に記載の画像表示装置。
  10. 前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している場合に生成される前記合成画像に、前記第1方向指示器が作動していないことを前記第1情報が示している場合に生成される前記合成画像に含まれる第1光景よりも左右一方側の側方の第2光景が含まれるように、前記第1及び第2画像部分の少なくとも一方の画角を変更する
    ことを特徴とする請求項6から9のいずれか一項に記載の画像表示装置。
  11. 前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が大きくなるほど前記第1光景から左右一方側の側方により多く離れた位置の前記第2光景が前記合成画像に含まれるように、前記第2画像部分の画角を変更する
    ことを特徴とする請求項6から10のいずれか一項に記載の画像表示装置。
  12. 前記合成手段は、前記車両の転舵輪の左右一方側への転舵角が所定の第2閾値より大きい場合に、前記第1情報に基づいて、前記第1及び第2画像部分の少なくとも一方の画角を変更し、前記転舵角が前記第2閾値より小さい場合に、前記第1及び第2画像部分の画角を変更しない
    ことを特徴とする請求項6から11のいずれか一項に記載の画像表示装置。
  13. 前記合成手段は、前記後方画像と、前記第1後側方画像と、左右他方側における前記車両の後側方を撮像可能な第2後側方撮像手段によって撮像された第2後側方画像とを合成して前記合成画像を生成し、
    前記合成手段は、前記合成画像を生成する際に、前記第1情報及び前記第1車両が左右他方側に進行することを通知するために作動可能な第2方向指示器に関する第2情報に基づいて、前記第1画像部分、前記第2画像部分及び前記合成画像のうち前記第2後側方画像に対応する第3画像部分の少なくとも一つの画角を変更し、
    前記合成手段は、前記第1方向指示器が作動していることを前記第1情報が示している一方で前記第2方向指示器が作動していないことを前記第2情報が示している場合に、前記第3画像部分の画角がゼロになるように、前記第3画像部分の画角を変更する
    ことを特徴とする請求項6から12のいずれか一項に記載の画像表示装置。
JP2017250901A 2017-12-27 2017-12-27 画像表示装置 Active JP7106859B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2017250901A JP7106859B2 (ja) 2017-12-27 2017-12-27 画像表示装置
KR1020180125817A KR102151654B1 (ko) 2017-12-27 2018-10-22 화상 표시 장치
US16/194,984 US11336839B2 (en) 2017-12-27 2018-11-19 Image display apparatus
CN201811547768.5A CN110027552B (zh) 2017-12-27 2018-12-18 图像显示装置
EP18214304.0A EP3505398B1 (en) 2017-12-27 2018-12-20 Image display apparatus
RU2018146006A RU2707696C1 (ru) 2017-12-27 2018-12-25 Устройство воспроизведения изображений на экране
BR102018077105-1A BR102018077105A2 (pt) 2017-12-27 2018-12-26 Aparelho de exibição de imagem
US17/696,508 US20220210344A1 (en) 2017-12-27 2022-03-16 Image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017250901A JP7106859B2 (ja) 2017-12-27 2017-12-27 画像表示装置

Publications (2)

Publication Number Publication Date
JP2019118016A true JP2019118016A (ja) 2019-07-18
JP7106859B2 JP7106859B2 (ja) 2022-07-27

Family

ID=64746297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017250901A Active JP7106859B2 (ja) 2017-12-27 2017-12-27 画像表示装置

Country Status (7)

Country Link
US (2) US11336839B2 (ja)
EP (1) EP3505398B1 (ja)
JP (1) JP7106859B2 (ja)
KR (1) KR102151654B1 (ja)
CN (1) CN110027552B (ja)
BR (1) BR102018077105A2 (ja)
RU (1) RU2707696C1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021046097A (ja) * 2019-09-18 2021-03-25 株式会社Subaru 車外モニタ装置
US11110862B2 (en) 2018-11-15 2021-09-07 Toyota Jidosha Kabushiki Kaisha Vehicle electronic mirror system
CN114103811A (zh) * 2020-09-01 2022-03-01 丰田自动车株式会社 车辆用周边监视装置
JP2022546137A (ja) * 2019-09-03 2022-11-02 ジャガー ランド ローバー リミテッド 制御システム及び方法
JP7496021B2 (ja) 2023-06-16 2024-06-05 株式会社Subaru 車外モニタ装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
JP7159802B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
US10926715B1 (en) * 2019-06-13 2021-02-23 Vidal M. Soler Vehicle camera system
CN110562141B (zh) * 2019-08-27 2021-05-28 中国第一汽车股份有限公司 一种流媒体后视镜及其显示方法
JP7440235B2 (ja) * 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法
CN111968184B (zh) * 2020-08-24 2024-04-02 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN112009371B (zh) * 2020-09-08 2022-05-31 恒大新能源汽车投资控股集团有限公司 车内后视镜全视野动态显示方法、存储介质及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2003081014A (ja) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
WO2004035352A1 (en) * 2002-10-15 2004-04-29 Tae-Soon Yeo Omnidirectional watching system for vehicle
JP2007158427A (ja) * 2005-11-30 2007-06-21 Alpine Electronics Inc 車両周辺画像表示装置
JP2008015759A (ja) * 2006-07-05 2008-01-24 Honda Motor Co Ltd 運転支援装置
US20110043634A1 (en) * 2008-04-29 2011-02-24 Rainer Stegmann Device and method for detecting and displaying the rear and/or side view of a motor vehicle
JP2011093495A (ja) * 2009-11-02 2011-05-12 Denso Corp 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
JP2014204132A (ja) * 2013-03-31 2014-10-27 株式会社村上開明堂 運転支援装置
JP2017034446A (ja) * 2015-07-31 2017-02-09 市光工業株式会社 車両周辺視認装置
JP2017521322A (ja) * 2014-06-19 2017-08-03 イヴェコ・エッセ・ピ・ア ビークルの運転を支援するためのバックビジョンシステム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JPH0935196A (ja) * 1995-07-17 1997-02-07 Mitsubishi Electric Corp 車両用周辺監視装置及び車両用周辺監視方法
US5956181A (en) * 1997-07-18 1999-09-21 Lin; William Two way mirror with dual functions of rear view mirror and video displayer
US6882917B2 (en) * 1999-07-30 2005-04-19 Oshkosh Truck Corporation Steering control system and method
JP2002036954A (ja) 2000-05-18 2002-02-06 Suekage Sangyo Kk 車両周辺監視装置および車両周辺監視システム
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
JP4468859B2 (ja) 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP5088669B2 (ja) 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
RU2432276C1 (ru) * 2010-07-07 2011-10-27 Осман Мирзаевич Мирза Способ наблюдения за дорожной ситуацией с движущегося транспортного средства (варианты)
KR101803973B1 (ko) * 2011-05-09 2017-12-01 엘지이노텍 주식회사 주차용 카메라 시스템과 그의 구동 방법
KR20130071842A (ko) * 2011-12-21 2013-07-01 에스엘 주식회사 차량의 주변 정보 제공 장치 및 방법
KR20130124762A (ko) * 2012-05-07 2013-11-15 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
KR101417383B1 (ko) * 2012-10-31 2014-07-08 현대자동차주식회사 룸미러 영상 제어 장치 및 방법
DE102013002111B4 (de) * 2013-02-08 2021-11-18 Mekra Lang Gmbh & Co. Kg Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
JP6737288B2 (ja) * 2016-01-13 2020-08-05 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
US10347129B2 (en) * 2016-12-07 2019-07-09 Magna Electronics Inc. Vehicle system with truck turn alert
DE102016015363A1 (de) * 2016-12-17 2018-06-21 Wabco Gmbh Verfahren zum Überwachen einer Fahrzeugumgebung eines Fahrzeug-Gespanns, sowie Überwachungssystem
KR102007228B1 (ko) * 2017-11-10 2019-08-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227318A (ja) * 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2003081014A (ja) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
WO2004035352A1 (en) * 2002-10-15 2004-04-29 Tae-Soon Yeo Omnidirectional watching system for vehicle
JP2007158427A (ja) * 2005-11-30 2007-06-21 Alpine Electronics Inc 車両周辺画像表示装置
JP2008015759A (ja) * 2006-07-05 2008-01-24 Honda Motor Co Ltd 運転支援装置
US20110043634A1 (en) * 2008-04-29 2011-02-24 Rainer Stegmann Device and method for detecting and displaying the rear and/or side view of a motor vehicle
JP2011093495A (ja) * 2009-11-02 2011-05-12 Denso Corp 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
JP2014204132A (ja) * 2013-03-31 2014-10-27 株式会社村上開明堂 運転支援装置
JP2017521322A (ja) * 2014-06-19 2017-08-03 イヴェコ・エッセ・ピ・ア ビークルの運転を支援するためのバックビジョンシステム
JP2017034446A (ja) * 2015-07-31 2017-02-09 市光工業株式会社 車両周辺視認装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11110862B2 (en) 2018-11-15 2021-09-07 Toyota Jidosha Kabushiki Kaisha Vehicle electronic mirror system
US11590893B2 (en) 2018-11-15 2023-02-28 Toyota Jidosha Kabushiki Kaisha Vehicle electronic mirror system
JP2022546137A (ja) * 2019-09-03 2022-11-02 ジャガー ランド ローバー リミテッド 制御システム及び方法
JP2021046097A (ja) * 2019-09-18 2021-03-25 株式会社Subaru 車外モニタ装置
JP7353111B2 (ja) 2019-09-18 2023-09-29 株式会社Subaru 車外モニタ装置
CN114103811A (zh) * 2020-09-01 2022-03-01 丰田自动车株式会社 车辆用周边监视装置
CN114103811B (zh) * 2020-09-01 2023-08-01 丰田自动车株式会社 车辆用周边监视装置
JP7496021B2 (ja) 2023-06-16 2024-06-05 株式会社Subaru 車外モニタ装置

Also Published As

Publication number Publication date
CN110027552B (zh) 2022-05-10
KR102151654B1 (ko) 2020-09-04
RU2707696C1 (ru) 2019-11-28
US20220210344A1 (en) 2022-06-30
EP3505398B1 (en) 2021-07-14
US20190199940A1 (en) 2019-06-27
KR20190079485A (ko) 2019-07-05
JP7106859B2 (ja) 2022-07-27
US11336839B2 (en) 2022-05-17
BR102018077105A2 (pt) 2019-07-16
EP3505398A1 (en) 2019-07-03
CN110027552A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
JP2019118016A (ja) 画像表示装置
US10029621B2 (en) Rear view camera system using rear view mirror location
JP4254887B2 (ja) 車両用画像表示システム
JP5500369B2 (ja) 車両周辺画像生成装置
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
JP7069692B2 (ja) 画像表示装置
CN107298050B (zh) 图像显示装置
JP5251804B2 (ja) 運転支援装置
JP2001055100A (ja) 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2010114618A (ja) 車両周辺監視システム
JP6733647B2 (ja) 画像表示装置
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP5966513B2 (ja) 車両の後側方撮影装置
JP6876236B2 (ja) 表示制御装置
JP6958147B2 (ja) 画像表示装置
JP6939494B2 (ja) 画像表示装置
JP6178580B2 (ja) 物体検出装置、物体検出システム及び物体検出方法
JP7080616B2 (ja) 車両用表示装置
US11823467B2 (en) Display control apparatus, vehicle, and display control method
US20230199137A1 (en) Display control apparatus, vehicle, and display control method
US20230103678A1 (en) Display control device, vehicle, and display control method
JP2004320525A (ja) 車両周辺視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220314

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R151 Written notification of patent or utility model registration

Ref document number: 7106859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151