JP2021190776A - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP2021190776A
JP2021190776A JP2020092677A JP2020092677A JP2021190776A JP 2021190776 A JP2021190776 A JP 2021190776A JP 2020092677 A JP2020092677 A JP 2020092677A JP 2020092677 A JP2020092677 A JP 2020092677A JP 2021190776 A JP2021190776 A JP 2021190776A
Authority
JP
Japan
Prior art keywords
image
vehicle
posterior
rear side
specific target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020092677A
Other languages
English (en)
Other versions
JP7347330B2 (ja
Inventor
敦俊 坂口
Atsutoshi Sakaguchi
友仁 日隈
Tomohito Hikuma
洋平 里見
Yohei Satomi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020092677A priority Critical patent/JP7347330B2/ja
Priority to US17/319,280 priority patent/US20210370920A1/en
Priority to CN202110521736.3A priority patent/CN113734049A/zh
Publication of JP2021190776A publication Critical patent/JP2021190776A/ja
Application granted granted Critical
Publication of JP7347330B2 publication Critical patent/JP7347330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】表示部に表示させる物標の視認性を向上させて、車両の乗員に周辺状況を認識させることができる車両用周辺監視装置を得る。【解決手段】電子ミラー装置１０では、左後側方カメラ１２と右後側方カメラ１４が車両５０の後側方を撮影し、後方カメラ１６が車両５０の後方を撮影する。電子ミラーＥＣＵ２２は、左後側方カメラ１２と右後側方カメラ１４で撮影された後側方画像と後方カメラ１６で撮影された後方画像において、互いに重複する画像領域である後側方重複領域と後方重複領域に物標が存在している場合であって、当該物標が後側方画像と後方画像の何れか一方にのみ視認される特定物標であると判定された場合に、当該特定物標に対応する特定物標表示を特定物標が視認されない後側方画像又は後方画像に重畳し、電子ミラーディスプレイ１８に表示させる。【選択図】図１

Description

本発明は、車両周辺監視装置に関する。
特許文献１には、車両後方を撮影する後方カメラで撮影された後方画像と車両の後側方を撮影する後側方カメラで撮影された後側方画像とを合成して第１合成画像を生成し、車室内に設けられた表示部に表示する電子ミラー装置が開示されている。この電子ミラー装置は、車両の後方から近接した後続車両によって発生する死角領域に物体が存在しているか否かを判定し、物体が存在している場合は、物体に対応する画像領域を含む後側方画像を後方画像に重畳した第２合成画像を生成する。そして、表示部に表示する画像を第２合成画像に切り替えるように構成されている。
特開２０２０−０２８０２７号公報
上記特許文献１に記載の技術では、第１合成画像は、後方画像と後側方画像が連続した画像として視認されるのに対し、第２合成画像は、後方画像に後側方画像を重畳した部分で後方画像と後側方画像の画角が異なるため、画像が不連続に表示される。従って、同一の物体でも第１合成画面で視認する場合と第２合成画面で視認する場合とで見え方が変わるため、表示部を視認する乗員に煩わしさを感じさせるという課題がある。
本発明は上記事実を考慮し、表示部の視認性を向上させて、車両の乗員に周辺状況を効果的に認識させることができる車両用周辺監視装置を得ることが目的である。
請求項１に記載の本発明に係る車両周辺監視装置は、車両の後側方を撮影する後側方撮影部と、車両の後方を撮影する後方撮影部と、前記後側方撮影部で撮影された後側方画像のうち、前記後方撮影部で撮影した後方画像と重複している後側方重複領域、及び前記後方画像のうち、前記後側方画像と重複している後方重複領域に存在する物標を検知する検知部と、前記検知部で検知された前記物標の中に、前記後側方画像中の前記後側方重複領域と前記後方画像中の前記後方重複領域の何れか一方にのみ視認される特定物標が含まれているか否かを判定する判定部と、前記判定部により前記特定物標が含まれていると判定された場合に、前記特定物標が視認されない前記後側方画像又は前記後方画像に前記特定物標に対応する特定物標表示を重畳し、車室内に設けられた少なくとも一つの表示部に表示させる表示制御部と、を有する。
請求項１に記載の本発明では、後側方撮影部が車両の後側方を撮影し、後方撮影部が車両の後方を撮影する。また、表示制御部は、後側方撮影部で撮影された後側方画像と後方撮影部で撮影された後方画像とを車室内に設けられた少なくとも一つの表示部に表示させる。ここで、後側方画像のうち、後方画像と重複している後側方重複領域、及び前記後方画像のうち、前記後側方画像と重複している後方重複領域は、車両の後方側から接近した他の車両等により後側方画像中又は後方画像中の死角となる場合がある。これに対して検知部は、後側方重複領域及び後方重複領域に存在する物標を検知する。また、判定部は、検知部で検知された物標の中に、後側方重複領域と後方重複領域の何れか一方にのみ認識される特定物標が含まれているか否かを判定する。また、表示制御部は、判定部により特定物標が含まれていると判定された場合に、特定物標が視認されない後側方画像又は後方画像に特定物標に対応する特定物標表示を重畳し、表示部に表示する。すなわち、検知部で検知された物標の中において、後側方重複領域と後方重複領域の何れか一方にのみ認識される特定物標は、車両の後方側に近接した他の車両等で遮蔽されて、後側方画像中又は後方画像中の死角となった領域に存在する物標である。このため、特定物標が視認されない後側方画像又は後方画像に特定物標に対応する特定物標表示を重畳し、表示させることにより、車両の後方側に近接した他の車両等の後方に特定物標が存在することを乗員に認識させることができる。また、表示制御部は、特定物標が視認されない後側方画像又は後方画像に特定物標表示のみを重畳させるため、表示部に表示される画像中の特定物標表示以外の領域では一定の画角が維持された画像が表示される。このため、画像中の特定物標表示を認識が容易であり、特定物標表示を表示する前後で特定物標表示の見落としや誤認が発生することを抑制することができる。
このようにして、車両の後方側から接近した他の車両等により後側方画像中又は後方画像中の死角に存在する特定物標に対する乗員の視認性が向上する。その結果、表示部に表示させる物標の視認性を向上させて、車両の乗員に周辺状況を効果的に認識させることができる。
請求項２に記載の本発明に係る車両周辺監視装置は、請求項１に記載の構成において、前記特定物標が、前記車両の後側方に接近した後側方接近車両により発生する前記後側方画像中の第１死角領域に存在する場合に、前記表示制御部は、前記後側方接近車両により前記特定物標が視認されない前記後側方画像中に、前記後方画像中で視認される前記特定物標に対応する前記特定物標表示を重畳し、前記表示部に表示させる。
これにより、車両の後側方に接近した後側方接近車両によって発生する後側方画像中の第１死角領域に物標が存在する場合でも、当該物標が特定物標と判定されることで、後側方画像中に特定物標表示の態様で表示させることができる。これにより、乗員は、特定物標表示を視認することにより後側方接近車両の後方付近に特定物標が存在することを知ることができ、後側方接近車両の後方側の周辺状況を明確に認識することができる。
請求項３に記載の本発明に係る車両周辺監視装置は、請求項１又は請求項２に記載の構成において、前記特定物標が、前記車両の後方に接近した後方接近車両により発生する前記後方画像中の第２死角領域に存在する場合に、前記表示制御部は、前記後方接近車両により前記特定物標が視認されない前記後方画像中に、前記後側方画像中で視認される前記特定物標に対応する前記特定物標表示を重畳し、前記表示部に表示させる。
これにより、車両の後方に接近した後方接近車両によって発生する後方画像中の第２死角領域に物標が存在する場合でも、当該物標が特定物標と判定されることで、後方画像中に特定物標表示の態様で表示させることができる。これにより、乗員は、特定物標表示を視認することにより後側方接近車両の後方付近に特定物標が存在することを知ることができ、後方接近車両の後方側の周辺状況を明確に認識することができる。
請求項４に記載の本発明に係る車両周辺監視装置は、請求項１〜請求項３の何れか１項に記載の構成において、前記表示制御部は、仮想投影面上で前記後側方画像又は前記後方画像の何れか一方から前記後側方重複領域又は後方重複領域を削除し、何れか一方から前記後側方重複領域又は後方重複領域を削除した前記後側方画像と後方画像とを単一の画像に合成処理して一つの前記表示部に表示させる。
これにより、表示部に表示される後側方処理画像と後方処理画像とが連続した画像になるので、車両後方を目視した場合に近い画像を表示部に表示させることができる。その結果、特定物標を認識する際の乗員の負担が低減され、表示部の視認性が向上する。
請求項５に記載の本発明に係る車両周辺監視装置は、請求項１〜請求項３の何れか１項に記載の構成において、前記表示制御部は、仮想投影面上で前記後側方重複領域を含む前記後側方画像と前記後方重複領域を含む前記後方画像とを複数の表示部にそれぞれ個別に表示する。
これにより、乗員は、仮想投影面上の後側方重複領域を含む後側方画像と後方重複領域を含む後方画像とを目視することができるため、車両後方の周辺状況を広範囲に認識することができる。また、複数の表示部には、特定物標とこれに対応する特定物標表示の両方が表示されるため、複数の表示部から特定物標の位置を明確に認識することができる。その結果、表示部の視認性が向上する。
請求項６に記載の本発明に係る車両周辺監視装置は、請求項１〜請求項５の何れか１項に記載の構成において、前記表示制御部は、前記後側方画像又は前記後方画像に前記特定物標表示を重畳し、前記表示部に表示することを、前記特定物標が前記車両に接近しているときに行う。
請求項６に記載の本発明では、特定物標表示を表示部に表示させることが、より危険度が高いとき、すなわち、特定物標が車両に接近しているときに行うようにすることで、乗員に、効果的な注意喚起を行うことができる。
また、請求項１〜請求項６の何れか１項に記載の構成において、例えば請求項７に記載したように、車両周辺監視装置は、前記車両に搭載された電子ミラー装置であってもよい。
以上説明したように、請求項１に係る車両周辺監視装置は、表示部の視認性を向上させて、車両の乗員に、周辺状況を効果的に認識させることができるという優れた効果を有する。
請求項２に係る車両周辺監視装置は、後側方接近車両の後方側の周辺状況を乗員に明確に認識させることができるという優れた効果を有する。
請求項３に係る車両周辺監視装置は、乗員に、後方接近車両の後方側の周辺状況を乗員に明確に認識させることができるという優れた効果を有する。
請求項４に係る車両周辺監視装置は、特定物標を認識する際の乗員の負担を低減させ、表示部の視認性を向上させることができるという優れた効果を有する。
請求項５に係る車両周辺監視装置は、車両後方の周辺状況を広範囲に表示させ、且つ、特定物標の位置を明確に認識し得る態様で特定物標表示を表示させることにより、表示部の視認性を向上させることができるという優れた効果を有する。
請求項６に係る車両周辺監視装置は、車両後方の特定物標について、乗員に対し、効果的な注意喚起を行うことができるという優れた効果を有する。
請求項７に係る車両周辺監視装置は、電子ミラー装置の表示部の視認性を向上させて、車両の乗員に周辺状況を効果的に認識させることができるという優れた効果を有する。
第１実施形態に係る電子ミラー装置のハード構成を示すブロック図である。 第１実施形態に係る電子ミラー装置の機能構成を示すブロック図である。 第１実施形態に係る電子ミラー装置の後側方カメラや表示部の配置位置を示す図であって、電子ミラー装置を有する車両の車室内を車両後方側から見た斜視図である。 後側方カメラ及び後方カメラの撮影範囲及び後側方画像の後側方重複領域と後方画像の後方重複領域を示す平面図である。 後側方処理画像と後方処理画像とを単一の画像に合成処理して表示部に表示した状態の一例を示すイメージ図である。 電子ミラーＥＣＵが実行する重畳処理の一例を示すフローチャートである。 後側方接近車両により発生する第１死角領域と、第１死角領域に特定物標が存在している状況の一例を示す平面図である。 後方接近車両により発生する第２死角領域と、第２死角領域に特定物標が存在している状況の一例を示す平面図である。 図７の第１死角領域に存在する特定物標に対応する特定物標表示の一例を示すイメージ図である。 図８の第２死角領域に存在する特定物標に対応する特定物標表示の一例を示すイメージ図である。 特定物標表示の一例を示す図９に対応するイメージ図である。 第２実施形態に係る電子ミラー装置のハード構成を示すブロック図である。 第２実施形態に係る電子ミラー装置の機能構成を示すブロック図である。 第１死角領域に存在する特定物標に対応する特定物標表示の一例を示す図９に対応するイメージ図である。 特定物標表示の一例を示す図１４に対応するイメージ図である。
（ハードウェア構成）
以下、図１〜図１１を用いて本発明における第１実施形態を説明する。図１に示す車載システム４０はバス４２を含み、バス４２には互いに異なる制御を行う複数の電子制御ユニット及び複数のセンサユニットが各々接続されている。なお、図１は車載システム４０のうち本発明に関係する一部のみ示している。個々の電子制御ユニットは、ＣＰＵ、メモリ及び不揮発性の記憶部を含む制御ユニットであり、以下、ＥＣＵ(Electronic Control Unit)と称する。バス４２に接続されている複数のＥＣＵには電子ミラーＥＣＵ２２が含まれている。
電子ミラーＥＣＵ２２には、左後側方カメラ１２、右後側方カメラ１４、後方カメラ１６、電子ミラーディスプレイ１８及びカメラ格納ＡＣＴ(アクチュエータ)２０が各々接続されている。これらの電子ミラーＥＣＵ２２、左後側方カメラ１２、右後側方カメラ１４、後方カメラ１６、電子ミラーディスプレイ１８及びカメラ格納ＡＣＴ２０は電子ミラー装置１０を構成しており、電子ミラー装置１０は車両用周辺監視装置の一例である。なお、電子ミラー装置１０のうち、電子ミラーディスプレイ１８は表示部の一例である。
図３に示すように、車両の左サイドドア(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、およそ直方体形状で先端部が円弧状とされたカメラ支持体３２Ｌの基部が、当該カメラ支持体３２Ｌの先端部が車両外側へ突出するように取り付けられている。カメラ支持体３２Ｌの先端部付近には左後側方カメラ１２が取り付けられており、左後側方カメラ１２は撮影光軸(レンズ)が車両の左後側方に向けられ、車両の左後側方を撮影する。カメラ支持体３２Ｌは車両前後方向に回動可能とされており、カメラ格納ＡＣＴ２０の駆動力により、カメラ支持体３２Ｌの長手方向が車両の外側面におよそ沿う格納位置、又は、左後側方カメラ１２が車両の左後側方を撮影する復帰位置へ回動される。
左後側方カメラ１２は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、カメラ支持体３２Ｌが復帰位置に位置している状態で、図４に示す一定の撮影範囲６２を撮影する。また、本実施形態では、車両５０の後方の仮想投影面６６上に投影された車両左側の後側方画像６２Ａを左後側方カメラ１２で撮影された後側方画像とする。また、左後側方カメラ１２の撮影範囲６２は、後方カメラ１６の撮影範囲６０と一部重複しており、後側方画像６２Ａのうち、仮想投影面６６上に投影された後方カメラ１６の後方画像６０Ａと重複する後側方重複領域を６２Ａ１として図４に示す。
また、車両の右サイドドア(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、カメラ支持体３２Ｌと左右対称の形状のカメラ支持体３２Ｒの基部が取り付けられている。カメラ支持体３２Ｒの先端部付近には右後側方カメラ１４が取り付けられており、右後側方カメラ１４は撮影光軸(レンズ)が車両の右後側方に向けられ、車両の右後側方を撮影する。カメラ支持体３２Ｒも車両前後方向に回動可能とされており、カメラ格納ＡＣＴ２０の駆動力により、カメラ支持体３２Ｒの長手方向が車両の外側面におよそ沿う格納位置、又は、右後側方カメラ１４が車両の右後側方を撮影する復帰位置へ回動される。
右後側方カメラ１４は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、カメラ支持体３２Ｒが復帰位置に位置している状態で、図４に示す一定の撮影範囲６４を撮影する。また、本実施形態では、車両５０の後方の仮想投影面６６上に投影された車両右側の後側方画像６４Ａを右後側方カメラ１４で撮影された後側方画像とする。また、右後側方カメラ１４の撮影範囲６４は、後方カメラ１６の撮影範囲６０と一部重複しており、後側方画像６４Ａのうち、仮想投影面６６上に投影された後方カメラ１６の後方画像６０Ａと重複する後側方重複領域を６４Ａ１として図４に示す。
後方カメラ１６は、車両５０(図４参照)の後部に配置されており、撮影光軸(レンズ)が車両の後方へ向けられ、車両５０の後方を撮影する。なお、後方カメラ１６の配置位置は車両５０の後方を撮影可能な位置であればよく、車両５０の後端部(例えばリヤバンパ付近)に配置されていてもよいし、リヤウインドシールドガラス越しに車両５０の後方を撮影するように配置されていてもよい。後方カメラ１６は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、図４に示す一定の撮影範囲６０を撮影する。本実施形態では、車両５０の後方の仮想投影面６６上に投影された中央の後方画像６０Ａを後方カメラ１６で撮影された後方画像とする。また、後方画像６０Ａのうち、仮想投影面６６上に投影された車両左側の後側方画像６２Ａと車両右側の後側方画像６４Ａと重複する領域を後方重複領域６０Ａ１として図４に示す。
また、車両のインストルメントパネルの中央部には中央モニタ３４が設けられており、中央モニタ３４から車両上方へ間隔を隔てた位置に電子ミラーディスプレイ１８が設けられている。電子ミラーディスプレイ１８は、電子ミラーＥＣＵ２２により、左後側方カメラ１２によって撮影された左後側方画像(動画像)、右後側方カメラ１４によって撮影された右後側方画像(動画像)及び、後方カメラ１６によって撮影された後方画像(動画像)、に後述する合成処理を施して合成した画像が表示される。
図１に示すように、電子ミラーＥＣＵ２２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２８、及びストレージ３０を含んでいる。
ＣＰＵ２４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２４は、ＲＯＭ２６又はストレージ３０からプログラムを読み出し、ＲＡＭ２８を作業領域としてプログラムを実行する。
（機能構成）
図２は、電子ミラーＥＣＵ２２の機能構成を示すブロック図である。この図に示されるように、電子ミラーＥＣＵ２２は、後側方撮影部２２０、後方撮影部２３０、検知部２４０、判定部２５０、表示制御部２６０を有している。各機能構成は、ＲＯＭ２６又はストレージ３０に記憶されている実行プログラムを読み出し、これを実行することによって実現される。
後側方撮影部２２０は、左後側方カメラ１２と右後側方カメラ１４によって車両５０の左右の後側方を動画にて撮影し、撮影された後側方画像を検知部２４０及び表示制御部２６０に出力する。
後方撮影部２３０は、後方カメラ１６によって車両５０の後方を動画にて撮影し、撮影された後方画像を検知部２４０及び表示制御部２６０に出力する。
検知部２４０は、後側方画像６２Ａ、６４Ａと後方画像６０Ａを解析し、後側方画像６２Ａ、６４Ａのうち、後方画像６０Ａと重複している後側方重複領域６２Ａ１、６４Ａ１、及び後方画像６０Ａのうち、後側方画像６２Ａ、６４Ａと重複している左右の後方重複領域６０Ａ１に存在する物標を検知する。そして、検知された物標に関する情報を判定部２５０に出力する。なお、検知部２４０は、車両５０の後方を検出範囲とするレーダなどの検出結果に基づいて後側方重複領域６２Ａ１、６４Ａ１及び後方重複領域６０Ａ１に対応する領域内に存在する物標を検知する構成としてもよい。
判定部２５０は、検知部２４０から出力された物標に関する情報に基づいて、後側方重複領域６２Ａ１、６４Ａ１及び後方重複領域６０Ａ１に存在する物標の中に、後側方重複領域６２Ａ１、６４Ａ１及び後方重複領域６０Ａ１の何れか一方にのみ認識される特定物標が含まれているか否かを判定する。この判定部２５０は、例えば、後側方画像６２Ａ、６４Ａと後方画像６０Ａを解析し、後側方画像６２Ａ、６４Ａで検知された物標と後方画像６０Ａで検知された物標とを対比することにより行う。
表示制御部２６０は、後側方撮影部２２０及び後方撮影部２３０から出力された後側方画像６２Ａ、６４Ａと後方画像６０Ａに合成処理を施した画像を生成し、電子ミラーディスプレイ１８に表示させる機能を有する。また、この合成処理のルーチンには、車両５０の後側方に接近する後側方接近車両５２（図７参照）又は車両５０の後方に接近する後方接近車両５４（図８参照）が検知された場合に、後側方画像及び後方画像に特定物標表示を重畳し、表示させる重畳処理（図６参照）がサブルーチンとして含まれている。
（作用並びに効果）
次に、第１実施形態の作用と共に、図４及び図５を用いて、電子ミラーＥＣＵ２２は、左右の後側方カメラ１２、１４で撮影された後側方画像と、後方カメラ１６で撮影された後方画像を電子ミラーディスプレイ１８に表示させるに合成処理を説明する。この合成処理を具体的に説明すると、電子ミラーＥＣＵ２２は、左後側方カメラ１２及び右後側方カメラ１４によって撮影された仮想投影面６６上の後側方画像６２Ａ、６４Ａを抽出する。
次のステップにおいて、電子ミラーＥＣＵ２２は、後方カメラ１６によって撮影された仮想投影面６６上の後方画像６０Ａから、左右の後方重複領域６０Ａ１を削除した抽出領域６０Ａ２に相当する画像を抽出する。
次のステップにおいて、電子ミラーＥＣＵ２２は、後側方画像６２Ａを抽出領域６０Ａ２の左側に合成し、後側方画像６４Ａを抽出領域６０Ａ２の右側に合成して単一の画像を生成する。
次のステップにおいて、電子ミラーＥＣＵ２２は、単一の画僧として合成された後側方画像６２Ａ、６４Ａ、及び抽出領域６０Ａ２を電子ミラーディスプレイ１８に表示させる。上記合成処理により電子ミラーディスプレイ１８に表示される画像の一例を図５に示す。
図５に示されるように、電子ミラーディスプレイ１８に表示される画像は、仮想投影面６６上で後方画像６０Ａから左右の後方重複領域６０Ａ１を削除して抽出領域６０Ａ２の画像を生成し、後側方画像と後方画像とを単一の画像に合成処理することで生成される。これにより、電子ミラーディスプレイ１８に表示される後側方画像と後方画像とが滑らかに連続した画像になり、車両５０の後方を目視した場合に近い画像を電子ミラーディスプレイ１８に表示させることができる。その結果、後述する特定物標を認識する際の乗員の負担が低減され、電子ミラーディスプレイ１８の視認性が向上する。
次のステップで、電子ミラーＥＣＵ２２は、車両５０の後側方に接近する後側方接近車両５２（図７参照）又は車両５０の後方に接近する後方接近車両５４（図８参照）が存在しているか否かを判定する。なお、後側方接近車両５２及び後方接近車両５４は、例えば後側方画像６２Ａ、６４Ａ、及び後方画像６０Ａを解析することで検知することができ、後側方画像６２Ａ、６４Ａ、及び後方画像６０Ａに含まれる後側方接近車両５２又は後方接近車両５４に対応する画像領域のサイズが所定値以上か否かに基づいて、比較的近い距離に後側方接近車両５２や後方接近車両５４が存在しているか否かを判定することができる。また、後側方接近車両５２又は後方接近車両５４の有無の判定は、例えば、車両５０の後方を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。この場合、車両５０と後側方接近車両５２又は後方接近車両５４との距離をより正確に判定することができる。
上記判定が否定された場合、すなわち、後側方接近車両５２又は後方接近車両５４の何れも存在していないと判定された場合は、合成処理ステップのスタートに戻り、上記ステップを繰り返す。この間、後側方画像と後方画像を合成した単一の画像の生成・表示が継続される。
一方、一例として図７に示すように、車両５０の右側後側方に後側方接近車両５２が存在している場合、上記ステップの判定が肯定されて、上記合成処理にサブルーチンとして含まれる重畳処置を実行する（図６参照）。図７に示すように、車両５０の右側後側方に後側方接近車両５２が走行している場合、後側方接近車両５２によって右後側方カメラ１４の後側方画像６４Ａ中に第１死角領域７０が発生する。この第１死角領域７０には、右後側方カメラ１４の後側方重複領域６４Ａ１が含まれる。従って、右後側方カメラ１４の後側方重複領域６４Ａ１に二輪車５６が存在する場合、二輪車５６は、後側方接近車両５２に遮られて電子ミラーディスプレイ１８の後側方画像に現れないことになる（図９参照）。これにより、電子ミラーディスプレイ１８を視認した乗員により、二輪車５６の存在が認識されない虞があるため、例えば、車両５０が、後側方接近車両５２の後方で右側の車線にレーンチェンジしようとした場合、二輪車５６と接触する危険性が高まる。このため、以降の重畳処理では、後述するように、二輪車５６に対応する特定物標表示Ｍを後側方画像に重畳した画像を生成・表示する。
また、一例として、図８に示すように、車両５０の後方に後方接近車両５４が存在している場合、上記ステップの判定が肯定されて、同様に重畳処理が実行される。図８に示すように、車両５０の後方に後方接近車両５４が走行している場合、後方接近車両５４によって後方カメラ１６の後方画像６０Ａ中に第２死角領域７２が発生する。この第２死角領域７２には、後方カメラ１６の後方重複領域６０Ａ１が含まれている。従って、車両５０の右側の後方重複領域６０Ａ１に二輪車５６が存在する場合、二輪車５６は、後方接近車両５４によって電子ミラーディスプレイ１８の後方画像で視認されず、後側方画像では、後方接近車両５４によって一部遮られた状態で視認される場合がある（図１０参照）。これにより、電子ミラーディスプレイ１８を視認した乗員により、二輪車５６の存在が認識されない虞があるため、車両５０が、右側の車線にレーンチェンジしようとした場合、二輪車５６と接触する危険性が高まる。このため、重畳処理により、二輪車５６に対応する特定物標表示Ｍを後方画像に重畳した画像を生成・表示する。
具体的には、図６に示すように、ステップＳ１００において、電子ミラーＥＣＵ２２は、左右の後側方画像６２Ａ、６４Ａの後側方重複領域６２Ａ１、６４Ａ１、及び後方画像６０Ａの左右の後方重複領域６０Ａ１に存在する物標を検知する。
次のステップＳ１０１において、電子ミラーＥＣＵ２２は、後側方重複領域６２Ａ１、６４Ａ１、及び後方重複領域６０Ａ１で検知された物標の中に、車両５０の左側の後側方重複領域６２Ａ１と、後方重複領域６０Ａ１の何れか一方にのみ視認される特定物標、及び、車両５０の右側の後側方重複領域６４Ａ１と、後方重複領域６０Ａ１の何れか一方にのみ視認される特定物標が含まれているか否かを判定する。ステップＳ１０１の判定が肯定された場合はステップＳ１０２に移行する。また、ステップＳ１０１の判定で否定された場合は重畳処理を終了して合成処理のステップに戻る。
一例として、上述した図７のように車両５０の右側の後側方に後側方接近車両５２が走行している場合、二輪車５６は、後側方接近車両５２により発生した第１死角領域７０に存在するため、右後側方カメラ１４の撮影した後側方画像６４Ａで視認されない。従って、ステップＳ１００では、後側方画像６４Ａと後方画像６０Ａの画像認識により、車両５０の右後側方カメラ１４に対応する後側方重複領域６４Ａ１からは物標（二輪車５６）の存在が検知（視認）されず、一方、後方カメラ１６に対応する右側の後方重複領域６０Ａ１から物標として二輪車５６が検知（視認）される。そして、次のステップＳ１０１では、ステップＳ１００で検知された二輪車５６が、後方重複領域６０Ａ１の一方でのみ視認された特定物標とされる。よって、ステップＳ１０１において、電子ミラーＥＣＵ２２は、ステップＳ１００で検知された物標（図７の例では二輪車５６のみ）の中に特定物標（二輪車５６）が含まれると判定する。
また、図８のように、車両５０の後方に後方接近車両５４が走行している場合、二輪車５６は、後方接近車両５４により発生した第２死角領域７２に存在するため、後方カメラ１６の後方画像６０Ａで視認されない。従って、ステップＳ１００では、右後側方カメラ１４に対応する後側方画像６４Ａと後方画像６０Ａの画像認識により、後側方重複領域６４Ａ１からは物標（二輪車５６）の存在が検知（視認）され、一方、後方重複領域６０Ａ１から物標の存在が検知（視認）されない。そして、次のステップＳ１０１では、ステップＳ１００で検知された二輪車５６が、後側方重複領域６４Ａ１の一方でのみ視認された特定物標とされる。よって、ステップＳ１０１において、電子ミラーＥＣＵ２２は、ステップＳ１００で検知された物標（図９の例では二輪車５６のみ）の中に特定物標（二輪車５６）を含まれると判定する。
ステップＳ１０２において、電子ミラーＥＣＵ２２は、特定物標が車両５０に接近しているか否かを判定する。ステップＳ１０２の判定は、特定物標が認識された後側方画像６２Ａ、６４Ａ又は後方画像６０Ａに特定物標（図７、図８では二輪車５６）に相当する領域が存在し、且つ、当該領域のサイズが時間経過に伴って大きくなっているか否かを判定することで実現できる。なお、車両５０の後側方を含む範囲を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。
ステップＳ１０２の判定が肯定されると、ステップＳ１０３へ移行する。また、ステップＳ１０２の判定で否定された場合は、重畳処理を終了して合成処理のステップに戻る。ステップＳ１０３において、電子ミラーＥＣＵ２２は、特定物標が視認されない後側方画像又は後方画像に特定物標に対応する特定物標表示を重畳し、電子ミラーディスプレイ１８に表示する。
一例として図７に示す状況では、電子ミラーＥＣＵ２２は、特定物標としての二輪車５６が視認されない右後側方カメラ１４に対応する後側方画像６４Ａに対し、右側の後方重複領域６０Ａ１で視認される二輪車５６に対応する特定物標表示Ｍを重畳した画像を生成する。そして、図９に示されるように、電子ミラーＥＣＵ２２は、生成した後側方画像を電子ミラーディスプレイ１８に表示する。特定物標表示Ｍは、例えば、特定物標（二輪車５６）を囲う枠線として表示される。
特定物標表示Ｍは、後側方画像６４Ａに現れた後側方接近車両５２に重畳して表示される。これにより、電子ミラーディスプレイ１８を視認した乗員が、後側方接近車両５２の後方側に二輪車５６が存在することを認識することができる。
一方、図８に示す状況の場合、電子ミラーＥＣＵ２２は、特定物標としての二輪車５６が視認されない後方カメラ１６に対応する後方画像６０Ａに対し、右側の後側方カメラ１４の後側方重複領域６４Ａ１で視認される二輪車５６に対応する特定物標表示Ｍを重畳した画像を生成する。そして、図１０に示されるように、電子ミラーＥＣＵ２２は、生成した後方画像を電子ミラーディスプレイ１８に表示する。
特定物標表示Ｍは、後方処理画像に現れた後方接近車両５４に重畳して表示される。これにより、電子ミラーディスプレイ１８を視認した乗員が、後方接近車両５４の後側方に接近する二輪車５６の存在を認識することができる。
なお、特定物標表示Ｍは、所定のアイコンでもよい。また、表示された特定物標表示を点滅させ、特定物標と車両５０との距離が近づくにつれて点滅の回数が増えるように構成してもよい。また、図１１に示す一例のように、後側方画像６２Ａ、６４Ａ又は後方画像６０Ａで認識された特定物標（二輪車５６）に対応する部分の画像を抽出し、特定物標表示Ｍとしてもよい。また、この特定物標表示Ｍを構成する画像は、電子ミラーディスプレイ１８に表示される他の画像よりも視認性が低くなるように透過した画像として生成してもよい。
〔第２実施形態〕
以下、図１２〜図１５を用いて、本発明における第２実施形態を説明する。なお、前述した第１実施形態と同一構成部分については、同一番号を付してその説明を省略する。この第２実施形態に係る車載システム８０は、基本的な構成は第１実施形態と同様とされるが、左後側方カメラ１２、右後側方カメラ１４、後方カメラ１６で撮影された後側方画像及び後方画像が複数の表示部に個別に表示される点に特徴がある（図１４参照）。
（ハードウェア構成）
すなわち、車載システム８０は、電子ミラーＥＣＵ９２、左後側方カメラ１２、右後側方カメラ１４、後方カメラ１６、電子ミラーディスプレイ９４及びカメラ格納ＡＣＴ２０で構成された電子ミラー装置９０を備えている。また、表示部としての電子ミラーディスプレイ９４は、左ディスプレイ９４Ａと右ディスプレイ９４Ｂ、及び中央ディスプレイ９４Ｃを備えている。左ディスプレイ９４Ａは、左後側方カメラ１２で撮影された画像を表示する。右ディスプレイ９４Ｂは、右後側方カメラ１４で撮影された画像を表示する。中央ディスプレイ９４Ｃは、後方カメラ１６で撮影された画像を表示する。
（機能構成）
図１３は、電子ミラーＥＣＵ９２の機能構成を示すブロック図である。表示制御部９６０は、図４に示す仮想投影面６６上の左右の後側方画像６２Ａ、６４Ａを抽出し、左ディスプレイ９４Ａ及び右ディスプレイ９４Ｂにそれぞれ表示する。つまり、表示制御部９６０は、後側方重複領域６２Ａ１、６４Ａ１を含む後側方画像６２Ａ、６４Ａを後側方画像として電子ミラーディスプレイ９４に表示する。
また、表示制御部９６０は、図４に示す仮想投影面６６上の後方画像６０Ａを抽出し、中央ディスプレイ９４Ｃに表示する。つまり、表示制御部９６０は、後方重複領域６０Ａ１を含む後方画像６０Ａを後方画像として電子ミラーディスプレイ９４に表示する。
また、表示制御部９６０は、上記第１実施形態の表示制御部２６０と同様に、図６に示す重畳処理を実行する。なお、後側方撮影部９２０、後方撮影部９３０、検知部９４０、判定部９５０は、第１実施形態の後側方撮影部２２０、後方撮影部２３０、検知部２４０、判定部２５０と同様の機能であるため説明を割愛する。
（作用並びに効果）
上記構成の電子ミラー装置９０は、後側方処理画像と後方画像が個別に表示される点以外は第１実施形態の電子ミラー装置１０と同様に構成されているので、第１実施形態と同様の効果が得られる。
また、図１４に示されるように、車室内の乗員は、仮想投影面６６上の左右の後側方重複領域６２Ａ１、６４Ａ１を含む後側方画像６２Ａ、６４Ａと仮想投影面６６上の左右の後方重複領域６０Ａ１を含む後方画像６０Ａを目視することができる。このため、電子ミラーディスプレイ９４を目視した乗員が、車両後方の周辺状況を広範囲に認識することができる。なお、図１４のイメージ図は、一例として図７に示す状況において、電子ミラーディスプレイ９４に表示される後側方画像と後方画像である。
また、本実施形態では、左ディスプレイ９４Ａと右ディスプレイ９４Ｂ、中央ディスプレイ９４Ｃで構成された電子ミラーディスプレイ９４に、特定物標（二輪車５６）とこれに対応する特定物標表示Ｍの両方が表示される。このため、特定物標の画像と特定物標表示Ｍを複数のディスプレイで視認することにより、特定物標の位置を明確に認識することができる。その結果、電子ミラーディスプレイ９４の視認性が向上する。
なお、本実施形態のように、電子ミラーディスプレイ９４に、特定物標（二輪車５６）とこれに対応する特定物標表示Ｍの両方が表示される場合、図１５に示す一例のように、特定物標（二輪車５６）の画像に特定物標表示Ｍと同様の表示を重畳させて表示してもよい。これにより、特定物標と特定物標表示がそれぞれ異なるディスプレイに表示された場合でも、乗員が、同様の表示を目視することで同一の物標に関する情報であると迅速に認識することができる。
上記第１実施形態では、仮想投影面６６上の左後側方カメラ１２の後側方画像６２Ａと右後側方カメラ１４の後側方画像６４Ａが本発明の後側方画像として電子ミラーディスプレイ１８に表示され、後方カメラ１６の後方画像６０Ａから左右の後方重複領域６０Ａ１を削除した抽出領域６０Ａ２が本発明の後方画像として電子ミラーディスプレイ１８に表示される構成となっている。しかし、本発明はこれに限らず、後側方画像６２Ａ、６４Ａから後側方重複領域６２Ａ１、６４Ａ１を削除して抽出した画像を本発明の後側方画像として電子ミラーディスプレイ１８に表示し、仮想投影面６６上の後方画像６０Ａを本発明の後方画像として電子ミラーディスプレイ１８に表示させる構成としてもよい。
１０ 電子ミラー装置（車両周辺監視装置）
１８ 電子ミラーディスプレイ（表示部）
５０ 車両
５２ 後側方接近車両
５４ 後方接近車両
５６ 二輪車（特定物標）
６０Ａ 後方画像
６２Ａ 後側方画像
６２Ａ１後側方重複領域
６４Ａ 後側方画像
６４Ａ１後側方重複領域
６６ 仮想投影面
７０ 第１死角領域
７２ 第２死角領域
９０ 電子ミラー装置
９４ 電子ミラーディスプレイ（表示部）
２２０ 後側方撮影部
２３０ 後方撮影部
２４０ 検知部
２５０ 判定部
２６０ 表示制御部
９２０ 後側方撮影部
９３０ 後方撮影部
９４０ 検知部
９５０ 判定部
９６０ 表示制御部
Ｍ 特定物標表示

Claims (7)

  1. 車両の後側方を撮影する後側方撮影部と、
    車両の後方を撮影する後方撮影部と、
    前記後側方撮影部で撮影された後側方画像のうち、前記後方撮影部で撮影した後方画像と重複している後側方重複領域、及び前記後方画像のうち、前記後側方画像と重複している後方重複領域に存在する物標を検知する検知部と、
    前記検知部で検知された前記物標の中に、前記後側方画像中の前記後側方重複領域と前記後方画像中の前記後方重複領域の何れか一方にのみ視認される特定物標が含まれているか否かを判定する判定部と、
    前記判定部により前記特定物標が含まれていると判定された場合に、前記特定物標が視認されない前記後側方画像又は前記後方画像に前記特定物標に対応する特定物標表示を重畳し、車室内に設けられた少なくとも一つの表示部に表示させる表示制御部と、
    を有する車両周辺監視装置。
  2. 前記特定物標が、前記車両の後側方に接近した後側方接近車両により発生する前記後側方画像中の第１死角領域に存在する場合に、
    前記表示制御部は、前記後側方接近車両により前記特定物標が視認されない前記後側方画像中に、前記後方画像中で視認される前記特定物標に対応する前記特定物標表示を重畳し、前記表示部に表示させる請求項１に記載の車両周辺監視装置。
  3. 前記特定物標が、前記車両の後方に接近した後方接近車両により発生する前記後方画像中の第２死角領域に存在する場合に、
    前記表示制御部は、前記後方接近車両により前記特定物標が視認されない前記後方画像中に、前記後側方画像中で視認される前記特定物標に対応する前記特定物標表示を重畳し、前記表示部に表示させる請求項１又は請求項２に記載の車両周辺監視装置。
  4. 前記表示制御部は、仮想投影面上で前記後側方画像又は前記後方画像の何れか一方から前記後側方重複領域又は後方重複領域を削除し、何れか一方から前記後側方重複領域又は後方重複領域を削除した前記後側方画像と後方画像とを単一の画像に合成処理して一つの前記表示部に表示させる請求項１〜請求項３の何れか1項に記載の車両周辺監視装置。
  5. 前記表示制御部は、仮想投影面上で前記後側方重複領域を含む前記後側方画像と前記後方重複領域を含む前記後方画像とを複数の表示部にそれぞれ個別に表示する請求項１〜請求項３の何れか１項に記載の車両周辺監視装置。
  6. 前記表示制御部は、前記後側方画像又は前記後方画像に前記特定物標表示を重畳し、前記表示部に表示することを、前記特定物標が前記車両に接近しているときに行う請求項１〜請求項５の何れか１項に記載の車両周辺監視装置。
  7. 前記車両周辺監視装置は、前記車両に搭載された電子ミラー装置である請求項１〜請求項６の何れか１項に記載の車両周辺監視装置。
JP2020092677A 2020-05-27 2020-05-27 車両周辺監視装置 Active JP7347330B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020092677A JP7347330B2 (ja) 2020-05-27 2020-05-27 車両周辺監視装置
US17/319,280 US20210370920A1 (en) 2020-05-27 2021-05-13 Vehicle periphery monitoring device, control method and program
CN202110521736.3A CN113734049A (zh) 2020-05-27 2021-05-13 车辆周边监视装置、控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092677A JP7347330B2 (ja) 2020-05-27 2020-05-27 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2021190776A true JP2021190776A (ja) 2021-12-13
JP7347330B2 JP7347330B2 (ja) 2023-09-20

Family

ID=78706650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092677A Active JP7347330B2 (ja) 2020-05-27 2020-05-27 車両周辺監視装置

Country Status (3)

Country Link
US (1) US20210370920A1 (ja)
JP (1) JP7347330B2 (ja)
CN (1) CN113734049A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3403146A4 (en) * 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101897A (ja) * 2016-12-20 2018-06-28 株式会社デンソーテン 車両周辺監視装置及び監視方法
JP2019180074A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 運転支援システム、画像処理装置及び画像処理方法
JP2020028027A (ja) * 2018-08-10 2020-02-20 トヨタ自動車株式会社 車両用周辺表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US9925920B2 (en) * 2016-05-24 2018-03-27 Ford Global Technologies, Llc Extended lane blind spot detection
JP6722051B2 (ja) * 2016-06-10 2020-07-15 株式会社Ｓｏｋｅｎ 物体検出装置、及び物体検出方法
MX2019000060A (es) * 2016-07-13 2019-04-01 Sony Corp Dispositivo generador de imagenes, metodo para la generacion de imagenes, y programa.
JP2018107573A (ja) * 2016-12-26 2018-07-05 株式会社東海理化電機製作所 車両用視認装置
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101897A (ja) * 2016-12-20 2018-06-28 株式会社デンソーテン 車両周辺監視装置及び監視方法
JP2019180074A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 運転支援システム、画像処理装置及び画像処理方法
JP2020028027A (ja) * 2018-08-10 2020-02-20 トヨタ自動車株式会社 車両用周辺表示装置

Also Published As

Publication number Publication date
JP7347330B2 (ja) 2023-09-20
US20210370920A1 (en) 2021-12-02
CN113734049A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
JP4934308B2 (ja) 運転支援システム
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP4593070B2 (ja) 車両の画像処理装置
US20190174060A1 (en) Image processing apparatus, image processing method, and program
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2007274377A (ja) 周辺監視装置、プログラム
JP7159802B2 (ja) 車両用電子ミラーシステム
KR20150052148A (ko) 차량용 후방 촬상 시스템
JP7052632B2 (ja) 車両用周辺表示装置
JP2006268076A (ja) 運転支援システム
JP2016168877A (ja) 車両用視認装置
JP4849333B2 (ja) 車両用視覚補助装置
JP4855884B2 (ja) 車両周辺監視装置
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP2008037118A (ja) 車両用表示装置
JP2021190776A (ja) 車両周辺監視装置
JP5226621B2 (ja) 車両用画像表示装置
JP4317046B2 (ja) 駐車支援システム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
JP2006224927A (ja) 車両周辺視認装置
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
JP7327171B2 (ja) 車両用電子ミラーシステム
JP2019202584A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R151 Written notification of patent or utility model registration

Ref document number: 7347330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151