JP2022007565A - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP2022007565A
JP2022007565A JP2020110607A JP2020110607A JP2022007565A JP 2022007565 A JP2022007565 A JP 2022007565A JP 2020110607 A JP2020110607 A JP 2020110607A JP 2020110607 A JP2020110607 A JP 2020110607A JP 2022007565 A JP2022007565 A JP 2022007565A
Authority
JP
Japan
Prior art keywords
image
vehicle
rear side
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020110607A
Other languages
English (en)
Other versions
JP7287355B2 (ja
Inventor
洋平 里見
Yohei Satomi
智陽 飯田
Tomoaki Iida
友仁 日隈
Tomohito Hikuma
佑紀 高橋
Yuki Takahashi
純平 稲垣
Jumpei Inagaki
敦俊 坂口
Atsutoshi Sakaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020110607A priority Critical patent/JP7287355B2/ja
Priority to US17/335,180 priority patent/US11390218B2/en
Priority to CN202110617234.0A priority patent/CN113844363B/zh
Publication of JP2022007565A publication Critical patent/JP2022007565A/ja
Application granted granted Critical
Publication of JP7287355B2 publication Critical patent/JP7287355B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Figure 2022007565000001
【課題】合成画像を表示する構成において、カメラの位置ずれに起因して誤った合成画像が表示されるのを抑制することができる車両周辺監視装置を得る。
【解決手段】車両周辺監視装置１０は、後方画像取得部５０が車両後方の第１画像、車両右後側方の第２画像、及び車両左後側方の第３画像を含む後方画像を取得する。物標位置取得部５２は、物標の自車両に対する相対位置を取得し、物標位置判定部５４は、物標の相対位置が複数のセンサで一致するか否かを判定する。そして、表示処理部５６は、物標位置判定部５４で物標の相対位置が一致すると判定された場合は、第１画像、第２画像及び第３画像を合成した１つの合成画像を車室内に設けられた表示部に表示する。ここで、表示処理部は、物標の相対位置が一致しないと判定された場合は、第１画像、第２画像及び第３画像をそれぞれ個別に並べて表示部に表示する。
【選択図】図４

Description

本発明は、車両周辺監視装置に関する。
特許文献１には、複数のカメラで撮影された同一の撮像範囲の画像の特徴量を比較することで、レンズの汚れ及び傷などを検出する映像処理システムが開示されている。具体的には、複数のカメラで撮影されたそれぞれの画像に対して、撮像範囲を分割したエリアごとに累積エッジ量を算出し、累積エッジ量の差分が所定の閾値以上であれば、異物が付着していると判断する。
特開２０１９－１０２９２９号公報
しかしながら、上記特許文献１に記載の映像処理システムでは、カメラの取付位置の位置ずれを検出することができないため、車室内の表示部に合成画像を表示する場合、位置ずれの画像を含んだ誤った合成画像が表示される虞がある。
本発明は上記事実を考慮し、合成画像を表示する構成において、カメラの位置ずれに起因して誤った合成画像が表示されるのを抑制することができる車両周辺監視装置を得ることを目的とする。
請求項１に係る車両周辺監視装置は、後方カメラで撮影された車両後方の第１画像、右後側方カメラで撮影された車両右後側方の第２画像、及び左後側方カメラで撮影された車両左後側方の第３画像を含む後方画像を取得する後方画像取得部と、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラを含む複数のセンサから前記車両後方、前記車両右後側方及び前記車両左後側方を含む領域に存在する物標の自車両に対する相対位置を取得する物標位置取得部と、前記物標位置取得部によって取得された物標の前記相対位置が前記複数のセンサで一致するか否かを判定する物標位置判定部と、前記物標位置判定部で物標の前記相対位置が一致すると判定された場合は、前記第１画像、前記第２画像及び前記第３画像を合成した１つの合成画像を車室内に設けられた表示部に表示し、物標の前記相対位置が一致しないと判定された場合は、前記第１画像、前記第２画像及び前記第３画像をそれぞれ個別に並べて前記表示部に表示する表示処理部と、を有する。
請求項１に係る車両周辺監視装置では、後方画像取得部は、車両後方の第１画像、車両右後側方の第２画像、及び車両左後側方の第３画像を含む後方画像を取得する。ここで、第１画像は後方カメラで撮影された画像である。また、第２画像は右後側方カメラで撮影された画像であり、第３画像は左後側方カメラで撮影された画像である。
物標位置取得部は、後方カメラ、右後側方カメラ及び左後側方カメラを含む複数のセンサから車両後方、車両右後側方及び車両左後側方を含む領域に存在する物標の自車両に対する相対位置を取得する。また、物標位置判定部は、物標位置取得部によって取得された物標の自車両に対する相対位置が複数のセンサで一致するか否かを判定する。さらに、表示処理部は、第１画像、第２画像及び第３画像を車室内に設けられた表示部に表示する。
ここで、表示処理部は、物標位置判定部で物標の自車両に対する相対位置が複数のセンサで一致すると判定された場合、第１画像、第２画像及び第３画像を合成した１つの合成画像を表示部に表示させる。これにより、自車両の後方を走行する物標の位置を容易に認識することができる。
一方、表示処理部は、物標位置判定部で物標の自車両に対する相対位置が一致しないと判定された場合は、第１画像、第２画像及び第３画像をそれぞれ個別に並べて表示部に表示する。このように、後方カメラ、右後側方カメラ及び左後側方カメラの何れかのカメラの取付位置がずれている場合に個別の画像を表示部に表示することで、位置ずれの画像を含んだ合成画像が表示部に表示されずに済む。なお、ここでいう「合成画像」とは、第１画像、第２画像及び第３画像の繋ぎ目が連続するように第１画像、第２画像及び第３画像のそれぞれに対して画像処理を行った上で合成した画像を指す。
請求項２に係る車両周辺監視装置は、請求項１において、前記物標位置取得部は、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラを含む３個以上のセンサから物標の前記相対位置を取得する。
請求項２に係る車両周辺監視装置では、３個以上のセンサから物標の自車両に対する相対位置を取得することにより、２個以下のセンサで物標の自車両に対する相対位置を取得する構成と比較して、物標の相対位置の検知精度を向上できる。
請求項３に係る車両周辺監視装置は、請求項２において、前記表示処理部で表示される画像において、自車両に接近する物標を強調表示する強調表示部をさらに備えている。
請求項３に係る車両周辺監視装置では、自車両に接近する物標を強調表示することで、乗員に注意喚起を行うことができる。
請求項４に係る車両周辺監視装置は、請求項３において、前記強調表示部は、前記物標位置判定部において前記３個以上のセンサのうち、１つのセンサで検知された物標の前記相対位置のみが一致しない場合には、一致しないセンサの情報を除いた他センサから取得された物標の前記相対位置に基づいて強調表示を行う。
請求項４に係る車両周辺監視装置では、他センサから取得された物標の相対位置に基づいて強調表示を行うことで、物標の正しい位置に強調表示を行うことができる。すなわち、物標の相対位置が他センサと一致しないセンサは、取付位置がずれている可能性があるため、このセンサの情報を考慮することで誤った位置に強調表示されるのを抑制することができる。
請求項５に係る車両周辺監視装置は、請求項３において、前記強調表示部は、前記物標位置判定部において前記３個以上のセンサのうち、全てのセンサで検知された物標の前記相対位置が異なる場合には、物標の前記相対位置が自車両に最も近いと検知されたセンサから取得された物標の前記相対位置に基づいて強調表示を行う。
請求項５に係る車両周辺監視装置では、自車両に最も近いと検知されたセンサから取得された物標の相対位置に基づいて強調表示を行うことで、緊急性の高い情報を乗員に伝えることができる。
請求項６に係る車両周辺監視装置は、請求項４において、前記物標位置判定部において、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラの何れか１つのセンサで検知された物標の前記相対位置のみが一致しない場合には、一致しないセンサで撮影された前記後方画像に警告内容を重畳して前記表示部に表示する。
請求項６に係る車両周辺監視装置では、取付位置がずれている可能性のあるセンサで撮影した後方画像に警告内容を重畳表示することで、乗員に対して注意喚起を促すことができる。
請求項７に係る車両周辺監視装置は、請求項５において、前記物標位置判定部において、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラで検知された物標の前記相対位置が全て異なる場合には、第１画像、第２画像及び第３画像のうち、物標を検知しているセンサに対応する全ての画像に警告内容を重畳して表示する。
請求項７に係る車両周辺監視装置では、複数の画像に警告内容が重畳表示されるため、乗員に点検などの対応を促すことができる。
請求項８に係る車両周辺監視装置は、請求項１～７の何れか１項において、前記物標位置取得部は、車体後部のコーナー部に設けられて車両後方の障害物を検知するレーダを含むセンサから物標の前記相対位置を取得する。
請求項８に係る車両周辺監視装置では、障害物検知用のレーダを利用して物標の相対位置を検知することにより、専用のセンサ類を配置せずに済み、部品点数の増加を抑制することができる。
以上説明したように、本発明に係る車両周辺監視装置によれば、合成画像を表示する構成において、カメラの位置ずれに起因して誤った合成画像が表示されるのを抑制することができる。
実施形態に係る車両周辺監視装置のハードウェア構成を示すブロック図である。 実施形態に係る車両周辺監視装置が適用された車両における車室内の前部を車両後方側から見た図である。 実施形態に係る車両周辺監視装置が適用された車両と、車両の後方を走行する二輪車とを示す平面図である。 実施形態に係る車両周辺監視装置の機能構成を示すブロック図である。 実施形態における表示処理の流れの一例を示すフローチャートである。 実施形態における電子インナ―ミラーに表示された画像の表示例を示す図であり、合成画像が表示された図である。 実施形態における電子インナ―ミラーに表示された画像の表示例を示す図であり、右後側方カメラの取付位置がずれている状態の表示例である。 実施形態における電子インナ―ミラーに表示された画像の表示例を示す図であり、後方カメラ及び右後側方カメラの取付位置がずれている状態の表示例である。
実施形態に係る車両周辺監視装置１０について、図面を参照して説明する。
（車両周辺監視装置１０のハードウェア構成）
図１に示されるように、本実施形態の車両周辺監視装置１０は、ＣＰＵ（Central Processing Unit：プロセッサ）１４、ＲＯＭ（Read Only Memory）１６、ＲＡＭ（Random Access Memory）１８、ストレージ２０、通信インタフェース２２及び入出力インタフェース２４を含んで構成されている。各構成は、バス２６を介して相互に通信可能に接続されている。本実施形態の車両周辺監視装置１０は一例として、車両１２に搭載されたＥＣＵ(Electronic Control Unit)の一部を構成している。
ＣＰＵ１４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０からプログラムを読み出し、ＲＡＭ１８を作業領域としてプログラムを実行する。ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ１６は、各種プログラムおよび各種データを格納する。ＲＡＭ１８は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。本実施形態では、ＲＯＭ１６又はストレージ２０には、合成画像を表示するための表示プログラム等が格納されている。
通信インタフェース２２は、車両周辺監視装置１０がコンピュータネットワークによって通信するためのインタフェースであり、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）、イーサネット（登録商標）などの規格が用いられる。
入出力インタフェース２４には、後方カメラ２８、右後側方カメラ３０、左後側方カメラ３２、右側レーダ３４、左側レーダ３６、表示部としての電子インナ―ミラー３８、右側警告表示部４０Ｒ及び左側警告表示部４０Ｌが接続されている。後方カメラ２８、右後側方カメラ３０、左後側方カメラ３２、右側レーダ３４及び左側レーダ３６は、何れも本発明に係る「センサ」に相当する。
図２に示されるように、車両１２の右側には右サイドドア２９Ｒが配設されており、この右サイドドア２９Ｒの前端部における外面には右カメラ支持部３１Ｒが設けられている。右カメラ支持部３１Ｒは、右サイドドア２９Ｒから車両右側へ突出されており、右カメラ支持部３１Ｒの右側端部に、車両後方側へ向けて右後側方カメラ３０が取付けられている。
一方、車両１２の左側には左サイドドア２９Ｌが配設されており、この左サイドドア２９Ｌの前端部における外面には左カメラ支持部３１Ｌが設けられている。左カメラ支持部３１Ｌは、左サイドドア２９Ｌから車両左側へ突出されており、左カメラ支持部３１Ｌの左側端部に、車両後方側へ向けて左後側方カメラ３２が取付けられている。
図３に示されるように、右後側方カメラ３０は、車両１２の右側方に取り付けられており、左後側方カメラ３２は、車両１２の左側方に取り付けられている。右後側方カメラ３０の撮影範囲は一例として、図３の実線ＡＲ２で示す領域とされている。撮影範囲ＡＲ２は、右後側方カメラ３０から車両１２の右側方に沿って車両後方へ延在された直線と、右後側方カメラ３０から右斜め後方へ延在された直線とで挟まれた領域となっている。
また、左後側方カメラ３２の撮影範囲は一例として、図３の実線ＡＲ３で示す領域となっている。撮影範囲ＡＲ３は、左後側方カメラ３２から車両１２の左側方に沿って車両後方へ延在された直線と、左後側方カメラ３２から左斜め後方へ延在された直線とで挟まれた領域となっている。
後方カメラ２８は、車両１２の後端部における車両幅方向中央部に、車両後方側へ向けて取付けられており、車両の後方の画像を撮影する。後方カメラ２８の撮影範囲は一例として、図３の一点鎖線ＡＲ１で示す領域とされている。撮影範囲ＡＲ１は、車両１２の後端部から後方側へ向かうにつれて徐々に左右に広がる領域となっている。
右側レーダ３４は、車両１２における車体後部の右コーナー部に取付けられており、車両後方の障害物を検知するレーダである。右側レーダ３４の検知範囲は一例として、図３の二点鎖線ＡＲ４で示す領域とされている。検知範囲ＡＲ４は、右側レーダ３４を中心とする扇型状の領域となっており、後方カメラ２８の撮影範囲ＡＲ１、及び右後側方カメラ３０の撮影範囲ＡＲ２に跨る領域に設定されている。
左側レーダ３６は、車両１２における車体後部の左コーナー部に取付けられており、車両後方の障害物を検知するレーダである。左側レーダ３６の検知範囲は一例として、図３の二点鎖線ＡＲ５で示す領域とされている。検知範囲ＡＲ５は、左側レーダ３６を中心とする扇型状の領域となっており、後方カメラ２８の撮影範囲ＡＲ１、及び左後側方カメラ３２の撮影範囲ＡＲ３に跨る領域に設定されている。
図２に示されるように、電子インナ―ミラー３８は、液晶パネルにより構成されており、乗員側へ向けて映像表示が可能とされている。また、図７に示されるように、電子インナ―ミラー３８には、後方カメラ２８で撮影された車両後方の第１画像７０Ａ、右後側方カメラ３０で撮影された第２画像７０Ｂ、及び左後側方カメラ３２で撮影された第３画像７０Ｃが表示される。さらに、図６に示されるように、電子インナ―ミラー３８には、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃが合成された合成画像７０Ｄを表示させることができるようになっている。このように、電子インナ―ミラー３８は、インナ―ミラーの代わりとして機能し、乗員は、電子インナ―ミラー３８に表示された映像を視認することで、車両１２の後方の広範囲の状況を確認することができる。
右カメラ支持部３１Ｒには、右側警告表示部４０Ｒが設けられている。右側警告表示部４０Ｒは、乗員が視認できる表示部であり、右側レーダ３４によって車両右後側方に障害物が接近した場合に警告表示が行われる。
左カメラ支持部３１Ｌには、左側警告表示部４０Ｌが設けられている。左側警告表示部４０Ｌは、乗員が視認できる表示部であり、左側レーダ３６によって車両左後側方に障害物が接近した場合に警告表示が行われる。
（車両周辺監視装置１０の機能構成）
車両周辺監視装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。車両周辺監視装置１０が実現する機能構成について図４を参照して説明する。
図４に示されるように、車両周辺監視装置１０は、機能構成として、後方画像取得部５０、物標位置取得部５２、物標位置判定部５４、表示処理部５６、強調表示部５８及び警告表示部６０を含んで構成されている。各機能構成は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０に記憶されたプログラムを読み出し、実行することにより実現される。
後方画像取得部５０は、後方カメラ２８で撮影された車両後方の第１画像７０Ａ、右後側方カメラで撮影された車両右後側方の第２画像７０Ｂ、及び左後側方カメラで撮影された車両左後側方の第３画像７０Ｃを含む後方画像を取得する。
物標位置取得部５２は、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２を含む複数のセンサから車両後方、車両右後側方及び車両左後側方を含む領域に存在する物標の車両１２に対する相対位置を取得する。本実施形態では一例として、物標位置取得部５２は、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２に加えて、右側レーダ３４及び左側レーダ３６からの信号を取得して車両１２に対する物標の相対位置を取得する。
また、本実施形態では、車両１２を平面視で見た場合において、車両１２の後端部の車両幅方向中央部を基準位置として物標の座標を取得する。例えば、図３に示されるように、車両１２の右後方から二輪車１００が近づいてきた場合、二輪車１００は、後方カメラ２８の撮影範囲ＡＲ１と、右後側方カメラ３０の撮影範囲ＡＲ２とが重なる領域を走行している。また、二輪車１００は、右側レーダ３４の検知範囲ＡＲ４を走行している。このとき、物標位置取得部５２は、後方カメラ２８が撮影した第１画像７０Ａに基づいて二輪車１００の相対位置を算出し、算出された結果を補正することで基準位置に対する二輪車１００の座標を取得する。同様に、物標位置取得部５２は、右後側方カメラ３０が撮影した第２画像７０Ｂに基づいて二輪車１００の相対位置を算出し、算出された結果を補正することで基準位置に対する二輪車１００の座標を取得する。さらに、物標位置取得部５２は、右側レーダ３４によって検知された二輪車１００の相対位置を補正して基準位置に対する二輪車１００の座標を取得する。このため、全てのセンサが適正な位置に取付けられている場合、物標位置取得部５２によって同時刻に取得された二輪車１００の座標は、全て同一の座標となる。
図４に示されるように、物標位置判定部５４は、物標位置取得部５２によって取得された物標の相対位置が複数のセンサで一致するか否かを判定する。具体的には、図３に示される例では、物標位置取得部５２によって同時刻に後方カメラ２８、右後側方カメラ３０及び右側レーダ３４の３個のセンサから取得された二輪車１００の座標が一致するか否かを判定する。
図４に示されるように、表示処理部５６は、物標位置判定部５４で物標の相対位置が一致すると判定された場合は、図６に示されるように、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃを合成した１つの合成画像７０Ｄを電子インナ―ミラー３８に表示する。合成画像７０Ｄは、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃをそれぞれ画像処理した上で合成した画像であり、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃの繋ぎ目が連続するように適宜画角が変化して表示される。このため、合成画像７０Ｄにおける第１画像７０Ａと第２画像７０Ｂとの境界と、第１画像７０Ａと第３画像７０Ｃとの境界は、適宜左右に移動する。
一方、表示処理部５６は、物標位置判定部５４で物標の相対位置が一致しないと判定された場合は、図７に示されるように、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃをそれぞれ個別に並べて電子インナ―ミラー３８に表示する。第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃを個別に並べて表示する場合、第１画像７０Ａと第２画像７０Ｂとの間に第１仕切領域７２Ａを設け、第１画像７０Ａと第３画像７０Ｃとの間に第２仕切領域７２Ｂを設ける。このように、第１仕切領域７２Ａ及び第２仕切領域７２Ｂを設けることで、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃが合成されていないことを乗員に視認させる。なお、本実施形態では一例として、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃを個別に並べて表示する場合、それぞれの画像の表示範囲が固定されている。すなわち、第１仕切領域７２Ａ及び第２仕切領域７２Ｂの位置が固定されており、第１仕切領域７２Ａと第２仕切領域７２Ｂとの間に第１画像７０Ａが表示される。また、第１仕切領域７２Ａの右側に第２画像７０Ｂが表示され、第２仕切領域７２Ｂの左側に第３画像７０Ｃが表示される。
図４に示されるように、強調表示部５８は、表示処理部５６で表示される画像において、車両１２に接近する物標を強調表示する。本実施形態では一例として、図６に示されるように、二輪車１００が車両１２に接近している場合に、合成画像７０Ｄにおける二輪車１００の位置に枠状のマークＭを重畳表示することで強調表示を行っている。また、後続車両１０２との距離が離れているため、後続車両１０２には強調表示が行われていない。
ここで、本実施形態の強調表示部５８は、条件に応じて強調表示を行う物標の相対位置の算出方法を変更する。具体的には、強調表示部５８は、物標位置判定部５４において３個以上のセンサのうち、１つのセンサで検知された物標の相対位置のみが一致しない場合には、一致しないセンサの情報を除いた他センサから取得された物標の相対位置に基づいて強調表示を行う。
例えば、図３に示されるように、後方カメラ２８、右後側方カメラ３０及び右側レーダ３４によって二輪車１００の相対位置を検知している場合について考える。この状態で、右後側方カメラ３０で検知された二輪車１００の相対位置が他のセンサ（後方カメラ２８及び右側レーダ３４）と一致しない場合、強調表示部５８は、後方カメラ２８及び右側レーダ３４で検知された相対位置に基づいて算出された位置に強調表示を行う。すなわち、右後側方カメラ３０で検知された二輪車１００の相対位置の情報を除くことで、誤っている可能性が高いデータを反映しないように構成されている。
また、本実施形態の強調表示部５８は、物標位置判定部５４において３個以上のセンサのうち、全てのセンサで検知された物標の相対位置が異なる場合には、物標の相対位置が車両１２に最も近いと検知されたセンサから取得された物標の相対位置に基づいて強調表示を行う。
例えば、図３に示されるように、後方カメラ２８、右後側方カメラ３０及び右側レーダ３４によって二輪車１００の相対位置を検知している場合について考える。この状態で、全てのセンサで検知された相対位置が異なり、右側レーダ３４で検知された二輪車１００の相対位置が最も近い場合には、強調表示部５８は、右側レーダ３４から取得された二輪車１００の相対位置に基づいて強調表示を行う。
図４に示されるように、警告表示部６０は、後方画像に警告内容を重畳して電子インナ―ミラー３８に表示する。具体的には、物標位置判定部５４において、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２の何れか１つのセンサで検知された物標の相対位置のみが一致しない場合に、警告表示部６０が警告内容を重畳表示する。
例えば、右後側方カメラ３０で検知された物標の相対位置のみが一致しない場合、警告表示部６０は、図７に示されるように、右後側方カメラ３０で撮影された第２画像７０Ｂに警告内容７４を重畳して電子インナ―ミラー３８に表示する。ここで、警告内容として、「カメラ位置ずれ」と表示することで、第２画像７０Ｂに表示された物標の相対位置が適正に検知されていない可能性を乗員に示唆される。また、右側レーダ３４で検知した物標の相対速度のみが一致しない場合、右側警告表示部４０Ｒ（図２参照）には警告表示を行わず、インストルメントパネルに搭載されたセンタディスプレイなどに右側レーダの不具合を表示してもよい。なお、警告表示部６０は、アイコン等の他の警告内容を重畳表示してもよい。
また、警告表示部６０は、物標位置判定部５４において、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２で検知された物標の相対位置が全て異なる場合には、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃのうち、物標を検知しているセンサに対応する全ての画像に警告内容を重畳して表示する。
例えば、後方カメラ２８及び右後側方カメラ３０で二輪車１００の相対位置を検知している場合、警告表示部６０は、図８に示されるように、後方カメラ２８に対応する第１画像７０Ａに警告内容７４を重畳して電子インナ―ミラー３８に表示する。また、同様に、警告表示部６０は、右後側方カメラ３０に対応する第２画像７０Ｂに警告内容７６を重畳して電子インナ―ミラー３８に表示する。本実施形態では一例として、警告内容７４と警告内容７６とが同一の内容となっているが、他の警告内容を表示してもよい。
（作用）
次に、本実施形態の作用を説明する。
（表示処理の一例）
図５は、車両周辺監視装置１０による表示処理の流れの一例を示すフローチャートである。この表示処理は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０からプログラムを読み出して、ＲＡＭ１８に展開して実行することによって実行される。なお、以下のフローチャートでは一例として、図３に示されるように、物標である二輪車１００を後方カメラ２８、右後側方カメラ３０及び右側レーダ３４で検知している状態について説明する。
図５に示されるように、ＣＰＵ１４は、ステップＳ１０２で電子インナ―ミラー３８に合成画像を表示する。具体的には、ＣＰＵ１４は、表示処理部５６の機能により、後方カメラ２８が撮影した第１画像７０Ａと、右後側方カメラ３０が撮影した第２画像７０Ｂと、左後側方カメラ３２が撮影した第３画像とを合成した合成画像７０Ｄを電子インナ―ミラー３８に表示する（図６参照）。
ＣＰＵ１４は、ステップＳ１０４で二輪車１００の相対位置を取得する。具体的には、ＣＰＵ１４は、物標位置取得部５２の機能により、後方カメラ２８、右後側方カメラ３０及び右側レーダ３４からの信号を取得して車両１２に対する二輪車１００の相対位置を取得する。
ＣＰＵ１４は、ステップＳ１０６で３個のセンサの相対位置が一致しているか否かについて判定する。具体的には、ＣＰＵ１４は、物標位置判定部５４の機能により、同時刻に後方カメラ２８、右後側方カメラ３０及び右側レーダ３４の３個のセンサから取得された二輪車１００の座標が一致するか否かを判定する。
ＣＰＵ１４は、ステップＳ１０６で３個のセンサの相対位置が一致していると判定した場合、ステップＳ１１０の処理へ移行する。また、ＣＰＵ１４は、ステップＳ１０６で３個のセンサの相対位置が一致しないと判定した場合、ステップＳ１０８の処理へ移行する。
ＣＰＵ１４は、ステップＳ１１０で強調表示部５８の機能によって二輪車１００の相対位置に強調表示を行う。例えば、図７に示されるように、枠状のマークＭを重畳表示することで強調表示を行う。そして、ＣＰＵ１４は、表示処理を終了する。
一方、ＣＰＵ１４は、ステップＳ１０８で１つのセンサのみ相対位置が不一致となっているか否かについて判定する。具体的には、ＣＰＵ１４は、物標位置判定部５４の機能により、同時刻に３個のセンサから取得された二輪車１００の座標のうち、１つのセンサの相対位置が不一致となっている場合には、ステップＳ１１２の処理へ移行する。また、ＣＰＵ１４は、ステップＳ１０８で相対位置が不一致となっているセンサが１つではない場合、すなわち、３個のセンサの全てで相対位置が異なると判定された場合、ステップＳ１１６の処理へ移行する。
ＣＰＵ１４は、強調表示部５８の機能により、ステップＳ１１２で不一致のセンサを除外した相対位置に強調表示を行う。例えば、右後側方カメラ３０の取付位置がずれている場合など、右後側方カメラ３０で検知された二輪車１００の相対位置が他のセンサと一致しない場合、強調表示部５８は、後方カメラ２８及び右側レーダ３４で検知された相対位置に基づいて算出された位置に強調表示を行う。
次に、ＣＰＵ１４は、ステップＳ１１４で表示処理部５６の機能により、電子インナ―ミラー３８に表示された合成画像７０Ｄを分割画像に切り替える。すなわち、図７に示されるように、電子インナ―ミラー３８には、第１画像７０Ａ、第２画像、及び第３画像７０Ｃを分割して表示する。また、ＣＰＵ１４は、警告表示部６０の機能により、右後側方カメラ３０で撮影された第２画像７０Ｂに警告内容７４を重畳して電子インナ―ミラー３８に表示する。そして、ＣＰＵ１４は、表示処理を終了する。
ＣＰＵ１４は、ステップＳ１０８で３個のセンサの全てで相対位置が異なると判定された場合、ステップＳ１１６で一番近い相対位置に基づいて強調表示を行う。例えば、全てのセンサで検知された相対位置が異なり、右側レーダ３４で検知された二輪車１００の相対位置が最も近い場合には、ＣＰＵ１４は、強調表示部５８の機能により右側レーダ３４から取得された二輪車１００の相対位置に基づいて強調表示を行う。
ＣＰＵ１４は、ステップＳ１１８で表示処理部５６の機能により、電子インナ―ミラー３８に表示された合成画像７０Ｄを分割画像に切り替える。すなわち、図８に示されるように、電子インナ―ミラー３８には、第１画像７０Ａ、第２画像、及び第３画像７０Ｃを分割して表示する。また、ＣＰＵ１４は、警告表示部６０の機能により、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃのうち、物標を検知しているセンサに対応する全ての画像に警告内容を重畳して表示する。ここでは、第１画像７０Ａ及び第２画像７０Ｂに警告内容を重畳して表示する。そして、ＣＰＵ１４は、表示処理を終了する。
以上のように、本実施形態に係る車両周辺監視装置１０では、表示処理部５６は、物標位置判定部５４で物標の相対位置が複数のセンサで一致すると判定された場合、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃを合成した１つの合成画像７０Ｄを電子インナ―ミラー３８に表示する。これにより、車両１２の後方を走行する物標の位置を容易に認識することができる。
また、表示処理部５６は、物標位置判定部５４で物標の相対位置が一致しないと判定された場合は、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃをそれぞれ個別に並べて表示部に表示する。このように、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２の何れかのカメラの取付位置がずれている場合に個別の画像を電子インナ―ミラー３８に表示することで、位置ずれの画像を含んだ合成画像が電子インナ―ミラー３８に表示されずに済む。この結果、合成画像を表示する構成において、カメラの位置ずれに起因して誤った合成画像が表示されるのを抑制することができる。
さらに、本実施形態では、強調表示部５８によって車両１２に接近する物標を強調表示することで、乗員に注意喚起を行うことができる。特に、本実施形態の強調表示部５８は、物標の相対位置が他センサと一致しないセンサの情報を除いた他センサから取得された物標の相対位置に基づいて強調表示を行う。これにより、誤った位置に強調表示されるのを抑制することができる。
さらにまた、本実施形態では、強調表示部５８は、全てのセンサの相対位置が異なる場合には、車両１２に最も近いと検知されたセンサから取得された物標の相対位置に基づいて強調表示を行う。これにより、緊急性の高い情報を乗員に伝えることができる。
また、本実施形態では、取付位置がずれている可能性のあるセンサで撮影した後方画像に警告内容を重畳表示することで、乗員に対して注意喚起を促すことができる。また、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２で検知された物標の相対位置が全て異なる場合には、第１画像７０Ａ、第２画像７０Ｂ及び第３画像７０Ｃのうち、物標を検知しているセンサに対応する全ての画像に警告内容を重畳して表示する。これにより、複数の画像に警告内容が重畳表示されるため、乗員に点検などの対応を促すことができる。
さらに、本実施形態のように、障害物検知用の右側レーダ３４及び左側レーダ３６を利用して物標の相対位置を検知することにより、専用のセンサ類を配置せずに済み、部品点数の増加を抑制することができる。
以上、実施形態に係る車両周辺監視装置１０について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、図１に示されるように、上記実施形態の車両周辺監視装置１０は、車両１２に搭載されたＥＣＵとしたが、これに限定されず、車両１２の外部に車両周辺監視装置１０が設けられた構成としてもよい。車両１２の外部に車両周辺監視装置１０を設けた場合、ネットワークを介して後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２で撮影された画像を取得するようにしてもよい。
また、上記実施形態では、物標の相対位置を検知するセンサとして、後方カメラ２８、右後側方カメラ３０、左後側方カメラ３２、右側レーダ３４及び左側レーダ３６を用いたがこれに限定されない。例えば、後進時に車両後方を確認するためのバックガイドモニタをセンサとして用いてもよい。また、車両の周辺情報を検知するためのＬＩＤＡＲ（Laser Imaging Detection and Ranging）をセンサとして用いてもよい。さらに、後方カメラ２８、右後側方カメラ３０及び左後側方カメラ３２の３個のセンサのみで物標の相対位置を検知してもよい。
さらに、上記実施形態では、強調表示部５８は、物標に枠状のマークＭを重畳表示することで強調表示を行っているが、これに限定されない。例えば、物標の上に所定のマークを重畳表示してもよい。また、物標が接近するにつれてマークを変更してもよい。
さらにまた、上記実施形態では、表示部として電子インナ―ミラー３８に画像を表示させる構成としたが、これに限定されない。例えば、電子インナ―ミラー３８に加えて、インストルメントパネルに搭載されたセンタディスプレイなどに合成画像を表示してもよい。
さらにまた、上記実施形態でＣＰＵ１４がソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが例示される。また、表示処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ストレージ２０を記録部としたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリなどの非一時的記録媒体を記録部としてもよい。この場合、これらの記録媒体に各種プログラムを格納してもよい。
１０ 車両周辺監視装置
１２ 車両
２８ 後方カメラ（センサ）
３０ 右後側方カメラ（センサ）
３２ 左後側方カメラ（センサ）
３４ 右側レーダ（センサ）
３６ 左側レーダ（センサ）
３８ 電子インナ―ミラー（表示部）
５０ 後方画像取得部
５２ 物標位置取得部
５４ 物標位置判定部
５６ 表示処理部
５８ 強調表示部

Claims (8)

  1. 後方カメラで撮影された車両後方の第１画像、右後側方カメラで撮影された車両右後側方の第２画像、及び左後側方カメラで撮影された車両左後側方の第３画像を含む後方画像を取得する後方画像取得部と、
    前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラを含む複数のセンサから前記車両後方、前記車両右後側方及び前記車両左後側方を含む領域に存在する物標の自車両に対する相対位置を取得する物標位置取得部と、
    前記物標位置取得部によって取得された物標の前記相対位置が前記複数のセンサで一致するか否かを判定する物標位置判定部と、
    前記物標位置判定部で物標の前記相対位置が一致すると判定された場合は、前記第１画像、前記第２画像及び前記第３画像を合成した１つの合成画像を車室内に設けられた表示部に表示し、物標の前記相対位置が一致しないと判定された場合は、前記第１画像、前記第２画像及び前記第３画像をそれぞれ個別に並べて前記表示部に表示する表示処理部と、
    を有する車両周辺監視装置。
  2. 前記物標位置取得部は、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラを含む３個以上のセンサから物標の前記相対位置を取得する請求項１に記載の車両周辺監視装置。
  3. 前記表示処理部で表示される画像において、自車両に接近する物標を強調表示する強調表示部をさらに備えた請求項２に記載の車両周辺監視装置。
  4. 前記強調表示部は、前記物標位置判定部において前記３個以上のセンサのうち、１つのセンサで検知された物標の相対位置のみが一致しない場合には、一致しないセンサの情報を除いた他センサから取得された物標の前記相対位置に基づいて強調表示を行う請求項３に記載の車両周辺監視装置。
  5. 前記強調表示部は、前記物標位置判定部において前記３個以上のセンサのうち、全てのセンサで検知された物標の相対位置が異なる場合には、物標の前記相対位置が自車両に最も近いと検知されたセンサから取得された物標の前記相対位置に基づいて強調表示を行う請求項３に記載の車両周辺監視装置。
  6. 前記物標位置判定部において、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラの何れか１つのセンサで検知された物標の前記相対位置のみが一致しない場合には、一致しないセンサで撮影された前記後方画像に警告内容を重畳して前記表示部に表示する請求項４に記載の車両周辺監視装置。
  7. 前記物標位置判定部において、前記後方カメラ、前記右後側方カメラ及び前記左後側方カメラで検知された物標の前記相対位置が全て異なる場合には、第１画像、第２画像及び第３画像のうち、物標を検知しているセンサに対応する全ての画像に警告内容を重畳して表示する請求項５に記載の車両周辺監視装置。
  8. 前記物標位置取得部は、車体後部のコーナー部に設けられて車両後方の障害物を検知するレーダを含むセンサから物標の前記相対位置を取得する請求項１～７の何れか１項に記載の車両周辺監視装置。
JP2020110607A 2020-06-26 2020-06-26 車両周辺監視装置 Active JP7287355B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020110607A JP7287355B2 (ja) 2020-06-26 2020-06-26 車両周辺監視装置
US17/335,180 US11390218B2 (en) 2020-06-26 2021-06-01 Vehicle periphery monitoring device, vehicle periphery monitoring method and non-transitory storage medium
CN202110617234.0A CN113844363B (zh) 2020-06-26 2021-06-03 车辆周边监视装置、监视方法及非瞬时性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020110607A JP7287355B2 (ja) 2020-06-26 2020-06-26 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2022007565A true JP2022007565A (ja) 2022-01-13
JP7287355B2 JP7287355B2 (ja) 2023-06-06

Family

ID=78973013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020110607A Active JP7287355B2 (ja) 2020-06-26 2020-06-26 車両周辺監視装置

Country Status (3)

Country Link
US (1) US11390218B2 (ja)
JP (1) JP7287355B2 (ja)
CN (1) CN113844363B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141649A (ja) * 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2019041334A (ja) * 2017-08-28 2019-03-14 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
JP2020088415A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 車両用電子ミラーシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
JP4762698B2 (ja) * 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
JP4726621B2 (ja) * 2005-12-13 2011-07-20 アルパイン株式会社 車載センサの補正装置
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP5240149B2 (ja) * 2009-09-28 2013-07-17 三菱自動車工業株式会社 車両周辺監視装置
CN102918833B (zh) * 2010-06-15 2015-07-08 三菱电机株式会社 车辆周边监视装置
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6354578B2 (ja) * 2014-12-26 2018-07-11 株式会社Ｊｖｃケンウッド 撮像システム
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6462630B2 (ja) * 2016-05-24 2019-01-30 株式会社デンソー 物標検出装置
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
JP2019034692A (ja) * 2017-08-21 2019-03-07 株式会社東海理化電機製作所 車両用視認装置
US11006087B2 (en) * 2017-10-13 2021-05-11 Mitsubishi Electric Corporation Image synthesizing device and image synthesizing method
JP2019102929A (ja) 2017-11-30 2019-06-24 パナソニックＩｐマネジメント株式会社 映像処理システム、映像処理装置及び映像処理方法
JP2020043400A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141649A (ja) * 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2019041334A (ja) * 2017-08-28 2019-03-14 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
JP2020088415A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 車両用電子ミラーシステム

Also Published As

Publication number Publication date
US20210402927A1 (en) 2021-12-30
JP7287355B2 (ja) 2023-06-06
CN113844363B (zh) 2023-08-08
US11390218B2 (en) 2022-07-19
CN113844363A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
KR101656162B1 (ko) 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차
EP1927962B1 (en) Obstacle detection device
WO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2013190421A (ja) 車両において通行物体位置検出を向上する方法
US10180318B2 (en) Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium
CN111868784B (zh) 车载立体摄像机
CN111098783A (zh) 车辆用障碍物通知装置
EP2913998B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
EP3139346B1 (en) Vision system for a motor vehicle and method of controlling a vision system
JP2009243963A (ja) 物体検出装置
JP7287355B2 (ja) 車両周辺監視装置
EP3176750B1 (en) Vision system for a motor vehicle and method of controlling a vision system
JP6818902B6 (ja) 車両検知システム
JP7276280B2 (ja) 車両用画像記録装置及び車両用画像記録方法
JP2006107000A (ja) 画像異常判定方法及び画像異常判定装置
CN109591694B (zh) 车道偏离预警系统、车道偏离预警方法和车辆
JP3373331B2 (ja) 車間距離検出装置
JP2019205032A (ja) 車載用故障検出装置、及び故障検出方法
JP2022181771A (ja) 車両検知装置、車両検知方法および車両検知プログラム
EP2919191A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP2021064158A (ja) 物体検知装置、物体検知方法、および物体検知プログラム
CN117346812A (zh) 车辆用显示控制装置、方法及系统、车辆、以及非临时性存储介质
JP2019177718A (ja) 表示制御装置及びヘッドアップディスプレイ装置
JP2017097429A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R151 Written notification of patent or utility model registration

Ref document number: 7287355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151