JP2022041547A - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置 Download PDF

Info

Publication number
JP2022041547A
JP2022041547A JP2020146806A JP2020146806A JP2022041547A JP 2022041547 A JP2022041547 A JP 2022041547A JP 2020146806 A JP2020146806 A JP 2020146806A JP 2020146806 A JP2020146806 A JP 2020146806A JP 2022041547 A JP2022041547 A JP 2022041547A
Authority
JP
Japan
Prior art keywords
image
overlapping region
vehicle
unit
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020146806A
Other languages
English (en)
Other versions
JP7314885B2 (ja
Inventor
佑紀 高橋
Yuki Takahashi
洋平 里見
Yohei Satomi
智陽 飯田
Tomoaki Iida
純平 稲垣
Jumpei Inagaki
友仁 日隈
Tomohito Hikuma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020146806A priority Critical patent/JP7314885B2/ja
Priority to US17/381,759 priority patent/US11491915B2/en
Priority to CN202110862049.8A priority patent/CN114103811B/zh
Publication of JP2022041547A publication Critical patent/JP2022041547A/ja
Application granted granted Critical
Publication of JP7314885B2 publication Critical patent/JP7314885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】後方撮像部と後側方撮像部とでそれぞれ撮像した画像を用いて状況に応じてより適した合成画像を表示させることができる車両用周辺監視装置を得る。【解決手段】後側方画像２４０、２６０のうち後方画像２２０と重複している第一重複領域２４Ａ、２６Ａにおける画像の特徴量と、後方画像２２０のうち後側方画像２４０、２６０と重複している後方第二重複領域２２Ａ、２２Ｂにおける画像の特徴量と、の一致率が所定の閾値を超える第１の場合にＥＣＵは合成画像中における後方処理画像と後側方処理画像との各横方向の長さが同等となるようにする。前記一致率が前記所定の閾値以下である場合にＥＣＵは第１の場合に比して後方処理画像の横方向の長さが短くなるようにかつ後側方処理画像の横方向の長さが長くなるようにする。【選択図】図２

Description

本発明は、車両用周辺監視装置に関する。
下記特許文献１には、車両に搭載されて車両後方側の画像を表示する画像表示装置に関する技術が開示されている。簡単に説明すると、この先行技術では、車両の後方を撮像可能な後方カメラによって撮像された後方画像と、車両の後側方を撮像可能な左後側方カメラ及び右後側方カメラによって撮像された後側方画像と、を画像合成部で合成して合成画像を生成し、その合成画像をディスプレイに表示している。そして、画像合成部は、合成画像を生成する際に、車両と後方車両との間の距離及び車両の車速の少なくとも一方に基づいて、合成画像中で後方画像及び後側方画像が占める領域の割合を変更している。この先行技術では、後方車両が存在する場合に表示画像における後方車両の視認性を適切に確保することができる。
特開２０１９－１１０４９２号公報
しかしながら、上記先行技術による場合、後方車両が存在する領域以外の領域について、状況に応じてより適した画像を表示させる点については改善の余地がある。
本発明は、上記事実を考慮して、後方撮像部と後側方撮像部とでそれぞれ撮像した画像を用いて状況に応じてより適した合成画像を表示させることができる車両用周辺監視装置を得ることが目的である。
請求項１に記載する本発明の車両用周辺監視装置は、車両の車室内に設けられて画像を表示する表示部と、前記車両に設けられて前記車両の後方を撮像する後方撮像部と、前記車両において前記後方撮像部よりも車両幅方向外側に設けられて前記車両の後側方を撮像する後側方撮像部と、前記後方撮像部により撮像された後方画像と、前記後側方撮像部により撮像された後側方画像とを、互いの撮像対象領域が重複せずかつ連続するようにトリミングすることで、前記後方画像から後方処理画像を生成しかつ前記後側方画像から後側方処理画像を生成するトリミング画像生成部と、前記トリミング画像生成部によりそれぞれ生成された前記後方処理画像と前記後側方処理画像とを合成して単一の合成画像を生成する画像合成部と、前記画像合成部により生成された前記合成画像を前記表示部に表示させる表示制御部と、を備え、前記トリミング画像生成部は、前記後側方画像のうち前記後方画像と重複している第一重複領域の画像に含まれかつ前記後方画像のうち前記後側方画像と重複している第二重複領域の画像に含まれない情報がない、又は当該情報があっても当該情報は前記合成画像に含めるべき情報ではない、と判断した第１の場合には、前記合成画像中における前記後方処理画像と前記後側方処理画像との各横方向の長さが同等となるようにトリミングし、前記第一重複領域の画像に含まれかつ前記第二重複領域の画像に含まれない情報でかつ前記合成画像に含めるべき情報があると判断した第２の場合には、前記合成画像に含めるべき当該情報を前記後側方処理画像に残して前記第１の場合に比して前記合成画像中における前記後方処理画像の横方向の長さが短くなるようにかつ前記後側方処理画像の横方向の長さが長くなるようにトリミングする。
上記構成によれば、車両に設けられた後方撮像部が車両の後方を撮像し、車両において後方撮像部よりも車両幅方向外側に設けられた後側方撮像部が車両の後側方を撮像する。また、トリミング画像生成部は、後方撮像部により撮像された後方画像と、後側方撮像部により撮像された後側方画像とを、互いの撮像対象領域が重複せずかつ連続するようにトリミングすることで、後方画像から後方処理画像を生成しかつ後側方画像から後側方処理画像を生成する。さらに、画像合成部は、トリミング画像生成部によりそれぞれ生成された後方処理画像と後側方処理画像とを合成して単一の合成画像を生成し、表示制御部は、画像合成部により生成された合成画像を車室内の表示部に表示させる。
ここで、トリミング画像生成部は、後側方画像のうち後方画像と重複している第一重複領域の画像に含まれかつ後方画像のうち後側方画像と重複している第二重複領域の画像に含まれない情報がない、又は当該情報があっても当該情報は合成画像に含めるべき情報ではない、と判断した第１の場合には、合成画像中における後方処理画像と後側方処理画像との各横方向の長さが同等となるようにトリミングする。また、トリミング画像生成部は、第一重複領域の画像に含まれかつ第二重複領域の画像に含まれない情報でかつ合成画像に含めるべき情報があると判断した第２の場合には、合成画像に含めるべき当該情報を後側方処理画像に残して第１の場合に比して合成画像中における後方処理画像の横方向の長さが短くなるようにかつ後側方処理画像の横方向の長さが長くなるようにトリミングする。これにより、後方画像と後側方画像との重複撮像領域において後方画像に存在しなくて後側方画像に存在する所定の対象物を合成画像中に含めることが可能となる。
請求項２に記載する本発明の車両用周辺監視装置は、請求項１記載の構成において、前記第一重複領域における画像の特徴量及び前記第二重複領域における画像の特徴量をそれぞれ算出する特徴量算出部を備え、前記トリミング画像生成部は、前記特徴量算出部による算出結果に基づいて、前記第一重複領域における画像の特徴量と前記第二重複領域における画像の特徴量との一致率が所定の閾値を超えると判定した場合には前記第１の場合と判断し、前記第一重複領域における画像の特徴量と前記第二重複領域における画像の特徴量との一致率が前記所定の閾値以下であると判定した場合には前記第２の場合と判断する。
上記構成によれば、特徴量算出部は、第一重複領域における画像の特徴量及び第二重複領域における画像の特徴量をそれぞれ算出する。ここで、トリミング画像生成部は、特徴量算出部による算出結果に基づいて、第一重複領域における画像の特徴量と第二重複領域における画像の特徴量との一致率が所定の閾値を超えると判定した場合には、第一重複領域の画像に含まれかつ第二重複領域の画像に含まれない情報がない、又は当該情報があっても合成画像に含めるべき情報はない、と判断し、合成画像中における後方処理画像と後側方処理画像との各横方向の長さが同等となるようにトリミングする。また、トリミング画像生成部は、特徴量算出部による算出結果に基づいて、第一重複領域における画像の特徴量と第二重複領域における画像の特徴量との一致率が前記所定の閾値以下であると判定した場合には、第一重複領域の画像に含まれかつ第二重複領域の画像に含まれない情報でかつ合成画像に含めるべき情報があると判断し、合成画像に含めるべき当該情報を後側方処理画像に残して第１の場合に比して合成画像中における後方処理画像の横方向の長さが短くなるようにかつ後側方処理画像の横方向の長さが長くなるようにトリミングする。
請求項３に記載する本発明の車両用周辺監視装置は、請求項１記載の構成において、前記第一重複領域に存在する物標及び前記第二重複領域に存在する物標をそれぞれ検出する物標検出部を備え、前記トリミング画像生成部は、前記物標検出部による検出結果に基づいて、前記第一重複領域及び前記第二重複領域のうち前記第一重複領域にのみ存在する物標がないと判定した場合には前記第１の場合と判断し、前記第一重複領域及び前記第二重複領域のうち前記第一重複領域にのみ存在する物標があると判定した場合には前記第２の場合と判断する。
上記構成によれば、物標検出部は、第一重複領域に存在する物標及び第二重複領域に存在する物標をそれぞれ検出する。ここで、トリミング画像生成部は、物標検出部による検出結果に基づいて、第一重複領域及び第二重複領域のうち第一重複領域にのみ存在する物標がないと判定した場合には、第一重複領域の画像に含まれかつ第二重複領域の画像に含まれない情報がない、又は当該情報があっても合成画像に含めるべき情報はない、と判断し、合成画像中における後方処理画像と後側方処理画像との各横方向の長さが同等となるようにトリミングする。また、トリミング画像生成部は、物標検出部による検出結果に基づいて、第一重複領域及び第二重複領域のうち第一重複領域にのみ存在する物標があると判定した場合には、第一重複領域の画像に含まれかつ第二重複領域の画像に含まれない情報でかつ合成画像に含めるべき情報があると判断し、合成画像に含めるべき当該情報を後側方処理画像に残して第１の場合に比して合成画像中における後方処理画像の横方向の長さが短くなるようにかつ後側方処理画像の横方向の長さが長くなるようにトリミングする。
以上説明したように、本発明の車両用周辺監視装置によれば、後方撮像部と後側方撮像部とでそれぞれ撮像した画像を用いて状況に応じてより適した合成画像を表示させることができる車両用周辺監視装置を得る。
第１の実施形態に係る車両用周辺監視装置が搭載された車両及びその周辺を示す模式的な平面図である。 第１の実施形態に係る車両用周辺監視装置の三台のカメラにより撮像された画像の一例を示すイメージ図である。 第１の実施形態に係る車両用周辺監視装置のハードウェア構成の一例を示すブロック図である。 第１の実施形態に係る車両用周辺監視装置のＥＣＵの機能構成の一例を示すブロック図である。 第１の実施形態に係る車両用周辺監視装置のＥＣＵによる制御処理の流れの一例を示すフローチャートである。 画像の重複領域における特徴量の一致率が閾値を超える場合（第１の場合）の画像合成を説明するための模式図である。 図６の場合における合成画像のイメージ図である。 画像の重複領域における特徴量の一致率が閾値以下である場合（第２の場合）の画像合成を説明するための模式図である。 図８の場合における合成画像のイメージ図である。 第２の実施形態に係る車両用周辺監視装置のＥＣＵの機能構成の一例を示すブロック図である。 第２の実施形態に係る車両用周辺監視装置のＥＣＵによる制御処理の流れの一例を示すフローチャートである。
［第１の実施形態］
第１の実施形態に係る車両用周辺監視装置について図１～図９を用いて説明する。なお、これらの図において適宜示される矢印ＦＲは車両前方側を示しており、矢印Ｗは車両幅方向を示している。
図１には、第１の実施形態に係る車両用周辺監視装置２０が搭載された車両１０及びその周辺が模式的な平面図で示されている。なお、図１では、車両１０に対して後方に他車両であるトラック５０が走行し、トラック５０に対してその車両右側（図中左側）にバイク（二輪車）５２が走行している状態を示している。また、車両１０が走行するレーンに対して左隣の（図中右側の）レーンには、トラック５０に対してその車両左側（図中右側）に他の車両である乗用車５４が走行している。
図１に示されるように、車両用周辺監視装置２０は、車両後端部（一例として後側のナンバープレートの上側）の車両幅方向中央部に後方撮像部としての後方カメラ２２を備える。後方カメラ２２は、車両１０に設けられて車両１０の後方を撮像する。図１では、後方カメラ２２の画角の一例をθ１で示し、後方カメラ２２の撮像範囲の一例を符号２２Ｐで示す。なお、図１における後方カメラ２２の撮像範囲２２Ｐには死角領域が一部含まれており、図１に示される状態では後方カメラ２２でバイク５２を撮像することはできない。後方カメラ２２は、画像センサとしても把握することが可能な要素である。図２（Ｂ）には、後方カメラ２２により撮像された後方画像２２０の一例が示されている。図２（Ｂ）に示されるように、後方カメラ２２により撮像された後方画像２２０は、鏡像反転された画像とされる。
図１に示されるように、車両用周辺監視装置２０は、車両１０の右側の側部（一例として通常右ドアミラーが設けられる位置）に後側方撮像部としての右側カメラ２４を備える。また、車両用周辺監視装置２０は、車両１０の左側の側部（一例として通常左ドアミラーが設けられる位置）に後側方撮像部としての左側カメラ２６を備える。右側カメラ２４及び左側カメラ２６は、いずれも車両１０において後方カメラ２２よりも車両幅方向外側に設けられている。右側カメラ２４は、車両１０の後右側方を撮像し、左側カメラ２６は、車両１０の後左側方を撮像する。
図１では、右側カメラ２４の画角の一例をθ２で示し、右側カメラ２４の撮像範囲の一例を符号２４Ｐで示している。また、左側カメラ２６の画角の一例をθ３で示し、左側カメラ２６の撮像範囲の一例を符号２６Ｐで示している。右側カメラ２４及び左側カメラ２６は、画像センサとしても把握することが可能な要素である。図２（Ａ）には左側カメラ２６により撮像された後側方画像２６０の一例が示され、図２（Ｃ）には、右側カメラ２４により撮像された後側方画像２４０の一例が示されている。図２（Ａ）に示されるように、左側カメラ２６により撮像された後側方画像２６０は、鏡像反転された画像とされる。また、図２（Ｃ）に示されるように、右側カメラ２４により撮像された後側方画像２４０は、鏡像反転された画像とされる。
なお、図１では、後方カメラ２２の撮像範囲２２Ｐと右側カメラ２４の撮像範囲２４Ｐとの重複領域Ｐ１に斜線を入れ、後方カメラ２２の撮像範囲２２Ｐと左側カメラ２６の撮像範囲２６Ｐとの重複領域Ｐ２に斜線を入れている。また、図２（Ａ）では、後側方画像２６０のうち後方画像２２０（図２（Ｂ）参照）と重複している第一重複領域に符号２６Ａを付し、図２（Ｂ）では、後方画像２２０のうち後側方画像２６０（図２（Ａ）参照）と重複している第二重複領域に符号２２Ｂを付している。また、図２（Ｃ）では、後側方画像２４０のうち後方画像２２０（図２（Ｂ）参照）と重複している第一重複領域に符号２４Ａを付し、図２（Ｂ）では、後方画像２２０のうち後側方画像２４０（図２（Ｃ）参照）と重複している第二重複領域に符号２２Ａを付している。
図３には、車両用周辺監視装置２０のハードウェア構成の一例がブロック図で示されている。
図３に示されるように、車両用周辺監視装置２０は、前述した後方カメラ２２、右側カメラ２４及び左側カメラ２６が接続されたＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３０を備える。ＥＣＵ３０には、表示部としてのディスプレイ２８が接続されている。ディスプレイ２８は、車両１０の車室内の前部に設けられて画像（映像）を表示する。
ＥＣＵ３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）３０Ａ、記録部としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０Ｃ、ストレージ３０Ｄ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）３０Ｅ及び入出力Ｉ／Ｆ３０Ｆを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ、通信Ｉ／Ｆ３０Ｅ及び入出力Ｉ／Ｆ３０Ｆは、バス３０Ｚを介して相互に通信可能に接続されている。
ＣＰＵ３０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３０Ａは、ＲＯＭ３０Ｂ又はストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂ又はストレージ３０Ｄに記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
ＲＯＭ３０Ｂは、各種プログラム及び各種データを格納する。一例として、ＲＯＭ３０Ｂには、画像表示制御プログラムが格納されている。ＲＡＭ３０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ３０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、各種プログラム及び各種データを格納する。通信Ｉ／Ｆ３０Ｅは、ＥＣＵ３０が他の機器と通信するためのインタフェースである。当該通信には、例えば、４Ｇ、５Ｇ、又はＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
入出力Ｉ／Ｆ３０Ｆは、車両１０に搭載される各装置と通信するためのインタフェースである。本実施形態のＥＣＵ３０には、入出力Ｉ／Ｆ３０Ｆを介して、一例として、後方カメラ２２、右側カメラ２４、左側カメラ２６及びディスプレイ２８が接続されている。なお、後方カメラ２２、右側カメラ２４、左側カメラ２６及びディスプレイ２８は、バス３０Ｚに対して直接接続されていてもよい。
図４には、ＥＣＵ３０の機能構成の一例がブロック図で示されている。図４に示されるように、ＥＣＵ３０は、機能構成として、特徴量算出部３０１、トリミング画像生成部３０２、画像合成部３０３及び表示制御部３０４を有する。特徴量算出部３０１、トリミング画像生成部３０２、画像合成部３０３及び表示制御部３０４は、ＣＰＵ３０ＡがＲＯＭ３０Ｂに記憶された画像表示制御プログラムを読み出し、実行することにより実現される。
特徴量算出部３０１は、第一重複領域２４Ａ、２６Ａにおける画像の特徴量及び第二重複領域２２Ａ、２２Ｂにおける画像の特徴量をそれぞれ算出する。
トリミング画像生成部３０２は、後方カメラ２２により撮像された後方画像２２０と、右側カメラ２４、左側カメラ２６により撮像された後側方画像２４０、２６０とを、互いの撮像対象領域が重複せずかつ連続するようにトリミングすることで、後方画像２２０から後方処理画像２２１を生成しかつ後側方画像２４０、２６０から後側方処理画像２４１、２６１を生成する。
また、トリミング画像生成部３０２は、「第一重複領域２４Ａ、２６Ａの画像に含まれかつ第二重複領域２２Ａ、２２Ｂの画像に含まれない情報」がない、又は当該情報があっても当該情報は合成画像２８１に含めるべき情報ではない、と判断した第１の場合には、図７に示される合成画像２８１中における後方処理画像２２１と後側方処理画像２４１、２６１との各横方向の長さが同等となるようにトリミングし、図２に示される第一重複領域２４Ａ、２６Ａの画像に含まれかつ第二重複領域２２Ａ、２２Ｂの画像に含まれない情報でかつ合成画像２８１に含めるべき情報があると判断した第２の場合には、図９に示される合成画像２８１に含めるべき当該情報を後側方処理画像２４１、２６１に残して前記第１の場合に比して合成画像２８１中における後方処理画像２２１の横方向の長さが短くなるようにかつ後側方処理画像２４１、２６１の横方向の長さが長くなるようにトリミングする。なお、図７及び図９においては、説明の便宜上、後方処理画像２２１と後側方処理画像２４１、２６１との境界線を図示しているが、実際の合成画像２８１には前記境界線は存在しない。
図４に示されるトリミング画像生成部３０２は、特徴量算出部３０１による算出結果に基づいて、図２に示される第一重複領域２４Ａ、２６Ａにおける画像の特徴量と第二重複領域２２Ａ、２２Ｂにおける画像の特徴量との一致率が所定の閾値を超えると判定した場合には前記第１の場合と判断し、第一重複領域２４Ａ、２６Ａにおける画像の特徴量と第二重複領域２２Ａ、２２Ｂにおける画像の特徴量との一致率が前記所定の閾値以下であると判定した場合には前記第２の場合と判断する。なお、前記所定の閾値は、合成画像２８１に含めるべき情報があるか否かを判断するのに適切といえる値に設定される。
図４に示される画像合成部３０３は、トリミング画像生成部３０２によりそれぞれ生成された後方処理画像２２１と後側方処理画像２４１、２６１とを合成して単一の合成画像２８１を生成する。なお、画像合成部３０３は、画像を合成する際に、視点変換処理等の公知の画像合成処理を行ってもよい。表示制御部３０４は、画像合成部３０３により生成された合成画像２８１をディスプレイ２８に表示させる。
次に、車両用周辺監視装置２０の作用について説明する。
図５には、ＥＣＵ３０による画像表示制御処理の流れの一例がフローチャートで示されている。ＣＰＵ３０ＡがＲＯＭ３０Ｂから画像表示制御プログラムを読み出してＲＡＭ３０Ｃに展開して実行することにより、ＥＣＵ３０による画像表示制御処理が行なわれる。図５に示す画像表示制御処理は、一例として、車両１０のイグニッションスイッチがオンとなった場合に実行が開始される。
ＣＰＵ３０Ａは、後方カメラ２２により撮像された後方画像２２０を取得し、右側カメラ２４及び左側カメラ２６によりそれぞれ撮像された後側方画像２４０、２６０を取得する（ステップＳ１００）。
次に、ＣＰＵ３０Ａは、第一重複領域２４Ａにおける画像の特徴量と第二重複領域２２Ａにおける画像の特徴量との一致率が所定の閾値を超えるか否かを判定する（Ｓ１０１）。第一重複領域２４Ａにおける画像の特徴量と第二重複領域２２Ａにおける画像の特徴量との一致率が前記所定の閾値以下である場合（ステップＳ１０１：Ｎ）、ＣＰＵ３０Ａは、ステップＳ１０４（後述）の処理へ移行する。例えば、図８に示されるようにバイク５２が後方カメラ２２では撮像されず右側カメラ２４では撮像されるような場合には、前記一致率が所定の閾値以下である場合に該当することになる。図５のフローチャートに戻り、第一重複領域２４Ａにおける画像の特徴量と第二重複領域２２Ａにおける画像の特徴量との一致率が前記所定の閾値を超える場合（ステップＳ１０１：Ｙ）、ＣＰＵ３０Ａは、ステップＳ１０２の処理へ移行する。例えば、図６に示されるような状態で後方カメラ２２及び右側カメラ２４による撮像がされた場合は、前記一致率が所定の閾値を超える場合に該当することになる。
図５に示されるステップＳ１０２において、ＣＰＵ３０Ａは、第一重複領域２６Ａにおける画像の特徴量と第二重複領域２２Ｂにおける画像の特徴量との一致率が所定の閾値を超えるか否かを判定する。第一重複領域２６Ａにおける画像の特徴量と第二重複領域２２Ｂにおける画像の特徴量との一致率が前記所定の閾値以下である場合（ステップＳ１０２：Ｎ）、ＣＰＵ３０Ａは、ステップＳ１０４（後述）の処理へ移行する。第一重複領域２６Ａにおける画像の特徴量と第二重複領域２２Ｂにおける画像の特徴量との一致率が所定の閾値を超える場合（ステップＳ１０２：Ｙ）、ＣＰＵ３０Ａは、ステップＳ１０３の処理へ移行する。
ステップＳ１０３において、ＣＰＵ３０Ａは、合成画像２８１中における後方処理画像２２１と後側方処理画像２４１、２６１との各横方向の長さが同等となるように（図７参照）、後方画像２２０及び後側方画像２４０、２６０をトリミングし、ステップＳ１０５の処理へ移行する。
ステップＳ１０３のトリミングについて図６を参照しながら補足説明する。図６には、第一重複領域２４Ａにおける画像の特徴量と第二重複領域２２Ａにおける画像の特徴量との一致率が所定の閾値を超えかつ第一重複領域２６Ａにおける画像の特徴量と第二重複領域２２Ｂにおける画像の特徴量との一致率が所定の閾値を超える場合（第１の場合）の画像合成を説明するための模式図が示されている。
図６においては、前記第１の場合用に右側カメラ２４の画角θ２、後方カメラ２２の画角θ１及び左側カメラ２６の画角θ３がそれぞれ仮想的に調整されたイメージ図が示され、車両１０の後方に示される仮想合成面６０では、右側カメラ２４、後方カメラ２２及び左側カメラ２６による各撮像対象が重複せずに連続しかつ横方向の長さが同等となっている。これに対応させるように図５に示されるステップＳ１０３のトリミングが実行される。図６に示される仮想合成面６０は、後述する図８に示される仮想合成面６２と比べると、車両１０から離れた位置に設定されている。なお、図６に示されるように、仮想合成面６０が車両１０から離れた位置に設定されると、右側カメラ２４、後方カメラ２２及び左側カメラ２６による撮像領域の重複が抑えられる。
一方、図５に示されるステップＳ１０４において、ＣＰＵ３０Ａは、前記特徴量の一致率を下げた主要因の情報を後側方処理画像２４１、２６１に残してステップＳ１０３の場合に比して合成画像２８１中における後方処理画像２２１の横方向の長さが短くなるようにかつ後側方処理画像２４１、２６１の横方向の長さが長くなるように（図９参照）、後方画像２２０及び後側方画像２４０、２６０をトリミングし、ステップＳ１０５の処理へ移行する。
ステップＳ１０４のトリミングについて図８を参照しながら補足説明する。図８には、第一重複領域２４Ａにおける画像の特徴量と第二重複領域２２Ａにおける画像の特徴量との一致率が所定の閾値以下である場合、及び第一重複領域２６Ａにおける画像の特徴量と第二重複領域２２Ｂにおける画像の特徴量との一致率が所定の閾値以下である場合の少なくとも一方に該当する場合（第２の場合）における画像合成を説明するための模式図が示されている。
図８においては、前記第２の場合用に右側カメラ２４の画角θ２、後方カメラ２２の画角θ１及び左側カメラ２６の画角θ３がそれぞれ仮想的に調整されたイメージ図が示され、車両１０の後方に示される仮想合成面６２では、右側カメラ２４、後方カメラ２２及び左側カメラ２６による各撮像対象が重複せずに連続しかつ右側カメラ２４及び左側カメラ２６による各撮像範囲が後方カメラ２２による撮像範囲よりも横方向の長さが長くなっている。これに対応させるように図５に示されるステップＳ１０４のトリミングが実行される。
ステップＳ１０５において、ＣＰＵ３０Ａは、後方処理画像２２１と後側方処理画像２４１、２６１とを合成して単一の合成画像２８１を生成する。次のステップＳ１０６において、ＣＰＵ３０Ａは、ステップＳ１０５で生成された合成画像２８１をディスプレイ２８に表示させる。
これにより、例えば、図７又は図９に示される合成画像２８１がディスプレイ２８に表示される。なお、図９において、点線の枠７０で囲まれた領域は、前記特徴量の一致率を下げた領域である。
次に、図５のステップＳ１０７において、ＣＰＵ３０Ａは、例えば車両１０のイグニッションスイッチがオフされたか否か等に基づいて、車両１０の運転が終了されたか否かを判定する。車両１０の運転が終了されていないと判定された場合（ステップＳ１０７：Ｎ）、ＣＰＵ３０Ａは、ステップＳ１００からの処理を繰り返す。車両１０の運転が終了されたものと判定された場合（ステップＳ１０７：Ｙ）、ＣＰＵ３０Ａは、図５に示す画像表示制御処理を終了する。
車両用周辺監視装置２０は、図２に示される第一重複領域２４Ａ、２６Ａにおける画像の特徴量と第二重複領域２２Ａ、２２Ｂにおける画像の特徴量との一致率が所定の閾値を超えるか否かに応じて、後方カメラ２２、右側カメラ２４及び左側カメラ２６による撮像画像の合成比率を変えるので、より適した合成画像２８１を得ることができる。
以上説明したように、第１の実施形態の車両用周辺監視装置２０によれば、図１等に示される後方カメラ２２、右側カメラ２４及び左側カメラ２６でそれぞれ撮像した画像を用いて状況に応じてより適した合成画像２８１を表示させることができる。
［第２の実施形態］
次に、第２の実施形態について図２及び図３等を流用しながら図１０～図１２を用いて説明する。第２の本実施形態に係る車両用周辺監視装置は、以下に説明する点を除いて第１の実施形態の車両用周辺監視装置２０と同様とされる。第１の実施形態と同様の部分は同一符号を付して説明を省略する。また、第２の実施形態の車両用周辺監視装置のハードウェア構成は、第１の実施形態の車両用周辺監視装置２０のハードウェア構成と同様であるため、図３を流用して図示及び詳細説明を省略する。
第２の本実施形態においては、図３に示されるＥＣＵ３０のＲＯＭ３０Ｂには、第１の実施形態で説明した画像表示制御プログラムの一部を変更した画像表示制御プログラム等が格納されている。
図１０には、第２の実施形態に係る車両用周辺監視装置のＥＣＵ３０の機能構成の一例がブロック図で示されている。図１０に示されるように、第２の実施形態に係る車両用周辺監視装置のＥＣＵ３０は、第１の実施形態の特徴量算出部３０１（図４参照）に代えて物標検出部３１１を備え、第１の実施形態のトリミング画像生成部３０２（図４参照）に代えてトリミング画像生成部３１２を備える。物標検出部３１１、トリミング画像生成部３１２、画像合成部３０３及び表示制御部３０４は、ＣＰＵ３０ＡがＲＯＭ３０Ｂに記憶された第２の実施形態の画像表示制御プログラムを読み出し、実行することにより実現される。
物標検出部３１１は、第一重複領域２４Ａ、２６Ａに存在する物標及び第二重複領域２２Ａ、２２Ｂに存在する物標をそれぞれ検出する。なお、物標には、例えば、道路上又はその周辺において存在する自動車、二輪車、歩行者、信号機及び路側物等が含まれる。
トリミング画像生成部３１２は、第１の実施形態のトリミング画像生成部３０２（図４参照）と同様に、後方カメラ２２により撮像された後方画像２２０と、右側カメラ２４、左側カメラ２６により撮像された後側方画像２４０、２６０とを、互いの撮像対象領域が重複せずかつ連続するようにトリミングすることで、後方画像２２０から後方処理画像２２１を生成しかつ後側方画像２４０、２６０から後側方処理画像２４１、２６１を生成する。
また、トリミング画像生成部３１２は、第１の実施形態のトリミング画像生成部３０２（図４参照）と同様に、「第一重複領域２４Ａ、２６Ａの画像に含まれかつ第二重複領域２２Ａ、２２Ｂの画像に含まれない情報」がない、又は当該情報があっても当該情報は合成画像２８１に含めるべき情報ではない、と判断した第１の場合には、図７に示される合成画像２８１中における後方処理画像２２１と後側方処理画像２４１、２６１との各横方向の長さが同等となるようにトリミングし、図２に示される第一重複領域２４Ａ、２６Ａの画像に含まれかつ第二重複領域２２Ａ、２２Ｂの画像に含まれない情報でかつ合成画像２８１に含めるべき情報があると判断した第２の場合には、図９に示される合成画像２８１に含めるべき当該情報を後側方処理画像２４１、２６１に残して前記第１の場合に比して合成画像２８１中における後方処理画像２２１の横方向の長さが短くなるようにかつ後側方処理画像２４１、２６１の横方向の長さが長くなるようにトリミングする。
ここで、第２の実施形態のトリミング画像生成部３１２は、物標検出部３１１による検出結果に基づいて、第一重複領域２４Ａ、２６Ａ及び第二重複領域２２Ａ、２２Ｂのうち第一重複領域２４Ａ、２６Ａにのみ存在する物標がないと判定した場合には前記第１の場合と判断し、第一重複領域２４Ａ、２６Ａ及び第二重複領域２２Ａ、２２Ｂのうち第一重複領域２４Ａ、２６Ａにのみ存在する物標があると判定した場合には前記第２の場合と判断する。
図１１には、第２の実施形態のＥＣＵ３０による画像表示制御処理の流れの一例がフローチャートで示されている。ＣＰＵ３０ＡがＲＯＭ３０Ｂから第２の実施形態の画像表示制御プログラムを読み出してＲＡＭ３０Ｃに展開して実行することにより、ＥＣＵ３０による第２の実施形態の画像表示制御処理が行なわれる。図１１に示す画像表示制御処理は、一例として、車両１０のイグニッションスイッチがオンとなった場合に実行が開始される。
図１１に示されるように、第２の実施形態のフローチャートは、第１の実施形態のステップＳ１０１（図５参照）に代えてステップＳ１０１Ａが設けられ、第１の実施形態のステップＳ１０２（図５参照）に代えてステップＳ１０２Ａが設けられている点で第１の実施形態のフローチャート（図５参照）とは異なる。第２の実施形態のフローチャートは、他の点については、第１の実施形態のフローチャート（図５参照）と同様であるので、同様のステップについては同一符号を付して説明を省略する。
ステップＳ１０１Ａにおいて、ＣＰＵ３０Ａは、第一重複領域２４Ａ及び第二重複領域２２Ａのうち第一重複領域２４Ａにのみ存在する物標があるか否かを判定する。第一重複領域２４Ａ及び第二重複領域２２Ａのうち第一重複領域２４Ａにのみ存在する物標がある場合（ステップＳ１０１Ａ：Ｙ）、ＣＰＵ３０Ａは、ステップＳ１０４の処理へ移行する。一方、第一重複領域２４Ａ及び第二重複領域２２Ａのうち第一重複領域２４Ａにのみ存在する物標がない場合（ステップＳ１０１Ａ：Ｎ）、ＣＰＵ３０Ａは、ステップＳ１０２Ａの処理へ移行する。なお、例えば、図２（Ｃ）に示されるバイク５２は、第一重複領域２４Ａ及び第二重複領域２２Ａのうち第一重複領域２４Ａにのみ存在する物標として認識される。
図１１に示されるステップＳ１０２Ａにおいて、ＣＰＵ３０Ａは、第一重複領域２６Ａ及び第二重複領域２２Ｂのうち第一重複領域２６Ａにのみ存在する物標があるか否かを判定する。第一重複領域２６Ａ及び第二重複領域２２Ｂのうち第一重複領域２６Ａにのみ存在する物標がある場合（ステップＳ１０２Ａ：Ｙ）、ＣＰＵ３０Ａは、ステップＳ１０４の処理へ移行する。第一重複領域２６Ａ及び第二重複領域２２Ｂのうち第一重複領域２６Ａにのみ存在する物標がない場合（ステップＳ１０２Ａ：Ｎ）、ＣＰＵ３０Ａは、ステップＳ１０３の処理へ移行する。
以上説明した第２の実施形態によっても、後方カメラ２２、右側カメラ２４及び左側カメラ２６でそれぞれ撮像した画像を用いて状況に応じてより適した合成画像２８１を表示させることができる。
［実施形態の補足説明］
なお、上記第１、第２の実施形態では、図３に示されるＲＯＭ３０Ｂに画像表示制御プログラムが格納されているが、上記実施形態の変形例として、前記画像表示制御プログラムは、ＲＯＭ３０Ｂでなくストレージ３０Ｄに格納されてもよい。
また、上記第１、第２の実施形態で図３に示されるＣＰＵ３０Ａがソフトウェア（プログラム）を読み込んで実行した各処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態で説明した各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
なお、上記実施形態及び上述の変形例は、適宜組み合わされて実施可能である。
以上、本発明の一例について説明したが、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 車両
２０ 車両用周辺監視装置
２２ 後方カメラ（後方撮像部）
２２Ａ 第二重複領域
２２Ｂ 第二重複領域
２４ 右側カメラ（後側方撮像部）
２４Ａ 第一重複領域
２６ 左側カメラ（後側方撮像部）
２６Ａ 第一重複領域
２８ ディスプレイ（表示部）
２２０ 後方画像
２２１ 後方処理画像
２４０ 後側方画像
２４１ 後側方処理画像
２６０ 後側方画像
２６１ 後側方処理画像
２８１ 合成画像
３０１ 特徴量算出部
３０２ トリミング画像生成部
３０３ 画像合成部
３０４ 表示制御部
３１１ 物標検出部
３１２ トリミング画像生成部

Claims (3)

  1. 車両の車室内に設けられて画像を表示する表示部と、
    前記車両に設けられて前記車両の後方を撮像する後方撮像部と、
    前記車両において前記後方撮像部よりも車両幅方向外側に設けられて前記車両の後側方を撮像する後側方撮像部と、
    前記後方撮像部により撮像された後方画像と、前記後側方撮像部により撮像された後側方画像とを、互いの撮像対象領域が重複せずかつ連続するようにトリミングすることで、前記後方画像から後方処理画像を生成しかつ前記後側方画像から後側方処理画像を生成するトリミング画像生成部と、
    前記トリミング画像生成部によりそれぞれ生成された前記後方処理画像と前記後側方処理画像とを合成して単一の合成画像を生成する画像合成部と、
    前記画像合成部により生成された前記合成画像を前記表示部に表示させる表示制御部と、
    を備え、
    前記トリミング画像生成部は、前記後側方画像のうち前記後方画像と重複している第一重複領域の画像に含まれかつ前記後方画像のうち前記後側方画像と重複している第二重複領域の画像に含まれない情報がない、又は当該情報があっても当該情報は前記合成画像に含めるべき情報ではない、と判断した第１の場合には、前記合成画像中における前記後方処理画像と前記後側方処理画像との各横方向の長さが同等となるようにトリミングし、前記第一重複領域の画像に含まれかつ前記第二重複領域の画像に含まれない情報でかつ前記合成画像に含めるべき情報があると判断した第２の場合には、前記合成画像に含めるべき当該情報を前記後側方処理画像に残して前記第１の場合に比して前記合成画像中における前記後方処理画像の横方向の長さが短くなるようにかつ前記後側方処理画像の横方向の長さが長くなるようにトリミングする、車両用周辺監視装置。
  2. 前記第一重複領域における画像の特徴量及び前記第二重複領域における画像の特徴量をそれぞれ算出する特徴量算出部を備え、
    前記トリミング画像生成部は、前記特徴量算出部による算出結果に基づいて、前記第一重複領域における画像の特徴量と前記第二重複領域における画像の特徴量との一致率が所定の閾値を超えると判定した場合には前記第１の場合と判断し、前記第一重複領域における画像の特徴量と前記第二重複領域における画像の特徴量との一致率が前記所定の閾値以下であると判定した場合には前記第２の場合と判断する、請求項１記載の車両用周辺監視装置。
  3. 前記第一重複領域に存在する物標及び前記第二重複領域に存在する物標をそれぞれ検出する物標検出部を備え、
    前記トリミング画像生成部は、前記物標検出部による検出結果に基づいて、前記第一重複領域及び前記第二重複領域のうち前記第一重複領域にのみ存在する物標がないと判定した場合には前記第１の場合と判断し、前記第一重複領域及び前記第二重複領域のうち前記第一重複領域にのみ存在する物標があると判定した場合には前記第２の場合と判断する、請求項１記載の車両用周辺監視装置。
JP2020146806A 2020-09-01 2020-09-01 車両用周辺監視装置 Active JP7314885B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020146806A JP7314885B2 (ja) 2020-09-01 2020-09-01 車両用周辺監視装置
US17/381,759 US11491915B2 (en) 2020-09-01 2021-07-21 Vehicle periphery monitoring device
CN202110862049.8A CN114103811B (zh) 2020-09-01 2021-07-29 车辆用周边监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020146806A JP7314885B2 (ja) 2020-09-01 2020-09-01 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2022041547A true JP2022041547A (ja) 2022-03-11
JP7314885B2 JP7314885B2 (ja) 2023-07-26

Family

ID=80358208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020146806A Active JP7314885B2 (ja) 2020-09-01 2020-09-01 車両用周辺監視装置

Country Status (3)

Country Link
US (1) US11491915B2 (ja)
JP (1) JP7314885B2 (ja)
CN (1) CN114103811B (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338566A (ja) * 2005-06-06 2006-12-14 Alpine Electronics Inc 画像合成装置および合成方法
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2019071543A (ja) * 2017-10-10 2019-05-09 マツダ株式会社 車両用表示装置
JP2020028027A (ja) * 2018-08-10 2020-02-20 トヨタ自動車株式会社 車両用周辺表示装置
JP2020088415A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 車両用電子ミラーシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
DE102010034140A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
DE102012001835B4 (de) * 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102014119317A1 (de) * 2014-12-22 2016-06-23 Connaught Electronics Ltd. Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug
WO2017154316A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6401733B2 (ja) * 2016-04-15 2018-10-10 本田技研工業株式会社 画像表示装置
US20180154831A1 (en) * 2016-07-29 2018-06-07 Faraday&Future Inc. Composite display from one or more cameras
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
JP7069692B2 (ja) 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
JP7106859B2 (ja) * 2017-12-27 2022-07-27 トヨタ自動車株式会社 画像表示装置
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching
JP7027476B2 (ja) * 2020-04-06 2022-03-01 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338566A (ja) * 2005-06-06 2006-12-14 Alpine Electronics Inc 画像合成装置および合成方法
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2019071543A (ja) * 2017-10-10 2019-05-09 マツダ株式会社 車両用表示装置
JP2020028027A (ja) * 2018-08-10 2020-02-20 トヨタ自動車株式会社 車両用周辺表示装置
JP2020088415A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 車両用電子ミラーシステム

Also Published As

Publication number Publication date
CN114103811B (zh) 2023-08-01
CN114103811A (zh) 2022-03-01
US20220063499A1 (en) 2022-03-03
JP7314885B2 (ja) 2023-07-26
US11491915B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP4883977B2 (ja) 車両用画像表示装置
JP7159802B2 (ja) 車両用電子ミラーシステム
JP2016097896A (ja) 画像表示制御装置
JP6406159B2 (ja) 車載表示制御装置、車載表示制御方法
CN104756171A (zh) 图像生成装置及图像生成程序产品
CN111674389A (zh) 停车支援装置及停车支援方法
JP6554866B2 (ja) 画像表示制御装置
JP2017033402A (ja) 車載表示制御装置、車載表示制御方法
JP2020068515A (ja) 画像処理装置
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
KR102459237B1 (ko) 차량 및 그 제어방법
JP6631350B2 (ja) ドライブレコーダ
JP2022041547A (ja) 車両用周辺監視装置
JP4679816B2 (ja) 車両周辺表示制御装置
JP6835004B2 (ja) 画像生成装置
JP2020120267A (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
JP2019129499A (ja) 画像処理装置
JP2022035319A (ja) ドライバ支援システム
JP7454177B2 (ja) 周辺監視装置、およびプログラム
JP2021008177A (ja) 駐車支援装置及び駐車支援方法
US11833973B2 (en) Vehicle display device, vehicle display method, and non-transitory computer-readable medium storing vehicle display program
JP7276280B2 (ja) 車両用画像記録装置及び車両用画像記録方法
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
JP6772716B2 (ja) 周辺監視装置
JP7062983B2 (ja) 走行支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151